آموزش چارچوب برنامه نویسی Spark Scala، تست، جریان ساخت یافته

سرفصل ها و درس ها

معرفی Introduction

• معرفی Introduction

• Big Data Spark چیست؟ What is Big Data Spark?

• مفاهیم Big Data Hadoop و آزمایشگاه های عملی برای مبتدیان Big Data Hadoop concepts and hands-on labs for beginners

تنظیمات محیطی و اصول اولیه Spark Scala Environment Setup & Spark Scala basics

• نصب JDK 11 بر روی دستگاه ویندوز Installing JDK 11 on a Windows Machine

• نصب برنامه نویسی IntelliJ و Winutils برای Spark Scala Hive در ویندوز Installing IntelliJ and Winutils for Spark Scala Hive programming on Windows

• مبانی اسکالا Scala Basics

• برای کاربران مک - نصب JDK و IntelliJ و Spark Scala Hive Hello World For Mac users - Installing JDK and IntelliJ and Spark Scala Hive Hello World

• نصب PostgreSQL Installing PostgreSQL

• رابط خط فرمان psql برای PostgreSQL psql command line interface for PostgreSQL

• واکشی داده های PostgresSQL به Spark DataFrame Fetching PostgresSQL data to a Spark DataFrame

• وارد کردن پروژه به IntelliJ Importing a project into IntelliJ

بهترین روش های کدنویسی Coding Best Practices

• سازماندهی کد با اشیاء و روش ها Organizing code with Objects and Methods

• پیاده سازی Log4j SLf4j Logging Implementing Log4j SLf4j Logging

• Exception Handling با try، catch، Option، Some و None Exception Handling with try, catch, Option, Some and None

خط لوله داده با Hive، Spark و Postgres A Data Pipeline with Hive, Spark and Postgres

• خواندن از Hive و Writing تا Postgres Reading from Hive and Writing to Postgres

• خواندن پیکربندی از JSON با استفاده از Typesafe Reading Configuration from JSON using Typesafe

• خواندن آرگومان های خط فرمان و اشکال زدایی در InjtelliJ Reading command-line arguments and debugging in InjtelliJ

• نوشتن داده ها در جدول Hive Writing data to a Hive Table

• مدیریت پارامترهای ورودی با استفاده از Scala Case Class Managing input parameters using a Scala Case Class

• نکات عیب یابی Intellij Maven Intellij Maven troubleshooting tips

تست واحد Spark Scala با استفاده از ScalaTest Spark Scala Unit Testing using ScalaTest

• تست واحد اسکالا با استفاده از JUnit و ScalaTest Scala Unit Testing using JUnit & ScalaTest

• تست واحد تبدیل جرقه با استفاده از ScalaTest Spark Transformation unit testing using ScalaTest

• تست واحد برای گرفتن یک استثنا Unit testing to catch an Exception

• گرفتن استثنا با استفاده از assertThrows Catching Exception using assertThrows

• پرتاب خطای سفارشی و رهگیری پیام خطا Throwing Custom Error and Intercepting Error Message

• تست با assertResult Testing with assertResult

• تست با Matchers Testing with Matchers

• عدم موفقیت در آزمون های عمدی Failing tests intentionally

• وسایل به اشتراک گذاری Sharing fixtures

اجرای برنامه در Cloudera QuickStart VM در GCP Running the application on Cloudera QuickStart VM on GCP

• در حال صادرات پروژه به Uber jar Exporting the project to an uber jar

• ثبت نام برای استفاده آزمایشی رایگان GCP Signing up for GCP free trial

• Cloudera QuickStart VM نصب در GCP Cloudera QuickStart VM Installation on GCP

• اجرای Spark 2 با Hive در Cloudera QuickStart VM Running Spark 2 with Hive on Cloudera QuickStart VM

• Uber Jar spark را در Cloudera QuickStart VM ارسال کنید Uber Jar spark-submit on Cloudera QuickStart VM

• انجام اسپارک به صورت محلی Doing spark submit locally

Spark Scala - جریان ساخت یافته Spark Scala - Structured Streaming

• مفاهیم جریان ساخت یافته Structured Streaming concepts

• پخش جریانی داده ها از فایل ها Streaming data from files

• کد دسته ای در مقابل جریان Batch Vs Streaming code

• نوشتن داده های جریانی در جدول Hive Writing streaming data to a Hive table

• تجمع جریان Streaming Aggregation

• فیلتر کردن جریان Filtering Stream

• افزودن مهر زمانی به داده های جریانی Adding timestamp to streaming data

• تجمیع در یک پنجره زمانی Aggregation in a time window

• پنجره غلتشی و پنجره کشویی Tumbling window and Sliding window

• با تشکر از شما و پیش نمایش دوره آموزشی چارچوب کدگذاری PySpark Thank you and PySpark coding framework course preview

ضمیمه - Big Data Hadoop Hive برای مبتدیان Appendix - Big Data Hadoop Hive for beginners

• مفاهیم کلان داده Big Data concepts

• مفاهیم هدوپ Hadoop concepts

• سیستم فایل توزیع شده Hadoop (HDFS) Hadoop Distributed File System (HDFS)

• آشنایی با Google Cloud (GCP) Dataproc Understanding Google Cloud (GCP) Dataproc

• ثبت نام برای استفاده آزمایشی رایگان Google Cloud Signing up for a Google Cloud free trial

• ذخیره فایل در HDFS Storing a file in HDFS

• MapReduce و YARN MapReduce and YARN

• کندو Hive

• جستجوی داده های HDFS با استفاده از Hive Querying HDFS data using Hive

• حذف خوشه Deleting the Cluster

• تجزیه و تحلیل یک میلیارد رکورد با Hive Analyzing a billion records with Hive