آموزش چارچوب‌های برنامه‌نویسی واقعی اسپارک اسکالا و تست‌نویسی - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

• اسپارک کلان داده چیست؟ What is Big Data Spark?

• مفاهیم Big Data Hadoop و آزمایشگاه های عملی برای مبتدیان Big Data Hadoop concepts and hands-on labs for beginners

آماده‌سازی محیط و مبانی اسپارک اسکالا Environment Setup & Spark Scala basics

• نصب JDK 11 بر روی دستگاه ویندوز Installing JDK 11 on a Windows Machine

• نصب JDK، IntelliJ و Winutils برای برنامه‌نویسی اسپارک، اسکالا و Hive در Installing JDK, IntelliJ, and Winutils for Spark, Scala, and Hive Programming on

• نصب برنامه نویسی IntelliJ و Winutils برای Spark Scala Hive در ویندوز Installing IntelliJ and Winutils for Spark Scala Hive programming on Windows

• برای کاربران مک - نصب JDK و IntelliJ و اسپارک اسکالا Hive Hello World For Mac users - Installing JDK and IntelliJ and Spark Scala Hive Hello World

• مبانی اسکالا Scala Basics

• دنبال کردن در ویندوز و مک Following Along on Windows and Mac

• مبانی اسکالا Scala Basics

• برای کاربران مک - نصب JDK و IntelliJ و Spark Scala Hive Hello World For Mac users - Installing JDK and IntelliJ and Spark Scala Hive Hello World

• نصب PostgreSQL Installing PostgreSQL

• انتقال داده PostgresSQL به یک Spark DataFrame Fetching PostgresSQL data to a Spark DataFrame

• رابط خط فرمان psql برای PostgreSQL psql command line interface for PostgreSQL

• واکشی داده های PostgresSQL به Spark DataFrame Fetching PostgresSQL data to a Spark DataFrame

• وارد کردن یک پروژه به IntelliJ Importing a project into IntelliJ

• وارد کردن پروژه به IntelliJ Importing a project into IntelliJ

بهترین شیوه‌های کدنویسی Coding Best Practices

• سازماندهی کد با اشیاء و متدها Organizing code with Objects and Methods

• پیاده‌سازی Log4j SLf4j Logging Implementing Log4j SLf4j Logging

• مدیریت خطا با try، catch، Option، Some و None Exception Handling with try, catch, Option, Some and None

یک خط لوله داده با Hive، Spark و Postgres A Data Pipeline with Hive, Spark and Postgres

• خواندن از Hive و نوشتن در Postgres Reading from Hive and Writing to Postgres

• خواندن پیکربندی از JSON با استفاده از Typesafe Reading Configuration from JSON using Typesafe

• خواندن آرگومان‌های خط فرمان و اشکال‌زدایی در IntelliJ Reading command-line arguments and debugging in InjtelliJ

• نوشتن داده در یک جدول Hive Writing data to a Hive Table

• مدیریت پارامترهای ورودی با استفاده از Scala Case Class Managing input parameters using a Scala Case Class

• نکات عیب یابی Intellij Maven Intellij Maven troubleshooting tips

تست واحد اسپارک اسکالا با استفاده از ScalaTest Spark Scala Unit Testing using ScalaTest

• تست واحد اسکالا با استفاده از JUnit و ScalaTest Scala Unit Testing using JUnit & ScalaTest

• تست واحد تبدیل اسپارک با استفاده از ScalaTest Spark Transformation unit testing using ScalaTest

• تست واحد برای گرفتن یک استثنا Unit testing to catch an Exception

• ScalaTest - تست خطاها، استفاده از Matchers و اشتراک‌گذاری Fixtures ScalaTest - Testing Errors, Using Matchers, and Sharing Fixtures

• گرفتن استثنا با استفاده از assertThrows Catching Exception using assertThrows

• پرتاب خطای سفارشی و رهگیری پیام خطا Throwing Custom Error and Intercepting Error Message

• پرتاب خطای سفارشی و رهگیری پیام خطا Throwing Custom Error and Intercepting Error Message

• تست با assertResult Testing with assertResult

• تست با Matchers Testing with Matchers

• عدم موفقیت در آزمون های عمدی Failing tests intentionally

• وسایل به اشتراک گذاری Sharing fixtures

از اینجا به کجا برویم؟ Where to go from here?

• پیش‌نمایش دوره چارچوب کدنویسی PySpark PySpark coding framework course preview

• تبریک و تشکر Congratulations & Thank You

اجرای برنامه در Cloudera QuickStart VM در GCP Running the application on Cloudera QuickStart VM on GCP

• در حال صادرات پروژه به Uber jar Exporting the project to an uber jar

• ثبت نام برای استفاده آزمایشی رایگان GCP Signing up for GCP free trial

• Cloudera QuickStart VM نصب در GCP Cloudera QuickStart VM Installation on GCP

• اجرای Spark 2 با Hive در Cloudera QuickStart VM Running Spark 2 with Hive on Cloudera QuickStart VM

• Uber Jar spark را در Cloudera QuickStart VM ارسال کنید Uber Jar spark-submit on Cloudera QuickStart VM

• انجام اسپارک به صورت محلی Doing spark submit locally

ضمیمه - Hadoop Hive کلان داده برای مبتدیان Appendix - Big Data Hadoop Hive for beginners

• مفاهیم کلان داده Big Data concepts

• مفاهیم Hadoop Hadoop concepts

• سیستم فایل توزیع شده Hadoop (HDFS) Hadoop Distributed File System (HDFS)

• درک Google Cloud (GCP) Dataproc Understanding Google Cloud (GCP) Dataproc

• ثبت نام برای دوره آزمایشی رایگان Google Cloud Signing up for a Google Cloud free trial

• ایجاد یک کلاستر Dataproc Creating a Dataproc Cluster

• ذخیره یک فایل در HDFS Storing a file in HDFS

• MapReduce و YARN MapReduce and YARN

• Hive Hive

• پرس و جو از داده‌های HDFS با استفاده از Hive Querying HDFS data using Hive

• تجزیه و تحلیل یک میلیارد رکورد با Hive Analyzing a billion records with Hive

Spark Scala - جریان ساخت یافته Spark Scala - Structured Streaming

• مفاهیم جریان ساخت یافته Structured Streaming concepts

• پخش جریانی داده ها از فایل ها Streaming data from files

• کد دسته ای در مقابل جریان Batch Vs Streaming code

• نوشتن داده های جریانی در جدول Hive Writing streaming data to a Hive table

• تجمع جریان Streaming Aggregation

• فیلتر کردن جریان Filtering Stream

• افزودن مهر زمانی به داده های جریانی Adding timestamp to streaming data

• تجمیع در یک پنجره زمانی Aggregation in a time window

• پنجره غلتشی و پنجره کشویی Tumbling window and Sliding window

• با تشکر از شما و پیش نمایش دوره آموزشی چارچوب کدگذاری PySpark Thank you and PySpark coding framework course preview

ضمیمه - Big Data Hadoop Hive برای مبتدیان Appendix - Big Data Hadoop Hive for beginners

• مفاهیم کلان داده Big Data concepts

• مفاهیم هدوپ Hadoop concepts

• سیستم فایل توزیع شده Hadoop (HDFS) Hadoop Distributed File System (HDFS)

• آشنایی با Google Cloud (GCP) Dataproc Understanding Google Cloud (GCP) Dataproc

• ثبت نام برای استفاده آزمایشی رایگان Google Cloud Signing up for a Google Cloud free trial

• ذخیره فایل در HDFS Storing a file in HDFS

• MapReduce و YARN MapReduce and YARN

• کندو Hive

• جستجوی داده های HDFS با استفاده از Hive Querying HDFS data using Hive

• حذف خوشه Deleting the Cluster

• تجزیه و تحلیل یک میلیارد رکورد با Hive Analyzing a billion records with Hive