آموزش Apache Spark Core و Structured Streaming 3.0 In-Depth

سرفصل ها و درس ها

پردازش داده های توزیع شده Distributed Data Processing

• انتظارات از چارچوب پردازش داده Expectations from Data Processing Framework

• انتظارات از چارچوب پردازش داده Expectations from Data Processing Framework

• مقدمه ای بر کاهش نقشه Introduction to Map Reduce

• مقدمه ای بر کاهش نقشه Introduction to Map Reduce

پردازش داده های توزیع شده Distributed Data Processing

منابع Resources

• پیوند به منابع Links to resources

• پیوند به منابع Links to resources

منابع Resources

مفاهیم آپاچی اسپارک Concepts of Apache Spark

• مقدمه ای بر اسپارک Introduction to Spark

• مقدمه ای بر اسپارک Introduction to Spark

• مقدمه ای بر مجموعه داده های توزیع شده انعطاف پذیر (RDD) Introduction to Resilient Distributed Dataset (RDD)

• مقدمه ای بر مجموعه داده های توزیع شده انعطاف پذیر (RDD) Introduction to Resilient Distributed Dataset (RDD)

• معماری اسپارک Architecture of Spark

• معماری اسپارک Architecture of Spark

مفاهیم آپاچی اسپارک Concepts of Apache Spark

شروع HandsOn با برنامه های Spark Starting HandsOn with Spark Applications

• دانلود و نصب Downloading and Installing

• دانلود و نصب Downloading and Installing

• اولین برنامه Spark ما Our first Spark Program

• اولین برنامه Spark ما Our first Spark Program

• اولین مواجهه ما با تجمیع داده ها در Spark Our first exposure to data aggregation in Spark

• اولین مواجهه ما با تجمیع داده ها در Spark Our first exposure to data aggregation in Spark

شروع HandsOn با برنامه های Spark Starting HandsOn with Spark Applications

غواصی عمیق در مفاهیم Spark Deep Dive into Spark Concepts

• شیرجه عمیق تر به اولین برنامه Spark ما Deeper dive into our first Spark Program

• شیرجه عمیق تر به اولین برنامه Spark ما Deeper dive into our first Spark Program

• پارتیشن کننده ها Partitioners

• پارتیشن کننده ها Partitioners

• امتحان Quiz

• امتحان Quiz

غواصی عمیق در مفاهیم Spark Deep Dive into Spark Concepts

کاوش عملیات روی RDD ها Exploring operations on RDDs

• عملیات بر روی RDD ها بدون تجمع Operations on RDDs without Aggregations

• عملیات بر روی RDD ها بدون تجمع Operations on RDDs without Aggregations

• امتحان Quiz

• امتحان Quiz

• تجمیع در RDD [قسمت 1] Aggregations on RDD [Part 1]

• تجمیع در RDD [قسمت 1] Aggregations on RDD [Part 1]

• تجمیع در RDD [بخش 2] Aggregations on RDD [Part 2]

• تجمیع در RDD [بخش 2] Aggregations on RDD [Part 2]

• امتحان Quiz

• امتحان Quiz

• پیوستن به RDD ها Joining RDDs

• پیوستن به RDD ها Joining RDDs

کاوش عملیات روی RDD ها Exploring operations on RDDs

مفاهیم پیشرفته آپاچی اسپارک Advanced Concepts of Apache Spark

• متغیرهای پخش Broadcast Variables

• متغیرهای پخش Broadcast Variables

• دست به کار با متغیرهای پخش | تجزیه و تحلیل داده های سهام Hands On with Broadcast Variables | Analyzing Stock Data

• دست به کار با متغیرهای پخش | تجزیه و تحلیل داده های سهام Hands On with Broadcast Variables | Analyzing Stock Data

• ذخیره سازی Caching

• ذخیره سازی Caching

• در ذخیره سازی | تجزیه و تحلیل مجموعه داده های مراقبت های بهداشتی Hands On with Caching | Analyzing Healthcare Dataset

• در ذخیره سازی | تجزیه و تحلیل مجموعه داده های مراقبت های بهداشتی Hands On with Caching | Analyzing Healthcare Dataset

• دست به کار با آکومولاتورها | تجزیه و تحلیل داده های گزارش Hands On with Accumulators | Analyzing Log Data

• دست به کار با آکومولاتورها | تجزیه و تحلیل داده های گزارش Hands On with Accumulators | Analyzing Log Data

• دست به کار با combinationByKey | تجزیه و تحلیل معاملات کارت اعتباری Hands On with combineByKey | Credit Card Transaction Analysis

• دست به کار با combinationByKey | تجزیه و تحلیل معاملات کارت اعتباری Hands On with combineByKey | Credit Card Transaction Analysis

• Hands On با مرتب سازی ثانویه | تجزیه و تحلیل داده های وام خودرو Hands On with Secondary Sort | Analyzing Car Loan Data

• Hands On با مرتب سازی ثانویه | تجزیه و تحلیل داده های وام خودرو Hands On with Secondary Sort | Analyzing Car Loan Data

• امتحان Quiz

• امتحان Quiz

مفاهیم پیشرفته آپاچی اسپارک Advanced Concepts of Apache Spark

اجرای برنامه Spark در یک کلاستر Running Spark Application in a Cluster

• جرقه در حال اجرا در یک خوشه | تجزیه و تحلیل داده های سفر تاکسی زرد نیویورک Running Spark on a Cluster | New York Yellow Taxi Trip Data Analysis

• جرقه در حال اجرا در یک خوشه | تجزیه و تحلیل داده های سفر تاکسی زرد نیویورک Running Spark on a Cluster | New York Yellow Taxi Trip Data Analysis

اجرای برنامه Spark در یک کلاستر Running Spark Application in a Cluster

تیونینگ برنامه های Spark Tuning Spark Applications

• تصمیم گیری برای اندازه مناسب برای اجرا Deciding the right size for executor

• تصمیم گیری برای اندازه مناسب برای اجرا Deciding the right size for executor

• بررسی تخصیص پویا Exploring Dynamic Allocation

• بررسی تخصیص پویا Exploring Dynamic Allocation

• مدیریت داده های کج Handling Skewed Data

• مدیریت داده های کج Handling Skewed Data

• نکات بیشتر در مورد بهینه سازی عملکرد Further tips on optimising the performance

• نکات بیشتر در مورد بهینه سازی عملکرد Further tips on optimising the performance

• امتحان Quiz

• امتحان Quiz

تیونینگ برنامه های Spark Tuning Spark Applications

مصاحبه با کارشناس اسپارک Interview with Spark Expert

• مصاحبه با مهندس ارشد داده Interview with Lead Data Engineer

• مصاحبه با مهندس ارشد داده Interview with Lead Data Engineer

مصاحبه با کارشناس اسپارک Interview with Spark Expert

اولین گام ها با جریان ساختار یافته اسپارک First Steps with Spark Structured Streaming

• نیاز و چالش های پردازش جریان Need and Challenges of Stream Processing

• نیاز و چالش های پردازش جریان Need and Challenges of Stream Processing

• مفاهیم جریان ساختار یافته جرقه Concepts of Spark Structured Streaming

• مفاهیم جریان ساختار یافته جرقه Concepts of Spark Structured Streaming

• ساختار برنامه جریان ساختار یافته اسپارک Structure of Spark Structured Streaming Application

• ساختار برنامه جریان ساختار یافته اسپارک Structure of Spark Structured Streaming Application

• نوشتن اولین برنامه جریان ساخت یافته Writing the first Structured Streaming Application

• نوشتن اولین برنامه جریان ساخت یافته Writing the first Structured Streaming Application

اولین گام ها با جریان ساختار یافته اسپارک First Steps with Spark Structured Streaming

جرقه ساختار یافته جریان: منابع Spark Structured Streaming: Resources

• منابع Resources

• منابع Resources

جرقه ساختار یافته جریان: منابع Spark Structured Streaming: Resources

شیرجه عمیق به جریان ساختار یافته اسپارک Deep Dive into Spark Structured Streaming

• درک حالت های خروجی Understanding output modes

• درک حالت های خروجی Understanding output modes

• ویندوز در حال پردازش جریانی Windows in stream processing

• ویندوز در حال پردازش جریانی Windows in stream processing

• واترمارک در پردازش جریان Watermarking in stream processing

• واترمارک در پردازش جریان Watermarking in stream processing

• معرفی سریع کافکا Quick Introduction to Kafka

• معرفی سریع کافکا Quick Introduction to Kafka

شیرجه عمیق به جریان ساختار یافته اسپارک Deep Dive into Spark Structured Streaming

ادغام جریان ساختار یافته اسپارک با کافکا Integrating Spark Structured Streaming with Kafka

• واترمارک با منبع کافکا Watermarking with Kafka Source

• واترمارک با منبع کافکا Watermarking with Kafka Source

• مورد استفاده: با پیوستن به موضوعات کافکا، تبلیغات واقعی دریافت کنید Use Case: Get materialized advertisements by joining Kafka topics

• مورد استفاده: با پیوستن به موضوعات کافکا، تبلیغات واقعی دریافت کنید Use Case: Get materialized advertisements by joining Kafka topics

ادغام جریان ساختار یافته اسپارک با کافکا Integrating Spark Structured Streaming with Kafka

استفاده از جریان ساخت یافته در تولید و راه به سمت تخصص Applying Structured Streaming in Production and Road to Expertise

• جریان ساختاریافته در تولید Structured Streaming in Production

• جریان ساختاریافته در تولید Structured Streaming in Production

• طراحی‌های سیستمی شامل جریان ساختاری جرقه System Designs involving Spark Structured Streaming

• طراحی‌های سیستمی شامل جریان ساختاری جرقه System Designs involving Spark Structured Streaming

• راه رسیدن به تخصص Road to Expertise

• راه رسیدن به تخصص Road to Expertise

استفاده از جریان ساخت یافته در تولید و راه به سمت تخصص Applying Structured Streaming in Production and Road to Expertise