آموزش Apache Spark Core و Structured Streaming 3.0 In-Depth

Apache Spark Core and Structured Streaming 3.0 In-Depth

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: قرار گرفتن در معرض دید عمیق و دستی به ویژگی‌ها و مفاهیم Spark Core با نکاتی در مورد تنظیم عملکرد آن تمرکز قوی روی عملی بودن با وارد شدن به حالت عملی با مثال‌های فراوان توسعه درک عمیق از مفاهیم اساسی هسته از Apache Spark راه‌های دریافت بهترین عملکرد Spark در تولید را بشناسید از مشکلات رایج هنگام نوشتن برنامه‌های Spark در کاوش عمیق Spark Structured Streaming 3.0 با استفاده از Python API اجتناب کنید. در این فرآیند با آپاچی کافکا در سطح بالایی آشنا شوید. درک تفاوت های ظریف پردازش جریان در آپاچی اسپارک ویژگی های مختلفی را کشف کنید که اسپارک خارج از جعبه برای پردازش استریم ارائه می کند پیش نیازها: از API پایتون در برنامه نویسی اسپارک استفاده خواهیم کرد. با این حال، ما تمام برنامه ها را با جزئیات توضیح خواهیم داد، اما دانش اساسی پایتون مفید خواهد بود.

Apache Spark مورد توجه ترین مهارت برای هر مهندس کلان داده است. Spark که تکامل الگوی برنامه نویسی MapReduce است، پردازش داده های یکپارچه را از نوشتن SQL تا انجام پردازش گراف تا اجرای الگوریتم های یادگیری ماشین ارائه می دهد. این به طور موثر از گره های خوشه ای و مدیریت بهتر حافظه برای پخش بار در سراسر خوشه گره ها برای دریافت نتایج سریعتر استفاده می کند. Apache Spark ماموریت تصمیم گیری مبتنی بر داده را در هزاران سازمان هدایت می کند.

برای قدردانی از مزایای کتابخانه های آپاچی اسپارک، شناخت اصول اولیه ضروری است. هدف این دوره دقیقاً همان قسمت است. از سطح مبتدی شروع می شود و به تدریج تمام مفاهیم پیچیده را به شیوه ای آسان برای انعکاس توضیح می دهد. این یک توصیف عمیق از ویژگی ها و عملکرد چارچوب از طریق 5 مورد استفاده مختلف با جزئیات پیاده سازی است. در واقع، برخی از جلسات عملی و راه‌حل‌های موارد کاربردی در حالت کلاسی کامل با ویدیوهای بیش از 40 دقیقه توضیح داده می‌شوند. پس از گذراندن این دوره، در مورد Spark Core تخصص کسب خواهید کرد و استفاده از کتابخانه های بیشتری مانند Spark SQL، Structured Streaming، Spark ML و GraphX ​​برای تجسم، پیاده سازی و بهینه سازی بسیار آسان تر خواهد بود.


این دوره آموزشی، دانش پایه شما را ایجاد می کند. تفاوت‌های بین پردازش جریان دسته‌ای، مدل برنامه‌نویسی، APIها و چالش‌های ویژه پردازش جریانی را خواهید آموخت. ما به سرعت به درک مفاهیم پردازش جریانی با انواع مثال‌های عملی، پرداختن به کار درونی و استفاده از یک مورد استفاده در انتها خواهیم رفت. تمام این فعالیت ها با استفاده از Spark 3.0 در فضای ابری خواهد بود.


سرفصل ها و درس ها

پردازش داده های توزیع شده Distributed Data Processing

  • انتظارات از چارچوب پردازش داده Expectations from Data Processing Framework

  • انتظارات از چارچوب پردازش داده Expectations from Data Processing Framework

  • مقدمه ای بر کاهش نقشه Introduction to Map Reduce

  • مقدمه ای بر کاهش نقشه Introduction to Map Reduce

پردازش داده های توزیع شده Distributed Data Processing

منابع Resources

  • پیوند به منابع Links to resources

  • پیوند به منابع Links to resources

منابع Resources

مفاهیم آپاچی اسپارک Concepts of Apache Spark

  • مقدمه ای بر اسپارک Introduction to Spark

  • مقدمه ای بر اسپارک Introduction to Spark

  • مقدمه ای بر مجموعه داده های توزیع شده انعطاف پذیر (RDD) Introduction to Resilient Distributed Dataset (RDD)

  • مقدمه ای بر مجموعه داده های توزیع شده انعطاف پذیر (RDD) Introduction to Resilient Distributed Dataset (RDD)

  • معماری اسپارک Architecture of Spark

  • معماری اسپارک Architecture of Spark

مفاهیم آپاچی اسپارک Concepts of Apache Spark

شروع HandsOn با برنامه های Spark Starting HandsOn with Spark Applications

  • دانلود و نصب Downloading and Installing

  • دانلود و نصب Downloading and Installing

  • اولین برنامه Spark ما Our first Spark Program

  • اولین برنامه Spark ما Our first Spark Program

  • اولین مواجهه ما با تجمیع داده ها در Spark Our first exposure to data aggregation in Spark

  • اولین مواجهه ما با تجمیع داده ها در Spark Our first exposure to data aggregation in Spark

شروع HandsOn با برنامه های Spark Starting HandsOn with Spark Applications

غواصی عمیق در مفاهیم Spark Deep Dive into Spark Concepts

  • شیرجه عمیق تر به اولین برنامه Spark ما Deeper dive into our first Spark Program

  • شیرجه عمیق تر به اولین برنامه Spark ما Deeper dive into our first Spark Program

  • پارتیشن کننده ها Partitioners

  • پارتیشن کننده ها Partitioners

  • امتحان Quiz

  • امتحان Quiz

غواصی عمیق در مفاهیم Spark Deep Dive into Spark Concepts

کاوش عملیات روی RDD ها Exploring operations on RDDs

  • عملیات بر روی RDD ها بدون تجمع Operations on RDDs without Aggregations

  • عملیات بر روی RDD ها بدون تجمع Operations on RDDs without Aggregations

  • امتحان Quiz

  • امتحان Quiz

  • تجمیع در RDD [قسمت 1] Aggregations on RDD [Part 1]

  • تجمیع در RDD [قسمت 1] Aggregations on RDD [Part 1]

  • تجمیع در RDD [بخش 2] Aggregations on RDD [Part 2]

  • تجمیع در RDD [بخش 2] Aggregations on RDD [Part 2]

  • امتحان Quiz

  • امتحان Quiz

  • پیوستن به RDD ها Joining RDDs

  • پیوستن به RDD ها Joining RDDs

کاوش عملیات روی RDD ها Exploring operations on RDDs

مفاهیم پیشرفته آپاچی اسپارک Advanced Concepts of Apache Spark

  • متغیرهای پخش Broadcast Variables

  • متغیرهای پخش Broadcast Variables

  • دست به کار با متغیرهای پخش | تجزیه و تحلیل داده های سهام Hands On with Broadcast Variables | Analyzing Stock Data

  • دست به کار با متغیرهای پخش | تجزیه و تحلیل داده های سهام Hands On with Broadcast Variables | Analyzing Stock Data

  • ذخیره سازی Caching

  • ذخیره سازی Caching

  • در ذخیره سازی | تجزیه و تحلیل مجموعه داده های مراقبت های بهداشتی Hands On with Caching | Analyzing Healthcare Dataset

  • در ذخیره سازی | تجزیه و تحلیل مجموعه داده های مراقبت های بهداشتی Hands On with Caching | Analyzing Healthcare Dataset

  • دست به کار با آکومولاتورها | تجزیه و تحلیل داده های گزارش Hands On with Accumulators | Analyzing Log Data

  • دست به کار با آکومولاتورها | تجزیه و تحلیل داده های گزارش Hands On with Accumulators | Analyzing Log Data

  • دست به کار با combinationByKey | تجزیه و تحلیل معاملات کارت اعتباری Hands On with combineByKey | Credit Card Transaction Analysis

  • دست به کار با combinationByKey | تجزیه و تحلیل معاملات کارت اعتباری Hands On with combineByKey | Credit Card Transaction Analysis

  • Hands On با مرتب سازی ثانویه | تجزیه و تحلیل داده های وام خودرو Hands On with Secondary Sort | Analyzing Car Loan Data

  • Hands On با مرتب سازی ثانویه | تجزیه و تحلیل داده های وام خودرو Hands On with Secondary Sort | Analyzing Car Loan Data

  • امتحان Quiz

  • امتحان Quiz

مفاهیم پیشرفته آپاچی اسپارک Advanced Concepts of Apache Spark

اجرای برنامه Spark در یک کلاستر Running Spark Application in a Cluster

  • جرقه در حال اجرا در یک خوشه | تجزیه و تحلیل داده های سفر تاکسی زرد نیویورک Running Spark on a Cluster | New York Yellow Taxi Trip Data Analysis

  • جرقه در حال اجرا در یک خوشه | تجزیه و تحلیل داده های سفر تاکسی زرد نیویورک Running Spark on a Cluster | New York Yellow Taxi Trip Data Analysis

اجرای برنامه Spark در یک کلاستر Running Spark Application in a Cluster

تیونینگ برنامه های Spark Tuning Spark Applications

  • تصمیم گیری برای اندازه مناسب برای اجرا Deciding the right size for executor

  • تصمیم گیری برای اندازه مناسب برای اجرا Deciding the right size for executor

  • بررسی تخصیص پویا Exploring Dynamic Allocation

  • بررسی تخصیص پویا Exploring Dynamic Allocation

  • مدیریت داده های کج Handling Skewed Data

  • مدیریت داده های کج Handling Skewed Data

  • نکات بیشتر در مورد بهینه سازی عملکرد Further tips on optimising the performance

  • نکات بیشتر در مورد بهینه سازی عملکرد Further tips on optimising the performance

  • امتحان Quiz

  • امتحان Quiz

تیونینگ برنامه های Spark Tuning Spark Applications

مصاحبه با کارشناس اسپارک Interview with Spark Expert

  • مصاحبه با مهندس ارشد داده Interview with Lead Data Engineer

  • مصاحبه با مهندس ارشد داده Interview with Lead Data Engineer

مصاحبه با کارشناس اسپارک Interview with Spark Expert

اولین گام ها با جریان ساختار یافته اسپارک First Steps with Spark Structured Streaming

  • نیاز و چالش های پردازش جریان Need and Challenges of Stream Processing

  • نیاز و چالش های پردازش جریان Need and Challenges of Stream Processing

  • مفاهیم جریان ساختار یافته جرقه Concepts of Spark Structured Streaming

  • مفاهیم جریان ساختار یافته جرقه Concepts of Spark Structured Streaming

  • ساختار برنامه جریان ساختار یافته اسپارک Structure of Spark Structured Streaming Application

  • ساختار برنامه جریان ساختار یافته اسپارک Structure of Spark Structured Streaming Application

  • نوشتن اولین برنامه جریان ساخت یافته Writing the first Structured Streaming Application

  • نوشتن اولین برنامه جریان ساخت یافته Writing the first Structured Streaming Application

اولین گام ها با جریان ساختار یافته اسپارک First Steps with Spark Structured Streaming

جرقه ساختار یافته جریان: منابع Spark Structured Streaming: Resources

  • منابع Resources

  • منابع Resources

جرقه ساختار یافته جریان: منابع Spark Structured Streaming: Resources

شیرجه عمیق به جریان ساختار یافته اسپارک Deep Dive into Spark Structured Streaming

شیرجه عمیق به جریان ساختار یافته اسپارک Deep Dive into Spark Structured Streaming

  • درک حالت های خروجی Understanding output modes

  • درک حالت های خروجی Understanding output modes

  • ویندوز در حال پردازش جریانی Windows in stream processing

  • ویندوز در حال پردازش جریانی Windows in stream processing

  • واترمارک در پردازش جریان Watermarking in stream processing

  • واترمارک در پردازش جریان Watermarking in stream processing

  • معرفی سریع کافکا Quick Introduction to Kafka

  • معرفی سریع کافکا Quick Introduction to Kafka

ادغام جریان ساختار یافته اسپارک با کافکا Integrating Spark Structured Streaming with Kafka

ادغام جریان ساختار یافته اسپارک با کافکا Integrating Spark Structured Streaming with Kafka

  • واترمارک با منبع کافکا Watermarking with Kafka Source

  • واترمارک با منبع کافکا Watermarking with Kafka Source

  • مورد استفاده: با پیوستن به موضوعات کافکا، تبلیغات واقعی دریافت کنید Use Case: Get materialized advertisements by joining Kafka topics

  • مورد استفاده: با پیوستن به موضوعات کافکا، تبلیغات واقعی دریافت کنید Use Case: Get materialized advertisements by joining Kafka topics

استفاده از جریان ساخت یافته در تولید و راه به سمت تخصص Applying Structured Streaming in Production and Road to Expertise

استفاده از جریان ساخت یافته در تولید و راه به سمت تخصص Applying Structured Streaming in Production and Road to Expertise

  • جریان ساختاریافته در تولید Structured Streaming in Production

  • جریان ساختاریافته در تولید Structured Streaming in Production

  • طراحی‌های سیستمی شامل جریان ساختاری جرقه System Designs involving Spark Structured Streaming

  • طراحی‌های سیستمی شامل جریان ساختاری جرقه System Designs involving Spark Structured Streaming

  • راه رسیدن به تخصص Road to Expertise

  • راه رسیدن به تخصص Road to Expertise

نمایش نظرات

آموزش Apache Spark Core و Structured Streaming 3.0 In-Depth
جزییات دوره
14 hours
42
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
2,927
4.7 از 5
ندارد
دارد
دارد
Amit Ranjan
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Amit Ranjan Amit Ranjan

مهندس کلان داده