لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش Apache Spark Core و Structured Streaming 3.0 In-Depth
Apache Spark Core and Structured Streaming 3.0 In-Depth
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
قرار گرفتن در معرض دید عمیق و دستی به ویژگیها و مفاهیم Spark Core با نکاتی در مورد تنظیم عملکرد آن تمرکز قوی روی عملی بودن با وارد شدن به حالت عملی با مثالهای فراوان توسعه درک عمیق از مفاهیم اساسی هسته از Apache Spark راههای دریافت بهترین عملکرد Spark در تولید را بشناسید از مشکلات رایج هنگام نوشتن برنامههای Spark در کاوش عمیق Spark Structured Streaming 3.0 با استفاده از Python API اجتناب کنید. در این فرآیند با آپاچی کافکا در سطح بالایی آشنا شوید. درک تفاوت های ظریف پردازش جریان در آپاچی اسپارک ویژگی های مختلفی را کشف کنید که اسپارک خارج از جعبه برای پردازش استریم ارائه می کند پیش نیازها: از API پایتون در برنامه نویسی اسپارک استفاده خواهیم کرد. با این حال، ما تمام برنامه ها را با جزئیات توضیح خواهیم داد، اما دانش اساسی پایتون مفید خواهد بود.
Apache Spark مورد توجه ترین مهارت برای هر مهندس کلان داده است. Spark که تکامل الگوی برنامه نویسی MapReduce است، پردازش داده های یکپارچه را از نوشتن SQL تا انجام پردازش گراف تا اجرای الگوریتم های یادگیری ماشین ارائه می دهد. این به طور موثر از گره های خوشه ای و مدیریت بهتر حافظه برای پخش بار در سراسر خوشه گره ها برای دریافت نتایج سریعتر استفاده می کند. Apache Spark ماموریت تصمیم گیری مبتنی بر داده را در هزاران سازمان هدایت می کند.
برای قدردانی از مزایای کتابخانه های آپاچی اسپارک، شناخت اصول اولیه ضروری است. هدف این دوره دقیقاً همان قسمت است. از سطح مبتدی شروع می شود و به تدریج تمام مفاهیم پیچیده را به شیوه ای آسان برای انعکاس توضیح می دهد. این یک توصیف عمیق از ویژگی ها و عملکرد چارچوب از طریق 5 مورد استفاده مختلف با جزئیات پیاده سازی است. در واقع، برخی از جلسات عملی و راهحلهای موارد کاربردی در حالت کلاسی کامل با ویدیوهای بیش از 40 دقیقه توضیح داده میشوند. پس از گذراندن این دوره، در مورد Spark Core تخصص کسب خواهید کرد و استفاده از کتابخانه های بیشتری مانند Spark SQL، Structured Streaming، Spark ML و GraphX برای تجسم، پیاده سازی و بهینه سازی بسیار آسان تر خواهد بود.
این دوره آموزشی، دانش پایه شما را ایجاد می کند. تفاوتهای بین پردازش جریان دستهای، مدل برنامهنویسی، APIها و چالشهای ویژه پردازش جریانی را خواهید آموخت. ما به سرعت به درک مفاهیم پردازش جریانی با انواع مثالهای عملی، پرداختن به کار درونی و استفاده از یک مورد استفاده در انتها خواهیم رفت. تمام این فعالیت ها با استفاده از Spark 3.0 در فضای ابری خواهد بود.
سرفصل ها و درس ها
پردازش داده های توزیع شده
Distributed Data Processing
انتظارات از چارچوب پردازش داده
Expectations from Data Processing Framework
انتظارات از چارچوب پردازش داده
Expectations from Data Processing Framework
مقدمه ای بر کاهش نقشه
Introduction to Map Reduce
مقدمه ای بر کاهش نقشه
Introduction to Map Reduce
پردازش داده های توزیع شده
Distributed Data Processing
منابع
Resources
پیوند به منابع
Links to resources
پیوند به منابع
Links to resources
منابع
Resources
مفاهیم آپاچی اسپارک
Concepts of Apache Spark
مقدمه ای بر اسپارک
Introduction to Spark
مقدمه ای بر اسپارک
Introduction to Spark
مقدمه ای بر مجموعه داده های توزیع شده انعطاف پذیر (RDD)
Introduction to Resilient Distributed Dataset (RDD)
مقدمه ای بر مجموعه داده های توزیع شده انعطاف پذیر (RDD)
Introduction to Resilient Distributed Dataset (RDD)
معماری اسپارک
Architecture of Spark
معماری اسپارک
Architecture of Spark
مفاهیم آپاچی اسپارک
Concepts of Apache Spark
شروع HandsOn با برنامه های Spark
Starting HandsOn with Spark Applications
دانلود و نصب
Downloading and Installing
دانلود و نصب
Downloading and Installing
اولین برنامه Spark ما
Our first Spark Program
اولین برنامه Spark ما
Our first Spark Program
اولین مواجهه ما با تجمیع داده ها در Spark
Our first exposure to data aggregation in Spark
اولین مواجهه ما با تجمیع داده ها در Spark
Our first exposure to data aggregation in Spark
شروع HandsOn با برنامه های Spark
Starting HandsOn with Spark Applications
غواصی عمیق در مفاهیم Spark
Deep Dive into Spark Concepts
شیرجه عمیق تر به اولین برنامه Spark ما
Deeper dive into our first Spark Program
شیرجه عمیق تر به اولین برنامه Spark ما
Deeper dive into our first Spark Program
پارتیشن کننده ها
Partitioners
پارتیشن کننده ها
Partitioners
امتحان
Quiz
امتحان
Quiz
غواصی عمیق در مفاهیم Spark
Deep Dive into Spark Concepts
کاوش عملیات روی RDD ها
Exploring operations on RDDs
عملیات بر روی RDD ها بدون تجمع
Operations on RDDs without Aggregations
عملیات بر روی RDD ها بدون تجمع
Operations on RDDs without Aggregations
امتحان
Quiz
امتحان
Quiz
تجمیع در RDD [قسمت 1]
Aggregations on RDD [Part 1]
تجمیع در RDD [قسمت 1]
Aggregations on RDD [Part 1]
تجمیع در RDD [بخش 2]
Aggregations on RDD [Part 2]
تجمیع در RDD [بخش 2]
Aggregations on RDD [Part 2]
امتحان
Quiz
امتحان
Quiz
پیوستن به RDD ها
Joining RDDs
پیوستن به RDD ها
Joining RDDs
کاوش عملیات روی RDD ها
Exploring operations on RDDs
مفاهیم پیشرفته آپاچی اسپارک
Advanced Concepts of Apache Spark
متغیرهای پخش
Broadcast Variables
متغیرهای پخش
Broadcast Variables
دست به کار با متغیرهای پخش | تجزیه و تحلیل داده های سهام
Hands On with Broadcast Variables | Analyzing Stock Data
دست به کار با متغیرهای پخش | تجزیه و تحلیل داده های سهام
Hands On with Broadcast Variables | Analyzing Stock Data
ذخیره سازی
Caching
ذخیره سازی
Caching
در ذخیره سازی | تجزیه و تحلیل مجموعه داده های مراقبت های بهداشتی
Hands On with Caching | Analyzing Healthcare Dataset
در ذخیره سازی | تجزیه و تحلیل مجموعه داده های مراقبت های بهداشتی
Hands On with Caching | Analyzing Healthcare Dataset
دست به کار با آکومولاتورها | تجزیه و تحلیل داده های گزارش
Hands On with Accumulators | Analyzing Log Data
دست به کار با آکومولاتورها | تجزیه و تحلیل داده های گزارش
Hands On with Accumulators | Analyzing Log Data
دست به کار با combinationByKey | تجزیه و تحلیل معاملات کارت اعتباری
Hands On with combineByKey | Credit Card Transaction Analysis
دست به کار با combinationByKey | تجزیه و تحلیل معاملات کارت اعتباری
Hands On with combineByKey | Credit Card Transaction Analysis
Hands On با مرتب سازی ثانویه | تجزیه و تحلیل داده های وام خودرو
Hands On with Secondary Sort | Analyzing Car Loan Data
Hands On با مرتب سازی ثانویه | تجزیه و تحلیل داده های وام خودرو
Hands On with Secondary Sort | Analyzing Car Loan Data
امتحان
Quiz
امتحان
Quiz
مفاهیم پیشرفته آپاچی اسپارک
Advanced Concepts of Apache Spark
اجرای برنامه Spark در یک کلاستر
Running Spark Application in a Cluster
جرقه در حال اجرا در یک خوشه | تجزیه و تحلیل داده های سفر تاکسی زرد نیویورک
Running Spark on a Cluster | New York Yellow Taxi Trip Data Analysis
جرقه در حال اجرا در یک خوشه | تجزیه و تحلیل داده های سفر تاکسی زرد نیویورک
Running Spark on a Cluster | New York Yellow Taxi Trip Data Analysis
اجرای برنامه Spark در یک کلاستر
Running Spark Application in a Cluster
تیونینگ برنامه های Spark
Tuning Spark Applications
تصمیم گیری برای اندازه مناسب برای اجرا
Deciding the right size for executor
تصمیم گیری برای اندازه مناسب برای اجرا
Deciding the right size for executor
بررسی تخصیص پویا
Exploring Dynamic Allocation
بررسی تخصیص پویا
Exploring Dynamic Allocation
مدیریت داده های کج
Handling Skewed Data
مدیریت داده های کج
Handling Skewed Data
نکات بیشتر در مورد بهینه سازی عملکرد
Further tips on optimising the performance
نکات بیشتر در مورد بهینه سازی عملکرد
Further tips on optimising the performance
امتحان
Quiz
امتحان
Quiz
تیونینگ برنامه های Spark
Tuning Spark Applications
مصاحبه با کارشناس اسپارک
Interview with Spark Expert
مصاحبه با مهندس ارشد داده
Interview with Lead Data Engineer
مصاحبه با مهندس ارشد داده
Interview with Lead Data Engineer
مصاحبه با کارشناس اسپارک
Interview with Spark Expert
اولین گام ها با جریان ساختار یافته اسپارک
First Steps with Spark Structured Streaming
نیاز و چالش های پردازش جریان
Need and Challenges of Stream Processing
نیاز و چالش های پردازش جریان
Need and Challenges of Stream Processing
مفاهیم جریان ساختار یافته جرقه
Concepts of Spark Structured Streaming
مفاهیم جریان ساختار یافته جرقه
Concepts of Spark Structured Streaming
ساختار برنامه جریان ساختار یافته اسپارک
Structure of Spark Structured Streaming Application
ساختار برنامه جریان ساختار یافته اسپارک
Structure of Spark Structured Streaming Application
نوشتن اولین برنامه جریان ساخت یافته
Writing the first Structured Streaming Application
نوشتن اولین برنامه جریان ساخت یافته
Writing the first Structured Streaming Application
اولین گام ها با جریان ساختار یافته اسپارک
First Steps with Spark Structured Streaming
جرقه ساختار یافته جریان: منابع
Spark Structured Streaming: Resources
منابع
Resources
منابع
Resources
جرقه ساختار یافته جریان: منابع
Spark Structured Streaming: Resources
شیرجه عمیق به جریان ساختار یافته اسپارک
Deep Dive into Spark Structured Streaming
شیرجه عمیق به جریان ساختار یافته اسپارک
Deep Dive into Spark Structured Streaming
درک حالت های خروجی
Understanding output modes
درک حالت های خروجی
Understanding output modes
ویندوز در حال پردازش جریانی
Windows in stream processing
ویندوز در حال پردازش جریانی
Windows in stream processing
واترمارک در پردازش جریان
Watermarking in stream processing
واترمارک در پردازش جریان
Watermarking in stream processing
معرفی سریع کافکا
Quick Introduction to Kafka
معرفی سریع کافکا
Quick Introduction to Kafka
ادغام جریان ساختار یافته اسپارک با کافکا
Integrating Spark Structured Streaming with Kafka
ادغام جریان ساختار یافته اسپارک با کافکا
Integrating Spark Structured Streaming with Kafka
واترمارک با منبع کافکا
Watermarking with Kafka Source
واترمارک با منبع کافکا
Watermarking with Kafka Source
مورد استفاده: با پیوستن به موضوعات کافکا، تبلیغات واقعی دریافت کنید
Use Case: Get materialized advertisements by joining Kafka topics
مورد استفاده: با پیوستن به موضوعات کافکا، تبلیغات واقعی دریافت کنید
Use Case: Get materialized advertisements by joining Kafka topics
استفاده از جریان ساخت یافته در تولید و راه به سمت تخصص
Applying Structured Streaming in Production and Road to Expertise
استفاده از جریان ساخت یافته در تولید و راه به سمت تخصص
Applying Structured Streaming in Production and Road to Expertise
جریان ساختاریافته در تولید
Structured Streaming in Production
جریان ساختاریافته در تولید
Structured Streaming in Production
طراحیهای سیستمی شامل جریان ساختاری جرقه
System Designs involving Spark Structured Streaming
طراحیهای سیستمی شامل جریان ساختاری جرقه
System Designs involving Spark Structured Streaming
نمایش نظرات