آموزش پردازش داده‌های بلادرنگ با Spark Streams - آخرین آپدیت

دانلود Process Real-Time Data with Spark Streams

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: داده‌های بلادرنگ در همه جای دنیای امروز حضور دارند؛ از شناسایی تقلب در تراکنش‌های مالی گرفته تا توصیه‌های شخصی‌سازی شده در تجارت الکترونیک و تشخیص ناهنجاری در دستگاه‌های IoT. پردازش‌های دسته‌ای (Batch Processing) سنتی برای این کاربردها بسیار کند هستند و کسب‌وکارها نیاز دارند دقیقاً در لحظه تولید داده، بینش‌های لازم را به دست آورند. این دوره به شما می‌آموزد که چگونه خط لوله‌های استریمینگ (Streaming Pipelines) قابل اعتماد را با استفاده از Apache Spark Structured Streaming و Kafka طراحی، ساخته و مدیریت کنید. در این دوره، شما با مفاهیم بنیادی مدل استریمینگ Spark شروع می‌کنید و می‌آموزید که چگونه میکرو-بچینگ (Micro-batching)، تریگرها و چک‌پوینت‌ها پردازش مداوم را ممکن می‌سازند. سپس Spark را به منابع واقعی مانند Kafka متصل کرده، پردازش زمان رویداد (Event-time processing) را با استفاده از Watermarks اعمال می‌کنید و نتایج را به Delta Lake ارسال می‌نمایید. در نهایت، با غنی‌سازی استریم‌ها توسط داده‌های استاتیک، نظارت بر سلامت کوئری‌ها، مدیریت خطاها و تضمین مقیاس‌پذیری، خط لوله‌های خود را به محیط عملیاتی (Production) منتقل خواهید کرد. این دوره شما را با پردازش داده‌های بلادرنگ با استفاده از Apache Spark Streaming آشنا می‌کند. شما یاد می‌گیرید که چگونه جریان‌های مداوم داده را مدیریت کنید، خط لوله‌های استریم مقاوم در برابر خطا طراحی کنید و داده‌های زنده را به صورت بهینه تحلیل نمایید. در پایان، درک کاملی خواهید داشت که Spark چگونه بارهای کاری استریمینگ را مدیریت می‌کند، با منابع مختلف داده ادغام می‌شود و قدرت تصمیم‌گیری در برنامه‌های کاربردی واقعی را فراهم می‌سازد. پیش‌نیازهای این دوره شامل درک پایه از برنامه‌نویسی پایتون (Python) و Spark DataFrames، به همراه آشنایی با JSON و SQL است. در پایان این مسیر، شما مهارت‌های لازم برای پیاده‌سازی با اعتمادبه‌نفس راهکارهای استریمینگ را خواهید داشت که موتور تصمیم‌گیری بلادرنگ در سازمان‌های مدرن داده‌محور هستند.

سرفصل ها و درس ها

مبانی Structured Streaming Structured Streaming Fundamentals

  • خوش‌آمدگویی به دوره پردازش داده‌های بلادرنگ با Spark Streams Welcome to Process Real-Time Data with Spark Streams

  • درک مدل استریمینگ Spark Understanding Spark’s Streaming Model

  • راه‌اندازی Spark Streams: شمای داده و خروجی‌ها Setting Up Spark Streams: Schema and Outputs

  • ترانسفورمیشن‌ها، تجزیه JSON و مدیریت رویدادهای معیوب Transformations, JSON parsing and handling malformed events

منابع، سینک‌ها و تجمیع‌های حالت‌دار Sources, Sinks and Stateful Aggregations

  • اتصال Spark به Kafka و نوشتن در Delta Connecting Spark to Kafka and Writing to Delta

  • مدیریت زمان رویداد با Watermarks و Windows Handling Event Time with Watermarks and Windows

  • تضمین قابلیت اطمینان با Checkpointing و Triggers Ensuring Reliability with Checkpointing and Triggers

ساخت و مدیریت استریم آماده برای محیط عملیاتی Building and Operating a Production-Ready Stream

  • ساخت یک خط لوله استریمینگ جامع (End to End) Building an End-to-End Streaming Pipeline

  • مانیتورینگ و عیب‌یابی استریم‌های شما Monitoring and Troubleshooting Your Streams

  • تست و استقرار اپلیکیشن‌های استریمینگ Testing and Deploying Streaming Applications

  • جمع‌بندی دوره Course Wrap-up

نمایش نظرات

آموزش پردازش داده‌های بلادرنگ با Spark Streams
جزییات دوره
5h 34m
11
(آخرین آپدیت)
99
- از 5
دارد
دارد
دارد
Chris Croft
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Chris Croft Chris Croft

مربی مدیریت، سخنران، نویسنده