آموزش Apache Flink با Scala 3 - آخرین آپدیت
دانلود Apache Flink with Scala 3
آموزش جامع Apache Flink با Scala 3: از صفر تا استقرار در Kubernetes
با این دوره آموزشی جامع، هر آنچه را که برای نوشتن برنامههای Flink در سطح Production با Scala 3 نیاز دارید، از طریق تمرینات عملی بیاموزید. این دوره بهینه شده برای موتور جستجوی گوگل، به شما کمک میکند تا در نتایج جستجو رتبه بهتری کسب کنید.
آنچه در این دوره خواهید آموخت:
- مبانی و مفاهیم پیشرفته Flink: یادگیری اصول اولیه و معماری Flink به همراه تمرینات عملی Scala 3.
- پردازش جریانی، محاسبات توزیعشده و Stateful: درک چگونگی مدیریت این مفاهیم توسط Flink.
- مدیریت زمان رویداد با Watermark و Window: کار با مکانیزم Watermark و عملیات Window در Flink.
- یکپارچهسازی Flink 1.17 با Kafka و Kubernetes: استفاده از Scala 3 برای ادغام Flink با Kafka و Kubernetes.
- برنامههای Stateful با Flink: نوشتن برنامههای Stateful با استفاده از مفاهیم کلیدی Flink، از جمله مکانیزم Checkpoint، Map State، List State و Value State.
- حالتهای استقرار Flink در Kubernetes: استقرار برنامه Flink خود در Kubernetes.
پیشنیازها:
آشنایی اولیه با زبانهای برنامهنویسی تابعی مانند Scala.
این دوره جدیدترین دوره Flink با Scala 3 است که در سال 2024 منتشر شده و مفاهیم پایه و پیشرفته Flink را با تمرینات عملی پوشش میدهد. این دوره پیچیدگیهای یکپارچهسازی Flink 1.17 با Scala 3 و Kubernetes را برطرف میکند. از نسخه 1.15 Flink، پشتیبانی از Scala حذف شد تا یکپارچهسازی با نسخههای مختلف Scala، از جمله Scala 3، آسانتر شود. این دوره شامل آموزشهای ویدئویی گام به گام در مورد نحوه حل مشکل Collision Classpath هنگام استقرار برنامههای Flink در Scala 3 در Kubernetes است.
به طور خلاصه، در این دوره یاد خواهید گرفت که چگونه در مصاحبههای Flink موفق شوید یا برای نوشتن برنامه Flink در سطح Production آماده باشید:
-
مبانی Flink و Streaming
نحوه پردازش جریانی، محاسبات توزیعشده و Stateful توسط Flink را درک خواهید کرد. معماری Flink از جمله اجزای خوشه Flink را خواهید آموخت. نحوه استقرار و مدیریت چرخه عمر یک برنامه Flink را خواهید دانست.
-
Pipeline داده Flink
سطوح مختلف انتزاع برای توسعه برنامههای Streaming را درک خواهید کرد. با تسلط بر مفاهیم اساسی Flink از جمله: دریافت داده، تبدیل کارآمد داده، کنترل برنامههای خود با APIهای سطح پایینتر، و تولید جریانهای خروجی به Sinkهای داده، میتوانید دادههای بزرگ را به صورت Real-time پردازش کنید.
-
یکپارچهسازی با Apache Kafka
پیکربندی Kafka Source و Kafka Sink را خواهید آموخت. نحوه تنظیم وابستگیهای Kafka در built.sbt و نحوه ادغام Kafka با Flink به عنوان یک منبع داده یا یک Sink داده را خواهید آموخت.
-
مدیریت زمان، Watermark و Window
با استفاده از مکانیزم Watermark Flink و عملیات Window، از جمله Tumbling Window، Sliding Window و Global Window، میتوانید پردازش زمان رویداد را مدیریت کنید.
-
Fault Tolerant
با استفاده از مفاهیم کلیدی Flink، از جمله مکانیزم Checkpoint، Map State، List State و Value State، میتوانید برنامههای Stateful بنویسید.
-
یکپارچهسازی با Kubernetes
حالتهای استقرار Flink را خواهید آموخت و برنامه Flink خود را در Kubernetes با دنبال کردن آموزشهای ویدیویی گام به گام و پیکربندیهای استقرار مستقر خواهید کرد.
آنچه از این دوره دریافت خواهید کرد:
- بیش از 30 درس ویدیویی Flink به همراه اسلایدها و نمودارهای گویا به علاوه دسترسی به Github Repo با تمام کدها در دوره.
- میتوانید با نوشتن بیش از 20 برنامه Flink برای موارد استفاده رایج و دنبال کردن درسهای ویدیویی عملی تمرین کنید.
- به سرعت بر پیکربندیهای همه وابستگیها و مراحل استقرار برنامههای Flink 1.17 در Kubernetes با دنبال کردن آموزش ویدیویی تسلط خواهید یافت.
- اصول قابل انتقال Streaming دادههای بزرگ و سیستمهای توزیعشده را یاد خواهید گرفت که میتوانید در سایر سیستمهای Streaming نیز اعمال کنید.
مقدمه Introduction
-
پیشنیازها Prerequisites
-
مقدمه Introduction
-
چرا فلینک؟ Why Flink
-
خوشه فلینک و چرخه حیات Flink Cluster and Life Cycle
آناتومی یک خط لوله فلینک Anatomy of a Flink Pipeline
-
خط لوله فلینک Flink Pipeline
-
منبع داده Data Source
-
تمرین عملی: بخش اول منبع داده Hands-on: Data Source Part One
-
تمرین عملی: بخش دوم منبع داده Hands-on: Data Source Part Two
-
تمرین عملی: بخش سوم منبع داده Hands-on: Data Source Part Three
-
منبع کافکا Kafka Source
-
تبدیل داده Data Transformation
-
تمرین عملی: تبدیل داده Hands-on: Data Transformation
-
APIهای سطح پایین Low Level APIs
-
تمرین عملی: بخش اول APIهای سطح پایین Hands-on: Low Level APIs Part One
-
تمرین عملی: بخش دوم APIهای سطح پایین Hands-on: Low Level APIs Part Two
-
تبدیل داده II: مدیریت جریانهای چندگانه Data Transformation II: Handling Multiple Streams
-
تمرین عملی: مدیریت جریانهای چندگانه Hands-on: Handling Multiple Streams
-
خروجی جانبی Side Output
-
تمرین عملی: خروجی جانبی Hands-on: Side Output
-
خروجی Output
-
تمرین عملی: یکپارچهسازی با کافکا Hands-on: Integration with Kafka
مفاهیم پیشرفته فلینک Advanced Flink Concepts
-
مقدمهای بر استریمینگ به موقع Introduction to Timely Streaming
-
پنجرهها I: تخصیصدهندههای پنجره Windows I: Window Assigners
-
تمرین عملی: مدیریت رویدادها با زمان پردازش Hands-on: Handling events with Processing Time
-
تمرین عملی: مدیریت رویدادها با زمان رویداد Hands-on: Handling events with Event Time
-
پنجرهها II: چرخه حیات پنجره Windows II: Window Lifecycle
-
پنجرهها III: توابع پنجره Windows III: Window Functions
-
تمرین عملی: پنجره غلتکی Hands-on: Tumbling Window
-
تمرین عملی: پنجره لغزشی Hands-on: Sliding Window
-
تمرین عملی: پنجره سراسری Hands-on: Global Window
-
مدیریت زمان با جریانهای چندگانه Handling Time with Multiple Streams
-
تمرین عملی: پیوند پنجره Hands-on: Window Join
-
استریمینگ حالتدار Stateful Streaming
-
انواع حالت State Types
-
تمرین عملی: حالت مقدار Hands-on: Value State
-
تمرین عملی: حالت لیست Hands-on: List State
-
نقاط بازرسی Checkpoints
-
تمرین عملی: نقطه بازرسی Hands-on: Checkpoint
استقرار برنامه فلینک Flink Application Deployment
-
استقرار روی Kubernetes Deployment on Kubernetes
https://donyad.com/d/4204cb
Maggie Cao
مهندس داده و مدرس
نمایش نظرات