آموزش دوره جامع Google Dataflow و Apache Beam - از مبتدی تا پیشرفته - آخرین آپدیت
دانلود Google Dataflow with Apache Beam - Beginner to Pro course
آیا به دنبال تسلط بر Google Dataflow و Apache Beam برای ساخت خط لولههای داده مقیاسپذیر و آماده تولید در پلتفرم ابری گوگل (GCP) هستید؟ چه مهندس داده باشید، چه علاقهمند به تکنولوژیهای ابری یا متخصص مشتاق GCP، این دوره شما را از سطح صفر تا پیشرفتهمیرساند؛ آن هم از طریق آزمایشگاههای عملی، بررسی موردی سناریوهای واقعی و تمرینهای کاربردی.
آنچه در این دوره خواهید آموخت:
درک مفاهیم بنیادی Google Cloud Dataflowو جایگاه آن در اکوسیستم مهندسی داده
کاوش در فریمورک Apache Beam– مدل برنامهنویسی پشت صحنه Dataflow
یادگیری مفاهیم کلیدی مانند PCollectionsو PTransforms
تفاوت Dataflow در مقابل Dataprocو زمان استفاده از هر کدام
راهاندازی محیط Cloud Workbenchبرای تمرینات عملی
ساخت خط لولههای ETLواقعی (استخراج، تبدیل و بارگذاری) با استفاده از Apache Beam
بهرهگیری از Google Pub/Subبرای دریافت دادههای بلادرنگ و تحلیل معماری آن
توسعه خط لولهها با استفاده از هر دو روش:
روش مبتنی بر Template (الگو)
مورد پژوهی ۱: خط لوله مبتنی بر Template
روش کدنویسی سفارشی (Custom Code)
مورد پژوهی ۲: خط لوله جامع Batch
مورد پژوهی ۳: خط لوله جامع Streaming
انجام تمرینات عملیبرای تثبیت یادگیری و آمادگی برای سناریوهای واقعی
آزمایشگاههای عملی شامل:
مبانی Beam با SDKهای Python/Java
توسعه ETL روی Dataflow
ساخت خط لوله Streaming با استفاده از Pub/Sub
ساخت خط لوله Batch با استفاده از Cloud Storage
عیبیابی، مانیتورینگ و بهینهسازی عملکرد خط لوله
ایجاد خط لولههای جامع (End-to-End) از صفر
دیتافلو با آپاچی بیم Dataflow with Apache Beam
-
منابع و مجموعهدادهها Material and Datasets
-
معرفی دوره Course Introduction
-
دیتافلو چیست، معرفی Apache Beam و تفاوت آن با Dataproc What is Dataflow - Apache Beam Introduction - How it is different from Dataproc
-
ساخت Workbench، مبانی Beam و استخراج داده از منابع مختلف Workbench Creation - Beam Basics - Extract data from Multiple Data Sources
-
نحوه نوشتن دادهها در Sinkهای مختلف How to write Data to Multiple Sinks
-
تبدیلات (Transformations) در Apache Beam Apache beam Transformations
-
ساخت خط لوله: روش Template - مورد پژوهی ۱ Pipeline Creation : Template Method - Case study-1
-
ساخت خط لوله Batch: کد سفارشی - مورد پژوهی ۲ Batch Pipeline Creation : Custom code - Case Study-2
-
ساخت خط لوله Streaming با Pubsub: کد سفارشی - مورد پژوهی ۳ Streaming Pipeline Creation with Pubsub : Custome code - Case study-3
Saidhul Shaik
نمایش نظرات