لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش پردازش دادههای بدون سرور با Dataflow: دوره دوم
- آخرین آپدیت
دانلود Traitement des données sans serveur avec Dataflow : cours 2
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
در دومین بخش از مجموعه آموزشی Dataflow، به بررسی دقیقتر توسعه خطلولهها (Pipelines) با استفاده از SDK آپاچی بیم (Apache Beam) میپردازیم. ابتدا مفاهیم پایه Apache Beam را مرور کرده و سپس پردازش جریان دادهها (Stream Processing) با استفاده از پنجرهبندی (Windows)، واترمارکها (Watermarks) و تریگرها (Triggers) را بررسی میکنیم. در ادامه به مباحث منابع و گیرندهها (Sources and Sinks) در خطلولهها، استفاده از اسکیماها (Schemas) برای دادههای ساختاریافته، و نحوه انجام تبدیلهای دارای وضعیت (Stateful Transformations) با استفاده از APIهای State و Timer میپردازیم. همچنین بهترین شیوهها برای بهینهسازی عملکرد خطلولهها را بررسی خواهیم کرد. در نهایت، با نحوه استفاده از SQL و DataFrames برای تعریف منطق تجاری در Beam و توسعه تکرارپذیر خطلولهها با استفاده از نوتبوکهای Beam آشنا خواهید شد.
سرفصل ها و درس ها
مقدمه
Introduction
معرفی دوره
Présentation du cours
مرور مفاهیم Beam
Révision des concepts Beam
اصول اولیه Beam
Principes de base de Beam
تبدیلهای کمکی
Transformations d'utilitaires
چرخه حیات DoFn
Cycle de vie de l'argument DoFn
پنجرهبندی، واترمارکها و تریگرها
Fenêtres, filigranes et déclencheurs
پنجرهبندی
Fenêtres
واترمارکها
Filigranes
تریگرها
Déclencheurs
منابع و گیرندهها
Sources et récepteurs
منابع و گیرندهها
Sources et récepteurs
TextIO و FileIO
TextIO et FileIO
BigQueryIO
BigQueryIO
PubsubIO
PubsubIO
KafkaIO
KafkaIO
BigtableIO
BigtableIO
AvroIO
AvroIO
DoFn قابل تقسیم
Argument DoFn fractionnable
اسکیماها
Schémas
اسکیمای Beam
Schémas Beam
نمونه کدها
Exemples de code
وضعیت و تایمرها
État et minuteurs
API وضعیت (State)
API State
API تایمر (Timer)
API Timer
خلاصه
Résumé
بهترین شیوهها
Bonnes pratiques
اسکیماها
Schémas
مدیریت دادههای غیرقابل پردازش
Gérer les données non traitables
مدیریت خطاها
Gestion des exceptions
تولیدکننده کد AutoValue
Générateur de code AutoValue
مدیریت دادههای JSON
Gestion des données JSON
استفاده از چرخه حیات DoFn
Utiliser le cycle de vie de l'argument DoFn
بهینهسازی خطلوله
Optimisations du pipeline
Dataflow SQL و DataFrames
Dataflow SQL et DataFrames
نمایش نظرات