لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش بهینه سازی گردش کار با اپراتورهای Apache Airflow
Optimize Workflows with Apache Airflow Operators
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
Apache Airflow طیف گسترده ای از اپراتورها را ارائه می دهد تا به شما در بهینه سازی گردش کار خود کمک کند.
در این دوره، بهینه سازی گردش کار با اپراتورهای جریان هوای آپاچی، شما توانایی ساده سازی خطوط لوله داده و افزایش کارایی گردش کار با استفاده از اپراتورهای مختلف جریان هوا را به دست خواهید آورد.
ابتدا، نحوه ایجاد یک DAG را بررسی خواهید کرد که پردازش داده های مشروط را با استفاده از یک عملگر انشعاب انجام می دهد و در دسترس بودن فایل را با یک FileSensor بررسی می کند.
در مرحله بعد، نحوه انجام اعتبارسنجی داده ها با PythonOperator، گروه بندی وظایف با استفاده از DummyOperator و استفاده از متغیرهای جریان هوا برای پردازش پویا را خواهید یافت.
در نهایت، یاد خواهید گرفت که چگونه گزارشهای انبوه و فیلتر شده را تولید کنید، آنها را در یک پوشه خروجی بنویسید، و سپس اپراتور سفارشی خود را ایجاد کنید تا دادههایی را که در جریان کاری خود استفاده خواهید کرد، تمیز کنید.
پس از اتمام این دوره، تجربه کار با انواع اپراتورهای Airflow را خواهید داشت که برای بهینه سازی و حفظ کارآمد جریان های کاری پیچیده داده ها مورد نیاز است.
سرفصل ها و درس ها
بررسی اجمالی دوره
Course Overview
ایجاد و بهینه سازی گردش کار با اپراتورها
Create and Optimize Workflows with Operators
Janani Ravi یک معمار و مهندس داده خبره Google cloud است.
جنانی مدرک کارشناسی ارشد خود را در رشته مهندسی برق از دانشگاه استنفورد دریافت کرد و برای مایکروسافت، گوگل و فلیپ کارت کار کرده است. او یکی از بنیانگذاران Loonycorn است، یک استودیوی محتوا که بر ارائه محتوای با کیفیت بالا برای توسعه مهارت های فنی متمرکز است، جایی که او عشق خود را به فناوری با اشتیاق خود به تدریس ترکیب می کند.
نمایش نظرات