لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش با Apache Airflow، DAG های پیچیده و وابستگی های وظیفه ایجاد کنید
Create Complex DAGs and Task Dependencies with Apache Airflow
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
Apache Airflow در مدیریت خطوط لوله داده پیچیده برای شما بسیار عالی است.
در این دوره، ایجاد DAG های پیچیده و وابستگی وظایف با Apache Airflow، شما توانایی طراحی و پیاده سازی گردش های کاری پیچیده در Apache Airflow را به دست خواهید آورد.
ابتدا، نحوه ایجاد یک DAG را بررسی خواهید کرد که یک فایل CSV را از یک فهرست محلی با استفاده از BashOperator بخواند تا بررسی کند که آیا فایل وجود دارد یا خیر.
در مرحله بعد، نحوه انجام اعتبارسنجی و تجمیع داده ها با استفاده از PythonOperators را خواهید یافت.
در نهایت، یاد خواهید گرفت که چگونه دادههای تبدیلشده را با استفاده از SQLiteOperator بارگیری کنید و وابستگیهای وظیفه را با عملگر bitshift و متدهای set_upstream()/set_downstream() تنظیم کنید، و جریان اجرا را با انتقال دادهها بین وظایف با استفاده از XComs کنترل کنید.
وقتی این دوره را به پایان رساندید، مهارت ها و دانش Apache Airflow مورد نیاز برای ایجاد و مدیریت موثر DAG ها و وابستگی های وظایف را خواهید داشت.
سرفصل ها و درس ها
بررسی اجمالی دوره
Course Overview
مدیریت وابستگی های وظیفه در یک DAG
Managing Task Dependencies in a DAG
نمایش نظرات
Pluralsight (پلورال سایت)
Pluralsight یکی از پرطرفدارترین پلتفرمهای آموزش آنلاین است که به میلیونها کاربر در سراسر جهان کمک میکند تا مهارتهای خود را توسعه دهند و به روز رسانی کنند. این پلتفرم دورههای آموزشی در زمینههای فناوری اطلاعات، توسعه نرمافزار، طراحی وب، مدیریت پروژه، و موضوعات مختلف دیگر را ارائه میدهد.
یکی از ویژگیهای برجسته Pluralsight، محتوای بروز و با کیفیت آموزشی آن است. این پلتفرم با همکاری با توسعهدهندگان و کارشناسان معتبر، دورههایی را ارائه میدهد که با توجه به تغییرات روزافزون در صنعت فناوری، کاربران را در جریان آخرین مفاهیم و تکنولوژیها نگه میدارد. این امر به کاربران این اطمینان را میدهد که دورههایی که در Pluralsight میپذیرند، با جدیدترین دانشها و تجارب به روز شدهاند.
Janani Ravi یک معمار و مهندس داده خبره Google cloud است.
جنانی مدرک کارشناسی ارشد خود را در رشته مهندسی برق از دانشگاه استنفورد دریافت کرد و برای مایکروسافت، گوگل و فلیپ کارت کار کرده است. او یکی از بنیانگذاران Loonycorn است، یک استودیوی محتوا که بر ارائه محتوای با کیفیت بالا برای توسعه مهارت های فنی متمرکز است، جایی که او عشق خود را به فناوری با اشتیاق خود به تدریس ترکیب می کند.
نمایش نظرات