آموزش Master Airflow: مبتدی تا پیشرفت با پروژه
Master Airflow: Beginner to Advance with Project
Apache Airflow یک پلت فرم منبع باز است که برای اتوماسیون جریان کار، زمان‌بندی و هماهنگی خطوط لوله داده پیچیده استفاده می‌شود. از آنجایی که حجم و پیچیدگی داده ها همچنان در حال رشد است، نیاز به پردازش و مدیریت داده کارآمد و مقیاس پذیر حیاتی است. در این دوره جامع، نحوه تسلط بر Apache Airflow را یاد خواهید گرفت، از اصول اولیه و پیشرفت به مفاهیم پیشرفته.
این دوره برای مهندسان داده، دانشمندان داده، توسعه دهندگان پایتون، مهندسان نرم افزار و هر کسی که علاقه مند به یادگیری نحوه خودکارسازی و مدیریت گردش کار داده است طراحی شده است.
شما یاد خواهید گرفت که چگونه از Apache Airflow برای ایجاد و مدیریت خطوط لوله داده، زمان‌بندی و راه‌اندازی وظایف، نظارت و عیب‌یابی جریان‌های کاری، و ادغام با منابع و سرویس‌های مختلف داده استفاده کنید.
این دوره موضوعات زیر را پوشش خواهد داد:
مقدمه ای بر جریان هوا و مدیریت گردش کار آپاچی
مقدمه ای بر دستورات Docker و Docker
نصب و پیکربندی Apache Airflow
ساخت و مدیریت گردش کار با Apache Airflow
زمان‌بندی و راه‌اندازی وظایف در Apache Airflow
اپراتورها در Apache Airflow
واکشی داده‌ها از Web API یا HTTP
سنسورهای فایل در جریان هوای آپاچی
اتصال با Azure یا AWS
استفاده از AWS S3 Bucket و Azure Blob Storage برای ذخیره و بازیابی داده ها
ایجاد اپراتورها و حسگرهای سفارشی
بررسی وابستگی ها و تلاش های مجدد
نظارت و عیب یابی گردش کار
یکپارچه سازی با منابع و سرویس های داده
مقیاس‌سازی و بهینه‌سازی جریان هوای آپاچی برای پردازش داده در مقیاس بزرگ با استفاده از Celery Executors
ایمن کردن اتصالات Dags با استفاده از کلیدهای Fernet
در طول دوره، روی تمرین‌ها و پروژه‌های عملی برای به کارگیری مفاهیمی که یاد می‌گیرید کار خواهید کرد. در پایان دوره، درک قوی از Apache Airflow و مهارت‌های ساخت و مدیریت گردش‌های کاری پیچیده داده خواهید داشت.
معرفی Introduction
-
ارکستراسیون، گردش کار، جریان هوا و مزایای جریان هوا Orchestration, Workflow, Airflow and Airflow Benefits
داکر Docker
-
داکر Docker
نصب جریان هوا Airflow Installation
-
نصب و راه اندازی Installation
-
آزمون 2 Quiz 2
وب سرور جریان هوا/رابط کاربری وب Airflow Web Server / Web UI
-
مروری بر رابط کاربری وب Web UI Walkthrough
Dags، وظایف، اپراتورها Dags, Tasks, Operators
-
Dags، Tasks و Operators Dags, Tasks and Operators
دانلود داده ها از وب API و پایگاه داده Download data from Web APIs & Database
-
HttpSensor، HttpOperator و پایگاه های داده HttpSensor, HttpOperator and Databases
FileSensors و اتصالات AWS FileSensors & AWS Connections
-
FileSensor و S3 Bucket FileSensor and S3 Bucket
ارتباط بین وظایف Communication between tasks
-
XComm XComm
اپراتور شعبه، BackFill و EmailOperator Branch Operator, BackFill & EmailOperator
-
BranchOperator، BackFill و Email Operator BranchOperator, BackFill and Email Operator
CustomOperators و Airflow MetaData CustomOperators and Airflow MetaData
-
داده های متا جریان هوا در Postgres با استفاده از Dockerfile Airflow Meta Data in Postgres Using Dockerfile
راه اندازی پردازش موازی Parallel Processing Setup
-
معماری جریان هوای توزیع شده، مجری کرفس، Docker Compose Distributed Airflow Architecture, Celery Executor, Docker Compose
نسخه ی نمایشی SubDagOperator، Fernet Key و Celery SubDagOperator, Fernet Key and Celery executor demo
-
SubDagOperator، Fernet Key، Celery executor demo SubDagOperator, Fernet Key, Celery executor demo
کار پروژه Project Work
-
ایده پروژه Project Idea
Udemy (یودمی)
یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.
یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.
https://donyad.com/d/afabc4
Sourabh Sahu
دانشمند
نمایش نظرات