Apache Airflow با استفاده از Google Cloud Composer: مقدمه - آخرین آپدیت

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره - موضوعات پوشش Course Overview - Topics of coverage

مقدمه Introduction

• خطوط لوله داده و موارد استفاده برای جریان هوای آپاچی Data pipe lines & Uses cases for Apache Airflow

• Task چیست و چرا به ارکستراسیون نیاز است؟ What is Task and why Orchestration needed?

• آپاچی جریان هوا و گزینه های محیطی چیست؟ What is Apache Airflow & environment options?

Airflow - Directed Acyclic Graph (DAG) و اپراتورها چیست؟ What is Airflow - Directed Acyclic Graph (DAG) & operators?

• جریان هوا چیست - گراف غیر چرخشی جهت دار What is Airflow - Directed Acyclic Graph

معماری Apache Airflow Apache Airflow architecture

• معماری Apache Airflow Apache Airflow architecture

• Apache Airflow - Single Node در مقابل Multinode Apache Airflow - Single Node vs Multinode

Google Cloud Platform: آهنگساز ابری که به عنوان Apache Airflow استفاده می‌شود Google Cloud Platform: Cloud composer used as Apache Airflow

• تهیه Google Composer - محیط Apache Airflow - قسمت 1 Provisioning Google Composer - Apache Airflow environment - Part 1

• ارائه Google Composer - محیط Apache Airflow - قسمت 2 Provisoning Google Composer - Apache Airflow environment - Part 2

• ناوبری - Cloud composer (Apache airflow) ناوبری رابط کاربری وب Navigation - Cloud composer(Apache airflow) Web UI navigation

• زمان امتحان 1 Quiz time 1

درک ساختار برنامه Apache Airflow Understanding Apache Airflow program structure

• درک ساختار برنامه Apache Airflow Understanding Apache Airflow program structure

فعالیت 1: برنامه Apache airflow DAG را ایجاد و ارسال کنید Activity 1 : Create and submit Apache airflow DAG program

• فعالیت 1: برنامه Apache airflow DAG را ایجاد و ارسال کنید Activity 1 : Create and submit Apache airflow DAG program

• زمان امتحان 2 Quiz time 2

فعالیت 2: استفاده از قابلیت Template در برنامه Apache Airflow Activity 2: Using Template functionality in Apache Airflow program

• فعالیت 2: استفاده از قابلیت Templating در برنامه Apache Airflow Activity 2: Using Templating functionality in Apache Airflow program

• فعالیت 2: استفاده از قابلیت Templating در برنامه Apache Airflow - قسمت 2 Activity 2: Using Templating functionality in Apache Airflow program - Part 2

استفاده از متغیرها در جریان هوای آپاچی Using Variables in Apache Airflow

• متغیر در Apache Airflow چیست و چه زمانی باید از آنها استفاده کرد؟ What is variable in Apache Airflow and when to use them?

• فعالیت 3: استفاده از متغیرها در برنامه پایتون DAG Activity 3: Variables usage in DAG python program

فعالیت 4: فراخوانی اسکریپت Bash در پوشه های مختلف/ماشین های مختلف. Activity 4: Calling Bash script in different folder / different machine.

• فعالیت 4: فراخوانی اسکریپت Bash در پوشه های مختلف/ماشین های مختلف - قسمت 1 Activity 4: Calling Bash script in different folder / different machine - Part1

• فعالیت 4: فراخوانی اسکریپت Bash در پوشه های مختلف/ماشین های مختلف - قسمت 2 Activity 4: Calling Bash script in different folder / different machine - Part 2

ایجاد اتصالات در Apache Airflow Creating connections in Apache Airflow

• چرا اتصالات در Apache Airflow مورد نیاز است؟ Why connections are required in Apache Airflow

• مسیریابی و ایجاد مراحل اتصال در Apache Airflow Navigation and creating connection steps in Apache Airflow

• فعالیت 5: ایجاد و آزمایش اتصال در Apache Airflow - قسمت 1 Activity 5: Creating and testing connection in Apache Airflow - Part 1

• فعالیت 5: ایجاد و آزمایش اتصال در Apache Airflow - قسمت 2 Activity 5: Creating and testing connection in Apache Airflow - Part 2

• زمان امتحان 3 Quiz time 3

استفاده از Bigquery ابری گوگل با Apache Airflow Datapipelines Using Google's cloud Bigquery with Apache Airflow Datapipelines

• Google Cloud BigQuery چیست؟ What is Google Cloud BigQuery?

• ایجاد جدول سفارشی Bigquery Creation of custom Bigquery table

• آپلود داده BigQuery از برگه اکسل (فایل CSV) BigQuery data upload from Excel sheet (CSV file)

• فعالیت 6: خط لوله داده Apache Airflow DAG برای BigQuery Activity 6 : Apache Airflow DAG Data pipeline for BigQuery

ارتباط متقابل بین وظایف - XCOM Cross communication between tasks - XCOM

• xcom چیست؟ What is xcom?

• فعالیت 7: خط لوله نمایش xcom Activity 7: xcom demonstration pipeline

انشعاب بر اساس شرایط Branching based on conditions

• مروری بر عملکرد انشعاب Overview about Branching Functionality

• فعالیت 8: نمایش انشعاب وظایف Activity 8: Tasks Branching demonstration

SUBDAGS SUBDAGS

• Subdag چیست؟ What is a Subdag?

• فعالیت 9: نمایش SubDAGs Activity 9: SubDAGs demonstration

• آزمون 4 Quiz 4

سایر قابلیت ها Other functionalities

• توافقنامه سطح خدمات با جریان هوا Service Level Agreement with Airflow

• Airflow اکنون از Kubernetes پشتیبانی می کند Airflow now support Kubernetes

• حسگرها Sensors

تست تمرین، سوالات متداول مصاحبه - برای آزمایش دانش خود Practice test , common interview questions - To test your knowledge

• تست تمرین، سوالات فنی مصاحبه رایج - برای آزمایش دانش خود Practice test , common interview technical questions - To test your knowledge

Apache Airflow در مقابل Apache Beam and Spark - مقایسه سریع Apache Airflow Vs Apache Beam and Spark - Quick comparison

• Apache Airflow در مقابل Apache Beam and Spark - مقایسه سریع Apache Airflow Vs Apache Beam and Spark - Quick comparison

پاداش Bonus

• سخنان پایانی Concluding remarks