آموزش Apache Airflow در AWS EKS: The Hands-On Guide

سرفصل ها و درس ها

معرفی Introduction

• پیش نیازهای مهم Important Prerequisites

• پیش نیازهای مهم Important Prerequisites

• من کی هستم؟ Who I am?

• سفر جریان هوای شما Your Airflow Journey

• سفر جریان هوای شما Your Airflow Journey

• مروری بر معماری Overview of the architecture

• مروری بر معماری Overview of the architecture

• چک لیست The Checklist

• چک لیست The Checklist

معرفی Introduction

• من کی هستم؟ Who I am?

پیکربندی AWS Configuring AWS

• [تمرین] تعریف بودجه [Practice] Defining a budget

• [تمرین] ایجاد گروه مدیریت IAM [Practice] Creating the IAM admin group

• [تمرین] ایجاد گروه مدیریت IAM [Practice] Creating the IAM admin group

• [تمرین] ایجاد کاربر مدیریت IAM [Practice] Creating the IAM admin user

• [تمرین] با استفاده از کاربر Admin [Practice] Using the Admin user

• [تمرین] با استفاده از کاربر Admin [Practice] Using the Admin user

پیکربندی AWS Configuring AWS

• [تمرین] تعریف بودجه [Practice] Defining a budget

• [تمرین] ایجاد کاربر مدیریت IAM [Practice] Creating the IAM admin user

کاوش در دنیای DevOps Exploring the DevOps world

• چرا دانستن مفاهیم DevOps مهم است؟ Why is knowing DevOps concepts important?

• یادآوری در مورد Kubernetes Reminder about Kubernetes

• یادآوری در مورد Kubernetes Reminder about Kubernetes

• مسابقه کوبرنتیس Kubernetes Quiz

• مسابقه کوبرنتیس Kubernetes Quiz

• IaC یا Infrastructure به عنوان کد چیست؟ What is IaC or Infrastructure as code?

• IaC یا Infrastructure به عنوان کد چیست؟ What is IaC or Infrastructure as code?

• آزمون IaC IaC Quiz

• آزمون IaC IaC Quiz

• استقرار با GitOps Deployments with GitOps

• استقرار با GitOps Deployments with GitOps

• GitOps با Flux ساده شد GitOps made simple with Flux

• GitOps با Flux ساده شد GitOps made simple with Flux

• آزمون GitOps GitOps Quiz

• آزمون GitOps GitOps Quiz

کاوش در دنیای DevOps Exploring the DevOps world

• چرا دانستن مفاهیم DevOps مهم است؟ Why is knowing DevOps concepts important?

ایجاد خوشه EKS با GitOps Creating the EKS cluster with GitOps

• [تمرین] ایجاد محیط cloud9 برای ایستگاه کاری [Practice] Creating the cloud9 environment for the workstation

• [تمرین] ایجاد محیط cloud9 برای ایستگاه کاری [Practice] Creating the cloud9 environment for the workstation

• [تمرین] پیکربندی ایستگاه کاری [Practice] Configuring the workstation

• [تمرین] پیکربندی Cloud9 با حساب Admin [Practice] Configuring Cloud9 with the Admin account

• [تمرین] پیکربندی Cloud9 با حساب Admin [Practice] Configuring Cloud9 with the Admin account

• AZ ها، VPC ها و زیرشبکه ها در AWS AZs, VPCs and Subnets in AWS

• AZ ها، VPC ها و زیرشبکه ها در AWS AZs, VPCs and Subnets in AWS

• AWS EKS چیست؟ What is AWS EKS?

• AWS EKS چیست؟ What is AWS EKS?

• [تمرین] ایجاد و پیکربندی مخزن Git برای GitOps [Practice] Creating and configuring the Git repository for GitOps

• [تمرین] ایجاد و پیکربندی مخزن Git برای GitOps [Practice] Creating and configuring the Git repository for GitOps

• نمای کلی معماری EKS Architecture Overview EKS

• نمای کلی معماری EKS Architecture Overview EKS

• [تمرین] ایجاد خوشه با eksctl [Practice] Creating the Cluster with eksctl

• [تمرین] ایجاد خوشه با eksctl [Practice] Creating the Cluster with eksctl

• [تمرین] نصب و پیکربندی Flux [Practice] Installing and Configuring Flux

• [تمرین] نصب و پیکربندی Flux [Practice] Installing and Configuring Flux

• [تمرین] کمی ساختار اضافه کنید [Practice] Add a bit of structure

• فضای نام در Kubernetes Namespaces in Kubernetes

• فضای نام در Kubernetes Namespaces in Kubernetes

• [تمرین] ایجاد فضای نام توسعه دهنده، مرحله‌بندی و پرود [Practice] Creating dev, staging and prod namespaces

ایجاد خوشه EKS با GitOps Creating the EKS cluster with GitOps

• [تمرین] پیکربندی ایستگاه کاری [Practice] Configuring the workstation

• [تمرین] کمی ساختار اضافه کنید [Practice] Add a bit of structure

• [تمرین] ایجاد فضای نام توسعه دهنده، مرحله‌بندی و پرود [Practice] Creating dev, staging and prod namespaces

استقرار جریان هوا با DAG ها Deploying Airflow with DAGs

• هلم چیست؟ What's Helm?

• [تمرین] نمای کلی نمودار هلم جریان هوا [Practice] Overview of the Airflow Helm chart

• مقیاس بندی با مجری Kubernetes Scaling with the Kubernetes Executor

• مقیاس بندی با مجری Kubernetes Scaling with the Kubernetes Executor

• [تمرین] نصب درایور EBS [Practice] Installing the EBS Driver

• [تمرین] نصب درایور EBS [Practice] Installing the EBS Driver

• [تمرین] راه اندازی HelmRepo [Practice] Setting up the HelmRepo

• [تمرین] استقرار جریان هوا با Flux [Practice] Deploying Airflow with Flux

• عیب یابی استقرار با Flux Troubleshooting deployments with Flux

• همگام سازی DAG ها در Kubernetes Synchronizing DAGs in Kubernetes

• [تمرین] واکشی DAG با Git-Sync [Practice] Fetching DAGs with Git-Sync

• [تمرین] واکشی DAG با Git-Sync [Practice] Fetching DAGs with Git-Sync

• [تمرین] اجرای DAG با Git-Sync [Practice] Running DAGs with Git-Sync

• اسرار در Kubernetes Secrets in Kubernetes

• اسرار در Kubernetes Secrets in Kubernetes

• [تمرین] واکشی DAG با Git-Sync از یک مخزن خصوصی [Practice] Fetching DAGs with Git-Sync from a private repository

• [تمرین] واکشی DAG با Git-Sync از یک مخزن خصوصی [Practice] Fetching DAGs with Git-Sync from a private repository

• [تمرین] اضافه کردن راز در مخزن [Practice] Adding the secret in the repo

• جلدها در Kubernetes Volumes in Kubernetes

• مقدمه ای بر AWS EFS Introduction to AWS EFS

• [تمرین] پیکربندی AWS EFS [Practice] Configuring AWS EFS

• [تمرین] پیکربندی AWS EFS [Practice] Configuring AWS EFS

• [تمرین] اشتراک گذاری DAG بین پادها با AWS EFS [Practice] Sharing DAGs between pods with AWS EFS

• [تمرین] اشتراک گذاری DAG بین پادها با AWS EFS [Practice] Sharing DAGs between pods with AWS EFS

• پاک کردن Clean Up

استقرار جریان هوا با DAG ها Deploying Airflow with DAGs

• هلم چیست؟ What's Helm?

• [تمرین] نمای کلی نمودار هلم جریان هوا [Practice] Overview of the Airflow Helm chart

• [تمرین] راه اندازی HelmRepo [Practice] Setting up the HelmRepo

• [تمرین] استقرار جریان هوا با Flux [Practice] Deploying Airflow with Flux

• عیب یابی استقرار با Flux Troubleshooting deployments with Flux

• همگام سازی DAG ها در Kubernetes Synchronizing DAGs in Kubernetes

• [تمرین] اجرای DAG با Git-Sync [Practice] Running DAGs with Git-Sync

• [تمرین] اضافه کردن راز در مخزن [Practice] Adding the secret in the repo

• جلدها در Kubernetes Volumes in Kubernetes

• مقدمه ای بر AWS EFS Introduction to AWS EFS

• پاک کردن Clean Up

ساخت خطوط لوله CI/CD برای استقرار جریان هوا Building CI/CD pipelines to deploy Airflow

• برپایی Set Up

• برپایی Set Up

• AWS CodePipeline چیست؟ What is AWS CodePipeline?

• [تمرین] ساخت خط لوله CI/CD با CodePipeline و ECR [Practice] Building a CI/CD pipeline with CodePipeline and ECR

• [تمرین] ساخت خط لوله CI/CD با CodePipeline و ECR [Practice] Building a CI/CD pipeline with CodePipeline and ECR

• [تمرین] استقرار جریان هوا در EKS با CodePipeline و Flux [Practice] Deploying Airflow in EKS with CodePipeline and Flux

• [تمرین] استقرار جریان هوا در EKS با CodePipeline و Flux [Practice] Deploying Airflow in EKS with CodePipeline and Flux

• تست واحد در جریان هوا Unit testing in Airflow

• تست واحد در جریان هوا Unit testing in Airflow

• [تمرین] واحد آزمایش DAG های شما [Practice] Unit testing your DAGs

• [تمرین] ساخت خط لوله CI/CD در توسعه دهنده با تست های واحد [Practice] Building the CI/CD pipeline in dev with unit tests

• [تمرین] تست های یکپارچه سازی برای آزمایش وظایف در DAG [Practice] Integration tests for testing tasks in DAGs

• [تمرین] تست های یکپارچه سازی برای آزمایش وظایف در DAG [Practice] Integration tests for testing tasks in DAGs

• [تمرین] ساخت خط لوله CI/CD در مرحله بندی با تست های یکپارچه سازی [Practice] Building the CI/CD pipeline in staging with integration tests

• [تمرین] پاکسازی کنید [Practice] Clean up

ساخت خطوط لوله CI/CD برای استقرار جریان هوا Building CI/CD pipelines to deploy Airflow

• برپایی Set Up

• AWS CodePipeline چیست؟ What is AWS CodePipeline?

• [تمرین] واحد آزمایش DAG های شما [Practice] Unit testing your DAGs

• [تمرین] ساخت خط لوله CI/CD در توسعه دهنده با تست های واحد [Practice] Building the CI/CD pipeline in dev with unit tests

• [تمرین] ساخت خط لوله CI/CD در مرحله بندی با تست های یکپارچه سازی [Practice] Building the CI/CD pipeline in staging with integration tests

• [تمرین] پاکسازی کنید [Practice] Clean up

افشای رابط کاربری Airflow Exposing the Airflow UI

• [تمرین] راه اندازی کنید [Practice] Set up

• [تمرین] راه اندازی کنید [Practice] Set up

• خدمات در Kubernetes Services in Kubernetes

• خدمات در Kubernetes Services in Kubernetes

• معماری با بار متعادل کننده الاستیک Architecture with the Elastic Load Balancer

• [تمرین] افشای رابط کاربری جریان هوا با AWS Elastic Load Balancer [Practice] Exposing the Airflow UI with AWS Elastic Load Balancer

• [تمرین] افشای رابط کاربری جریان هوا با AWS Elastic Load Balancer [Practice] Exposing the Airflow UI with AWS Elastic Load Balancer

• Ingress چیست؟ What is an Ingress?

• معماری با کنترلر AWS ALB Ingress Architecture with the AWS ALB Ingress controller

• معماری با کنترلر AWS ALB Ingress Architecture with the AWS ALB Ingress controller

• [تمرین] افشای رابط کاربری جریان هوا با AWS ALB Ingress [Practice] Exposing the Airflow UI with AWS ALB Ingress

• [تمرین] افشای محیط صحنه سازی با AWS ALB [Practice] Exposing the staging environment with AWS ALB

• یادآوری سریع در مورد SSL Quick reminder about SSL

• [تمرین] ایجاد یک دامنه برای جریان هوا با ExternalDNS و AWS Route53 [Practice] Creating a Domain for Airflow with ExternalDNS and AWS Route53

• [تمرین] ایجاد یک دامنه برای جریان هوا با ExternalDNS و AWS Route53 [Practice] Creating a Domain for Airflow with ExternalDNS and AWS Route53

• [تمرین] فعال کردن SSL در رابط کاربری Airflow [Practice] Activating SSL on the Airflow UI

• [تمرین] فعال کردن SSL در رابط کاربری Airflow [Practice] Activating SSL on the Airflow UI

• [تمرین] بررسی های سلامت AWS ALB را برطرف کنید [Practice] Fix the AWS ALB's health checks

• [تمرین] بررسی های سلامت AWS ALB را برطرف کنید [Practice] Fix the AWS ALB's health checks

• [تمرین] صادر کردن شی مخفی SSL [Practice] Exporting the SSL secret object

• [تمرین] ارتقاء محیط صحنه [Practice] Upgrading the staging environment

• [تمرین] فعال کردن DNS و SSL برای مرحله بندی [Exercise] Enabling DNS and SSL for staging

• [تمرین] ایجاد زیر دامنه برای دسترسی به رابط های کاربری Airflow [Practice] Creating subdomains to access the UIs of Airflow

• پاک کردن Clean Up

افشای رابط کاربری Airflow Exposing the Airflow UI

• معماری با بار متعادل کننده الاستیک Architecture with the Elastic Load Balancer

• Ingress چیست؟ What is an Ingress?

• [تمرین] افشای رابط کاربری جریان هوا با AWS ALB Ingress [Practice] Exposing the Airflow UI with AWS ALB Ingress

• [تمرین] افشای محیط صحنه سازی با AWS ALB [Practice] Exposing the staging environment with AWS ALB

• یادآوری سریع در مورد SSL Quick reminder about SSL

• [تمرین] صادر کردن شی مخفی SSL [Practice] Exporting the SSL secret object

• [تمرین] ارتقاء محیط صحنه [Practice] Upgrading the staging environment

• [تمرین] فعال کردن DNS و SSL برای مرحله بندی [Exercise] Enabling DNS and SSL for staging

• [تمرین] ایجاد زیر دامنه برای دسترسی به رابط های کاربری Airflow [Practice] Creating subdomains to access the UIs of Airflow

• پاک کردن Clean Up

ورود به سیستم با جریان هوا در AWS EKS Logging with Airflow in AWS EKS

• برپایی Set Up

• RBAC در Kubernetes RBAC in Kubernetes

• RBAC در Kubernetes RBAC in Kubernetes

• مشکلات مجوز برای دسترسی به گزارش‌های غلاف Permission issues for accessing pod's logs

• [تمرین] ذخیره گزارش‌ها در AWS EFS [Practice] Storing logs in AWS EFS

• [تمرین] ثبت از راه دور با AWS S3 [Practice] Remote logging with AWS S3

• محدودیت های ورود از راه دور در AWS S3 Limitations of remote logging in AWS S3

• ثبت از راه دور با AWS CloudWatch Remote logging with AWS CloudWatch

• ثبت از راه دور با AWS CloudWatch Remote logging with AWS CloudWatch

• داده های حساس با Backend های مخفی Sensitive data with Secret Backends

• داده های حساس با Backend های مخفی Sensitive data with Secret Backends

• [تمرین] مدیریت ارتباطات با AWS Secret Manager [Practice] Managing connections with AWS Secret Manager

• [ایجاد] ذخیره شی مخفی AWS Secret Manager برای Flux [Creating] Storing the secret object of AWS Secret Manager for Flux

• پاک کردن Clean Up

• پاک کردن Clean Up

ورود به سیستم با جریان هوا در AWS EKS Logging with Airflow in AWS EKS

• مشکلات مجوز برای دسترسی به گزارش‌های غلاف Permission issues for accessing pod's logs

• [تمرین] ذخیره گزارش‌ها در AWS EFS [Practice] Storing logs in AWS EFS

• [تمرین] ثبت از راه دور با AWS S3 [Practice] Remote logging with AWS S3

• محدودیت های ورود از راه دور در AWS S3 Limitations of remote logging in AWS S3

• [تمرین] مدیریت ارتباطات با AWS Secret Manager [Practice] Managing connections with AWS Secret Manager

• [ایجاد] ذخیره شی مخفی AWS Secret Manager برای Flux [Creating] Storing the secret object of AWS Secret Manager for Flux

• پاک کردن Clean Up

پیکربندی محیط تولید Configuring the production environment

• برپایی Set up

• [تمرین] ایجاد محیط تولید [Practice] Creating the production environment

• [تمرین] ایجاد محیط تولید [Practice] Creating the production environment

• شناسایی یک نقطه از شکست Identifying single point of failures

• شناسایی یک نقطه از شکست Identifying single point of failures

• [تمرین] در دسترس قرار دادن رابط کاربری جریان هوا [Practice] Making the Airflow UI highly available

• [تمرین] در دسترس قرار دادن رابط کاربری جریان هوا [Practice] Making the Airflow UI highly available

• سرویس پایگاه داده رابطه ای AWS AWS Relational Database Service

• سرویس پایگاه داده رابطه ای AWS AWS Relational Database Service

• [تمرین] جریان هوا با AWS RDS [Practice] Airflow with AWS RDS

• سریال سازی DAG DAG Serialization

• [تمرین] ساختن وب سرور بدون حالت با سریال سازی DAG [Practice] Making the web server stateless with DAG Serialization

• [تمرین] ساختن وب سرور بدون حالت با سریال سازی DAG [Practice] Making the web server stateless with DAG Serialization

• پاک کردن Clean Up

• پاک کردن Clean Up

• تبریک می گویم! Congratulations!

• تبریک می گویم! Congratulations!

پیکربندی محیط تولید Configuring the production environment

• برپایی Set up

• [تمرین] جریان هوا با AWS RDS [Practice] Airflow with AWS RDS

• سریال سازی DAG DAG Serialization

• پاک کردن Clean Up

جایزه Bonus

• سخنرانی جایزه! BONUS LECTURE!

• سخنرانی جایزه! BONUS LECTURE!

• [BLOG POST] PostgresOperator: همه آنچه که باید بدانید [BLOG POST] The PostgresOperator: All you need to know

• [BLOG POST] PostgresOperator: همه آنچه که باید بدانید [BLOG POST] The PostgresOperator: All you need to know

• [VIDEO] TriggerDagRunOperator جدید! [VIDEO] The New TriggerDagRunOperator!

• [VIDEO] TriggerDagRunOperator جدید! [VIDEO] The New TriggerDagRunOperator!

• [ویدئو] جریان هوا با نمودار رسمی هلم [VIDEO] Running Airflow with the Official Helm Chart

جایزه Bonus

• [ویدئو] جریان هوا با نمودار رسمی هلم [VIDEO] Running Airflow with the Official Helm Chart