آموزش Apache Airflow در AWS EKS: The Hands-On Guide

Apache Airflow on AWS EKS: The Hands-On Guide

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: چگونه Apache Airflow را در AWS EKS با Kubernetes Executor راه‌اندازی کنیم و آماده تولید باشیم! نحوه راه‌اندازی یک معماری آماده تولید برای جریان هوا در AWS EKS از A-Z نحوه استقرار DAG از Git (عمومی و خصوصی) نحوه ایجاد خطوط لوله CI/CD با AWS CodePipeline. فعال کردن ثبت از راه دور با AWS S3 در EKS نحوه تست DAG های خود در خطوط لوله CI/CD نحوه ذخیره داده های حساس در AWS Secret Manager پیش نیازها:آشنایی خوب با جریان هوای Apache دانش متوسط ​​AWS دانش متوسط ​​از Docker و Kubernetes AWS SERVICES استفاده شده در ردیف رایگان واجد شرایط نیستند

آیا برای راه‌اندازی جریان هوا در AWS EKS تلاش می‌کنید؟

شما در جای مناسب هستید!

با بیش از 15000 دانش‌آموز، بازخوردهای زیادی درباره دشواری پیکربندی جریان هوا در AWS با نمودار رسمی Helm دریافت کردم.

حدس بزنید چیست؟ شما در شرف یادگیری هر چیزی هستید که برای راه اندازی یک معماری آماده تولید برای Apache Airflow در AWS EKS نیاز دارید

این دوره برای راهنمایی شما در مراحل مختلف ایجاد یک معماری دنیای واقعی طراحی شده است:

  1. پیکربندی خوشه EKS بر اساس بهترین شیوه ها

  2. استقرار خودکار با GitOps تغییر می کند

  3. استفاده از Helm برای پیکربندی و تنظیم جریان هوا در Kubernetes

  4. پیکربندی نمودار رسمی Helm of Airflow برای استفاده از Kubernetes Executor و بسیاری از ویژگی‌های مختلف

  5. استقرار DAG در جریان هوا با Git-Sync و AWS EFS

  6. استقرار DAG/جریان هوا از طریق خطوط لوله CI/CD با AWS CodePipeline

  7. آزمایش DAG به صورت خودکار

  8. ایمن کردن اعتبار و داده های حساس خود در یک Backend مخفی

  9. فعال کردن گزارش گیری از راه دور با AWS S3

  10. ایجاد 3 محیط مختلف dev/staging و prod

  11. محیط تولید را مقیاس‌پذیر و بسیار در دسترس می‌کنید

  12. و بیشتر!

هشدار:

  • این دوره برای یادگیری اصول اولیه Airflow نیست، باید از قبل با آن آشنایی داشته باشید.

  • اگر قبلاً Kubernetes/Docker/AWS را می‌دانید، یادگیری شما آسان‌تر خواهد بود، اما نگران نباشید، هر آنچه را که نیاز دارید توضیح می‌دهم.

  • شما یاد نخواهید گرفت که چگونه با AWS در DAGهای خود تعامل داشته باشید. این دوره در مورد طراحی یک معماری است نه در مورد DAG.

  • این دوره واجد شرایط سطح رایگان نیست زیرا ما از بسیاری از خدمات AWS استفاده می کنیم و یک معماری دنیای واقعی راه اندازی می کنیم.


سرفصل ها و درس ها

معرفی Introduction

  • من کی هستم؟ Who I am?

معرفی Introduction

  • پیش نیازهای مهم Important Prerequisites

  • پیش نیازهای مهم Important Prerequisites

  • من کی هستم؟ Who I am?

  • سفر جریان هوای شما Your Airflow Journey

  • سفر جریان هوای شما Your Airflow Journey

  • مروری بر معماری Overview of the architecture

  • مروری بر معماری Overview of the architecture

  • چک لیست The Checklist

  • چک لیست The Checklist

پیکربندی AWS Configuring AWS

  • [تمرین] تعریف بودجه [Practice] Defining a budget

  • [تمرین] ایجاد کاربر مدیریت IAM [Practice] Creating the IAM admin user

پیکربندی AWS Configuring AWS

  • [تمرین] تعریف بودجه [Practice] Defining a budget

  • [تمرین] ایجاد گروه مدیریت IAM [Practice] Creating the IAM admin group

  • [تمرین] ایجاد گروه مدیریت IAM [Practice] Creating the IAM admin group

  • [تمرین] ایجاد کاربر مدیریت IAM [Practice] Creating the IAM admin user

  • [تمرین] با استفاده از کاربر Admin [Practice] Using the Admin user

  • [تمرین] با استفاده از کاربر Admin [Practice] Using the Admin user

کاوش در دنیای DevOps Exploring the DevOps world

  • چرا دانستن مفاهیم DevOps مهم است؟ Why is knowing DevOps concepts important?

کاوش در دنیای DevOps Exploring the DevOps world

  • چرا دانستن مفاهیم DevOps مهم است؟ Why is knowing DevOps concepts important?

  • یادآوری در مورد Kubernetes Reminder about Kubernetes

  • یادآوری در مورد Kubernetes Reminder about Kubernetes

  • مسابقه کوبرنتیس Kubernetes Quiz

  • مسابقه کوبرنتیس Kubernetes Quiz

  • IaC یا Infrastructure به عنوان کد چیست؟ What is IaC or Infrastructure as code?

  • IaC یا Infrastructure به عنوان کد چیست؟ What is IaC or Infrastructure as code?

  • آزمون IaC IaC Quiz

  • آزمون IaC IaC Quiz

  • استقرار با GitOps Deployments with GitOps

  • استقرار با GitOps Deployments with GitOps

  • GitOps با Flux ساده شد GitOps made simple with Flux

  • GitOps با Flux ساده شد GitOps made simple with Flux

  • آزمون GitOps GitOps Quiz

  • آزمون GitOps GitOps Quiz

ایجاد خوشه EKS با GitOps Creating the EKS cluster with GitOps

  • [تمرین] پیکربندی ایستگاه کاری [Practice] Configuring the workstation

  • [تمرین] کمی ساختار اضافه کنید [Practice] Add a bit of structure

  • [تمرین] ایجاد فضای نام توسعه دهنده، مرحله‌بندی و پرود [Practice] Creating dev, staging and prod namespaces

ایجاد خوشه EKS با GitOps Creating the EKS cluster with GitOps

  • [تمرین] ایجاد محیط cloud9 برای ایستگاه کاری [Practice] Creating the cloud9 environment for the workstation

  • [تمرین] ایجاد محیط cloud9 برای ایستگاه کاری [Practice] Creating the cloud9 environment for the workstation

  • [تمرین] پیکربندی ایستگاه کاری [Practice] Configuring the workstation

  • [تمرین] پیکربندی Cloud9 با حساب Admin [Practice] Configuring Cloud9 with the Admin account

  • [تمرین] پیکربندی Cloud9 با حساب Admin [Practice] Configuring Cloud9 with the Admin account

  • AZ ها، VPC ها و زیرشبکه ها در AWS AZs, VPCs and Subnets in AWS

  • AZ ها، VPC ها و زیرشبکه ها در AWS AZs, VPCs and Subnets in AWS

  • AWS EKS چیست؟ What is AWS EKS?

  • AWS EKS چیست؟ What is AWS EKS?

  • [تمرین] ایجاد و پیکربندی مخزن Git برای GitOps [Practice] Creating and configuring the Git repository for GitOps

  • [تمرین] ایجاد و پیکربندی مخزن Git برای GitOps [Practice] Creating and configuring the Git repository for GitOps

  • نمای کلی معماری EKS Architecture Overview EKS

  • نمای کلی معماری EKS Architecture Overview EKS

  • [تمرین] ایجاد خوشه با eksctl [Practice] Creating the Cluster with eksctl

  • [تمرین] ایجاد خوشه با eksctl [Practice] Creating the Cluster with eksctl

  • [تمرین] نصب و پیکربندی Flux [Practice] Installing and Configuring Flux

  • [تمرین] نصب و پیکربندی Flux [Practice] Installing and Configuring Flux

  • [تمرین] کمی ساختار اضافه کنید [Practice] Add a bit of structure

  • فضای نام در Kubernetes Namespaces in Kubernetes

  • فضای نام در Kubernetes Namespaces in Kubernetes

  • [تمرین] ایجاد فضای نام توسعه دهنده، مرحله‌بندی و پرود [Practice] Creating dev, staging and prod namespaces

استقرار جریان هوا با DAG ها Deploying Airflow with DAGs

  • هلم چیست؟ What's Helm?

  • [تمرین] نمای کلی نمودار هلم جریان هوا [Practice] Overview of the Airflow Helm chart

  • [تمرین] راه اندازی HelmRepo [Practice] Setting up the HelmRepo

  • [تمرین] استقرار جریان هوا با Flux [Practice] Deploying Airflow with Flux

  • عیب یابی استقرار با Flux Troubleshooting deployments with Flux

  • همگام سازی DAG ها در Kubernetes Synchronizing DAGs in Kubernetes

  • [تمرین] اجرای DAG با Git-Sync [Practice] Running DAGs with Git-Sync

  • [تمرین] اضافه کردن راز در مخزن [Practice] Adding the secret in the repo

  • جلدها در Kubernetes Volumes in Kubernetes

  • مقدمه ای بر AWS EFS Introduction to AWS EFS

  • پاک کردن Clean Up

استقرار جریان هوا با DAG ها Deploying Airflow with DAGs

  • هلم چیست؟ What's Helm?

  • [تمرین] نمای کلی نمودار هلم جریان هوا [Practice] Overview of the Airflow Helm chart

  • مقیاس بندی با مجری Kubernetes Scaling with the Kubernetes Executor

  • مقیاس بندی با مجری Kubernetes Scaling with the Kubernetes Executor

  • [تمرین] نصب درایور EBS [Practice] Installing the EBS Driver

  • [تمرین] نصب درایور EBS [Practice] Installing the EBS Driver

  • [تمرین] راه اندازی HelmRepo [Practice] Setting up the HelmRepo

  • [تمرین] استقرار جریان هوا با Flux [Practice] Deploying Airflow with Flux

  • عیب یابی استقرار با Flux Troubleshooting deployments with Flux

  • همگام سازی DAG ها در Kubernetes Synchronizing DAGs in Kubernetes

  • [تمرین] واکشی DAG با Git-Sync [Practice] Fetching DAGs with Git-Sync

  • [تمرین] واکشی DAG با Git-Sync [Practice] Fetching DAGs with Git-Sync

  • [تمرین] اجرای DAG با Git-Sync [Practice] Running DAGs with Git-Sync

  • اسرار در Kubernetes Secrets in Kubernetes

  • اسرار در Kubernetes Secrets in Kubernetes

  • [تمرین] واکشی DAG با Git-Sync از یک مخزن خصوصی [Practice] Fetching DAGs with Git-Sync from a private repository

  • [تمرین] واکشی DAG با Git-Sync از یک مخزن خصوصی [Practice] Fetching DAGs with Git-Sync from a private repository

  • [تمرین] اضافه کردن راز در مخزن [Practice] Adding the secret in the repo

  • جلدها در Kubernetes Volumes in Kubernetes

  • مقدمه ای بر AWS EFS Introduction to AWS EFS

  • [تمرین] پیکربندی AWS EFS [Practice] Configuring AWS EFS

  • [تمرین] پیکربندی AWS EFS [Practice] Configuring AWS EFS

  • [تمرین] اشتراک گذاری DAG بین پادها با AWS EFS [Practice] Sharing DAGs between pods with AWS EFS

  • [تمرین] اشتراک گذاری DAG بین پادها با AWS EFS [Practice] Sharing DAGs between pods with AWS EFS

  • پاک کردن Clean Up

ساخت خطوط لوله CI/CD برای استقرار جریان هوا Building CI/CD pipelines to deploy Airflow

  • برپایی Set Up

  • AWS CodePipeline چیست؟ What is AWS CodePipeline?

  • [تمرین] واحد آزمایش DAG های شما [Practice] Unit testing your DAGs

  • [تمرین] ساخت خط لوله CI/CD در توسعه دهنده با تست های واحد [Practice] Building the CI/CD pipeline in dev with unit tests

  • [تمرین] ساخت خط لوله CI/CD در مرحله بندی با تست های یکپارچه سازی [Practice] Building the CI/CD pipeline in staging with integration tests

  • [تمرین] پاکسازی کنید [Practice] Clean up

ساخت خطوط لوله CI/CD برای استقرار جریان هوا Building CI/CD pipelines to deploy Airflow

  • برپایی Set Up

  • برپایی Set Up

  • AWS CodePipeline چیست؟ What is AWS CodePipeline?

  • [تمرین] ساخت خط لوله CI/CD با CodePipeline و ECR [Practice] Building a CI/CD pipeline with CodePipeline and ECR

  • [تمرین] ساخت خط لوله CI/CD با CodePipeline و ECR [Practice] Building a CI/CD pipeline with CodePipeline and ECR

  • [تمرین] استقرار جریان هوا در EKS با CodePipeline و Flux [Practice] Deploying Airflow in EKS with CodePipeline and Flux

  • [تمرین] استقرار جریان هوا در EKS با CodePipeline و Flux [Practice] Deploying Airflow in EKS with CodePipeline and Flux

  • تست واحد در جریان هوا Unit testing in Airflow

  • تست واحد در جریان هوا Unit testing in Airflow

  • [تمرین] واحد آزمایش DAG های شما [Practice] Unit testing your DAGs

  • [تمرین] ساخت خط لوله CI/CD در توسعه دهنده با تست های واحد [Practice] Building the CI/CD pipeline in dev with unit tests

  • [تمرین] تست های یکپارچه سازی برای آزمایش وظایف در DAG [Practice] Integration tests for testing tasks in DAGs

  • [تمرین] تست های یکپارچه سازی برای آزمایش وظایف در DAG [Practice] Integration tests for testing tasks in DAGs

  • [تمرین] ساخت خط لوله CI/CD در مرحله بندی با تست های یکپارچه سازی [Practice] Building the CI/CD pipeline in staging with integration tests

  • [تمرین] پاکسازی کنید [Practice] Clean up

افشای رابط کاربری Airflow Exposing the Airflow UI

  • معماری با بار متعادل کننده الاستیک Architecture with the Elastic Load Balancer

  • Ingress چیست؟ What is an Ingress?

  • [تمرین] افشای رابط کاربری جریان هوا با AWS ALB Ingress [Practice] Exposing the Airflow UI with AWS ALB Ingress

  • [تمرین] افشای محیط صحنه سازی با AWS ALB [Practice] Exposing the staging environment with AWS ALB

  • یادآوری سریع در مورد SSL Quick reminder about SSL

  • [تمرین] صادر کردن شی مخفی SSL [Practice] Exporting the SSL secret object

  • [تمرین] ارتقاء محیط صحنه [Practice] Upgrading the staging environment

  • [تمرین] فعال کردن DNS و SSL برای مرحله بندی [Exercise] Enabling DNS and SSL for staging

  • [تمرین] ایجاد زیر دامنه برای دسترسی به رابط های کاربری Airflow [Practice] Creating subdomains to access the UIs of Airflow

  • پاک کردن Clean Up

افشای رابط کاربری Airflow Exposing the Airflow UI

  • [تمرین] راه اندازی کنید [Practice] Set up

  • [تمرین] راه اندازی کنید [Practice] Set up

  • خدمات در Kubernetes Services in Kubernetes

  • خدمات در Kubernetes Services in Kubernetes

  • معماری با بار متعادل کننده الاستیک Architecture with the Elastic Load Balancer

  • [تمرین] افشای رابط کاربری جریان هوا با AWS Elastic Load Balancer [Practice] Exposing the Airflow UI with AWS Elastic Load Balancer

  • [تمرین] افشای رابط کاربری جریان هوا با AWS Elastic Load Balancer [Practice] Exposing the Airflow UI with AWS Elastic Load Balancer

  • Ingress چیست؟ What is an Ingress?

  • معماری با کنترلر AWS ALB Ingress Architecture with the AWS ALB Ingress controller

  • معماری با کنترلر AWS ALB Ingress Architecture with the AWS ALB Ingress controller

  • [تمرین] افشای رابط کاربری جریان هوا با AWS ALB Ingress [Practice] Exposing the Airflow UI with AWS ALB Ingress

  • [تمرین] افشای محیط صحنه سازی با AWS ALB [Practice] Exposing the staging environment with AWS ALB

  • یادآوری سریع در مورد SSL Quick reminder about SSL

  • [تمرین] ایجاد یک دامنه برای جریان هوا با ExternalDNS و AWS Route53 [Practice] Creating a Domain for Airflow with ExternalDNS and AWS Route53

  • [تمرین] ایجاد یک دامنه برای جریان هوا با ExternalDNS و AWS Route53 [Practice] Creating a Domain for Airflow with ExternalDNS and AWS Route53

  • [تمرین] فعال کردن SSL در رابط کاربری Airflow [Practice] Activating SSL on the Airflow UI

  • [تمرین] فعال کردن SSL در رابط کاربری Airflow [Practice] Activating SSL on the Airflow UI

  • [تمرین] بررسی های سلامت AWS ALB را برطرف کنید [Practice] Fix the AWS ALB's health checks

  • [تمرین] بررسی های سلامت AWS ALB را برطرف کنید [Practice] Fix the AWS ALB's health checks

  • [تمرین] صادر کردن شی مخفی SSL [Practice] Exporting the SSL secret object

  • [تمرین] ارتقاء محیط صحنه [Practice] Upgrading the staging environment

  • [تمرین] فعال کردن DNS و SSL برای مرحله بندی [Exercise] Enabling DNS and SSL for staging

  • [تمرین] ایجاد زیر دامنه برای دسترسی به رابط های کاربری Airflow [Practice] Creating subdomains to access the UIs of Airflow

  • پاک کردن Clean Up

ورود به سیستم با جریان هوا در AWS EKS Logging with Airflow in AWS EKS

  • مشکلات مجوز برای دسترسی به گزارش‌های غلاف Permission issues for accessing pod's logs

  • [تمرین] ذخیره گزارش‌ها در AWS EFS [Practice] Storing logs in AWS EFS

  • [تمرین] ثبت از راه دور با AWS S3 [Practice] Remote logging with AWS S3

  • محدودیت های ورود از راه دور در AWS S3 Limitations of remote logging in AWS S3

  • [تمرین] مدیریت ارتباطات با AWS Secret Manager [Practice] Managing connections with AWS Secret Manager

  • [ایجاد] ذخیره شی مخفی AWS Secret Manager برای Flux [Creating] Storing the secret object of AWS Secret Manager for Flux

  • پاک کردن Clean Up

ورود به سیستم با جریان هوا در AWS EKS Logging with Airflow in AWS EKS

  • برپایی Set Up

  • RBAC در Kubernetes RBAC in Kubernetes

  • RBAC در Kubernetes RBAC in Kubernetes

  • مشکلات مجوز برای دسترسی به گزارش‌های غلاف Permission issues for accessing pod's logs

  • [تمرین] ذخیره گزارش‌ها در AWS EFS [Practice] Storing logs in AWS EFS

  • [تمرین] ثبت از راه دور با AWS S3 [Practice] Remote logging with AWS S3

  • محدودیت های ورود از راه دور در AWS S3 Limitations of remote logging in AWS S3

  • ثبت از راه دور با AWS CloudWatch Remote logging with AWS CloudWatch

  • ثبت از راه دور با AWS CloudWatch Remote logging with AWS CloudWatch

  • داده های حساس با Backend های مخفی Sensitive data with Secret Backends

  • داده های حساس با Backend های مخفی Sensitive data with Secret Backends

  • [تمرین] مدیریت ارتباطات با AWS Secret Manager [Practice] Managing connections with AWS Secret Manager

  • [ایجاد] ذخیره شی مخفی AWS Secret Manager برای Flux [Creating] Storing the secret object of AWS Secret Manager for Flux

  • پاک کردن Clean Up

  • پاک کردن Clean Up

پیکربندی محیط تولید Configuring the production environment

  • برپایی Set up

  • [تمرین] جریان هوا با AWS RDS [Practice] Airflow with AWS RDS

  • سریال سازی DAG DAG Serialization

  • پاک کردن Clean Up

پیکربندی محیط تولید Configuring the production environment

  • برپایی Set up

  • [تمرین] ایجاد محیط تولید [Practice] Creating the production environment

  • [تمرین] ایجاد محیط تولید [Practice] Creating the production environment

  • شناسایی یک نقطه از شکست Identifying single point of failures

  • شناسایی یک نقطه از شکست Identifying single point of failures

  • [تمرین] در دسترس قرار دادن رابط کاربری جریان هوا [Practice] Making the Airflow UI highly available

  • [تمرین] در دسترس قرار دادن رابط کاربری جریان هوا [Practice] Making the Airflow UI highly available

  • سرویس پایگاه داده رابطه ای AWS AWS Relational Database Service

  • سرویس پایگاه داده رابطه ای AWS AWS Relational Database Service

  • [تمرین] جریان هوا با AWS RDS [Practice] Airflow with AWS RDS

  • سریال سازی DAG DAG Serialization

  • [تمرین] ساختن وب سرور بدون حالت با سریال سازی DAG [Practice] Making the web server stateless with DAG Serialization

  • [تمرین] ساختن وب سرور بدون حالت با سریال سازی DAG [Practice] Making the web server stateless with DAG Serialization

  • پاک کردن Clean Up

  • پاک کردن Clean Up

  • تبریک می گویم! Congratulations!

  • تبریک می گویم! Congratulations!

جایزه Bonus

  • [ویدئو] جریان هوا با نمودار رسمی هلم [VIDEO] Running Airflow with the Official Helm Chart

جایزه Bonus

  • سخنرانی جایزه! BONUS LECTURE!

  • سخنرانی جایزه! BONUS LECTURE!

  • [BLOG POST] PostgresOperator: همه آنچه که باید بدانید [BLOG POST] The PostgresOperator: All you need to know

  • [BLOG POST] PostgresOperator: همه آنچه که باید بدانید [BLOG POST] The PostgresOperator: All you need to know

  • [VIDEO] TriggerDagRunOperator جدید! [VIDEO] The New TriggerDagRunOperator!

  • [VIDEO] TriggerDagRunOperator جدید! [VIDEO] The New TriggerDagRunOperator!

  • [ویدئو] جریان هوا با نمودار رسمی هلم [VIDEO] Running Airflow with the Official Helm Chart

نمایش نظرات

آموزش Apache Airflow در AWS EKS: The Hands-On Guide
جزییات دوره
8 hours
96
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
3,665
3.7 از 5
ندارد
دارد
دارد
Marc Lamberti
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Marc Lamberti Marc Lamberti

کارشناس جریان هوای آپاچی، مهندس کلان داده