آموزش ETL و خط لوله‌های داده با Shell، Airflow و Kafka - آخرین آپدیت

تکنیک‌های پردازش داده‌ها Data Processing Techniques

• ویدئوی معرفی دوره Course Intro video

• مبانی ETL ETL Fundamentals

• اصول ELT ELT Basics

• مقایسه ETL و ELT Comparing ETL and ELT

• تکنیک‌های استخراج داده Data Extraction Techniques

• مقدمه‌ای بر تکنیک‌های تبدیل داده Introduction to Data Transformation Techniques

• تکنیک‌های بارگذاری داده Data Loading Techniques

ETL و خط لوله‌های داده: ابزارها و تکنیک‌ها ETL & Data Pipelines: Tools and Techniques

• اجرای ETL با استفاده از Shell Scripting ETL Using Shell Scripting

• مقدمه‌ای بر خط لوله‌های داده Introduction to Data Pipelines

• فرآیندهای کلیدی خط لوله داده Key Data Pipeline Processes

• موارد استفاده از خط لوله‌های داده Batch در مقابل Streaming Batch versus Streaming Data Pipeline Use Cases

• ابزارها و تکنولوژی‌های خط لوله داده Data Pipeline Tools and Technologies

ساخت خط لوله‌های داده با استفاده از Airflow Building Data Pipelines using Airflow

• مروری بر Apache Airflow Apache Airflow Overview

• مزایای نمایش خط لوله‌های داده به صورت DAG در Airflow Advantages of Representing Data Pipelines as DAGs in Apache Airflow

• رابط کاربری Apache Airflow Apache Airflow UI

• ساخت یک DAG با استفاده از Airflow Build a DAG Using Airflow

• مانیتورینگ و لاگ‌گیری در Airflow Airflow Logging and Monitoring

ساخت خط لوله‌های استریمینگ با استفاده از Kafka Building Streaming Pipelines using Kafka

• اجزای پلتفرم توزیع‌شده استریمینگ رویدادها Distributed Event Streaming Platform Components

• مروری بر Apache Kafka Apache Kafka Overview

• ساخت خط لوله‌های استریمینگ رویداد با Kafka Building Event Streaming Pipelines using Kafka

• فرآیند استریمینگ در Kafka Kafka Streaming Process

پروژه نهایی Final Assignment