آموزش ETL در پایتون و SQL

سرفصل ها و درس ها

معرفی Introduction

• یک ETL در پایتون و SQL ایجاد کنید Create an ETL in Python and SQL

• ابزارهای مورد استفاده در این دوره Tools used in this course

1. ETL چیست؟ 1. What Are ETLs?

• ETL چیست و چگونه آنها را ایجاد می کنید؟ What are ETLs and how do you create them?

• کاوش داده های خود با پانداها (Python) و SQL Exploring your data with pandas (Python) and SQL

• درک داده های شما Understanding your data

• راه حل: خواندن داده ها با استفاده از پایتون Solution: Reading data using Python

• مروری بر فرآیند ETL ETL process overview

• چالش: خواندن داده ها با استفاده از پایتون Challenge: Reading data using Python

2. استخراج و تبدیل داده ها با پایتون 2. Extracting and Transforming Data with Python

• استخراج داده های شما Extracting your data

• چالش: داده ها را با استفاده از SQLAlchemy و پانداها بارگیری کنید Challenge: Load the data using SQLAlchemy and pandas

• بارگیری داده ها از منابع مختلف Loading data from different sources

• راه حل: داده ها را با استفاده از SQLAlchemy و پانداها بارگیری کنید Solution: Load the data using SQLAlchemy and pandas

• تمیز کردن، پیش پردازش داده ها و قالب بندی داده ها Cleaning, preprocessing data, and data formatting

• استانداردسازی، رسیدگی به موارد تکراری و مقادیر از دست رفته Standardization, handling duplicates, and missing values

3. بارگذاری داده ها در سیستم های هدف 3. Loading Data into Target Systems

• مقدمه ای بر انبارهای داده و دریاچه های داده Introduction to data warehouses and data lakes

• چالش: داده ها را تغییر دهید و موارد تکراری و پوچ را حذف کنید Challenge: Transform the data and remove duplicates and nulls

• راه حل: داده ها را تبدیل کنید و موارد تکراری و تهی را حذف کنید Solution: Transform the data and remove duplicates and nulls

• بررسی کیفیت داده ها و اعتبارسنجی با SQL Data quality checks and validation with SQL

• بارگذاری داده ها در پایگاه داده های رابطه ای Loading data into relational databases

4. خودکارسازی مشاغل ETL: زمان بندی مشاغل ETL با پایتون 4. Automating ETL Jobs: Scheduling ETL Jobs with Python

• برنامه ریزی مشاغل ETL با Airflow: قسمت 1 Scheduling ETL jobs with Airflow: Part 1

• پرس و جو داده های خود را با SQL Querying your data with SQL

• برنامه ریزی مشاغل ETL با Airflow: قسمت 2 Scheduling ETL jobs with Airflow: Part 2

• راه حل: داده ها را در یک پایگاه داده بارگیری کرده و خودکار کنید Solution: Load the data into a database and automate

• چالش: داده ها را در پایگاه داده بارگیری کرده و خودکار کنید Challenge: Load the data into a database and automate

نتیجه Conclusion

• دانش خود را در مورد ETLs گسترش دهید Expand your knowledge of ETLs