آموزش بوت‌کمپ مهندسی داده (Data Engineering) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• محتوای دوره Course Content

• اطلاعات دوره Course Information

• فایل‌های منبع Source Files

آشنایی با مهندسی داده Introduction to Data Engineering

• مشکل داده‌ها! The Data Problem!

• تعریف مهندسی داده: ETL در مقابل ELT Data Engineering Definition - ETL Vs ELT

• اکوسیستم مهندسی داده Data Engineering Ecosystem

• چرا مهندسی داده اهمیت دارد؟ Why Data Engineering Matters?

• مهندسی داده در مقابل سایر نقش‌ها Data Engineering Vs Other Roles

• اهمیت مهندسی داده: مثال‌های واقعی Importance of Data Engineering-Real World Example

نصب‌های مورد نیاز Required Installations

• نصب Git Git Installation

• مخزن GitHub و VSCode GitHub Repo & VSCode

• محیط مجازی و پکیج‌های پایتون Virtual Environ and Python Packages

• نصب Docker Desktop Docker Desktop Installation

معرفی پروژه عملی Hands-On Project Introduction

• مقدمه Introduction

• درک داده‌ها Understanding the Data

• حساب کاربری AWS AWS Account

• اعتبارسنجی AWS AWS Credentials

• ساخت AWS S3 Bucket AWS S3 Bucket

• اتصال و تست AWS AWS Connection and Test

پروژه عملی: ورود داده‌ها (Data Ingestion) Hands-On Project - Data Ingestion

• ورود داده‌ها: اتصال ابری Data Ingestion - Cloud Connection

• ورود داده‌ها: تعریف مسیر داده Data Ingestion - Define the Data Path

• ورود داده‌ها: دریافت لیست فایل‌های داده Data Ingestion - Get the List of Data Files

• ورود داده‌ها: آپلود داده‌ها Data Ingestion - Upload Data

• ورود داده‌ها: تایید نهایی Data Ingestion - Verification

• ورود داده‌ها: اجرا، عیب‌یابی و ارزیابی Data Ingestion - Execution, Debugging, Evaluation

پروژه عملی: توسعه خط لوله ETL Hands-On Project - ETL Pipeline Development

• مقدمه Introduction

• خط لوله ETL: ساختار ETL Pipeline - Structure

• خط لوله ETL: تابع استخراج (Extracting) ETL Pipeline - Extracting Function

• خط لوله ETL: بخش تبدیل (Transforming) قسمت اول ETL Pipeline - Transforming Part1

• خط لوله ETL: بخش تبدیل قسمت دوم ETL Pipeline - Transforming Part2

• خط لوله ETL: بخش تبدیل قسمت سوم ETL Pipeline - Transforming Part3

• خط لوله ETL: بخش تبدیل قسمت چهارم ETL Pipeline - Transforming Part4

• خط لوله ETL: معیارهای تجاری قسمت اول ETL Pipeline - Business Metrics Part1

• تمرین: معیار عملکرد محصول Exercise - Product Performance Metric

• پاسخ تمرین Exercise Solution

• تمرین: معیار درآمد فروش Exercise - Sales Revenue Metric

• پاسخ تمرین Exercise Solution

• خط لوله ETL: بارگذاری در S3 قسمت اول ETL Pipeline - Loading to S3 Part1

• خط لوله ETL: بارگذاری در S3 قسمت دوم ETL Pipeline - Loading to S3 Part2

• خط لوله ETL: اجرای نهایی ETL Pipeline - Final Execution

پروژه عملی: مدیریت گردش کار (Orchestration) Hands-On Project - Orchestration

• مقدمه Introduction

• جریان (Flow): مثال ساده Flow - Simple Example

• وظیفه (Task): مثال ساده Task - Simple Example

• استقرار (Deployment): مثال ساده Deployment - Simple Example

• استخر کاری (Work Pool): مثال ساده Work Pool - Simple Example

• مدیریت گردش کار: پروژه عملی قسمت اول Orchestration - Hands-On Project Part1

• مدیریت گردش کار: پروژه عملی قسمت دوم Orchestration - Hands-On Project Part2

پروژه عملی: کانتینرسازی Hands-On Project - Containerization

• مقدمه‌ای بر کانتینرسازی Introduction to Containerization

• فایل Dockerfile و Docker Compose Docker File and Docker Compose

• ساخت ایمیج و اجرا Image Creation and Execution