آموزش مبانی مهندسی داده: ساخت سیستم‌های داده مدرن - آخرین آپدیت

سرفصل ها و درس ها

مقدمه‌ای بر مهندسی داده Introduction to Data Engineering

• مهندسی داده چیست؟ What is Data Engineering?

• مروری بر اکوسیستم داده Data Ecosystem Overview

• مروری بر ابزارها و فناوری‌های کلیدی Key Tools & Technologies Overview

• آزمون بخش اول – مقدمه‌ای بر مهندسی داده Section 1 Quiz – Introduction to Data Engineering

• بخش اول: آزمایشگاه عملی Section 1 : Hands on Lab

پایگاه‌های داده و ذخیره‌سازی داده‌ها Databases & Data Storage

• پایگاه‌های داده رابطه‌ای (RDBMS) Relational Databases (RDBMS)

• پایگاه‌های داده NoSQL NoSQL Databases

• مدل‌سازی داده و طراحی شمای داده Data Modeling & Schema Design

• آزمون بخش دوم – پایگاه‌های داده و سیستم‌های ذخیره‌سازی Section 2 Quiz – Databases & Storage Systems

• بخش دوم: آزمایشگاه عملی Section 2 : Hands on Lab

جذب داده و فرآیندهای ETL/ELT Data Ingestion & ETL/ELT Processes

• روش‌های جذب داده Data Ingestion Methods

• مفاهیم ETL (استخراج، تبدیل، بارگذاری) ETL (Extract, Transform, Load) Concepts

• رویکرد ELT (استخراج، بارگذاری، تبدیل) ELT (Extract, Load, Transform) Approach

• آزمایشگاه عملی: ساخت خط لوله ETL و ELT Hands-On Lab: Building an ETL and ELT Pipeline

• آزمون بخش سوم – جذب داده و فرآیندهای ETL/ELT Section 3 Quiz – Data Ingestion & ETL/ELT Processes

چارچوب‌های پردازش داده Data Processing Frameworks

• چارچوب‌های پردازش دسته‌ای (Batch Processing) Batch Processing Frameworks

• پردازش داده‌ها در لحظه (Real-time) Real-Time Data Processing

• آزمون بخش چهارم – چارچوب‌های پردازش داده Section 4 Quiz – Data Processing Frameworks

• بخش چهارم: آزمایشگاه عملی Section 4 : Hands on Lab

انبار داده و دریاچه‌های داده Data Warehousing & Data Lakes

• مفاهیم انبار داده (Data Warehousing) Data Warehousing Concepts

• دریاچه‌های داده و Lakehouseها Data Lakes & Lakehouses

• الگوهای یکپارچه‌سازی داده‌ها Data Integration Patterns

• آزمون بخش پنجم – ذخیره‌سازی و یکپارچه‌سازی داده‌ها Section 5 Quiz – Data Storage & Integration

• بخش پنجم: آزمایشگاه عملی Section 5 : Hands on Lab

پلتفرم‌های ابری برای مهندسی داده Cloud Platforms for Data Engineering

• استفاده از AWS برای مهندسی داده AWS for Data Engineering

• ابزارهای مهندسی داده Azure Azure Data Engineering Tools

• مهندسی داده در Google Cloud Google Cloud Data Engineering

• آزمون بخش ششم – پلتفرم‌های ابری برای مهندسی داده Section 6 Quiz – Cloud Platforms for Data Engineering

• بخش ششم: آزمایشگاه عملی Section 6 : Hands on Lab

ارکستراسیون و اتوماسیون خط لوله داده Data Pipeline Orchestration & Automation

• مبانی ارکستراسیون جریان کاری Workflow Orchestration Basics

• آپاچی ایرفلو (Apache Airflow) Apache Airflow

• جایگزین‌های موجود Alternatives

• ارکستراسیون خط لوله داده با Apache Airflow Orchestrating a Data Pipeline with Apache Airflow

• آزمون بخش هفتم – ارکستراسیون و اتوماسیون خط لوله داده Section 7 Quiz – Data Pipeline Orchestration & Automation

کیفیت، حاکمیت و امنیت داده‌ها Data Quality, Governance, and Security

• مدیریت کیفیت داده‌ها Data Quality Management

• حاکمیت داده (Data Governance) Data Governance

• امنیت داده‌ها Data Security

• آزمایشگاه عملی: کیفیت، حاکمیت و امنیت داده Hands-On Lab: Data Quality, Governance, and Security

بهترین متدهای مهندسی داده و بهینه‌سازی Data Engineering Best Practices & Optimization

• طراحی خطوط لوله مقیاس‌پذیر Designing Scalable Pipelines

• بهینه‌سازی عملکرد (Performance Tuning) Performance Tuning

• مانیتورینگ و لاگ‌گیری Monitoring & Logging