آموزش بوت کمپ مهندسی داده 2025 - آخرین آپدیت

سرفصل ها و درس ها

مقدمه ای بر ماژول مهندسی داده: شغل مهندسی داده Intro to Data Engineering Module: Data Engineering Career

• معرفی دوره Course Introduction

• مهندس داده کیست؟ What Is a Data Engineer?

• چرخه حیات مهندسی داده Data Engineering Lifecycle

• مشاغل مشابه با مهندسی داده Similar Careers to Data Engineering

• مدل های سرویس مهندسی داده Data Engineering Service Models

• راهنمای سطح بندی مهندس داده Data Engineer Leveling Guide

• مهارت های فنی یک مهندس داده Technical Skills of a Data Engineer

• آزمون Quiz

مقدمه ای بر ماژول مهندسی داده: معماری داده Intro to Data Engineering Module: Data Architecture

• معماری داده چیست؟ What Is Data Architecture?

• نمونه ای از معماری داده A Sample Data Architecture

• دریاچه های داده، باتلاق ها، انبارها و مارت ها Data Lakes, Swamps, Warehouses, and Marts

• پشته داده مدرن Modern Data Stack

• اتصال به داده Connecting to Data

• معماری داده خوب Good Data Architecture

مقدمه ای بر ماژول مهندسی داده: هماهنگ سازی داده Intro to Data Engineering Module: Data Orchestration

• خطوط لوله داده و هماهنگ سازی داده Data Pipelines and Data Orchestration

• Apache Airflow Apache Airflow

مقدمه ای بر ماژول مهندسی داده: پایگاه داده های رابطه ای Intro to Data Engineering Module: Relational Databases

• مروری بر پایگاه داده های رابطه ای Relational Database Overview

• سازماندهی پایگاه داده های رابطه ای Organizing Relational Databases

• انواع پایگاه داده های رابطه ای Relational Database Types

• تعامل با پایگاه داده های رابطه ای: SQL Interacting with Relational Databases: SQL

• پایگاه داده های رابطه ای Relational Databases

مقدمه ای بر ماژول مهندسی داده: پایگاه داده های غیر رابطه ای Intro to Data Engineering Module: Non-relational Databases

• ویژگی های ACID ACID Properties

• پایگاه داده های سند گرا Document Databases

• پایگاه داده های کلید-مقدار Key-Value Database

• ذخیره سازی شی گرا Object Storage

• پایگاه داده های ستونی Columnar Database

• پایگاه داده های گراف Graph Database

• سوالات پایگاه داده No-SQL No-SQL Database Questions

مقدمه ای بر ماژول مهندسی داده: مهندسی نرم افزار Intro to Data Engineering Module: Software Engineering

• مقیاس پذیری افقی در مقابل مقیاس پذیری عمودی Horizontal Scaling vs Vertical Scaling

• پایتون Python

• API ها APIs

• اسکریپت نویسی شل Shell Scripting

• Cron Cron

• کنترل نسخه - Git - Mercurial Version Control - Git - Mercurial

• تست Testing

• Docker و Containerization Docker and Containerization

• مدیریت زیرساخت Infrastructure Management

مقدمه ای بر ماژول مهندسی داده: مهندس داده کلان Intro to Data Engineering Module: Big Data Engineer

• داده کلان چیست؟ What is Big Data?

• Hadoop Hadoop

• Spark Spark

• Kafka Kafka

مقدمه ای بر ماژول مهندسی داده: مدلسازی داده Intro to Data Engineering Module: Data Modeling

• مدل داده فیزیکی منطقی Logical Physical Data Model

• نمودارهای رابطه موجودیت Entity Relationship Diagrams

• نرمال سازی Normalization

• انبار داده Kimball و Inmon Kimball and Inmon Data Warehousing

مقدمه ای بر ماژول مهندسی داده: امنیت و حریم خصوصی Intro to Data Engineering Module: Security and Privacy

• غیر اختیاری بودن امنیت و حریم خصوصی The Non-optionality of Security and Privacy

• PII PII

• اصل کمترین امتیاز Principle of Least Privilege

SQL پیشرفته: تنظیم محیط Advanced SQL: Setting Up the Environment

• معرفی دوره Introduction to the Course

• مخزن GitHub دوره Course GitHub Repository

• تنظیم محیط Setting Up the Environment

• مروری بر پایگاه داده های رابطه ای An Overview of Relational Databases

• DDL، DML، DQL، DCL DDL, DML, DQL, DCL

• نحو SQL SQL Syntax

SQL پیشرفته: دستکاری پایگاه داده ها: تسلط بر دستورات ضروری SQL Advanced SQL: Manipulating Databases: Mastering Essential SQL Statements

• معرفی دستورات SQL Intro SQL statements

• CREATE CREATE

• ALTER ALTER

• INSERT INSERT

• UPDATE UPDATE

• DELETE DELETE

• MERGE MERGE

• DROP DROP

SQL پیشرفته: زمان همه چیز است: مدیریت و دستکاری DateTime در SQL Advanced SQL: Timing Is Everything: Managing and Manipulating DateTime in SQL

• معرفی DateTime DateTime Intro

• انواع مختلف DateTime Different DateTime Types

• مناطق زمانی Timezones

• فواصل Intervals

SQL پیشرفته: انواع داده پیچیده: ENUM، ARRAY، Ranges، و داده های تو در تو در SQL Advanced SQL: Complex Data Types: ENUMs, ARRAYs, Ranges, and Nested Data in SQL

• ENUM ENUM

• ARRAYs ARRAYs

• RANGE RANGE

• داده های تو در تو Nested Data

SQL پیشرفته: تکنیک های پرس و جو پیشرفته: کاوش OVER، JOINS، CASE و موارد دیگر Advanced SQL: Advanced Query Techniques: Exploring OVER, JOINS, CASE and more

• OVER OVER

• CROSS JOIN CROSS JOIN

• LATERAL JOIN LATERAL JOIN

• CROSS JOIN LATERAL CROSS JOIN LATERAL

• COALESCE COALESCE

• CASE CASE

• CONCAT CONCAT

• Recursive CTE Recursive CTE

• Recursive CTE - قسمت دوم Recursive CTE - Second Part

SQL پیشرفته: بهینه سازی ساختارهای داده: هنر نرمال سازی داده Advanced SQL: Optimizing Data Structures: The Art of Data Normalization

• نرمال سازی داده (1/3) Data Normatlization (1/3)

• نرمال سازی داده (2/3) Data Normatlization (2/3)

• نرمال سازی داده (3/3) Data Normatlization (3/3)

• STAR Schema Snowflake STAR Schema Snowflake

SQL پیشرفته: تسلط بر رویه های ذخیره شده، جداول موقت Advanced SQL: Mastering Stored Procedures, Temporary Tables

• رویه های ذخیره شده و UDF (1/3) Stored Procedures and UDFs (1/3)

• رویه های ذخیره شده و UDF (2/3) Stored Procedures and UDFs (2/3)

• رویه های ذخیره شده و UDF (3/3) Stored Procedures and UDFs (3/3)

• جدول موقت Temp Table

• نمای Materialized Materialized View

• تراکنش ها Transactions

• ساختارهای SQL SQL Structures

SQL پیشرفته: وظایف عملی Advanced SQL: Practical Tasks

• سوال 1 Question 1

• سوال 2 Question 2

• سوال 3 Question 3

• سوال 4 Question 4

ساخت خطوط لوله داده با Apache Airflow: درک خطوط لوله داده Building Data Pipelines with Apache Airflow: Understanding Data Pipelines

• معرفی خطوط لوله داده Introduction to Data Pipelines

• معماری خط لوله داده Data Pipeline Architecture

• ETL در مقابل ELT ETL vs. ELT

• طراحی خط لوله داده Designing a Data Pipeline

ساخت خطوط لوله داده با Apache Airflow: تمرین با Apache Airflow Building Data Pipelines with Apache Airflow: Hands-on with Apache Airflow

• معرفی Apache Airflow Introduction to Apache Airflow

• نصب Apache Airflow Installation of Apache Airflow

• رابط کاربری Airflow Airflow UI

• DAG ها و وظایف DAGs and Tasks

• معماری Airflow Airflow Architecture

• اپراتورهای Airflow Airflow Operators

• Hook های Airflow Airflow Hooks

• معرفی BashOperator Introduction to the BashOperator

• معرفی PythonOperator Introduction to the PythonOperator

• ساخت یک خط لوله End-to-end Building an End-to-end Pipeline

مفاهیم پیشرفته خط لوله داده Advanced Data Pipeline Concepts

• مفاهیم پیشرفته خط لوله داده Advanced Data Pipeline Concepts

• شکست خط لوله Pipeline Failure

• تضمین قابلیت اطمینان خط لوله داده Ensuring Data Pipeline Reliability

• Backfilling خطوط لوله Backfilling Pipelines

• Change Data Capture Change Data Capture

ساخت خطوط لوله در Cloud Building Pipelines In the Cloud

• ساخت خطوط لوله در Cloud Building Pipelines In the Cloud

• امنیت در Cloud Security in the cloud

• مدیریت هزینه در Cloud Cost management in the cloud

• مدیریت قطعی در Cloud Managing outages in the cloud