آموزش دوره جامع مهندسی داده Azure: ساخت راهکارهای مقیاس‌پذیر - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• خوش‌آمدگویی به دوره Welcome to the course

• منابع دوره Course Resources

• مقدمه ماژول Introduction to the Module

• مهندسی داده چیست What is Data Engineering

• چرخه حیات داده Data Lifecycle

• پایگاه داده‌ها، خط لوله‌ها و پلتفرم‌های ابری Databases, Pipelines and Cloud Platforms

• داده‌های دسته‌ای (Batch) در مقابل استریمینگ Batch vs. Streaming Data

مبانی مهندسی داده (پیش‌نیازها) Data Engineering Basics (PRE-REQUISITES )

• مقدمه Introduction

• ETL چیست What is ETL

• ابزارهای ETL ETL Tools

• انبار داده (Data Warehouse) چیست What is Data Warehouse

• مزایای انبار داده Benefits of Data Warehouse

• ساختار انبار داده Data Warehouse Structure

• چرا به Staging نیاز داریم Why do we need Staging

• دیتا مارت‌ها (Data Marts) چیستند What are Data Marts

• دریاچه داده (Data Lake) Data Lake

• مقایسه دریاچه داده و انبار داده Datalake vs Data Warehouse

• عناصر دریاچه داده Elements of Datalake

اسپارک کور (Spark Core) Spark Core

• مقدمه Introduction

• مخاطبان هدف Target Audience

• آشنایی با اسپارک Spark Introduction

• ادامه آشنایی با اسپارک Spark Introduction Continued

• چرا آپاچی اسپارک Why Apache Spark

• ویژگی‌های اسپارک Spark Features

• مقدمه‌ای بر Big Data Big Data Introduction

• ادامه مبحث Big Data Big Data continued

• مقایسه‌های Big Data Big Data V's

• قابلیت‌های Big Data Big Data Capabilities

• ذخیره‌سازی Big Data Big Data Storage

• چالش‌های Big Data Big Data Problems

• راهکارهای حل مشکلات Big Data Big Data Solutions to the problems

• مثال آمازون در مورد Big Data Amazon example on big data

• ادامه مثال آمازون در مورد Big Data Amazon example on big data continued

• خط لوله ETL ETL pipeline

• ETL و جایگاه اسپارک در آن ETL and how spark Fits in

• در دسترس بودن Apache Spark Apache Spark Availability

• مستندات رسمی اسپارک Spark official documentation

• پشته هادوپ (Hadoop Stack) Hadoop Stack

• مقایسه ابزارها Tools comparison

• معماری اسپارک Spark Architecture

• تفاوت اسپارک با MapReduce Spark MR difference

• اسپارک کور (Spark Core) Spark Core

• اسپارک کور و DAGها Spark Core - DAG's

• کدهای اسپارک و متغیرهای مشترک Spark code - Shared Variables

• ادامه متغیرهای مشترک اسپارک Spark code - Shared Variables continued

• اشیاء داده‌ای اسپارک (RDD) RDD - Spark data objects

• تبدیل‌ها و اکشن‌ها در RDD Transformation & Action - RDD

• گراف جهت‌دار بدون دور (DAG) Directed Acyclic Graph

• ادامه مبحث DAG Directed Acyclic Graph continued

• اجرای اپلیکیشن اسپارک Spark Application Execution

• ادامه اجرای اپلیکیشن اسپارک Spark application execution continued

• پیکربندی‌های اسپارک Spark configurations

• عملیات پیکربندی اسپارک Spark Configurations - Operations

• کانتکست و سشن‌های اسپارک Spark Configurations - Spark context and sessions

• نسخه‌های اسپارک Spark Configurations - Spark Versions

• تمرین در Google Colab Google Colab - Practice

• مثال‌های اسپارک در نوت‌بوک Colab Spark Examples - Notebook on Colab

• پیکربندی مثال‌های اسپارک Spark Example configurations

• مثال‌های RDD و متد parallelize RDD examples - parallelize method

• مثال‌های RDD و تبدیل‌های اسپارک RDD examples - Spark Transformations

• مثال‌های RDD و تبدیل Union RDD examples - Spark Transformations - Union

• تمرین Cloudera در VM سریع Quick Start VM - cloudera Practice

• راه‌اندازی کلاستر Cluster Setup

• ذخیره‌سازی در راه‌اندازی کلاستر Cluster setup - Storage

• منابع کلاستر Cluster Resources

• حالت‌های اجرای اپلیکیشن در کلاستر Cluster - Application Execution Modes

• معماری کلاستر Cluster Architecture

• تامین‌کنندگان VM سریع Quick Start VM - Vendors

• اسپارک شل (Spark Shell) Spark Shell

• نصب و پیکربندی اسپارک Spark Installation and configs

• اسپارک شل Scala و ابزارها Spark shell Scala, tools

• مثال شمارش کلمات در اسپارک Word Count example spark

• جریان کاری مثال شمارش کلمات Word Count Example flow

• اجرای مثال شمارش کلمات Word Count example execution

• خروجی اپلیکیشن اسپارک Output - Spark Application

• تحلیل خروجی Analysis on output

• رابط کاربری اسپارک (UI) Spark User Interface

• Persist و Unpersist Persist and Unpersist

• متغیرهای مشترک: Broadcast Shared Variables - Broadcast

• متغیرهای مشترک: Accumulator Shared Variables - Accumulator

• جمع‌بندی اسپارک کور Spark Core Closure

اسپارک اس‌کیوال (Spark SQL) Spark SQL

• مقدمه Introduction

• ویژگی‌های Spark SQL Spark SQL Features

• موارد استفاده از Spark SQL Spark SQL Use Cases

• بهینه‌ساز Catalyst در Spark SQL Spark SQL Catalyst

• ادامه مبحث Catalyst Spark SQL Catalyst cont

• اتصال Spark SQL به HIVE Spark SQL HIVE

• استفاده از Pandas DataFrame در Spark SQL Spark SQL Pandas df

• کدهای Spark SQL Spark SQL Code

• مستندات رسمی Spark SQL Spark SQL Official Documentation

• دیتاست‌های Spark SQL Spark SQL Dataset

• سشن اسپارک در Spark SQL Spark SQL Spark Session

• ساخت DataFrame در Spark SQL Spark SQL create df

• عملیات روی DataFrame در Spark SQL Spark SQL df operations

• ادامه عملیات Spark SQL Spark SQL operations continued

• مثال ساده SQL در اسپارک Spark SQL simple sql ex

• ادامه مثال Spark SQL بخش ۱ Spark SQL example continued part 1

• ادامه مثال Spark SQL بخش ۲ Spark SQL example continued part 2

• ادامه مثال Spark SQL بخش ۳ Spark SQL example continued part 3

• جداول موقت (Temp Table) در Spark SQL Spark SQL temp table

• اجرای Spark SQL روی کلاستر Spark SQL on cluster

• استفاده از HIVE در اسپارک ۱ Spark SQL HIVE 1

• استفاده از HIVE در اسپارک ۲ Spark SQL HIVE 2

• داده‌های فیلم در Spark SQL Spark SQL - Movies Data

• بارگذاری داده‌های رتبه‌بندی Spark SQL - Load ratings data

• محبوب‌ترین فیلم‌ها در Spark SQL Spark SQL - Most Popular Movies

• فیلم‌های دارای بالاترین رتبه Spark SQL - Top Rated Movies

• فیلم‌های Marmite در Spark SQL Spark SQL - Marmite Movies

• عملیات SQL در اسپارک Spark SQL - SQL Operations

• راه‌اندازی پروژه Spark SQL Spark SQL Project Setup

• اجرای کلاستر Spark SQL Spark SQL Cluster Launch

• جمع‌بندی Spark SQL Spark SQL Closure

اسپارک استریمینگ (Spark Streaming) Spark Streaming

• مقدمه Introduction

• درک داده‌های بلادرنگ در Spark Streaming Spark Streaming - Understanding real time data

• میکرو-بچ‌ها در اسپارک Spark Streaming - Micro batches

• معماری Spark Streaming Spark Streaming Architecture

• ساختار داخلی Spark Streaming Spark Streaming Internals

• مثال منبع Netcat در اسپارک Spark Streaming Netcat source example

• اپلیکیشن Spark Streaming Spark Streaming Application

• ساختار Structured Streaming Spark Streaming Structured

• معماری کد Structured Streaming Spark Streaming Structured code architecture

• مقدمه‌ای بر Spark Streaming در Databricks Spark Streaming Databricks Introduction

• مثال Structured Streaming ۱ Spark Streaming Structured example

• مثال Structured Streaming ۲ Spark Streaming Structured example 2

• مثال Structured Streaming ۳ Spark Streaming Structured example 3

• مثال کلاستر در اسپارک استریمینگ ۱ Spark Streaming - Cluster example

• مثال کلاستر در اسپارک استریمینگ ۲ Spark Streaming - Cluster example 2

• جمع‌بندی Spark Streaming Spark Streaming Closure

پایتون برای مهندسی داده: مفاهیم محوری و کاربردها Python for Data Engineering: Core Concepts and Applications

• مقدمه‌ای بر پایتون Introduction to Python

• متغیرها و کلمات کلیدی Variables and Keywords

• انواع داده‌ها و عملگرها Datatypes and Operators

• ساختار داده: لیست‌ها Data Structure - Lists

• ساختار داده: تاپل‌ها Data Structure - Tuples

• ساختار داده: دیکشنری‌ها Data Structure - Dictionary

• ساختار داده: مجموعه‌ها (Sets) Data Structure - Set

• توابع در پایتون Functions in Python

• توابع Map، Reduce و Filter Map, Reduce and Filter

• حلقه‌ها و تکرارها Loops and Iterations

• مدیریت فایل در پایتون File Handling in Python

• ساختارهای کنترلی Control Structures

• مفاهیم شی‌گرایی (OOP) در پایتون OOPs Concept in Python

• کتابخانه NumPy NumPy Library

• کتابخانه Pandas Pandas Library

• تجسم داده‌ها Data Visualization

• کتابخانه Matplotlib Matplotlib Library

• کتابخانه Seaborn Seaborn Library

اس‌کیوال پایه و پیشرفته SQL Basic and Advanced

• مقدمه Introduction

• نصب MySQL Workbench Installation of MySQL Workbench

• معماری داده: سرور فایل در مقابل کلاینت-سرور Data Architecture - File Server vs Client Server

• مقدمه‌ای بر زبان پرس‌وجوی ساختاریافته (SQL) Introduction to Structured Query Language (SQL)

• محدودیت‌ها (Constraints) در SQL Constraints in SQL

• مبانی جدول: DDLها Table Basics - DDLs

• مبانی جدول: DQLها Table Basics - DQLs

• مبانی جدول: DMLها Table Basics - DMLs

• اتصال‌ها (Joins) در SQL Joins in SQL

• وارد کردن و صادر کردن داده‌ها Data Import and Export

• توابع تجمیعی (Aggregation) Aggregation Functions

• توابع رشته‌ای String Functions

• توابع تاریخ و زمان Datetime Functions

• عبارات منظم (Regular Expressions) Regular Expressions

• پرس‌وجوهای تو در تو (Nested Queries) Nested Queries

• ویوها (Views) در SQL Views in SQL

• روال‌های ذخیره‌شده (Stored Procedures) Stored Procedures

• توابع پنجره‌ای (Window Functions) Windows Function

• اتصال پایتون به SQL SQL-Python Connectivity

اصول مهندسی داده Data Engineering Fundamentals

• مقدمه Introduction

• مبانی مهندسی داده DE Fundamentals

• مقایسه ETL و ELT ETL vs ELT

• سیستم‌های Big Data Big Data Systems

• ذخیره‌سازی و پردازش داده Data storage and processing

• اکوسیستم‌های Big Data Big Data ecosystems

• فرمت‌های فایل و Git File formats and git

• مفهوم CI/CD CI/CD

ابر Azure Azure Cloud

• مقدمه Introduction

• پیش‌نیازها Pre-Requisites

• رایانش ابری (Cloud Computing) Cloud Computing

• اشتراک Azure، گروه‌های منابع (RG) و ARM Azure Sub, RG and ARM

• سرویس‌های ذخیره‌سازی Azure Azure Storage Services

• یکپارچه‌سازی داده با Azure Data Factory Data Integration using Azure Data Factory

• پردازش داده با Spark/Databricks Data Processing using Spark/Databricks

• پردازش دسته‌ای در مقابل بلادرنگ Batch vs Real Time Processing

• امنیت Security

• مانیتورینگ Monitoring

هایو (Hive) Hive

• مقدمه Intro

• هایو (Hive) و تکامل آن Hive and Evolution

• معماری هایو Hive Architecture

• متا-دیتا و جداول در هایو Hive Meta and Tables

• انواع داده‌ها و ابزارهای هایو Hive Data types and Tools

دوره کامل Databricks با PySpark Complete Databricks with PySpark

• مقدمه Introduction

• پیش‌نیازها Pre-Requisites

• دیتا بریکس (Databricks) چیست What is Databricks

• مهندسی داده با Apache Spark Data Engineering with Apache Spark

• دریاچه دلتا (Delta Lake) و Lakehouse داده Delta Lake & Data Lakehouse

• ورود داده‌ها (Data Ingestion) Data Ingestion

• ارکستراسیون داده‌ها Data Orchestration

• تنظیم عملکرد و بهینه‌سازی Performance Tuning and Optimization

• امنیت و حاکمیت داده Security and Governance

• تمرینات عملی Databricks ۱ Databricks Pracaticals #1

• آزمایشگاه Databricks: نوت‌بوک ۱ Databricks Lab - Notebook 1

• آزمایشگاه Databricks: نوت‌بوک ۲ Databricks Lab - Notebook 2

• آزمایشگاه خط لوله‌ها (Pipelines) Pipelines Lab

• آزمایشگاه SQL SQL Lab

• آزمایشگاه Repos و استریمینگ Repos & Streaming Lab

آزمایشگاه‌های ابر Azure Azure Cloud Labs

• راه‌اندازی ابر Azure Azure Cloud Setup

• نمای کلی ADF ADF Overview

• نمای کلی Azure Databricks ۱ Azure Databricks Overview - 1

• نمای کلی Azure Databricks ۲ Azure Databricks Overview - 2

• یکپارچه‌سازی داده با ADF Data Integration - ADF

• پردازش داده با Azure Databricks Data Processing - Azure Databricks

کارهای روزمره یک مهندس داده Day to Day Work of a Data Engineer

• کارهای روزمره یک مهندس داده Day to Day Work of a Data Engineer

پروژه‌ها Projects

• مقدمه Introduction

• خط لوله ADF ADF Pipeline

• پروژه Databricks Project - Databricks

• پروژه CI/CD ۱ Project - CI/CD #1

• پروژه CI/CD ۲ Project - CI/CD #2