آموزش راهنمای عملی مهندس داده Databricks (سطح Associate) - آخرین آپدیت

سرفصل ها و درس ها

معرفی دوره Course Introduction

• معرفی دوره Course Introduction

شروع کار با Databricks Getting Started with Databricks

• معرفی بخش Section Introduction

• Databricks چیست و چرا ایجاد شده است What Is Databricks and Why It Exists

• دمو: نسخه‌های Databricks و ثبت‌نام رایگان: بررسی رابط کاربری Demonstration: Databricks Editions and Free Signup: UI Walkthrough

• دمو: بررسی داشبورد Databricks Demonstration: Exploring the Databricks Dashboard

• دمو: ایجاد اولین نوت‌بوک و وارد کردن داده‌ها Demonstration: Creating Your First Notebook and Ingesting Data

• خلاصه Summary

درک مبانی Spark Understanding Spark Fundamentals

• معرفی بخش Section Introduction

• Apache Spark و PySpark چیستند What Is Apache Spark & PySpark

• معماری Spark (درایور، اجراکننده‌ها، مفهوم کلاستر) Spark Architecture (Driver, Executors, Cluster Concept)

• Spark Session: نقطه ورود به Spark Spark Session: The Entry Point of Spark

• دمو: عملیات پایه با DataFrame Demonstration: Basic DataFrame Operations

• دمو: جابجایی بین PySpark و SQL Demonstration: Switching Between PySpark & SQL

• دمو: دستورات Magic در Databricks و Spark Session Demonstration: Magic Commands in Databricks & Spark Session

• دمو: بارگذاری و تبدیل داده‌ها با استفاده از Apache Spark DataFrames Demonstration: Load and Transform Data Using Apache Spark DataFrames

• خلاصه Summary

درک مبانی اجرای Spark Understanding Spark Execution Basics

• معرفی بخش Section Introduction

• درک طرح‌های Spark با استفاده از explain() Understanding Spark Plans with explain()

• دمو: تحلیل طرح‌های اجرای Spark با explain() Demonstration: Understanding Spark Execution Plans with explain()

• تبدیل‌ها (Transformations) در مقابل اکشن‌ها (Actions) و ارزیابی تنبل Transformations vs Actions & Lazy Evaluation

• تبدیل‌های Narrow در مقابل Wide Narrow vs Wide Transformations

• خلاصه Summary

مبانی بهینه‌سازی عملکرد Performance Basics

• معرفی بخش Section Introduction

• پارتیشن‌ها و موازی‌سازی (مفهومی) Partitions and Parallelism (Conceptual)

• مقایسه Repartition و Coalesce Repartition vs Coalesce

• دمو: Repartition در مقابل Coalesce Demonstration: Repartition vs Coalesce

• خلاصه Summary

مبانی انبار داده (Data Warehousing) Data Warehousing Fundamentals

• معرفی بخش Section Introduction

• انبار داده چیست (OLTP در مقابل OLAP) What Is a Data Warehouse (OLTP vs OLAP)

• درک انبار داده (Data Warehouse)، دریاچه داده (Data Lake) و Lakehouse Understanding Data Warehouse, Data Lake, and Lakehouse

• چرا Databricks برای بارهای کاری تحلیلی استفاده می‌شود Why Databricks Is Used for Analytics Workloads

• مفاهیم پایه انبار داده (Fact, Dimension, Star Schema - سطح بالا) Basic Warehouse Concepts (Fact, Dimension, Star Schema – High Level)

• نقش عملکرد، پارتیشن‌ها و چیدمان فایل‌ها در انبار داده How Performance, Partitions & File Layout Matter in Warehouses

• خلاصه Summary

دیلتای لیک (Delta Lake) و مدیریت داده‌ها Delta Lake & Data Management

• معرفی بخش Section Introduction

• معرفی پروژه: مورد استفاده تجاری Project Introduction: Business Use Case

• Delta Lake چیست و چرا اهمیت دارد What Is Delta Lake and Why It Matters

• درک تراکنش‌های ACID و سفر در زمان (Time Travel) Understanding ACID Transactions & Time Travel

• جداول Managed در مقابل External Managed vs External Tables

• دمو: آماده‌سازی مجموعه داده Demonstration: Dataset Preparation

• دمو: یکپارچه‌سازی داده‌های خارجی با S3 و انواع جداول Demonstration: End-to-End External Data Integration with S3 and Type of Tables

• دمو: تراکنش‌های ACID و سفر در زمان در Delta Lake Demonstration: Delta Lake ACID Transactions and Time Travel

• معماری مدالیون (برنزی-نقره‌ای-طلایی) Medallion Architecture (Bronze–Silver–Gold)

• دمو: بررسی جامع معماری مدالیون Demonstration: End-to-End Medallion Architecture Walkthrough

• خلاصه Summary

حاکمیت، BI و خط لوله‌های داده Governance, BI & Pipelines

• معرفی بخش Section Introduction

• معرفی Unity Catalog (چرا حاکمیت داده مهم است) Introduction to Unity Catalog (Why Governance Matters)

• دمو: حاکمیت داده در فضای کاری Databricks Demonstration: Data Governance in Databricks Workspace

• درک داده‌ها و جریان ساده پردازش داده Data Understanding & Simple Data Processing Flow

• دمو: ایجاد جریان داده ساده با Delta Live Tables Demonstration: Simple End-to-End Data Flow Using Delta Live Tables

• دمو: درک تنظیمات خط لوله Delta Live Tables Demonstration: Understanding Delta Live Tables Pipeline Settings

• دمو: کسب بینش با Genie و داشبوردهای BI Demonstration: Getting Insights with Genie & BI Dashboards

• خلاصه Summary

سازماندهی (Orchestration) در Databricks Orchestration in Databricks

• معرفی بخش Section Introduction

• دمو: اتصال GitHub به Databricks Demonstration: Connecting GitHub with Databricks

• معرفی سازماندهی (Orchestration) در Databricks Introduction to Orchestration in Databricks

• دمو: ایجاد و زمان‌بندی Jobهای Databricks Demonstration: Creating & Scheduling Databricks Jobs

• خلاصه Summary

پروژه نهایی Capstone Project

• بررسی نهایی پروژه Final Project Walkthrough

• دمو: پروژه نهایی - بخش اول Demonstration: Capstone Project Part-1

• دمو: پروژه نهایی - بخش دوم Demonstration: Capstone Project Part-2

• دمو: پروژه نهایی - بخش سوم Demonstration: Capstone Project Part-3

جمع‌بندی Conclusion

• جمع‌بندی دوره Course Conclusion