آموزش راهنمای عملی مدرک Associate مهندسی داده Databricks [ویدئویی] - آخرین آپدیت

سرفصل ها و درس ها

معرفی دوره Course Introduction

• معرفی دوره Course Introduction

شروع کار با Databricks Getting Started with Databricks

• معرفی بخش Section Introduction

• Databricks چیست و چرا ایجاد شده است What Is Databricks and Why It Exists

• دمو: نسخه‌های Databricks و ثبت‌نام رایگان: بررسی رابط کاربری Demonstration: Databricks Editions and Free Signup: UI Walkthrough

• دمو: بررسی داشبورد Databricks Demonstration: Exploring the Databricks Dashboard

• دمو: ایجاد اولین نوت‌بوک و وارد کردن داده‌ها Demonstration: Creating Your First Notebook and Ingesting Data

• خلاصه Summary

درک مبانی Spark Understanding Spark Fundamentals

• معرفی بخش Section Introduction

• Apache Spark و PySpark چیستند What Is Apache Spark & PySpark

• معماری Spark (درایور، اجراکننده‌ها، مفهوم کلاستر) Spark Architecture (Driver, Executors, Cluster Concept)

• Spark Session: نقطه ورود به Spark Spark Session: The Entry Point of Spark

• دمو: عملیات پایه DataFrame Demonstration: Basic DataFrame Operations

• دمو: جابجایی بین PySpark و SQL Demonstration: Switching Between PySpark & SQL

• دمو: دستورات Magic در Databricks و Spark Session Demonstration: Magic Commands in Databricks & Spark Session

• دمو: بارگذاری و تبدیل داده‌ها با استفاده از Apache Spark DataFrames Demonstration: Load and Transform Data Using Apache Spark DataFrames

• خلاصه Summary

درک مبانی اجرای Spark Understanding Spark Execution Basics

• معرفی بخش Section Introduction

• درک برنامه‌های Spark با استفاده از explain() Understanding Spark Plans with explain()

• دمو: درک برنامه‌های اجرای Spark با explain() Demonstration: Understanding Spark Execution Plans with explain()

• تبدیل‌ها در مقابل اکشن‌ها و ارزیابی تنبل (Lazy Evaluation) Transformations vs Actions & Lazy Evaluation

• تبدیل‌های Narrow در مقابل Wide Narrow vs Wide Transformations

• خلاصه Summary

مبانی بهینه‌سازی عملکرد Performance Basics

• معرفی بخش Section Introduction

• پارتیشن‌ها و موازی‌سازی (مفهومی) Partitions and Parallelism (Conceptual)

• تفاوت Repartition و Coalesce Repartition vs Coalesce

• دمو: Repartition در مقابل Coalesce Demonstration: Repartition vs Coalesce

• خلاصه Summary

مبانی انبار داده (Data Warehousing) Data Warehousing Fundamentals

• معرفی بخش Section Introduction

• انبار داده چیست (OLTP در مقابل OLAP) What Is a Data Warehouse (OLTP vs OLAP)

• درک انبار داده (Data Warehouse)، دریاچه داده (Data Lake) و Lakehouse Understanding Data Warehouse, Data Lake, and Lakehouse

• چرا از Databricks برای بارهای کاری تحلیلی استفاده می‌شود Why Databricks Is Used for Analytics Workloads

• مفاهیم پایه انبار داده (Fact، Dimension، Star Schema - سطح بالا) Basic Warehouse Concepts (Fact, Dimension, Star Schema – High Level)

• تاثیر عملکرد، پارتیشن‌ها و چیدمان فایل‌ها در انبار داده How Performance, Partitions & File Layout Matter in Warehouses

• خلاصه Summary

Delta Lake و مدیریت داده‌ها Delta Lake & Data Management

• معرفی بخش Section Introduction

• معرفی پروژه: مورد استفاده تجاری Project Introduction: Business Use Case

• Delta Lake چیست و چرا اهمیت دارد What Is Delta Lake and Why It Matters

• درک تراکنش‌های ACID و قابلیت سفر در زمان (Time Travel) Understanding ACID Transactions & Time Travel

• جداول مدیریت شده (Managed) در مقابل جداول خارجی (External) Managed vs External Tables

• دمو: آماده‌سازی مجموعه داده Demonstration: Dataset Preparation

• دمو: یکپارچگی کامل داده‌های خارجی با S3 و انواع جداول Demonstration: End-to-End External Data Integration with S3 and Type of Tables

• دمو: تراکنش‌های ACID و سفر در زمان در Delta Lake Demonstration: Delta Lake ACID Transactions and Time Travel

• معماری مدالین (برنزی-نقره‌ای-طلایی) Medallion Architecture (Bronze–Silver–Gold)

• دمو: بررسی کامل معماری مدالین از ابتدا تا انتها Demonstration: End-to-End Medallion Architecture Walkthrough

• خلاصه Summary

حاکمیت، BI و خط لوله‌های داده Governance, BI & Pipelines

• معرفی بخش Section Introduction

• معرفی Unity Catalog (چرا حاکمیت داده مهم است) Introduction to Unity Catalog (Why Governance Matters)

• دمو: حاکمیت داده در فضای کاری Databricks Demonstration: Data Governance in Databricks Workspace

• درک داده‌ها و جریان ساده پردازش داده Data Understanding & Simple Data Processing Flow

• دمو: جریان داده ساده و کامل با استفاده از Delta Live Tables Demonstration: Simple End-to-End Data Flow Using Delta Live Tables

• دمو: درک تنظیمات خط لوله Delta Live Tables Demonstration: Understanding Delta Live Tables Pipeline Settings

• دمو: کسب بینش با Genie و داشبوردهای BI Demonstration: Getting Insights with Genie & BI Dashboards

• خلاصه Summary

ارکستراسیون در Databricks Orchestration in Databricks

• معرفی بخش Section Introduction

• دمو: اتصال GitHub به Databricks Demonstration: Connecting GitHub with Databricks

• معرفی ارکستراسیون در Databricks Introduction to Orchestration in Databricks

• دمو: ایجاد و زمان‌بندی جاب‌های (Jobs) Databricks Demonstration: Creating & Scheduling Databricks Jobs

• خلاصه Summary

پروژه نهایی Capstone Project

• بررسی نهایی پروژه Final Project Walkthrough

• دمو: پروژه نهایی بخش اول Demonstration: Capstone Project Part-1

• دمو: پروژه نهایی بخش دوم Demonstration: Capstone Project Part-2

• دمو: پروژه نهایی بخش سوم Demonstration: Capstone Project Part-3

جمع‌بندی Conclusion

• جمع‌بندی دوره Course Conclusion