آموزش تسلط بر مهندسی داده با Databricks | Spark ETL و Delta Lake - آخرین آپدیت

سرفصل ها و درس ها

مقدمه و راه‌اندازی Introduction & Setup

• مرور کلی دوره و مسیر یادگیری Course Overview & Learning Path

• منابع پروژه دوره Course Project Resources

• بررسی دقیق راهنمای آزمون Exam Guide Breakdown

• Databricks چیست و چرا مهندسی داده؟ What is Databricks & Why Data Engineering?

• ایجاد محیط رایگان Databricks Creating Your Free Databricks Environment

• پیمایش در رابط کاربری Databricks Navigating the Databricks User Interface

اجزای سازنده Databricks Databricks Building Blocks

• نحوه یکپارچگی Databricks – درس اول How Databricks Fits Together – Lesson 1

• نحوه یکپارچگی Databricks – درس دوم How Databricks Fits Together – Lesson 2

• مدیریت فایل‌ها و Notebookها در Databricks File and Notebook Management in Databricks

• گزینه‌های پردازشی Databricks – درس اول Databricks Compute Options – Lesson 1

• گزینه‌های پردازشی Databricks – درس دوم Databricks Compute Options – Lesson 2

• تنظیمات کلاستر Databricks: راهنمای تئوری و آمادگی آزمون Databricks Cluster Settings: Theoretical Guide and Certification Preparation

• دفترچه دیجیتال و آزمایشگاه شما در Databricks – درس اول Databricks Your Digital Notebook and Laboratory – Lesson 1

• دفترچه دیجیتال و آزمایشگاه شما در Databricks – درس دوم Databricks Your Digital Notebook and Laboratory – Lesson 2

• دفترچه دیجیتال و آزمایشگاه شما در Databricks – درس سوم Databricks Your Digital Notebook and Laboratory – Lesson 3

• دستورات ضروری Notebook در Databricks Essential Notebook Commands in Databricks

• میان‌برهای هوشمند در Databricks Smart Shortcuts in Databricks

مبانی معماری Lakehouse Lakehouse Architecture Fundamentals

• Lakehouse چیست؟ – پلتفرم داده یکپارچه What is Lakehouse? – The Unified Data Platform

• درک لایه‌های Medallion (برنزی، نقره‌ای، طلایی) Understanding the Medallion Layers (Bronze, Silver, Gold)

• تراکنش‌های ACID و لاگ‌های تراکنش ACID Transactions & Transaction Logs

حاکمیت داده و Unity Catalog Data Governance & Unity Catalog

• از DBFS تا Unity Catalog: تکامل حاکمیت داده From DBFS to Unity Catalog: The Evolution of Data Governance

• درک لایه‌های Unity Catalog Understanding Unity Catalog Layers

• جداول Managed در مقابل External در Unity Catalog Managed vs External Tables in Unity Catalog

• ایجاد یک Unity Catalog Creating a Unity Catalog

• ایجاد جداول Managed – درس اول Creating Managed Tables – Lesson 1

• ایجاد جداول Managed – درس دوم Creating Managed Tables – Lesson 2

• ایجاد Volumeها – درس اول Creating Volumes – Lesson 1

• ایجاد Volumeها – درس دوم Creating Volumes – Lesson 2

شروع کار با ETL و Apache Spark Getting Started with ETL Apache Spark

• شروع کار با ETL و Apache Spark Getting Started with ETL and Apache Spark

• درک مدل داده‌ای Understanding the Data Model

مهندسی داده با Apache Spark – لایه برنزی Data Engineering with Apache Spark – Bronze Layer

• اولین گام‌های ETL (استخراج) با Apache Spark – درس اول Your First ETL Steps (Extract) with Apache Spark – Lesson 1

• اولین گام‌های ETL (استخراج) با Apache Spark – درس دوم Your First ETL Steps (Extract) with Apache Spark – Lesson 2

• اولین گام‌های ETL (استخراج) با Apache Spark – درس سوم Your First ETL Steps (Extract) with Apache Spark – Lesson 3

• کاوش در تمام DataFrameهای برنزی با PySpark Exploring All Bronze DataFrames with PySpark

• جداول خارجی: استفاده از داده‌های خارجی بدون وارد کردن به Databricks External Tables: Using External Data Without Bringing It into Databricks

• شناسایی کلیدهای تکراری در لایه برنزی Detecting Duplicate Keys in the Bronze Layer

• تحلیل مقادیر گم‌شده در لایه برنزی Missing Value Profiling in the Bronze Layer

• بررسی‌های نهایی قبل از انتقال به لایه نقره‌ای – درس اول Final Checks Before Moving to Silver Layer – Lesson 1

• بررسی‌های نهایی قبل از انتقال به لایه نقره‌ای – درس دوم Final Checks Before Moving to Silver Layer – Lesson 2

مهندسی داده با Apache Spark – لایه نقره‌ای Data Engineering with Apache Spark – Silver Layer

• پاک‌سازی و نرمال‌سازی جدول مشتریان – درس اول Cleaning and Normalizing Customers Table – Lesson 1

• پاک‌سازی و نرمال‌سازی جدول مشتریان – درس دوم Cleaning and Normalizing Customers Table – Lesson 2

• فروشندگان Olist: تبدیل برنزی به نقره‌ای – درس اول Olist Sellers: Transforming Bronze to Silver – Lesson 1

• فروشندگان Olist: تبدیل برنزی به نقره‌ای – درس دوم Olist Sellers: Transforming Bronze to Silver – Lesson 2

• پاک‌سازی و غنی‌سازی جدول محصولات – درس اول Cleaning and Enriching the Products Table – Lesson 1

• پاک‌سازی و غنی‌سازی جدول محصولات – درس دوم Cleaning and Enriching the Products Table – Lesson 2

• پاک‌سازی و غنی‌سازی جدول محصولات – درس سوم Cleaning and Enriching the Products Table – Lesson 3

• پاک‌سازی و غنی‌سازی جدول محصولات – درس چهارم Cleaning and Enriching the Products Table – Lesson 4

• پاک‌سازی و غنی‌سازی جدول محصولات – درس پنجم Cleaning and Enriching the Products Table – Lesson 5

• مدیریت زمان، کیفیت و داده‌های گم‌شده در جدول سفارشات – درس اول Time, Quality, and Missing Data Management in Orders Table – Lesson 1

• مدیریت زمان، کیفیت و داده‌های گم‌شده در جدول سفارشات – درس دوم Time, Quality, and Missing Data Management in Orders Table – Lesson 2

• مدیریت زمان، کیفیت و داده‌های گم‌شده در جدول سفارشات – درس سوم Time, Quality, and Missing Data Management in Orders Table – Lesson 3

• مدیریت زمان، کیفیت و داده‌های گم‌شده در جدول سفارشات – درس چهارم Time, Quality, and Missing Data Management in Orders Table – Lesson 4

• مدیریت زمان، کیفیت و داده‌های گم‌شده در جدول سفارشات – درس پنجم Time, Quality, and Missing Data Management in Orders Table – Lesson 5

• تبدیل داده‌های Order_Items و بررسی کیفیت – درس اول Order_Items Data Transformation and Quality Checks – Lesson 1

• تبدیل داده‌های Order_Items و بررسی کیفیت – درس دوم Order_Items Data Transformation and Quality Checks – Lesson 2

• تبدیل داده‌های Order_Items و بررسی کیفیت – درس سوم Order_Items Data Transformation and Quality Checks – Lesson 3

• اعتبارسنجی و تبدیل داده‌های پرداخت‌ها – درس اول Payments Data Validation and Transformation – Lesson 1

• اعتبارسنجی و تبدیل داده‌های پرداخت‌ها – درس دوم Payments Data Validation and Transformation – Lesson 2

• اعتبارسنجی و تبدیل داده‌های پرداخت‌ها – درس سوم Payments Data Validation and Transformation – Lesson 3

• اعتبارسنجی و تبدیل داده‌های پرداخت‌ها – درس چهارم Payments Data Validation and Transformation – Lesson 4

• ساخت نسخه نقره‌ای از order_reviews – درس اول Building the Silver Version of order_reviews – Lesson 1

• ساخت نسخه نقره‌ای از order_reviews – درس دوم Building the Silver Version of order_reviews – Lesson 2

• ساخت نسخه نقره‌ای از order_reviews – درس سوم Building the Silver Version of order_reviews – Lesson 3

• پاک‌سازی داده‌های جغرافیایی و حذف تکرارها – درس اول Geolocation Data Cleaning and Deduplication – Lesson 1

• پاک‌سازی داده‌های جغرافیایی و حذف تکرارها – درس دوم Geolocation Data Cleaning and Deduplication – Lesson 2

• پاک‌سازی داده‌های جغرافیایی و حذف تکرارها – درس سوم Geolocation Data Cleaning and Deduplication – Lesson 3

• پاک‌سازی داده‌های جغرافیایی و حذف تکرارها – درس چهارم Geolocation Data Cleaning and Deduplication – Lesson 4

• جداول مرجع پاک در لایه نقره‌ای Clean Reference Tables in the Silver Layer

مهندسی داده با Apache Spark – لایه طلایی Data Engineering with Apache Spark – Gold Layer

• تحلیل توزیع مشتریان – درس اول Customer Distribution Analysis – Lesson 1

• تحلیل توزیع مشتریان – درس دوم Customer Distribution Analysis – Lesson 2

• معیارهای فروشندگان و بصری‌سازی پارتو – درس اول Seller Metrics and Pareto Visualization – Lesson 1

• معیارهای فروشندگان و بصری‌سازی پارتو – درس دوم Seller Metrics and Pareto Visualization – Lesson 2

• تحلیل دسته‌بندی محصولات بر اساس وزن، حجم و تراکم – درس اول Analyzing Product Categories by Weight, Volume and Density – Lesson 1

• تحلیل دسته‌بندی محصولات بر اساس وزن، حجم و تراکم – درس دوم Analyzing Product Categories by Weight, Volume and Density – Lesson 2

• تحلیل دسته‌بندی محصولات بر اساس وزن، حجم و تراکم – درس سوم Analyzing Product Categories by Weight, Volume and Density – Lesson 3

• لایه طلایی – هر جدول داستانی را روایت می‌کند Gold Layer – Each Table Tells Its Own Story

• تحلیل یکپارچه سفارشات در لایه طلایی – درس اول Unified Order Gold Analytics – Lesson 1

• تحلیل یکپارچه سفارشات در لایه طلایی – درس دوم Unified Order Gold Analytics – Lesson 2

• تحلیل یکپارچه سفارشات در لایه طلایی – درس سوم Unified Order Gold Analytics – Lesson 3

• تحلیل یکپارچه سفارشات در لایه طلایی – درس چهارم Unified Order Gold Analytics – Lesson 4

• تحلیل یکپارچه سفارشات در لایه طلایی – درس پنجم Unified Order Gold Analytics – Lesson 5

• طراحی Joinهای تحلیلی در لایه طلایی Designing Analytical Joins in the Gold Layer

بخش تکمیلی Extra

• جمع‌بندی: تسلط بر مهندسی داده با Databricks | Spark ETL و Delta Lake Databricks | Spark ETL & Delta Lake Data Engineering Mastery