آموزش CI/CD با بسته‌های دارایی Databricks (DAB) - آخرین آپدیت

سرفصل ها و درس ها

Introduction and Core Concepts

• نمای کلی دوره Course Overview

• با من در ارتباط باشید... Connect with me...

• Databricks Asset Bundles چیست؟ What are Databricks Asset Bundles?

• CI/CD چیست؟ What is CI/CD?

• گردش کار توسعه و CI/CD برای این دوره Development and CI/CD Workflow for this Course

• منابع دوره Course Resources

راه‌اندازی محیط Environment Set Up

• راه‌اندازی محیط کاری (Workspace) Azure Databricks Azure Databricks Workspace Set Up

• VS Code VS Code

• VS Code: آموزش VS Code: Tutorial

• نصب محلی جاوا (Java) Local Java Installation

• نصب محلی پایتون (Python) Local Python Installation

• Databricks CLI Databricks CLI

Databricks CLI Databricks CLI

• پیکربندی محیط کاری Databricks CLI Databricks CLI Workspace Configuration

• Databricks CLI Databricks CLI

• نمایش Databricks CLI Databricks CLI Demo

شروع به کار با Databricks Asset Bundles Getting Started with Databricks Asset Bundles

• راه‌اندازی اولیه پروژه Bundle ما Initialising our Bundle Project

• اعتبارسنجی و استقرار Bundle Validating and Deploying the Bundle

• استقرار Bundle در اهداف مختلف Deploying the Bundle to Different Targets

• نمایش کار ساده Workflow و حالت‌های استقرار Simple Workflow Job Demo and Deployment Modes

• ماژولار کردن فایل‌های پیکربندی شما Modularising your Configuration Files

• حذف (Destroy) یک Bundle Destroying a Bundle

• چگونه Databricks وضعیت استقرار‌های شما را ردیابی می‌کند How Databricks Tracks the State of your Deployments

راه‌اندازی برای توسعه محلی Set Up for Local Development

• ایجاد کلاستر محاسباتی Databricks برای توسعه Creating Databricks Compute Cluster for Development

• یکپارچه‌سازی VS Code با محاسبات Databricks Integrating VS Code with Databricks Compute

• محیط‌های مجازی پایتون (Python) Python Virtual Environments

• نصب Databricks Connect Installing Databricks Connect

• ایجاد یک DatabricksSession برای اجرای اسکریپت‌ها در ترمینال Creating a DatabricksSession to Run Scripts on the Terminal

• VS Code: مفسر پایتون انتخاب‌شده در مقابل محیط مجازی فعال VS Code: Selected Python Interpreter vs Active Virtual Environment

• حذف (Exclude) venv محلی شما از Git و استقرارها Exclude your local venv from Git & deployments

راه‌اندازی پروژه Citibike Citibike Project Set Up

• نمای کلی پروژه دوره Course Project Overview

• راه‌اندازی محیط کاری (ایجاد کاتالوگ‌ها، Schemas و Volumes دوره) Workspace Set Up (Creating Course Catalogs, Schemas and Volumes)

وظایف Notebook و متغیرها با DAB Notebook Tasks and Variables with DAB

• ساختار Codebase Codebase Structure

• بررسی Notebook Bronze Bronze Notebook Walkthrough

• بررسی Notebook Silver Silver Notebook Walkthrough

• بررسی Notebook Gold Gold Notebook Walkthrough

• وارد کردن ماژول‌های محلی در Databricks Local Module Imports in Databricks

• پیکربندی Job و استقرار Dev Job Configuration and Dev Deployment

• پیکربندی، استقرار و اجرای Job ETL Configuring, Deploying and Running the ETL Job

• متغیرهای عادی با بازنویسی دستی Regular Variables with Manual Override

• متغیرهای عادی با بازنویسی هدف Regular Variables with Target Override

• متغیرهای پیچیده Complex Variables

• متغیرهای Lookup (+ مستندات برای متغیرها) Lookup Variables (+ Documentation for Variables)

وظایف اسکریپت پایتون با DAB Python Script Tasks with DAB

• مدیریت پارامترها با وظایف اسکریپت پایتون Handling Parameters with Python Script Tasks

• بررسی کد بازسازی‌شده (Refactored) Walkthrough of Refactored Code

توزیع کد قابل استفاده مجدد شما به عنوان یک Wheel Distributing your Reusable Code as a Wheel

• ایجاد یک پایتون Wheel (.whl) Creating a Python Wheel (.whl)

• نصب Wheel بر روی یک کلاستر Databricks Installing the Wheel on a Databricks Cluster

• نصب پکیج‌های Wheel در Jobهای Databricks شما Installing Wheel Packages in Your Databricks Jobs

• وظیفه Python Wheel Python Wheel Task

پایپ‌لاین‌های Delta Live Table با DAB Delta Live Table Pipelines with DAB

• Notebookهای منبع پایپ‌لاین DLT DLT Pipeline Source Notebooks

• پیکربندی پایپ‌لاین DLT Configuring the DLT Pipeline

Databricks Asset Bundles - خلاصه‌ای از رویکرد پیکربندی YAML Databricks Asset Bundles - Summary of YAML Configuration Approach

• خلاصه‌ای از رویکرد پیکربندی YAML Summary of YAML Configuration Approach

توسعه SparkSession محلی و تست واحد (Unit Testing) Local SparkSession Development and Unit Testing

• SparkSession محلی Local SparkSession

• مقدمه‌ای بر تست واحد (Unit Testing) با Pytest Introduction to Unit Testing with Pytest

• افزودن تست‌های واحد به پروژه ما Adding Unit Tests to our Project

• اجرای تست‌های واحد در Databricks Connect Running Unit Tests on Databricks Connect

• متمرکز کردن Pytest Fixtures با conftest.py Centralising Pytest Fixtures with conftest.py

• گزارش‌های Coverage Coverage Reports

• نظرات پایانی Closing Comments

گردش کار CI/CD سرتاسری با DAB و GitHub End to End CI/CD Workflows with DAB and GitHub

• الزامات Git و GitHub Git and GitHub Requirements

• مبانی GitHub (اختیاری) GitHub Basics (Optional)

• نمایش گردش کار GitHub (اختیاری) GitHub Workflow Demo (Optional)

• ایجاد یک ریپو پروژه Databricks جدید از ابتدا در GitHub (اختیاری) Creating a New Databricks Project Repo from Scratch on GitHub (Optional)

• افزودن وابستگی‌های محیطی ما در فایل‌های متنی Requirements Adding our Environment Dependencies in Requirements Text Files

• انتشار پروژه DAB موجود ما در یک ریپو GitHub Publishing our Existing DAB Project to a GitHub Repo

• جذب و آشنایی توسعه‌دهنده جدید New Developer Onboarding

• مقدمه‌ای بر GitHub Actions Introduction to GitHub Actions

• نمای کلی فرآیند CI/CD CI/CD Process Overview

• پیاده‌سازی گردش کار CI (بخش ۱) Implementing the CI Workflow (Part 1)

• پیاده‌سازی گردش کار CI (بخش ۲) Implementing the CI Workflow (Part 2)

• Azure Service Principal Azure Service Principal

• راه‌اندازی Service Principal برای استقرار تست Service Principal Set Up for Test Deployment

• راه‌اندازی Service Principal برای استقرار Prod Service Principal Set Up for Prod Deployment

• راه‌اندازی محیط‌های GitHub GitHub Environments Set Up

• پیاده‌سازی گردش کار CD Implementing the CD Workflow

• بررسی سرتاسری End to End Walkthrough

تبریک Congratulations

• عالی بود—شما دوره را تکمیل کردید! Well done—you’ve completed the course!