آموزش اتوماسیون و پیاده‌سازی پروژه در Azure Databricks - آخرین آپدیت

ویژگی‌های پروژه و اتوماسیون Databricks Databricks Project and Automation Features

• در این بخش چه خواهید آموخت What will you learn in this section

• کار با Databricks Repos Working with Databricks Repos

• کار با Databricks Workflows Working with Databricks Workflows

• کار با Databricks Rest API Working with Databricks Rest API

• کار با Databricks CLI Working with Databricks CLI

پروژه نهایی (Capstone) Capstone Project

• محدوده و پیش‌زمینه پروژه Project Scope and Background

• استخراج نیازمندی‌های عملیاتی Taking out the operational requirement

• طراحی ذخیره‌سازی Storage Design

• پیاده‌سازی امنیت داده‌ها Implement Data Security

• پیاده‌سازی سیاست‌های منابع Implement Resource Policies

• جداسازی ورود داده‌ها Decouple Data Ingestion

• طراحی لایه برنزی (Bronze) Design Bronze Layer

• طراحی لایه‌های نقره‌ای و طلایی Design Silver and Gold Layer

• راه‌اندازی محیط شما Setup your environment

• ایجاد فضای کاری (Workspace) Create a workspace

• ایجاد لایه ذخیره‌سازی Create and Storage Layer

• راه‌اندازی Unity Catalog Setup Unity Catalog

• ایجاد کاتالوگ متادیتا و مکان‌های خارجی Create Metadata Catalog and External Locations

• راه‌اندازی کنترل نسخه Setup your source control

• شروع کدنویسی Start Coding

• تست کدها Test your code

• بارگذاری داده‌های تاریخی Load historical data

• ورود داده‌ها به لایه برنزی Ingest into bronze layer

• پردازش لایه نقره‌ای Process the silver layer

• مدیریت به‌روزرسانی‌های متعدد Handling multiple updates

• پیاده‌سازی لایه طلایی Implementing Gold Layer

• ایجاد اسکریپت اجرا Creating a run script

• آماده‌سازی برای تست یکپارچگی Preparing for Integration testing

• ایجاد تولیدکننده داده‌های تست Creating Test Data Producer

• ایجاد تست یکپارچگی برای حالت دسته‌ای (Batch) Creating Integration Test for Batch mode

• ایجاد تست یکپارچگی برای حالت جریانی (Stream) Creating Integration Test for Stream mode

• پیاده‌سازی خط لوله CI/CD Implementing CI CD Pipeline

• توسعه خط لوله Build Develop Build Pipeline

• توسعه خط لوله Release Develop Release Pipeline

• ایجاد اسکریپت Databricks CLI Creating Databricks CLI Script

سخن پایانی Final Word

• تبریکات Congratulations