پروژه مهندسی داده در دنیای واقعی با Databricks

مقدمه Introduction

• شروع پروژه: مهندسی داده با Databricks Project kickoff: Data engineering with Databricks

• آنچه شما باید بدانید What you should know

1. Databricks جزئیات پروژه در دنیای واقعی 1. Databricks Real-World Project Details

• مطالعه موردی Databricks: بررسی اجمالی Databricks case study: Overview

• نمودار معماری پروژه Databricks Databricks project architecture diagram

• Data Lakehouse: راه حل سطح بالا Data lakehouse: High-level solution

2. راه اندازی پروژه Databricks 2. Databricks Project Setup

• ایجاد حساب Databricks Databricks account creation

• ایجاد پوشه اولیه Initial folder creation

• در حال بارگیری داده های نمونه Loading the sample data

3. اجرای لایه برنزی Databricks 3. Databricks Bronze Layer Implementation

• یک دفترچه یادداشت Databricks برای بارگذاری یک فایل JSON در جدول دلتای محصول ایجاد کنید Create a Databricks notebook to load a JSON file to the product delta table

• پایگاه داده لایه برنز را ایجاد کنید Create the Bronze layer database

• یک دفترچه یادداشت Databricks ایجاد کنید تا یک فایل CSV را در جدول دلتا مشتری بارگیری کنید Create a Databricks notebook to load a CSV file to the customer delta table

• یک دفترچه Databricks ایجاد کنید تا فایل Parquet را در جدول دلتای سفارش بارگذاری کنید Create a Databricks notebook to load a Parquet file to the order delta table

4. اجرای لایه نقره ای Databricks 4. Databricks Silver Layer Implementation

• یک دفترچه Databricks برای بارگذاری لایه نقره ای ایجاد کنید: جدول دلتا را مرتب کنید Create a Databricks notebook to load the Silver layer: Order delta table

• یک دفترچه یادداشت Databricks برای بارگذاری لایه Silver: جدول دلتای محصول ایجاد کنید Create a Databricks notebook to load the Silver layer: Product delta table

• پایگاه داده لایه نقره ای را ایجاد کنید Create the Silver layer database

• یک دفترچه یادداشت Databricks برای بارگذاری لایه Silver: جدول دلتا مشتری ایجاد کنید Create a Databricks notebook to load the Silver layer: Customer delta table

5. اجرای لایه طلایی Databricks 5. Databricks Gold Layer Implementation

• یک دفترچه یادداشت Databricks برای بارگذاری جدول طلایی ایجاد کنید: قسمت 2 Create a Databricks notebook to load the Gold table: Part 2

• یک دفترچه Databricks برای بارگذاری جدول طلایی ایجاد کنید: قسمت 1 Create a Databricks notebook to load the Gold table: Part 1

• پایگاه داده لایه طلا را ایجاد کنید Create the Gold layer database

6. Databricks و Power BI Data Visualization 6. Databricks and Power BI Data Visualization

• Power BI Desktop را نصب کنید Install Power BI Desktop

• Databricks و Power BI را ادغام کنید Integrate Databricks and Power BI

• داشبورد Power BI را از Databricks ایجاد کنید Create the Power BI dashboard from Databricks

نتیجه گیری Conclusion

• مراحل بعدی Next steps