پروژه مهندسی داده های جهانی واقعی با Snowflake

مقدمه Introduction

• شروع پروژه: دریاچه داده تا برف ریزه Project kickoff: Data lake to Snowflake

• آنچه شما باید بدانید What you should know

1. جزئیات پروژه دنیای واقعی دانه برف 1. Snowflake Real-World Project Details

• دریاچه داده به Snowflake: راه حل سطح بالا Data lake to Snowflake: High-level solution

• نمودار معماری پروژه دانه برف Snowflake project architecture diagram

• مطالعه موردی پروژه دنیای واقعی دانه برف: بررسی اجمالی Snowflake real-world project case study: Overview

2. Snowflake Project Setup 2. Snowflake Project Setup

• ایجاد حافظه خارجی در Snowflake Create external storage in Snowflake

• ایجاد حساب ADLS ADLS account creation

• ایجاد حساب کاربری Snowflake Snowflake account creation

• بارگیری داده های نمونه در ADLS Loading the sample data in ADLS

3. اجرای لایه برنز دانه برف 3. Snowflake Bronze Layer Implementation

• فرمت فایل JSON را در Snowflake ایجاد کنید تا داده های فایل JSON بارگیری شود Create the JSON file format in Snowflake to load JSON file data

• فرمت فایل Parquet را در Snowflake ایجاد کنید تا اطلاعات فایل پارکت بارگیری شود Create the Parquet file format in Snowflake to load Parquet file data

• فرمت فایل CSV را در Snowflake ایجاد کنید تا داده های فایل CSV بارگیری شود Create the CSV file format in Snowflake to load CSV file data

• یک کار Snowflake ایجاد کنید تا داده های سفارش را در جدول خام بارگیری کنید Create a Snowflake task to load order data into the raw table

• یک کار Snowflake ایجاد کنید تا داده های محصول را در جدول خام بارگیری کنید Create a Snowflake task to load product data into the raw table

• برای بارگیری داده‌های مشتری در جدول خام، یک کار Snowflake ایجاد کنید Create a Snowflake task to load customer data into the raw table

• پایگاه داده را در Snowflake و طرح لایه برنز ایجاد کنید Create the database in Snowflake and the Bronze layer schema

4. اجرای لایه نقره ای برف ریزه 4. Snowflake Silver Layer Implementation

• برای ثبت تغییرات جدول سفارش، جریان را در Snowflake ایجاد کنید Create the stream in Snowflake to capture Order table changes

• وظیفه ادغام تغییرات ترتیب در لایه Silver را ایجاد کنید Create the task to merge order changes in the Silver layer

• طرحواره لایه نقره ای را در پایگاه داده ایجاد کنید Create the Silver layer schema in the database

• وظیفه ادغام تغییرات محصول را در لایه نقره ای ایجاد کنید Create the task to merge product changes in the Silver layer

• برای ثبت تغییرات جدول محصول، جریان را در Snowflake ایجاد کنید Create the stream in Snowflake to capture Product table changes

• وظیفه ادغام تغییرات مشتری در لایه نقره ای را ایجاد کنید Create the task to merge customer changes in the Silver layer

• برای ثبت تغییرات جدول مشتری، جریان را در Snowflake ایجاد کنید Create the stream in Snowflake to capture Customer table changes

5. اجرای لایه طلای برف 5. Snowflake Gold Layer Implementation

• طرح لایه طلایی را در پایگاه داده ایجاد کنید Create the Gold layer schema in the database

• جدول نمایشی لایه طلا را ایجاد کنید Create the Gold layer demo table

• نمای 1 را در لایه طلایی ایجاد کنید Create View 1 in the Gold layer

• View 2 را در لایه Gold ایجاد کنید Create View 2 in the Gold layer

نتیجه گیری Conclusion

• مراحل بعدی Next steps