آموزش Snowflake - راهنمای عملی پروژه داده پایان به پایان

سرفصل ها و درس ها

مقدمه - پروژه مهندسی داده پایان به پایان دانه های برف Introduction - Snowflake End To End Data Engineering Project

• مقدمه - پروژه داده E2E Introduction - E2E Data Project

• پیش نیاز فنی Technical Pre-requisite

• ساختار دوره Course Structure

• مورد استفاده مهندسی داده Data Engineering Use Case

• منابع - نمودار معماری، اسکریپت های SQL، کد پارک برفی و فایل های داده Resources - Architecture Diagram, SQL Scripts, Snowpark Code & Data Files

پروژه داده های دانه برف - طراحی و معماری Snowflake Data Project - Design & Architecture

• بیان مشکل و تجزیه و تحلیل منبع داده Problem Statement & Data Source Analysis

• چرا باید معماری لایه ای طراحی کرد؟ Why To Design Layered Architecture

• طراحی جدول و ویژگی های آن Table Design & Its Attributes

• طراحی میز واقعیت و ابعاد Fact & Dimension Table Design

Building End to End Data Pipeline - Snowflake Building End To End Data Pipeline - Snowflake

• Dabase، Schema و Warehoues ایجاد کنید Create Dabase, Schema & Warehoues

• بارگذاری فایل های داده در محل استیج Load Data Files To Stage Location

• صاف کردن و دوتایی زدایی (پاکسازی) Flatten & De-Duplication (Cleansing)

• انتقال داده ها (ردیف به ستون) Transpose The Data (Rows To Columns)

• طراحی و پیاده سازی رویکرد جدول گسترده Design & Implement Wide Table Approach

• طراحی و پیاده سازی جداول واقعیت + ابعاد Design & Implement Fact + Dimensiont Tables

• داده های اضافی را بارگیری کنید و جریان داده را مشاهده کنید Load Additional Data & Observe Data Flow

• جدول اطلاعات جمع آوری شده (طراحی و اجرا) Aggregated Fact Table (Design & Implementation)

• جدول اطلاعات جمع آوری شده در سطح روز Day Level Aggregated Fact Table

• بارگذاری و اعتبارسنجی داده های بزرگ خط لوله Large Data Loading & Validate Data Pipeline

تجسم با استفاده از Streamlit Within Snowflake Visualization Using Streamlit Within Snowflake

• مقدمه ای بر Streamlit Introduciton to Streamlit

• اولین برنامه Streamlit که داده های جدولی را نمایش می دهد First Streamlit App Displaying Tabular Data

• برنامه Streamlit تعاملی با نمودارهای نوار و خط Interactive Streamlit App With Bar & Line Charts

• برنامه Streamlit تعاملی با نقشه Interative Streamlit App with Map

یکپارچه سازی منبع داده API با Snowflake API Data Source Integration With Snowflake

• مقدمه ای بر منبع داده API Introduction to API Data Source

• داده های API را با استفاده از برنامه پایتون + Snowpark مصرف کنید Consume API Data Using Python + Snowpark Program

• GitHub + GitHub Action ادغام برای مصرف خودکار GitHub + GitHub Action Integration For Auto Ingestion

• پایش خط لوله پایان به پایان DAG Monitoring End To End Pipeline DAG

Snowflake Data Marketplace Snowflake Data Marketplace

• نحوه اضافه کردن بازار داده در snowflake How to add data marketplace in snowflake

• ایجاد جدول پویا در نماها و چالش های بازار داده Creating Dynamic Table On Data Marketplace Views & Challenges

• ایجاد جدول استاندارد و کار برای مصرف داده های بازار Creating Standard Table & Task To Consume Marketplace Data

• داشبورد روشن با داده های Snowflake Marketplace Streamlit Dashboard With Snowflake Marketplace Data