آموزش برف دانه - پروژه مهندسی داده انتها به انتها (اپلیکیشن سفارش غذا) - آخرین آپدیت

سرفصل ها و درس ها

Food Delivery App - E2E Data Pipeline Using Snowflake

• پلتفرم‌ها و مهندسی داده در کسب و کار تحویل غذا Data Platforms & Engineering in Food Delivery Business

• پیش‌نیازهای فنی Technical Pre-requisite

• مرور کلی دوره: تفکیک بخش‌ها و مباحث پوشش داده شده Course Overview: Breakdown of Sections and Topics Covered

• منابع: دیاگرام‌های معماری، اسکریپت‌های SQL، فایل‌های داده و موارد دیگر Resources: Architecture Diagrams, SQL Scripts, Data Files, and More

طراحی پایپ‌لاین‌های داده: معماری و تحلیل دیاگرام ER برای تجمیع‌کننده غذا Designing Data Pipelines: Architecture & ER Diagram Analysis for Food Aggregator

• تحلیل دیاگرام ER سیستم منبع Source System ER Diagram Analysis

• تحلیل فایل‌های CSV سیستم منبع Source System CSV Files Analysis

• دیاگرام جریان و پردازش نهایی داده و تحلیل آن Final Data Flow & Processing Diagram & Analysis

[اختیاری] اشیاء بومی پرکاربرد Snowflake [Optional] Snowflake Widely Used Native Objections

• مقدمه - اشیاء بومی پرکاربرد Snowflake Introduction - Common Used Snowflake Native Objects

• اشیاء Stage در Snowflake: یک مرور سریع Snowflake Stage Objects : A Quick Overview

• فرمت‌های فایل و External Stages در Snowflake: یک مرور سریع Snowflake File Formats and External Stages : A Quick Overview

• دستور COPY در Snowflake: یک مرور سریع Snowflake COPY Command: A Quick Overview

• شیء Sequence در Snowflake: یک مرور سریع Snowflake Sequence Object : A Quick Overview

• شیء Stream در Snowflake چیست و چگونه تغییرات را ردیابی می‌کند؟ What is Snowflake Stream Object & How Does It Track Changes

• Task و Task-Tree چیست و چگونه با استفاده از Task Tree یک DAG ایجاد کنیم؟ What is Task and Task-Tree & How to Create a DAG Using Task Tree

• درک سریع Common Table Expression Quickly Understand The Common Table Expression

• درک سریع Window Function Quickly Understand Window Function

ایجاد پایپ‌لاین داده با مجموعه داده کوچک تجمیع‌کننده غذا Creating Data Pipeline With Food Aggergator's Small Dataset

• مقدمه Introduction

• ایجاد اشیاء Database و Schema - Sandbox/محیط توسعه Database & Schema Objects Creation - Sandbox/Development

• بارگذاری تمام فایل‌های CSV در مکان Stage Loading All CSV Files Into Stage Location

• پردازش داده موجودیت مکان Location Entity Data Processing

• رسیدگی به رکوردهای نامعتبر در موجودیت مکان Handle Bad Records In Location Entity

• پردازش داده موجودیت رستوران 05 Restaurant Entity Data Processing

• پردازش داده موجودیت مشتری Customer Entity Data Processing

• پردازش داده موجودیت آدرس مشتری Customer Address Entity Data Processing

• پردازش داده موجودیت منو Menu Entity Data Processing

• پردازش داده موجودیت عامل تحویل Delivery Agent Entity Data Processing

• پردازش موجودیت‌های سفارش، اقلام سفارش و تراکنش تحویل Order, Order Item & Delivery Transaction Entity Processing

• جدول Fact نهایی و Lineage کامل جدول Final Fact Table & Complete Table Lineage

• داشبورد Streamlit Streamlit Dashboard

پایپ‌لاین داده خودکار و Orchestration Automated Data Pipeline & Orchestration

• اتوماسیون پایپ‌لاین داده چیست؟ What is Data Pipeline Automation

• رویکرد ۱: اتوماسیون پایپ‌لاین داده Approach-1 : Data Pipeline Automation

• ایجاد اشیاء Database، Schema و Table Create Database, Schema & Table Objects

• ایجاد Stored Procedure برای دستور Copy و عبارت‌های Merge Create Stored Procedures To Copy Command & Merge Statements

• بارگذاری فایل CSV در مکان Stage با استفاده از SnowSQL CLI Loading CSV File Into Stage Location Using SnowSQL CLI

• اجرای پایپ‌لاین داده به روش Stored Procedure Running The Data Pipeline Using Stroed Procedure Way

• اجرای پایپ‌لاین داده با استفاده از Task به همراه Stored Procedure Running The Data Pipeline Using Task With Stored Procedure

استفاده از Task و Task Tree برای خودکارسازی پایپ‌لاین داده Use Task & Task Tree To Automate Data Pipeline

• مقدمه‌ای بر رویکرد Task و Task Tree Task & Task Tree Approach Introduction

• پایپ‌لاین داده مبتنی بر Task و Task Tree Data Pipeline Based on Task & Task Tree

پردازش داده‌های با حجم بالا Large Volume Data Processing

• مقدمه‌ای بر پردازش داده‌های با حجم بالا Introdution to Large Volume Data Processing

• کارایی پردازش داده‌های با حجم بالا Large Volume Data Processing Performance

دریافت (Ingestion) پیوسته داده با استفاده از GitHub Continuous Data Ingestion Using GitHub

• نیاز به دریافت (Ingestion) پیوسته داده Continuous Data Ingestion Requirement

• دریافت (Ingestion) داده با استفاده از GitHub Action Ingestiong Data Using GitHub Action