آموزش Snowflake - Masterclass Dinamic Table & Data Pipeline

سرفصل ها و درس ها

معرفی جدول پویا دانه برف Snowflake Dynamic Table Introduction

• معرفی جدول پویا دانه برف و مفهوم خط لوله اعلامی Snowflake Dynamic Table Introduction & Declarative Pipeline Concept

• از این کلاس استاد میز پویا با دانه های برف چه انتظاری باید داشت What To Expect From This Snowflake Dynamic Table Master Class

• پیش نیاز این دوره Prerequisite For This Course

• نحوه دسترسی به اسکریپت ها و فایل های داده SQL How To Access The SQL Scripts & Data Files

[اختیاری] ایرادات بومی پرکاربرد دانه برف [Optional] Snowflake Widely Used Native Objections

• مقدمه - اشیاء بومی دانه برف معمولی مورد استفاده Introduction - Common Used Snowflake Native Objects

• Snowflake Stage Object چیست و چگونه کار می کند What Is Snowflake Stage Object & How It Works

• اشیاء فرمت فایل Snowflake چیست و مرحله خارجی را با استفاده از آن جستجو کنید What Is Snowflake File Format Objects & Query External Stage Using It

• Snowflake Sequence Object چیست و چگونه از آنها استفاده کنیم What is Snowflake Sequence Object & How To Use Them

• شیء جریان برف چیست و چگونه تغییرات را ردیابی می کند What is Snowflake Stream Object & How Does It Track Changes

• Task و Task-Tree چیست و چگونه با استفاده از Task Tree یک DAG ایجاد کنیم What is Task and Task-Tree & How to Create a DAG Using Task Tree

• به سرعت عبارت جدول رایج را درک کنید Quickly Understand The Common Table Expression

• درک سریع عملکرد پنجره Quickly Understand Window Function

الزامات خط لوله داده انتها به انتها در Snowflake End To End Data Pipeline Requirement In Snowflake

• جریان داده End To End چیست What Is End To End data flow

• گزینه های مختلف ارکستراسیون Different Orchestration Options

• چالش ها با استریم و وظیفه به عنوان ابزار ارکستراسیون Challenges With Stream & Task As Orchestration Tool

ساخت خط لوله داده (DAG) با استفاده از Stream/Task Object Build Data Pipeline (DAG) Using Stream/Task Object

• هدف جریان داده پیوسته از انتها به پایان End To End Continuous Data Flow Objective

• مجموعه داده ها (مشتری و سفارش) را درک کنید Understand The Data (Customer & Order) Set

• ایجاد پایگاه داده و اشیاء طرحواره Create Database & Schema Objects

• هدف بارگذاری داده ها و آمار داده ها Data Loading Objective & Data Statistics

• مجموعه داده های مشتری/سفارش خاص کشور را بارگیری کنید و از آنها پرس و جو کنید Load Country Specific Customer/Order Data Set & Query Them

• هدف طرحواره RAW RAW Schema Objective

• انتقال مداوم داده به لایه طرحواره و درخت وظیفه Continuous Data Ingestion To RAW Schema Layer & Task Tree

• هدف طرحواره CLEAN CLEAN Schema Objective

• مصرف مداوم داده ها برای لایه تمیز Continuous Data Ingestion To Clean Layer

• هدف طرح واره مصرف CONSUMPTION Schema Objective

• مصرف مداوم داده ها به لایه مصرف Continuous Data Ingestion To Consumption Layer

• هدف Pipeline را فعال کنید Activate Pipeline Objective

• از سرگیری وظایف و نظارت بر جریان داده های مستمر مشتری/سفارش Resume Task & Monitor Continuous Customer/Order Data Flow

• هدف بارگذاری داده پیوسته اضافی Additional Continuous Data Load Objective

• مشتری/داده های اضافی را بارگیری کنید، جریان پیوسته E2E و پیشرفت نظارت را بررسی کنید Load Additional Customer/Data, Check Continuous E2E Flow & Monitor Progress

• پیگیری پیشرفت کار و چالش ها Task Progress Tracking & Challenges

• خلاصه - خط لوله داده با استفاده از جریان/وظیفه و چالش ها Summary - Data Pipeline Using Stream/Task & Challenges

همه چیز درباره میز دینامیک Snowflake و نحوه ساخت خط لوله به صورت اعلامی All About Snowflake Dynamic Table & How To Build Pipeline Declaratively

• مقدمه - آنچه در این بخش پوشش داده شده است Introduction - What Is Covered In This Section

• مجموعه داده های نمونه را درک کنید Understand The Sample Data Set

• بارگذاری مجموعه داده در مکان مرحله داخلی Load Data Set To Internal Stage Location

• جذب خودکار با استفاده از دستور Task & Copy Auto Ingest Using Task & Copy Command

• اولین جدول پویا خود را ایجاد کنید Create Our First Dynamic Table

• به روز رسانی/حذف عملیات روی جدول زیربنایی و تاثیر بر جدول پویا Update/Delete Operation On Underlying Table & Impact on Dynamic Table

• جدول پویا روی صحنه و در نمای مادی Dynamic Table On Stage Location & On Materialized View

• پارامترهای جدول دینامیک را تغییر دهید Alter Dynamic Table Paramters

جدول پویا در چند میز Dynamic Table On Multiple Tables

• اطلاعات نمونه را درک کنید Understand The Sample Data

• دریافت داده با استفاده از دستور Task & Copy Ingest Data Using Task & Copy Command

• ایجاد جدول پویا در چندین جدول Create Dynamic Table On Multiple Tables

• تاخیر پایین دست Downstream Lag

جریان داده از پایان به پایان با استفاده از جدول پویا (مثال مشتری/سفارش) End To End Data Flow Using Dynamic Table (Customer/Order Example)

• ایجاد پایگاه داده و طرحواره برای جریان جدول پویا E2E Create Database & Schema For Dynamic Table E2E Flow

• بارگذاری داده ها در مکان صحنه و دریافت خودکار با استفاده از اشیاء وظیفه/کپی Load Data Into Stage Location & Auto Ingest Using Task/Copy Objects

• جداول پویا برای لایه تمیز ایجاد کنید Create Dynamic Tables For Clean Layer

• ایجاد جدول پویا برای لایه مصرف Create Dynamic Table For Consumption Layer

• بارگذاری داده های اضافی در جریان داده های پیوسته Load Additional Data To Continuous Data Flow

• افزایش بار در مقابل سناریوی بار کامل Increment Load Vs. Full Load Scenario

ویژگی های مهم جدول پویا Important Dynamic Table Features

• مقدمه - ویژگی های مهم جدول پویا Introduction - Important Dynamic Table Features

• داشبورد خلاصه و فعالیت جدول پویا (Snowsight WebUI) Dynamic Table Activity & Summary Dashboard (Snowsight WebUI)

• محاسبه هزینه جدول پویا Dynamic Table Cost Calculation

• پشتیبانی از جدول پویا و شبیه سازی Dynamic Table & Cloning Support

• میز پویا و پشتیبانی از سفر در زمان Dynamic Table & Time Travel Support

• جدول پویا و پشتیبانی از اشیاء جریان برای تغییر ضبط داده Dynamic Table & Support For Stream Objects For Change Data Capture

• جداول پویا و قابلیت های اشتراک گذاری Dynamic Tables & Sharing Capabilities

• توابع جدول و جدول پویا برای تاریخچه اجرا Dynamic Table & Table Functions For Run History

خلاصه جدول پویا سریع Quick Dynamic Table Summary

• جدول پویا و خلاصه دوره Dynamic Table & Course Summary