دوره جامع و عملی آموزش Snowflake و dbt - آخرین آپدیت

سرفصل ها و درس ها

Snowflake

• از اینجا شروع کنید: چطور این دوره به شما کمک می‌کند Start Here: How This Course Will Help You

• نقشه راه و مسیرهای یادگیری دوره Course Roadmap & Learning Paths

• یادداشت Note

• شروع کار با اسنو فلِیک: راه‌اندازی آزمایشی رایگان شما Getting Started with Snowflake: Your Free Trial Setup

• فضاهای کاری اسنو فلِیک: چه چیزی تغییر کرده و چگونه جابجا شویم Snowflake Workspaces: What Changed & How to Switch

• فضای کاری خود را راه‌اندازی کنید: درک نقش‌ها، انبارها و کاربرگ‌ها Set Up Your Workspace: Undestanding Roles, Warehouses and Worksheets

• تمرین: اولین اشیاء خود را ایجاد کنید Exercise: Create Your First Objects

• اشیاء و انبارهای اسنو فلِیک Snowflake Objects and Warehouses

• اعطای امتیازات در اسنو فلِیک Granting Privileges in Snowflake

• بارگذاری داده‌ها از اینجا شروع می‌شود: ایجاد اولین مرحله شما Loading Data Starts Here: Creating Your First Stage

• قدرت ستون‌های VARIANT در اسنو فلِیک The Power of VARIANT Columns in Snowflake

• استخراج ستون‌ها از JSON در اسنو فلِیک (با VARIANT) Extract Columns from JSON in Snowflake (with VARIANT)

• کار با مراحل و داده‌های نیمه ساخت‌یافته در اسنو فلِیک Working with Stages and Semi-Structured Data in Snowflake

• کپی کردن داده‌ها به جداول اسنو فلِیک (از مرحله به جدول) Copying Data into Snowflake Tables (From Stage to Table)

• تمرین - عملی: بارگذاری JSON تو در تو از S3 به اسنو فلِیک Exercise - Hands-On: Load Nested JSON from S3 into Snowflake

• تمرین - تصحیح Exercise - Correction

• مجموعه داده دوچرخه و Snowsql Bike dataset and Snowsql

• یادداشت: به‌روزرسانی در مورد یافتن شناسه حساب اسنو فلِیک خود برای SnowSQL Note: Update on Finding Your Snowflake Account Identifier for SnowSQL

• فایل‌های محلی را با دستور PUT به اسنو فلِیک منتقل کنید Push Local Files to Snowflake with PUT Command

• یادداشت قبل از شروع تمرین بعدی Note before starting the next Exercise

• تمرین - ایجاد یک نقش تحلیلگر Exercise - Create a Role Analyst

• یادداشت پس از اتمام تمرین Note after completing the Exercise

• ساختار فایل مرحله خود را قبل از بارگذاری بررسی کنید Check Your Stage File Structure Before Loading

• COPY INTO عمیق: اشکال‌زدایی، گزینه‌ها و نکات حرفه‌ای COPY INTO Deep Dive: Debug, Options & Pro Tips

• بارگذاری داده‌ها از مراحل و مدیریت خطا در اسنو فلِیک Loading Data from Stages & Error Handling in Snowflake

• برگه تقلب بخش 1 – مبانی اسنو فلِیک Section 1 Cheat Sheet – Snowflake Basics

Bonus: Automating your Snowflake Workflows-بونس: خودکارسازی گردش کارهای اسنو فلِیک شما Bonus: Automating your Snowflake Workflows

• مقدمه‌ای بر وظایف اسنو فلِیک - ایجاد وظیفه زمان‌بندی‌شده Introduction to Snowflake Tasks - Scheduled Task creation

• وظایف اسنو فلِیک - ایجاد یک وظیفه فرعی و DAG از وظایف Snowflake Tasks - Creation of a child task and DAG of tasks

• وظایف اسنو فلِیک - مدیریت Snowflake Tasks - Management

• برگه تقلب بخش 2 – به‌روزرسانی شده Section 2 Cheat Sheet – Updated

DBT-دی‌بی‌تی DBT

• قبل از اینکه به dbt بپردازید: ابتدا این را تماشا کنید! Before you dive into dbt: watch this first!

• یادداشت برای بخش dbt Note for the dbt Section

• مقدمه ای بر DBT Introduction to DBT

• DBT Cloud - ایجاد حساب DBT Cloud - Account creation

• DBT Cloud - راه‌اندازی حساب DBT Cloud - Account setup

• اجرای DBT DBT Run

• شروع کار با dbt: مفاهیم اصلی، محیط‌ها و Materialization Getting Started with dbt: Core Concepts, Environments & Materialization

• Jinja و dbt_project Jinja and dbt_project

• DBT - تقدم Materialization DBT - Materialization precedence

• یادداشت Note

• DBT تعریف منابع DBT defining sources

• تابع Ref و اولین کامیت Ref function and first commit

• dbt زیر کاپوت: Jinja, Materialization Precedence & Source/Ref Functions dbt Under the Hood: Jinja, Materialization Precedence & Source/Ref Functions

• CTEs و کار با تاریخ - بخش 1 CTEs and working with dates - Part 1

• CTEs و کار با تاریخ - بخش 2 CTEs and working with dates - Part 2

• تمرین - SQL قابل استفاده مجدد با ماکروها Exercise - Reusable SQL with Macros

• تصحیح تمرین - آموزش Refactor ماکرو Exercise Correction - Macro Refactor Walkthrough

• آب و هوای روزانه و توابع Window - بخش 1 Daily weather and Window functions - Part 1

• آب و هوای روزانه و توابع Window - بخش 2 Daily weather and Window functions - Part 2

• تسلط بر CTEها، Timestampها و توابع Window در dbt با اسنو فلِیک Mastering CTEs, Timestamps & Window Functions in dbt with Snowflake

• بعد ایستگاه Station dimension

• DBT - واقعیت سفر DBT - Trip fact

• DBT - همبستگی آب و هوای دوچرخه DBT - Weather Bike correlation

• یادداشت سریع. تماشا کنید یا جلو بروید Quick note. Watch or jump ahead

• تصحیح خطا - بارگذاری مجدد جدول BIKE Error correction - reuploading BIKE table

• مدل‌های اصلاح‌شده Models corrected

• استقرار Prod Prod deployment

• استقرار در Production با dbt Cloud Deploying to Production with dbt Cloud

• جریان End to End End to End flow

• زمان‌بندی وظایف اسنو فلِیک Snowflake Tasks Scheduling

• زمان‌بندی کار DBT DBT Job scheduling

• جمع‌بندی Wrap up

Bonus – Advanced Automation (Requires Paid Plans)-بونس – خودکارسازی پیشرفته (نیازمند طرح‌های پولی) Bonus – Advanced Automation (Requires Paid Plans)

• قبل از شروع: الزامات راه‌اندازی خودکارسازی Before You Start: Automation Setup Requirements

• آماده‌سازی خودکارسازی: تنظیم دسترسی خارجی در اسنو فلِیک Automation Prep: Setting Up External Access in Snowflake

• درک توابع در اسنو فلِیک (Inline در مقابل Script-Based) Understanding Functions in Snowflake (Inline vs Script-Based)

• خودکارسازی End-to-End: راه‌اندازی dbt Cloud از یک DAG اسنو فلِیک End-to-End Automation: Triggering dbt Cloud from a Snowflake DAG

• یادداشت نهایی: پاکسازی برای جلوگیری از هزینه‌های غیرضروری Final Note: Clean Up to Avoid Unnecessary Costs

Bonus: Connecting Snowflake to Private Cloud Buckets-بونس: اتصال اسنو فلِیک به باکت‌های Cloud خصوصی Bonus: Connecting Snowflake to Private Cloud Buckets

• یادداشت مقدماتی Intro Note

• AWS - ادغام ذخیره‌سازی - بخش 1 AWS - Storage Integration - Part 1

• AWS - ادغام ذخیره‌سازی - بخش 2 AWS - Storage Integration - Part 2

• Azure - ادغام ذخیره‌سازی Azure - Storage Integration

• GCS - ادغام ذخیره‌سازی GCS - Storage Integration

Build a Bitcoin Data Pipeline with dbt Core + Snowflake-ساخت یک خط لوله داده بیت کوین با dbt Core + اسنو فلِیک Build a Bitcoin Data Pipeline with dbt Core + Snowflake

• پروژه مقدماتی Intro Project

• یادداشت از دانیل Note from Daniel

• داده‌های AWS S3 BTC AWS S3 BTC data

• توضیح داده‌های BTC BTC data explanation

• Copy Into با عبارت منظم Copy Into With Regular Expression

• پیچیدن COPY INTO در یک Task Wrapping COPY INTO in a Task

• COPY INTO خود را در یک وظیفه اسنو فلِیک بپیچید Wrap Your COPY INTO in a Snowflake Task

• یادداشت Note

• تنظیم Python Python Setup

• تنظیم Git Setup Git

• راه‌اندازی Visual Studio Code Visual Studio Code Setup

• DBT Init و اولین کامیت DBT Init and first commit

• یادداشت در مورد Git Note about Git

• Push به مخزن Git Push to the Git repo

• یادداشت Note

• افزونه Dbt Core برای Lineage Dbt Core extension for lineage

• فایل‌های Yaml اصلی و منابع Main Yaml files and sources

• تازگی منبع Source freshness

• تست‌های Dbt Dbt Tests

• مدل افزایشی - مروری Incremental Model - Overview

• مدل افزایشی - استراتژی ادغام Incremental Model - Merge Strategy

• Snowflake Latteral Flatten Snowflake Latteral Flatten

• مدل افزایشی - استراتژی الحاق Incremental Model - Append Strategy

• مدل‌های افزایشی و استراتژی‌های dbt Incremental Models and dbt Strategies

• مدل‌های Ephemeral - و هشدار Whale Ephemeral models - and Whale alert

• تجزیه و تحلیل سریع و سازماندهی مجدد پروژه dbt Quick analysis and dbt project reorganization

• دانه dbt در عمل: داده‌های BTC، غنی‌سازی قیمت و اشکال‌زدایی dbt seed in Action: BTC Data, Price Enrichment & Debugging

• Refactoring ماکرو Macro refactoring

• به Production بروید Go Into Production

• فایل Manifest.json The Manifest.json file

• ایجاد یک پروفایل dbt جدید Creation of a new dbt profile

• پرچم Defer - مدل‌های بالادستی Defer The defer flag - Defer upstream models

• Zero Copy Cloning و dbt Clone Zero Copy Cloning and dbt Clone

• Defer در مقابل Clone Defer vs Clone

• مدل‌های Python dbt - مروری Python dbt models - Overview

• یادداشت Note

• مدل‌های Python dbt - آموزش Refactor Python dbt models - Refactor Walkthrough

• اشکال‌زدایی مدل‌های Python dbt - راه‌حل print() Debugging Python dbt models - the print() Workaround

• بسته‌های DBT DBT Packages

• استفاده از یک Macro از بسته‌های dbt Using a Macro from dbt packages

• DBT Docs DBT Docs

• گزارش‌های خود را پیگیری کنید: نمایش داشبوردهای Looker در dbt Track Your Reports: Exposing Looker Dashboards in dbt

• تست DBT در Whale Alert DBT Test on Whale Alert

• قفل کردن هشدار Whale خود با یک قرارداد Locking our Whale alert with a Contract

• نسخه‌بندی Whale Alert Versioning out Whale Alert

• تنظیم احراز هویت Key Pair Setting Up Key Pair Authentication

• یادداشت Note

• تنظیم یکپارچه‌سازی مداوم Continuous Integration Setup

• Enhancement اختیاری: Target پویا برای هر Branch Optional Enhancement: Dynamic Target per Branch

• متشکرم و مقدمه تمرین Thank you and Exercise Intro

• تمرین ETH ETH Exercise

• بازخورد شما برای ما بسیار ارزشمند است! Your feedback means a lot !

Building a dbt Audit Framework: Hooks, Context & Snapshots-ساخت یک چارچوب حسابرسی dbt: Hooks، Context و Snapshots Building a dbt Audit Framework: Hooks, Context & Snapshots

• موضوع پیشرفته: ساخت یک چارچوب حسابرسی dbt Advanced Topic: Building a dbt Audit Framework

• پشت صحنه: درک Logهای dbt Behind the Scenes: Making Sense of dbt Logs

• مقدمه‌ای بر ردیابی: نظرات Query و History در اسنو فلِیک Intro to Tracking: Query Comments & History in Snowflake

• Post-Hooks در عمل: برچسب‌گذاری جداول ایجاد شده توسط dbt Post-Hooks in Action: Tagging dbt-Created Tables

• از Context تا Audit: استفاده از متغیرهای dbt From Context to Audit: Using dbt Variables

• از متغیرها تا Logها: ایجاد جدول حسابرسی شما From Variables to Logs: Creating Your Audit Table

• ردیابی حسابرسی کامل: از اجراها تا Logهای سطح ردیف Complete Audit Trail: From Runs to Row-Level Logs

• تمرین اختیاری: حسابرسی حرفه‌ای با Object results Or Avidov Optional Exercise: Pro-Level Audit Logging with Or Avidov’s results Object

• مدیریت شکست‌ها: runResults.json + dbt retry Handling Failures: runResults.json + dbt retry

• Snapshots در dbt: استفاده از استراتژی Timestamp Snapshots in dbt: Using the Timestamp Strategy

Unlocking Snowflake: Real-Time Data, Access Control & Optimization-باز کردن قفل اسنو فلِیک: داده‌های Real-Time، کنترل دسترسی و بهینه‌سازی Unlocking Snowflake: Real-Time Data, Access Control & Optimization

• مقدمه‌ای بر ویژگی‌های اسنو فلِیک Intro to Snowflake features

• Snowpipe بخش 1: آپلود JSON به S3 و ایجاد Stage خارجی شما Snowpipe Part 1: Uploading JSON to S3 & Creating Your External Stage

• رفع 403: تنظیم Storage Integration و Trust Policy در AWS Fixing the 403: Setting Up Storage Integration & Trust Policy in AWS

• راه‌اندازی Snowpipe از S3 و جمع‌بندی همه چیز Triggering Snowpipe from S3 & Wrapping It All Up

• یادداشت در مورد پردازش فایل Snowpipe Note on Snowpipe file processing

• بارگذاری داده‌های پاک با MERGE Loading Clean Data with MERGE

• مقدمه‌ای بر Streams: ردیابی تغییرات جدول در اسنو فلِیک Introduction to Streams: Tracking Table Changes in Snowflake

• مصرف یک Stream با MERGE: مدیریت درج‌ها، به‌روزرسانی‌ها و حذف‌ها Consuming a Stream with MERGE: Handling Inserts, Updates & Deletes

• خودکارسازی مصرف Stream با وظایف اسنو فلِیک Automating Stream Consumption with Snowflake Tasks

• Snowflake Time Travel در عمل: پرس‌وجو از حالت‌های گذشته و Undropping Objects Snowflake Time Travel in Action: Querying Past States & Undropping Objects

• نکات پیشرفته Time Travel: دوره نگهداری و SHOW HISTORY Advanced Time Travel Tips: Retention Period & SHOW HISTORY

• Cloning یک پایگاه داده با Time Travel Cloning a Database with Time Travel

• درک Fail-safe: آخرین خط بازیابی داده اسنو فلِیک Understanding Fail-safe: Snowflake’s Last Line of Data Recovery

• صدور داده از اسنو فلِیک به S3 Exporting Data from Snowflake to S3

• سفارشی‌سازی صادرات داده اسنو فلِیک شما Customizing Your Snowflake Data Exports

• Snowflake Secure Shares: آموزش کامل Snowflake Secure Shares: Full Walkthrough

• یادداشت در مورد Shares Note on Shares

• پنهان کردن Superpowers با Masking Policies Hiding Superpowers with Masking Policies

• RLS در اسنو فلِیک RLS in Snowflake

• تمرین - امنیت ردیف و ستون: نسخه Game of Thrones Exercise - Row & Column Security: Game of Thrones Edition

• یادداشت در مورد RBAC Note on RBAC

• Role Hierarchy در اسنو فلِیک: اعطا و لغو نقش‌ها Role Hierarchy in Snowflake: Granting and Revoking Roles

• Direct Grants و نقش‌های ثانویه Direct Grants and Secondary Roles

• چرا پروفسور X نمی‌تواند Villains را ببیند (هنوز) Why Professor X Can’t See Villains (Yet)

• نقش‌ها و امتیازات اسنو فلِیک - ساده شده Snowflake Roles & Privileges - Made simple

• حذف اشیاء و پاکسازی Dropping Objects and Cleaning up

• Cache Cache

• Micro Partitions Micro Partitions

• Clustering Clustering

• برگه تقلب اسنو فلِیک – به‌روزرسانی شده Snowflake Cheat Sheet – Updated