آموزش بوت‌کمپ جامع تسلط بر Snowflake و dbt: راهنمای کامل - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• معرفی دوره Course Introduction

• سرفصل‌های دوره و نحوه یادگیری Course Curriculum & How to follow Course

• منابع Resources

• دانلود جزوات Notes Download

مبانی Snowflake Snowflake Fundamentals

• Snowflake چیست؟ What is Snowflake

• معماری Snowflake Snowflake Architecture

• ایجاد حساب رایگان Snowflake Create Snowflake Free Trial Account

• مرور رابط کاربری Snowflake Snowflake Overview UI

انبار‌های مجازی Virtual Warehouses

• انبار Snowflake: تک‌خوشه‌ای در مقابل چندخوشه‌ای Snowflake Warehouse - Single vs Multi Cluster

• ایجاد انبار (Warehouse) در Snowflake Create Warehouse in Snowflake

اشیاء دیتابیس Database Objects

• ایجاد دیتابیس و جداول در Snowflake Create Database and Tables in Snowflake

• ایجاد جدول از روی فایل‌ها در Snowflake Create Table from Files - Snowflake

• دستورات SQL در Snowflake SQL Commands in Snowflake

• دستورات SQL (تفاوت DELETE و DROP و TRUNCATE) SQL Commands (DELETE vs DROP vs TRUNCATE)

• دستورات SQL: اتصال جداول (JOINING) SQL Commands - JOINING

مبانی بارگذاری داده‌ها Data Loading Basics

• الگوهای بارگذاری داده در Snowflake Snowflake Data Loading Patterns

• بارگذاری داده‌های JSON در جداول Load JSON Data into Tables

• استفاده از فرمت فایل در Snowflake Snowflake File Format Usage

• تمرین عملی ایجاد جداول مختلف Different Tables - Create Practical

• مکانیسم داخلی بارگذاری داده‌ها Internal Working of Data Loading

استیج‌های Snowflake Snowflake Stages

• مقدمه‌ای بر استیج‌ها (Stages) Introduction to Stages

• استیج کاربر (User Stage) User Stage

• استیج جدول (Table Stage) Table Stage

• تمرین عملی استیج داخلی نام‌گذاری شده Named Internal Stage Practical

• استیج خارجی (External Stage) External Stage

SnowSQL SnowSQL

• معرفی SnowSQL SnowSQL Introduction

• نصب و اتصال SnowSQL SnowSQL Installation & Connection

• تمرین عملی دستورات SnowSQL SnowSQL Commands Practical

• تمرین عملی User Stage با SnowSQL SnowSQL User Stage Practical

• تمرین عملی Table Stage با SnowSQL SnowSQL Table Stage Practical

دستور COPY INTO COPY INTO Command

• دستور COPY INTO COPY INTO Command

• بارگذاری افزایشی با COPY INTO COPY INTO Incremental Load

• پر کردن داده‌های قدیمی و پردازش مجدد فایل‌ها COPY INTO Backfill Data & Reprocessing Files

• مدیریت خطاها در COPY INTO COPY INTO Error Handling

یکپارچه‌سازی AWS و Snowpipe AWS Integration & Snowpipe

• بارگذاری جدول Snowflake از AWS S3 با IAM Role AWS S3 to Snowflake Table Load - IAM Role

• استیج خارجی: بارگذاری داده‌ها از S3 به Snowflake External Stage - Load Data from S3 to Snowflake

• معرفی Snowpipe Snowpipe Introduction

• تمرین عملی Snowpipe: از AWS S3 به Snowpipe Snowpipe Practical - AWS S3 to Snowpipe

• آموزش مانیتورینگ Snowpipe Snowpipe Monitoring Tutorial

ویژگی‌های پیشرفته Snowflake Advanced Snowflake Features

• جداول خارجی در Snowflake External Table in Snowflake

• ویوها (Views) در Snowflake Views in Snowflake

• کش (Cache) در Snowflake Cache in Snowflake

• سفر در زمان (Time Travel) در Snowflake Time Travel in Snowflake

• شبیه‌سازی بدون کپی (Zero Copy Clone) Zero Copy Clone

استریم‌ها و تسک‌ها Streams & Tasks

• استریم‌های Snowflake Snowflake Streams

• زمان‌بند تسک‌ها در Snowflake Task Scheduler in Snowflake

امنیت Security

• نقش‌های RBAC در Snowflake RBAC Roles in Snowflake

• تمرین عملی ایجاد نقش و اعطای دسترسی Role Creation & Grant Access Practical

• ماسک کردن داده‌ها (Data Masking) Data Masking

• تمرین عملی ماسک کردن داده‌ها Data Masking Practical

ابزار dbt DBT (Data Build Tool)

• ابزار dbt چیست؟ What is dbt - data build tool ?

• دانلود جزوات Notes Download

• مزایای dbt و مشکلاتی که حل می‌کند DBT - Advantages & Problem its solving ?

• نصب و راه‌اندازی dbt DBT Installation & Setup

• مرور ساختار پروژه dbt DBT - PROJECT STRUCTURE OVERVIEW

• مدل‌های dbt: تبدیل‌های SQL DBT MODELS - SQL TRANSFORMATION

• توابع ref() در dbt DBT - ref() functions

• نحوه اجرای مدل‌های خاص در dbt How to Run specific DBT Models

• مدل‌های dbt: تگ‌ها و Aliasها DBT MODELS - Tags & Alias

• تمرین عملی تست در dbt DBT TEST - Practical

• تست dbt: مقادیر پذیرفته شده DBT test - Accepted values

• تست dbt: شرایط تست سفارشی DBT Test - Custom Test Condition

• مستندسازی در dbt DBT Documentation

• منبع (Source) در dbt چیست؟ What is Source in DBT

• تمرین عملی Source Source - Practical

• تست جدول منبع: کیفیت داده‌ها Source Table Testing - data quality

• تازگی منبع (Source Freshness) در dbt DBT Source Freshness

• استفاده از Seeds در dbt به همراه تمرین Seeds in DBT - with Practical

• اسنپ‌شات (Snapshot) در dbt چیست؟ What is DBT Snapshot ?

• تمرین عملی استراتژی Time در Snapshot DBT Snapshot - Time Strategy Practical

• تمرین عملی استراتژی Check در Snapshot DBT Snapshot - Check Strategy Practical

• معرفی JINJA در dbt DBT - JINJA Introduction

• عبارات JINJA در dbt DBT - JINJA Expression

• تعریف متغیر با JINJA در dbt DBT JINJA - Set Variable

• شرط If با JINJA در dbt DBT JINJA - If Condition

• حلقه For با JINJA در dbt DBT JINJA - for loop condition

• اشیاء داخلی dbt: target و this DBT Inbuilt Objects - target & this

• تابع var() در Jinja dbt DBT Jinja- var()

• معرفی مدل‌های Incremental در dbt DBT - Incremental Model Introduction

• تمرین عملی مدل Incremental DBT - Incremental Model Practical

• استراتژی‌های مدل Incremental DBT - Incremental Model Strategy

• معرفی ماکروها (MACRO) در dbt DBT MACRO - INTRODUCTION

• تمرین عملی ماکروها DBT MACRO - PRACTICAL

• معرفی Hookها در dbt DBT Hooks - INTRODUCTION

• تمرین عملی Hookها DBT hooks - Practical

• پکیج‌های dbt DBT Packages

پروژه انبار داده خرده‌فروشی PROJECT - Retail Data Warehouse

• معرفی پروژه Project Introduction

• راه‌اندازی پروژه ADF و ایجاد خط لوله ETL و عیب‌یابی ADF Project Setup & ETL pipeline Creation & Debugging

• راه‌اندازی پروژه dbt DBT Project -Setup

• ساختار پوشه‌ها و تنظیمات dbt DBT Folder Structure & Setup

• پاک‌سازی داده‌ها: لایه‌های Staging Data Cleaning - Staging layers

• اتصال داده‌ها: لایه‌های Intermediate Joining - Intermediate layers

• تست dbt: بررسی کیفیت داده‌ها DBT Test - Dat aQuality Check

• جداول Dimension در dbt DBT - Dimensions Table

• جداول Fact در dbt DBT - Fact Tables

• مستندات dbt و بارگذاری روز دوم DBT documents and day2 load

• نکاتی برای زمان‌بندی (Scheduling) Scheduling Tips

دوره جامع SQL سرور COMPLETE SQL - SQL SERVER

• معرفی SQL SQL Introduction

• دیتابیس چیست؟ What is Databases

• تمرین عملی دیتابیس Database Practical

• دستور Insert در SQL Insert Statement in SQL

• محدودیت‌های (Constraints) SQL SQL Constraints

• محدودیت‌های Not Null و Unique Not Null & Unique Constraints

• محدودیت‌های Check و Default Check & Default Constraints

• کلید اصلی (Primary Key) در SQL Primary Key in SQL

• کلید خارجی (Foreign Key) در SQL Foreign Key in SQL

• فیلتر و مرتب‌سازی در SQL Filter & Sort in SQL

• تفاوت Delete و Drop و Truncate در SQL Delete vs Drop vs Truncate in SQL

• دستور Update در SQL Update in SQL

• دستورات شرطی در SQL Conditional Statement in SQL

• توابع Aggregate در SQL Aggregate Function in SQL

• دستور Group by در SQL Group by in SQL

• عملگر Like در SQL Like Operator in SQL

• عبارت Having در SQL Having Clause in SQL

• دستور Top یا Limit در SQL Top or Limit in SQL

• استفاده از Distinct در SQL Distinct in SQL

• تابع Coalesce در SQL Coalesce in SQL

• اتصال جداول (Joining) در SQL Joining in SQL

• تفاوت Union و Union All در SQL Union vs Union All in SQL

• دستور Alter در SQL Alter in SQL

• توابع Window در SQL Windows Function in SQL

• توابع Rank، Dense Rank و Row Number Rank, Dense Rank, Row Number in SQL

• توابع Lead و Lag در SQL Lead and Lag in SQL

• استفاده از CTE در SQL CTE in SQL

• ویوها (Views) در SQL Views in SQL

• رویه های ذخیره شده (Store Procedure) در SQL Store Procedure in SQL

• زیر-کوئری‌ها (Sub Query) در SQL Sub Query in SQL

• تریگرها (Triggers) در SQL Triggers in SQL

دوره جامع پایتون COMPLETE PYTHON

• معرفی لیست پخش پایتون Introduction To Python Playlist

• پایتون چیست و چه ویژگی‌هایی دارد؟ What is Python And Feature

• انواع داده و متغیرها در پایتون Python Data Type And Variables

• تابع input() در پایتون Python Input() Function

• عملگرها در پایتون Python Operators

• دستورات If Else در پایتون Python If Else Statements

• حلقه For در پایتون Python For Loop

• حلقه While در پایتون While Loop in Python

• لیست‌ها در پایتون List in Python

• متدهای لیست در پایتون List Method in Python

• مساله کدنویسی لیست ۱ (کمترین و بیشترین) List Coding Problem -1 (lowest & highest)

• مساله کدنویسی لیست ۲ (جابجایی دو المان) List Coding Problem -2 (swap two element in list)

• مساله کدنویسی لیست ۳ (معکوس کردن لیست) List Coding Problem -3 (reverse list)

• مساله کدنویسی لیست ۴ (مجموع و میانگین) List Coding Problem -4 (sum and average of given list)

• مساله کدنویسی لیست ۵ (جدا کردن زوج و فرد) List Coding Problem -5 ( even and odd from list)

• مساله کدنویسی لیست ۶ (حذف تکراری‌ها) List Coding Problem -6 ( remove duplicate from list)

• List Comprehension List Comprehension

• تاپل‌ها (Tuples) در پایتون Tuples in Python

• مجموعه‌ها (Sets) در پایتون Sets in Python

• دیکشنری‌ها در پایتون Dictionary in Python

• رشته‌ها (Strings) در پایتون String in Python

• سوالات کدنویسی رشته‌ها در پایتون String Coding Questions in Python

• توابع در پایتون Functions in Python

• مفهوم Args و Kwargs در پایتون Args and Kwargs in Python

• توابع Lambda در پایتون Lambda in Python

• برنامه‌نویسی شی‌گرا (OOPS) در پایتون OOPS in Python

• توابع Map، Filter و Reduce در پایتون Map, Filter and Reduce in Python

• سازنده (Constructor) و متد در پایتون Constructor and Method in Python

• وراثت (Inheritance) در پایتون Inhertitence in Python

• کپسوله‌سازی (Encapsulation) در پایتون Encapslation in Python

• تفاوت Iterable و Iterator Iterable vs Iterator

• ماژول‌ها در پایتون Module in Python

• ماژول OS در پایتون OS Module in Python

• کار با Date و Datetime در پایتون Date and Datetime in Python

• مدیریت خطا با Try Except در پایتون Try -Except in Python

آمادگی برای مصاحبه مهندسی داده DATA ENGINEER INTERVIEW PREPARATION

• مصاحبه مهندسی داده ۱ DATA ENGINEER INTERVIEW -1

• مصاحبه پایتون برای مهندسی داده PYTHON DATA ENGINEER INTERVIEW

• مهم‌ترین سوالات SQL مصاحبه مهندسی داده TOP SQL DATA ENGINEER INTERVIEW

• مهم‌ترین سوالات PySpark مصاحبه مهندسی داده TOP P YSPARK DATA ENGINEER INTERVIEW

• مهم‌ترین سوالات کدنویسی پایتون مصاحبه مهندسی داده TOP PYTHON CODING DATA ENGINEER INTERVIEW

• مهم‌ترین سوالات SQL مصاحبه مهندسی داده ۲ TOP SQL DATA ENGINEER INTERVIEW -2

• سوال و جواب کدنویسی PySpark PYSPARK CODING INTERVIEW QUESTION - ANSWER

• کدنویسی پایتون: مرتب‌سازی و تکراری‌ها PYTHON CODING - SORTING , DUPLIATE

• کدنویسی پایتون: Two Sum PYTHON CODING - TWO SUM

• کدنویسی پایتون: انتقال صفرها به انتها و دومین عدد بزرگ PYTHON CODING - MOVE ZERO TO END , SECOND LARGEST

• کدنویسی پایتون: گروه‌بندی آناگرام‌ها PYTHON CODING - GROUP ANAGRAM

• کدنویسی پایتون: یافتن نرخ میانگین متحرک PYTHON CODING - FIND AVG MOVING RATE

• سوال مصاحبه SQL: قیمت سهام SQL INTERVIEW QUESTION - STOCK PRICE

• مصاحبه مهندسی داده: کمترین نرخ SQL DATA ENGINEER INTERVIEW - SQL LEAST FARE

• مصاحبه در مورد Joinها در SQL SQL - JOINING INTERVIEW

• مقایسه Star Schema و Snowflake Schema START SCHEMA VS SNOWFLAKE SCHEMA

• تفاوت Data Warehouse و Data Lake DATA WAREHOUSE VS DATALAKE

• نرمال‌سازی در مقابل غیرنرمال‌سازی (Normalization vs Denormalization) NORMALIZATION VS DENORMALIZATION

• بررسی فرمت‌های مختلف فایل‌ها DIFFERENT FILE FORMATS