آموزش اسنو-فلیک (Snowflake) - ساخت و معماری خط لوله‌های داده با استفاده از AWS - آخرین آپدیت

مقدمه‌ای بر دوره Introduction to the Course

• نقشه راه دوره Course Roadmap

• پیش‌نیازها و نحوه موفقیت در این دوره Prerequisites and How to Succeed in This Course

آشنایی با Snowflake و AWS Introduction to Snowflake and AWS

• انبار داده (Data Warehouse) چیست؟ What Is Data-Warehouse?

• دو جنبه از اکوسیستم داده Two Aspects of a Data Ecosystem

• آزمایشگاه: راه‌اندازی حساب آزمایشی Snowflake Lab - Set Up Snowflake Trial Account

• معماری Snowflake Snowflake Architecture

• سلسله‌مراتب اشیا در Snowflake Snowflake Object Hierarchy

• انبارهای مجازی (Virtual Warehouses) در Snowflake Snowflake - Virtual Warehouses

• اجزای مختلف صورت‌حساب در Snowflake Snowflake - Different Billing Components

• ردیابی میزان مصرف در Snowflake Snowflake - Track Your Consumption

• مانیتورهای منابع در Snowflake Snowflake- Resource Monitors

جداول در Snowflake Snowflake - Tables

• مقدمه: انواع مختلف جداول در Snowflake Introduction - Different Tables in Snowflake

• آزمایشگاه: ایجاد جداول در Snowflake Lab - Create Tables in Snowflake

• ویوها (Views)، ویوهای متریالایز شده و ویوهای امن در Snowflake Snowflake - Views, Materialized Views and Secure Views

• آزمایشگاه: ایجاد ویوها در Snowflake Lab - Create Views in Snowflake

• آزمایشگاه: ایجاد ویوهای امن در Snowflake Lab - Create Secure Views in Snowflake

• مطالعه بیشتر درباره ویوها در Snowflake More about Views in Snowflake

پارتیشن‌بندی، کلاسترینگ و بهینه‌سازی عملکرد در Snowflake Snowflake - Partitioning, Clustering, and Performance Optimization

• مرور کلی بخش Section Overview

• مقدمه‌ای بر پارتیشن‌ها و کلیدهای کلاسترینگ Introduction to Partitions and Clustering Keys

• آزمایشگاه: میکرو-پارتیشن‌ها و کلیدهای کلاسترینگ Lab - Micro-Partitions and Clustering Keys

• مزایای میکرو-پارتیشن‌ها و کلاسترینگ Benefits of Micro-Partitions and Clustering

• درک عمق کلاسترینگ و هم‌پوشانی کلاسترها Understanding Clustering Depth and Cluster Overlap

• آزمایشگاه: انتخاب کلیدهای کلاسترینگ Lab - Selecting Your Clustering Keys

• آزمایشگاه: بررسی پروفایل و تاریخچه کوئری Lab - Check Query Profile and History

• آزمایشگاه: پردازش کوئری و کشینگ (Caching) Lab - Query Processing and Caching

• قابلیت بهینه‌سازی جستجو (Search Optimization) Search Optimization Feature

بارگذاری، ورود و استخراج داده‌ها در Snowflake Snowflake - Data Loading/Ingestion and Extraction

• مرور کلی بخش Section Overview

• ورود داده‌ها: کاربردهای دنیای واقعی Data Ingestion - Real-World Use Cases

• آزمایشگاه: ایجاد شیء یکپارچه‌ساز برای اتصال Snowflake به AWS S3 Lab - Create an Integration Object to Connect Snowflake with AWS S3

• آزمایشگاه: ورود فایل‌های CSV از S3 به Snowflake Lab - Ingest CSV from S3 to Snowflake

• آزمایشگاه: ورود فایل‌های JSON از S3 به Snowflake Lab - Ingest JSON from S3 to Snowflake

• مقدمه‌ای بر ورود مداوم داده‌ها در Snowflake Introduction to Continuous Data Ingestion in Snowflake

• آزمایشگاه: ایجاد و پیاده‌سازی Snow Pipe Lab - Create and Implement Snow Pipe

• تخمین هزینه‌های Snow pipe و نکات کلیدی در ورود داده‌ها Snow pipe - Billing Estimation and Key Considerations for Data Ingestion

• آزمایشگاه: استخراج و تخلیه داده‌ها از Snowflake به S3 Lab - Extracting/Unload Data from Snowflake to S3

تسک‌ها و زمان‌بندی کوئری‌ها در Snowflake Snowflake - Tasks and Query Scheduling

• مرور کلی بخش Section Overview

• مقدمه‌ای بر تسک‌ها (Tasks) Introduction to Tasks

• آزمایشگاه: ایجاد تسک‌های مستقل و درختی (وابسته) Lab - Create Standalone and Dependent Tree of Tasks

• آزمایشگاه: صورت‌حساب و تاریخچه کوئری‌های تسک‌ها Lab - Billing and Query History for Tasks

استریم‌ها و کپچر تغییرات داده (CDC) در Snowflake Snowflake - Streams and Change Data Capture

• مرور کلی بخش Section Overview

• مقدمه‌ای بر استریم‌ها (Streams) Introduction to Streams

• آزمایشگاه: پیاده‌سازی استریم‌های استاندارد Lab - Implement Standard Streams

• آزمایشگاه: پیاده‌سازی استریم‌های Append-Only Lab - Implement Append-Only Streams

• آزمایشگاه: استریم‌ها در یک تراکنش Lab - Streams in a Transaction

• استریم‌ها: نگهداری داده‌ها و منقضی شدن (Staleness) Streams - Data Retention and Staleness

• آزمایشگاه: ردیابی تغییرات با استفاده از "Changes" Lab - Change Tracking Using "Changes"

• مرور کلی پروژه Project Overview

• آزمایشگاه: ایجاد استریم‌ها - راهکار پروژه Lab - Create Streams - Project Solution

• آزمایشگاه: ایجاد استریم‌ها - ادامه Lab - Create Streams - Continuation

• آزمایشگاه: اجرای خط لوله داده از ابتدا تا انتها Lab - End-to-End Pipeline in Action

توابع تعریف‌شده توسط کاربر (UDF) در Snowflake Snowflake - User-Defined Functions

• مقدمه‌ای بر توابع تعریف‌شده توسط کاربر (UDF) و انواع آن‌ها Introduction to User-Defined Functions and UDF Types

• آزمایشگاه: نوشتن و پیاده‌سازی یک Scalar UDF Lab - Write and Implement a Scalar UDF

• آزمایشگاه: نوشتن Tabular UDF با استفاده از SQL Lab - Write Tabular UDF in SQL

• آزمایشگاه: پیاده‌سازی JavaScript UDFs Lab - Implement JavaScript UDFs

• Pushdown در UDF چیست؟ What Is Pushdown in UDF?

• آزمایشگاه: چگونه Pushdown می‌تواند داده‌های زیربنایی را نمایان کند؟ Lab - How Can Pushdown Expose the Underlying Data?

• آزمایشگاه: نوشتن UDFهای امن Lab - Write Secure UDFs

توابع خارجی در Snowflake Snowflake - External Functions

• مرور کلی بخش Section Overview

• مقدمه‌ای بر توابع خارجی (External Functions) Introduction to External Functions

• آزمایشگاه: استقرار تابع AWS Lambda Lab - Deploy AWS Lambda Function

• ایجاد نقش IAM Create IAM Role

• آزمایشگاه: ایجاد API Gateway Lab - Create API Gateway

• آزمایشگاه: ایمن‌سازی و استقرار API Gateway Lab - Secure and Deploy API Gateway

• آزمایشگاه: ایجاد تابع خارجی در Snowflake Lab - Create External Function in Snowflake

استفاده از Snowflake با پایتون، اسپارک و Airflow در AWS Snowflake with Python, Spark, and Airflow on AWS

• مرور کلی بخش Section Overview

• آزمایشگاه: اتصال پایتون به Snowflake در سیستم محلی Lab - Connect Python with Snowflake in Your Local Machine

• مقدمه‌ای بر AWS Glue Introduction to AWS Glue

• آزمایشگاه: استقرار و اجرای اسکریپت پایتون در AWS Glue Lab - Deploy and Execute Python Script to AWS Glue

• آزمایشگاه: پارامتری کردن اسکریپت پایتون در AWS Glue Lab - Parameterize Your Python Script on AWS Glue

• آزمایشگاه: استفاده از Python Pandas با Snowflake در AWS Glue Lab - Python Pandas with Snowflake on AWS Glue

• Pushdown در Spark 3.1 چیست؟ What Is Pushdown in Spark 3.1?

• آزمایشگاه: استقرار اسکریپت PySpark با استفاده از AWS Glue Lab - Deploy a PySpark Script Using AWS Glue

• آزمایشگاه: راه‌اندازی کلاستر مدیریت‌شده Airflow در AWS Lab - Set Up Managed Airflow Cluster on AWS

• آزمایشگاه: پیکربندی اتصال Snowflake در Airflow Lab - Configure Snowflake Connectivity in Airflow

• آزمایشگاه: استقرار یک Job تبدیل PySpark در AWS Glue Lab - Deploy a PySpark Transformation job in AWS Glue

• آزمایشگاه: راه‌اندازی Airflow DAG Lab - Set Up Airflow DAG

استریمینگ آنی با Kafka و Snowflake Real-Time Streaming with Kafka and Snowflake

• مرور کلی بخش Section Overview

• آزمایشگاه: دانلود فایل‌های JAR مورد نیاز Lab - Download the Necessary JAR Files

• آزمایشگاه: راه‌اندازی Kafka در سیستم محلی Lab - Set Up Kafka in your local system

• آزمایشگاه: راه‌اندازی کانکتور Kafka Snowflake Lab - Set Up Kafka Snowflake Connector

• آزمایشگاه: تنظیم کلیدهای رمزنگاری برای اتصال Kafka و Snowflake Lab - Set Up Encryption Keys for Kafka-Snowflake Connectivity

• آزمایشگاه: استریمینگ داده‌ها در عمل Lab - Streaming Data in Action

حفاظت و حاکمیت داده‌ها در Snowflake Snowflake - Data Protection and Governance

• مرور کلی بخش Section Overview

• Time Travel و Failsafe در Snowflake چیست؟ What Is Time Travel and Failsafe in Snowflake?

• آزمایشگاه: Time Travel و بازیابی داده‌ها Lab - Time Travel and Data Recovery

• آزمایشگاه: ماسک‌گذاری پویا داده‌ها در سطح ستون (Dynamic Data Masking) Lab - Column Level Dynamic Data Masking

• امنیت در سطح ردیف (Row Level Security) چیست؟ What Is Row Level Security?

• آزمایشگاه: ایجاد و پیاده‌سازی سیاست دسترسی در سطح ردیف Lab - Create and Implement Row Level Access Policy

استفاده از Snowpark برای خط لوله‌های داده و علوم داده Snowpark - For Data Pipelines and Data Science

• مقدمه: Snowpark چیست؟ Introduction - What Is Snowpark?

• آزمایشگاه: شروع کار با Snowpark Lab - Getting Started with Snowpark

• مرور کلی: UDFها و رویه‌های ذخیره‌شده (Stored Procedures) Overview - UDFs and Store Procedures

• آزمایشگاه: استقرار Python UDFها Lab - Deploy Python UDFs

• آزمایشگاه: استقرار رویه‌های ذخیره‌شده برای پردازش دسته‌ای ETL Lab - Deploy Stored Procedures for ETL Batch Processing

• علوم داده: مرور کاربرد و آماده‌سازی داده‌ها Data Science - Use Case Overview and Data Preparation

• آزمایشگاه: استقرار کد آموزش مدل برای Scikit Learn با استفاده از رویه‌های ذخیره‌شده Lab - Deploy Model - Training Code for Scikit-Learn Using Stored Procedures

• آزمایشگاه: استقرار خط لوله سرویس‌دهی مدل/پیش‌بینی با استفاده از UDFها Lab - Deploy Model Serving/Prediction Serving Pipeline Using UDFs

• منابع یادگیری بیشتر و کد تخفیف More Learning Reference and Coupon Code

جمع‌بندی و یادگیری‌های بیشتر Wrap Up and More Learning

• به‌روزرسانی‌های بیشتر و گام‌های بعدی More Updates and What's Next