آموزش Snowflake - خطوط لوله داده ساخت و معمار با استفاده از AWS

سرفصل ها و درس ها

معرفی Introduction

• نقشه راه دوره Course Roadmap

• نقشه راه دوره Course Roadmap

• پیش نیازها و نحوه موفقیت در این دوره Prerequisites and How to Success in this course

• پیش نیازها و نحوه موفقیت در این دوره Prerequisites and How to Success in this course

• سخنرانی 4 - بازخورد و اطلاعات بیشتر Lecture 4 - Feedback and Learn More

• سخنرانی 4 - بازخورد و اطلاعات بیشتر Lecture 4 - Feedback and Learn More

• کلون Github Repo & PPT برای دوره Clone Github Repo & PPT for the Course

• کلون Github Repo & PPT برای دوره Clone Github Repo & PPT for the Course

معرفی Introduction

مقدمه ای بر Snowflake و AWS Introduction to Snowflake and AWS

• انبار داده چیست؟ What is a data-warehouse ?

• انبار داده چیست؟ What is a data-warehouse ?

• دو جنبه از اکوسیستم داده Two Aspects of a Data Ecosystem

• دو جنبه از اکوسیستم داده Two Aspects of a Data Ecosystem

• آزمایشگاه - راه اندازی حساب آزمایشی Snowflake Lab - Setup Snowflake Trial Account

• آزمایشگاه - راه اندازی حساب آزمایشی Snowflake Lab - Setup Snowflake Trial Account

• معماری دانه های برف Snowflake Architecture

• معماری دانه های برف Snowflake Architecture

• سلسله مراتب اشیاء دانه برف Snowflake Object Heirarchy

• سلسله مراتب اشیاء دانه برف Snowflake Object Heirarchy

• دانه برف - انبارهای مجازی Snowflake - Virtual Warehouses

• دانه برف - انبارهای مجازی Snowflake - Virtual Warehouses

• Snowflake - اجزای مختلف صورتحساب Snowflake - Different Billing Components

• Snowflake - اجزای مختلف صورتحساب Snowflake - Different Billing Components

• دانه برف - میزان مصرف خود را پیگیری کنید Snowflake - Track your consumption

• دانه برف - میزان مصرف خود را پیگیری کنید Snowflake - Track your consumption

• Snowflake- مانیتورهای منابع Snowflake- Resource Monitors

• Snowflake- مانیتورهای منابع Snowflake- Resource Monitors

مقدمه ای بر Snowflake و AWS Introduction to Snowflake and AWS

دانه برف - جداول Snowflake - Tables

• مقدمه - جداول مختلف در Snowflake Introduction - Different Tables in Snowflake

• مقدمه - جداول مختلف در Snowflake Introduction - Different Tables in Snowflake

• آزمایشگاه - ایجاد جداول در Snowflake Lab - Create Tables in Snowflake

• آزمایشگاه - ایجاد جداول در Snowflake Lab - Create Tables in Snowflake

• Snowflake - نماها، نماهای مادی شده و نماهای امن Snowflake - Views , Materialized Views and Secure Views

• Snowflake - نماها، نماهای مادی شده و نماهای امن Snowflake - Views , Materialized Views and Secure Views

• آزمایشگاه - ایجاد نماها در Snowflake Lab - Create Views in Snowflake

• آزمایشگاه - ایجاد نماها در Snowflake Lab - Create Views in Snowflake

• آزمایشگاه - ایجاد نماهای امن در Snowflake Lab - Create Secure Views in Snowflake

• آزمایشگاه - ایجاد نماهای امن در Snowflake Lab - Create Secure Views in Snowflake

• اطلاعات بیشتر درباره Views in Snowflake More about Views in Snowflake

• اطلاعات بیشتر درباره Views in Snowflake More about Views in Snowflake

دانه برف - جداول Snowflake - Tables

Snowflake - پارتیشن بندی، خوشه بندی و بهینه سازی عملکرد Snowflake - Partitioning , Clustering and Performance Optimization

• نمای کلی بخش Section Overview

• نمای کلی بخش Section Overview

• مقدمه ای بر پارتیشن ها و کلیدهای خوشه بندی Introduction to partitions and clustering keys

• مقدمه ای بر پارتیشن ها و کلیدهای خوشه بندی Introduction to partitions and clustering keys

• آزمایشگاه - میکروپارتیشن ها و کلیدهای خوشه بندی Lab - Micropartitions and Clustering keys

• آزمایشگاه - میکروپارتیشن ها و کلیدهای خوشه بندی Lab - Micropartitions and Clustering keys

• مزایای میکرو پارتیشن و خوشه بندی Benefits of Micro-partitions and Clustering

• مزایای میکرو پارتیشن و خوشه بندی Benefits of Micro-partitions and Clustering

• درک عمق خوشه‌بندی و همپوشانی خوشه‌ها Understanding Clustering Depth and Cluster Overlap

• درک عمق خوشه‌بندی و همپوشانی خوشه‌ها Understanding Clustering Depth and Cluster Overlap

• آزمایشگاه - انتخاب کلیدهای خوشه بندی شما Lab - Selecting your clustering Keys

• آزمایشگاه - انتخاب کلیدهای خوشه بندی شما Lab - Selecting your clustering Keys

• آزمایشگاه - نمایه و سابقه پرس و جو را بررسی کنید Lab - Check Query Profile and history

• آزمایشگاه - نمایه و سابقه پرس و جو را بررسی کنید Lab - Check Query Profile and history

• آزمایشگاه - پردازش پرس و جو و ذخیره سازی Lab - Query Processing and Caching

• آزمایشگاه - پردازش پرس و جو و ذخیره سازی Lab - Query Processing and Caching

• ویژگی بهینه سازی جستجو Search Optimization Feature

• ویژگی بهینه سازی جستجو Search Optimization Feature

Snowflake - پارتیشن بندی، خوشه بندی و بهینه سازی عملکرد Snowflake - Partitioning , Clustering and Performance Optimization

Snowflake - بارگیری/بلع و استخراج داده ها Snowflake - Data Loading/Ingestion and Extraction

• نمای کلی بخش Section Overview

• نمای کلی بخش Section Overview

• مصرف داده ها - موارد استفاده در دنیای واقعی Data Ingestion - Real World Use Cases

• مصرف داده ها - موارد استفاده در دنیای واقعی Data Ingestion - Real World Use Cases

• آزمایشگاه - یک شی ادغام برای اتصال Snowflake با AWS S3 ایجاد کنید Lab - Create an Integration Object to Connect Snowflake with AWS S3

• آزمایشگاه - یک شی ادغام برای اتصال Snowflake با AWS S3 ایجاد کنید Lab - Create an Integration Object to Connect Snowflake with AWS S3

• آزمایشگاه - CSV را از S3 تا Snowflake مصرف کنید Lab - Ingest CSV from S3 to Snowflake

• آزمایشگاه - CSV را از S3 تا Snowflake مصرف کنید Lab - Ingest CSV from S3 to Snowflake

• آزمایشگاه - JSON را از S3 به Snowflake وارد کنید Lab - Ingest JSON from S3 to Snowflake

• آزمایشگاه - JSON را از S3 به Snowflake وارد کنید Lab - Ingest JSON from S3 to Snowflake

• مقدمه ای بر مصرف مداوم داده ها در Snowflake Introduction to Continuous Data Ingestion in Snowflake

• مقدمه ای بر مصرف مداوم داده ها در Snowflake Introduction to Continuous Data Ingestion in Snowflake

• آزمایشگاه - ایجاد و پیاده سازی Snowpipe Lab - Create and implement Snowpipe

• آزمایشگاه - ایجاد و پیاده سازی Snowpipe Lab - Create and implement Snowpipe

• Snowpipe - برآورد صورت‌حساب و ملاحظات کلیدی برای مصرف داده‌ها Snowpipe - Billing Estimation and Key Considerations for Data Ingestion

• Snowpipe - برآورد صورت‌حساب و ملاحظات کلیدی برای مصرف داده‌ها Snowpipe - Billing Estimation and Key Considerations for Data Ingestion

• آزمایشگاه - استخراج/تخلیه داده ها از Snowflake به S3 Lab - Extracting/Unload Data from Snowflake to S3

• آزمایشگاه - استخراج/تخلیه داده ها از Snowflake به S3 Lab - Extracting/Unload Data from Snowflake to S3

Snowflake - بارگیری/بلع و استخراج داده ها Snowflake - Data Loading/Ingestion and Extraction

Snowflake - وظایف و برنامه ریزی پرس و جو Snowflake - Tasks and Query Scheduling

• نمای کلی بخش Section Overview

• نمای کلی بخش Section Overview

• مقدمه ای بر Tasks Introduction to Tasks

• مقدمه ای بر Tasks Introduction to Tasks

• آزمایشگاه - ایجاد درخت مستقل و وابسته از وظایف Lab - Create Standalone and Dependent tree of tasks

• آزمایشگاه - ایجاد درخت مستقل و وابسته از وظایف Lab - Create Standalone and Dependent tree of tasks

• آزمایشگاه - صورت‌حساب و تاریخچه پرس و جو برای وظایف Lab - Billing and Query History for Tasks

• آزمایشگاه - صورت‌حساب و تاریخچه پرس و جو برای وظایف Lab - Billing and Query History for Tasks

Snowflake - وظایف و برنامه ریزی پرس و جو Snowflake - Tasks and Query Scheduling

Snowflake - جریان و تغییر ضبط داده Snowflake - Streams and Change Data Capture

• نمای کلی بخش Section Overview

• نمای کلی بخش Section Overview

• مقدمه ای بر استریم ها Introduction to Streams

• مقدمه ای بر استریم ها Introduction to Streams

• آزمایشگاه - اجرای جریان های استاندارد Lab - Implement Standard Streams

• آزمایشگاه - اجرای جریان های استاندارد Lab - Implement Standard Streams

• آزمایشگاه - اجرای جریان‌های فقط پیوست Lab - Implement Append-Only Streams

• آزمایشگاه - اجرای جریان‌های فقط پیوست Lab - Implement Append-Only Streams

• آزمایشگاه - جریان در یک تراکنش Lab - Streams in a Transaction

• آزمایشگاه - جریان در یک تراکنش Lab - Streams in a Transaction

• جریان ها - حفظ و بیات بودن داده ها Streams - Data Retention and Staleness

• جریان ها - حفظ و بیات بودن داده ها Streams - Data Retention and Staleness

• آزمایشگاه - تغییر ردیابی با استفاده از "تغییرات" Lab - Change Tracking using "Changes"

• آزمایشگاه - تغییر ردیابی با استفاده از "تغییرات" Lab - Change Tracking using "Changes"

• بررسی اجمالی پروژه Project Overview

• بررسی اجمالی پروژه Project Overview

• آزمایشگاه - ایجاد جریان - راه حل پروژه قسمت 1 Lab - Create Streams - Project Solution Part-1

• آزمایشگاه - ایجاد جریان - راه حل پروژه قسمت 1 Lab - Create Streams - Project Solution Part-1

• آزمایشگاه - ایجاد جریان - ادامه قسمت 1 Lab - Create Streams - Part-1 Continuation

• آزمایشگاه - ایجاد جریان - ادامه قسمت 1 Lab - Create Streams - Part-1 Continuation

• آزمایشگاه - خط لوله پایان به پایان در عمل Lab - End to End Pipeline in Action

• آزمایشگاه - خط لوله پایان به پایان در عمل Lab - End to End Pipeline in Action

Snowflake - جریان و تغییر ضبط داده Snowflake - Streams and Change Data Capture

Snowflake - توابع تعریف شده توسط کاربر Snowflake - User Defined Functions

• مقدمه ای بر توابع تعریف شده توسط کاربر و انواع UDF Introduction to User Defined Functions and UDF Types

• مقدمه ای بر توابع تعریف شده توسط کاربر و انواع UDF Introduction to User Defined Functions and UDF Types

• آزمایشگاه - یک Scalar UDF را بنویسید و پیاده سازی کنید Lab - Write and implement a Scalar UDF

• آزمایشگاه - یک Scalar UDF را بنویسید و پیاده سازی کنید Lab - Write and implement a Scalar UDF

• آزمایشگاه - UDF جدولی را در SQL بنویسید Lab - Write Tabular UDF in SQL

• آزمایشگاه - UDF جدولی را در SQL بنویسید Lab - Write Tabular UDF in SQL

• آزمایشگاه - UDF های جاوا اسکریپت را پیاده سازی کنید Lab - Implement Javascript UDFs

• آزمایشگاه - UDF های جاوا اسکریپت را پیاده سازی کنید Lab - Implement Javascript UDFs

• Pushdown در UDF چیست؟ What is Pushdown in UDF ?

• Pushdown در UDF چیست؟ What is Pushdown in UDF ?

• آزمایشگاه - چگونه pushdown می تواند داده های زیربنایی را آشکار کند؟ Lab - How can pushdown expose the underlying data ?

• آزمایشگاه - چگونه pushdown می تواند داده های زیربنایی را آشکار کند؟ Lab - How can pushdown expose the underlying data ?

• آزمایشگاه - UDF های امن بنویسید Lab - Write Secure UDFs

• آزمایشگاه - UDF های امن بنویسید Lab - Write Secure UDFs

Snowflake - توابع تعریف شده توسط کاربر Snowflake - User Defined Functions

Snowflake - عملکردهای خارجی Snowflake - External Functions

• نمای کلی بخش Section Overview

• نمای کلی بخش Section Overview

• مقدمه ای بر توابع خارجی Introduction to External Functions

• مقدمه ای بر توابع خارجی Introduction to External Functions

• آزمایشگاه - تابع Deploy AWS Lambda را بنویسید Lab - Write Deploy AWS Lambda Function

• آزمایشگاه - تابع Deploy AWS Lambda را بنویسید Lab - Write Deploy AWS Lambda Function

• نقش IAM را ایجاد کنید Create IAM Role

• نقش IAM را ایجاد کنید Create IAM Role

• آزمایشگاه - ایجاد دروازه API Lab - Create API Gateway

• آزمایشگاه - ایجاد دروازه API Lab - Create API Gateway

• آزمایشگاه - ایمن سازی و استقرار دروازه API Lab - Securing and Deploy API Gateway

• آزمایشگاه - ایمن سازی و استقرار دروازه API Lab - Securing and Deploy API Gateway

• آزمایشگاه - ایجاد عملکرد خارجی در Snowflake Lab - Create External Function in Snowflake

• آزمایشگاه - ایجاد عملکرد خارجی در Snowflake Lab - Create External Function in Snowflake

Snowflake - عملکردهای خارجی Snowflake - External Functions

دانه برف با پایتون، اسپارک و جریان هوا در AWS Snowflake with Python,Spark and Airflow on AWS

• نمای کلی بخش Section Overview

• نمای کلی بخش Section Overview

• آزمایشگاه - پایتون را با Snowflake در دستگاه محلی خود وصل کنید Lab - Connect Python with Snowflake in your local machine

• آزمایشگاه - پایتون را با Snowflake در دستگاه محلی خود وصل کنید Lab - Connect Python with Snowflake in your local machine

• آشنایی با چسب AWS Introduction to AWS Glue

• آشنایی با چسب AWS Introduction to AWS Glue

• آزمایشگاه - استقرار و اجرای اسکریپت پایتون در چسب AWS Lab - Deploy and execute python script to AWS Glue

• آزمایشگاه - استقرار و اجرای اسکریپت پایتون در چسب AWS Lab - Deploy and execute python script to AWS Glue

• آزمایشگاه - اسکریپت پایتون خود را روی چسب AWS پارامتر کنید Lab - Parameterize your python script on AWS Glue

• آزمایشگاه - اسکریپت پایتون خود را روی چسب AWS پارامتر کنید Lab - Parameterize your python script on AWS Glue

• آزمایشگاه - پانداهای پایتون با دانه‌های برف روی چسب AWS Lab - Python Pandas with Snowflake on AWS Glue

• آزمایشگاه - پانداهای پایتون با دانه‌های برف روی چسب AWS Lab - Python Pandas with Snowflake on AWS Glue

• Pushdown در Spark 3.1 چیست؟ What is Pushdown in Spark 3.1 ?

• Pushdown در Spark 3.1 چیست؟ What is Pushdown in Spark 3.1 ?

• آزمایشگاه - یک اسکریپت Pyspark را با استفاده از چسب AWS اجرا کنید Lab - Deploy a Pyspark script using AWS Glue

• آزمایشگاه - یک اسکریپت Pyspark را با استفاده از چسب AWS اجرا کنید Lab - Deploy a Pyspark script using AWS Glue

• آزمایشگاه - راه اندازی خوشه جریان هوای مدیریت شده در AWS Lab - Setup Managed Airflow Cluster on AWS

• آزمایشگاه - راه اندازی خوشه جریان هوای مدیریت شده در AWS Lab - Setup Managed Airflow Cluster on AWS

• آزمایشگاه - اتصال برف ریزه را در جریان هوا پیکربندی کنید Lab - Configure Snowflake Connectivity in Airflow

• آزمایشگاه - اتصال برف ریزه را در جریان هوا پیکربندی کنید Lab - Configure Snowflake Connectivity in Airflow

• آزمایشگاه - یک کار تبدیل PySpark را در چسب AWS اجرا کنید Lab - Deploy a PySpark Transformation job in AWS Glue

• آزمایشگاه - یک کار تبدیل PySpark را در چسب AWS اجرا کنید Lab - Deploy a PySpark Transformation job in AWS Glue

• آزمایشگاه - راه اندازی جریان هوا DAG Lab - Setup Airflow DAG

• آزمایشگاه - راه اندازی جریان هوا DAG Lab - Setup Airflow DAG

دانه برف با پایتون، اسپارک و جریان هوا در AWS Snowflake with Python,Spark and Airflow on AWS

پخش زمان واقعی با کافکا و دانه برف Real Time Streaming with Kafka and Snowflake

• نمای کلی بخش Section Overview

• نمای کلی بخش Section Overview

• آزمایشگاه - فایل های JAR لازم را دانلود کنید Lab - Download the necessary JAR Files

• آزمایشگاه - فایل های JAR لازم را دانلود کنید Lab - Download the necessary JAR Files

• آزمایشگاه - کافکا را در سیستم محلی خود راه اندازی کنید Lab - Setup Kafka in your local system

• آزمایشگاه - کافکا را در سیستم محلی خود راه اندازی کنید Lab - Setup Kafka in your local system

• آزمایشگاه - راه اندازی رابط دانه برف کافکا Lab - Setup Kafka Snowflake Connector

• آزمایشگاه - راه اندازی رابط دانه برف کافکا Lab - Setup Kafka Snowflake Connector

• آزمایشگاه - کلیدهای رمزگذاری را برای اتصال Kafka-Snowflake تنظیم کنید Lab - Setup Encryption Keys for Kafka-Snowflake Connectivity

• آزمایشگاه - کلیدهای رمزگذاری را برای اتصال Kafka-Snowflake تنظیم کنید Lab - Setup Encryption Keys for Kafka-Snowflake Connectivity

• آزمایشگاه - جریان داده در عمل Lab - Streaming Data in Action

• آزمایشگاه - جریان داده در عمل Lab - Streaming Data in Action

پخش زمان واقعی با کافکا و دانه برف Real Time Streaming with Kafka and Snowflake

Snowflake - حفاظت از داده ها و حاکمیت Snowflake - Data Protection and Governance

• نمای کلی بخش Section Overview

• نمای کلی بخش Section Overview

• TimeTravel و Failsafe در Snowflake چیست؟ What is TimeTravel and Failsafe in Snowflake ?

• TimeTravel و Failsafe در Snowflake چیست؟ What is TimeTravel and Failsafe in Snowflake ?

• آزمایشگاه - سفر در زمان و بازیابی اطلاعات Lab - Time Travel and Data Recovery

• آزمایشگاه - سفر در زمان و بازیابی اطلاعات Lab - Time Travel and Data Recovery

• آزمایشگاه - پوشش داده پویا در سطح ستون Lab - Column Level Dynamic Data Masking

• آزمایشگاه - پوشش داده پویا در سطح ستون Lab - Column Level Dynamic Data Masking

• امنیت سطح ردیف چیست؟ What is Row Level Security ?

• امنیت سطح ردیف چیست؟ What is Row Level Security ?

• آزمایشگاه - خط مشی دسترسی سطح ردیف را ایجاد و اجرا کنید Lab - Create and implement Row Level Access Policy

• آزمایشگاه - خط مشی دسترسی سطح ردیف را ایجاد و اجرا کنید Lab - Create and implement Row Level Access Policy

• به روز رسانی های بیشتر به زودی More updates soon

• به روز رسانی های بیشتر به زودی More updates soon

Snowflake - حفاظت از داده ها و حاکمیت Snowflake - Data Protection and Governance

درک خود را تقویت کنید - پاداش Strengthen your understanding - Bonus

• همزمانی و مقیاس بندی خودکار Concurrency & Auto-scaling

• همزمانی و مقیاس بندی خودکار Concurrency & Auto-scaling

• حفظ داده ها و سفر در زمان Data Retention and Time-Travel

• حفظ داده ها و سفر در زمان Data Retention and Time-Travel

• دریافت و بارگذاری داده ها Data Ingestion and Loading

• دریافت و بارگذاری داده ها Data Ingestion and Loading

درک خود را تقویت کنید - پاداش Strengthen your understanding - Bonus

Snowpark - برای خطوط لوله داده و علم داده Snowpark - For Data Pipelines and Data Science

• مقدمه-Snowpark چیست؟ Introduction-What is Snowpark?

• مقدمه-Snowpark چیست؟ Introduction-What is Snowpark?

• آزمایشگاه - شروع کار با Snowpark Lab - Getting Started with Snowpark

• آزمایشگاه - شروع کار با Snowpark Lab - Getting Started with Snowpark

• نمای کلی - UDF ها و رویه های فروشگاه Overview - UDFs and Store Procedures

• نمای کلی - UDF ها و رویه های فروشگاه Overview - UDFs and Store Procedures

• آزمایشگاه - UDF های پایتون را مستقر کنید Lab-Deploy Python UDFs

• آزمایشگاه - UDF های پایتون را مستقر کنید Lab-Deploy Python UDFs

• رویه‌های ذخیره‌شده آزمایشگاهی برای پردازش دسته‌ای ETL Lab-Deploy Stored Procedures for ETL Batch Processing

• رویه‌های ذخیره‌شده آزمایشگاهی برای پردازش دسته‌ای ETL Lab-Deploy Stored Procedures for ETL Batch Processing

• علم داده - مرور اجمالی UseCase و آماده سازی داده ها Data Science - UseCase Overview and data preparation

• علم داده - مرور اجمالی UseCase و آماده سازی داده ها Data Science - UseCase Overview and data preparation

• Lab-Deploy Model-Training Code for scikit-learn با استفاده از Stored Procedures Lab-Deploy Model-Training Code for scikit-learn using Stored Procedures

• Lab-Deploy Model-Training Code for scikit-learn با استفاده از Stored Procedures Lab-Deploy Model-Training Code for scikit-learn using Stored Procedures

• Lab-Deploy Model Serving/Prediction Service Pipeline با استفاده از UDF Lab-Deploy Model Serving/Prediction Serving Pipeline using UDFs

• Lab-Deploy Model Serving/Prediction Service Pipeline با استفاده از UDF Lab-Deploy Model Serving/Prediction Serving Pipeline using UDFs

• مرجع یادگیری بیشتر و کد کوپن More learning reference and Coupon Code

• مرجع یادگیری بیشتر و کد کوپن More learning reference and Coupon Code

Snowpark - برای خطوط لوله داده و علم داده Snowpark - For Data Pipelines and Data Science