آموزش Snowflake Masterclas [proc+dmo+stored+Best practices+Labs]

سرفصل ها و درس ها

نمای کلی سطح بالا High level overview

• ساختار دوره Course structure.

• آخرین به روزرسانی ها !!!! Latest updates !!!!

/********شروع ماژول-1*******/ /********Module-1 starts******/

• معرفی ماژول 1. Module 1 introduction.

تنظیم محیط برف ریزه Snowflake environment setup

• ایجاد حساب دنباله برف ریزه Creating snowflake trail account

• قسمت 1 معرفی کنسول وب Snowflake Snowflake web console introduction part1

• قسمت 2 معرفی کنسول وب Snowflake Snowflake web console introduction part2

• محدودیت کنسول وب Web console limitation

• ایجاد پایگاه داده و مقدمه جدول برای داده های نمونه. Creating database and table intro to sample data.

• یادداشت های اصلاح بخش Section revise notes

• تنظیم محیط برف ریزه Snowflake environment setup

• تکلیف -- بخش -1 Assignment -- Section -1

معماری دانه های برف Snowflake architecture

• معرفی معماری دانه های برف Snowflake architecture introduction.

• معماری دیسک مشترک Shared disk architecture.

• قسمت 1 معماری هیچ چیز را به اشتراک گذاشت Shared nothing architecture part 1

• به اشتراک گذاشته شده هیچ چیز معماری قسمت 2 Shared nothing architecture part 2

• بازدید مجدد از معماری دانه های برف Snowflake architecture revisit.

• تاثیر. The impact.

• معماری دانه های برف. Snowflake architecture.

• خواندن بیشتر منابع Further reading Resources

ذخیره سازی در انبار داده دانه های برف Caching in snowflake data warehouse

• معرفی. Introduction.

• [نمونه نمایشی معماری] ذخیره سازی در دانه های برف. [Architecture demo] Caching in snowflake.

• [نمونه نمایشی معماری] در حال ذخیره مجدد. [Architecture demo] Caching revisit.

• [نمونه ی معماری] درس های آموخته شده. [Architecture demo] Lessons learned.

• توضیحات Clarifications

• ذخیره سازی Caching

• تخصیص حافظه پنهان Caching assignment

خوشه شدن در دانه های برف. Clustering in snowflake.

• معرفی. introduction.

• پردازش پرس و جو در دانه های برف. Query processing in snowflake.

• پارتیشن های میکرو در برف ریزه. Micro partitions in snowflake.

• عمق پارتیشن های میکرو Micro partitions depth.

• [نمایش] استفاده از مقدمه مختصر خوشه بندی. [Demo] Applying clustering brief intro.

• خوشه بندی Clustering

• انتساب میکرو پارتیشن 1. Micro-partition assignment 1.

• تخصیص میکرو پارتیشن 2. Micro-partition assignment 2.

• جدول خوشه ای ایجاد کنید Create clustered table.

خوشه بندی --- شیرجه عمیق. Clustering --- Deep dive.

• معرفی بخش. Section introduction.

• [نمایش] بررسی اطلاعات خوشه بندی [Demo] Checking clustering information

• [نمایش] خوشه بندی چگونه کار می کند. [Demo] How clustering works.

• [نمونه] عملکرد را بدون اعمال خوشه بندی بهبود می بخشد [Demo] Improve performance without applying clustering

• [نمایش] دسته بندی مجدد دستی [Demo] Manual re-clustering

• [نمایش] نحوه انتخاب کلیدهای خوشه بندی. [Demo] How to choose clustering keys.

• خلاصه بخش Section Recap.

• مستندات خوشه بندی دانه های برف Snowflake clustering documentation.

• خوشه بندی-- شیرجه عمیق Clustering-- Deep dive

• تقسیم بندی تکلیف غواصی عمیق 1. Clustering deep dive assignment 1.

• تقسیم بندی تکلیف غواصی عمیق 2. Clustering deep dive assignment 2.

مقدمه ای بر ایجاد انبار مجازی Introduction to virtual warehouse creation.

• آشنایی با انبار مجازی Introduction to virtual warehouse.

• ایجاد انبار مجازی Virtual warehouse creation.

• سیاست مقیاس بندی Scaling policy

• انبار مجازی Virtual warehouse

تنظیم عملکرد و ویژگی های DB Performance tuning and DB characterstics

• تنظیم عملکرد در برف ریزه چیست. What is performance tuning in snowflake.

• بهینه سازی پرس و جو چگونه کار می کند How query optimization works.

• کنترل همزمانی Concurrency control.

• [نمایش] نحوه کار تراکنش به روز رسانی. [Demo] How update transaction works.

• [نمونه] بدون محدودیت. [Demo] No constraints.

• Q/A Q/A

• عملکرد: اجرای بیانیه های به روز رسانی. Performance : Executing update statements.

• عملکرد: اضافه کردن ستون جدید. Performance : Adding new column.

• عملکرد: کدام کوئری خوب است. Performance : Which query is good.

برف‌نما و داشبورد انبار Snowsight and warehouse dashboard

• معرفی Introduction

• Snowsight_overview_part1 Snowsight_overview_part1

• Snowsight_overview_part2 Snowsight_overview_part2

• معرفی زمان بیکاری انبار Warehouse idle time intro

• قیاس انبار Warehouse analogy

• نماهای فراداده Metadata views

• محاسبه هزینه بیکاری Calculating idle cost

• افزودن فیلترهای پویا Adding dynamic filters

• ایجاد مقدمه داشبورد Creating dashboard intro

• داشبورد استفاده از انبار. Warehouse utilization dashboard.

• تجزیه و تحلیل بر اساس انبار Analysis by warehouse

• تجزیه و تحلیل برای تحت استفاده Analysis for under utilization

• تجزیه و تحلیل برای استفاده بیش از حد Analysis for over utilization

• داشبورد ساختمان Building dashboard

• استفاده از برف‌نگاری Leveraging snowsight

• نتیجه Conclusion

خدمات شتاب پرس و جو Query acceleration service

• معرفی Introduction

• ایجاد انبار با QAS Creating warehouse with QAS

• بیان مسأله Problem statement

• QAS- راه حل QAS- Solution

• QAS- نسخه ی نمایشی QAS- Demo

• ضریب مقیاس QAS QAS- scale factor

• QAS- پرس و جوهای واجد شرایط QAS- Eligible queries

• نکات مهم Importent points

/********ماژول-2 شروع می شود*******/ /*******Module-2 starts*******/

• ماژول-2 مقدمه. Module-2 Introduction.

• [اختیاری] راه اندازی ماشین مجازی [Optional] Virtual machine setup

• [اختیاری] پوشه را نصب کنید [Optional] Mount folder

• [اختیاری] اتصال از طریق کد در مقابل [Optional] Connect from vs code

• AWS CLI را در ویندوز نصب کنید. Install AWS CLI in windows.

• AWS CLI را در مک نصب کنید. Install AWS CLI in Mac.

• Snow CLI را نصب کنید Install Snow CLI

• مواردی که باید رعایت شود Things to be taken care.

بارگیری داده ها در برف ریزه. Loading data in snowflake.

• مقدمه ای بر مراحل برف ریزه. Introduction to stages in snowflake.

• پیکربندی اتصال به مرحله. Configuring connection to stage.

• انواع مرحله داخلی Types of internal stage

• مقدمه ای بر شی مرحله، فرمت فایل و دستور کپی. Introduction to stage object , file format and copy command.

• ایجاد شی صحنه Create stage object.

• ایجاد شی با فرمت فایل Create file format object.

بارگذاری داده ها با استفاده از مرحله داخلی Load data using internal stage.

• معرفی بخش Section intro.

• داده ها را با استفاده از کنسول وب آپلود کنید. Upload data using webconsole.

• سناریو Scenario

• [نمایش] بارگذاری داده ها از سیستم محلی به snowflake-Part1 [Demo] Load data from local system to snowflake-Part1

• [نمایش] بارگذاری داده ها از سیستم محلی به snowflake-Part2 [Demo] Load data from local system to snowflake-Part2

• [نمایش] بارگذاری داده ها از سیستم محلی به snowflake-Part3 [Demo] Load data from local system to snowflake-Part3

• [نمایش] داده ها را از snowflake به سیستم محلی دانلود کنید. [Demo] Download data from snowflake to local system.

• [نمایش] بارگذاری داده ها با استفاده از شی مرحله نامگذاری شده. [Demo] Load data using named stage object.

• بارگیری داده ها با استفاده از snowCLI. Load data using snowCLI.

بارگذاری اطلاعات از AWS s3 Load data from AWS s3

• معرفی بخش. Section introduction.

• اکانت aws ایجاد کنید. Create aws account.

• سناریو. Scenario.

• سطل aws s3 ایجاد کنید. Create aws s3 bucket.

• سیاست aws s3 را ایجاد کنید. Create aws s3 policy.

• نقش aws را ایجاد کنید. Create aws role.

• شیء ادغام دانه های برف را ایجاد کنید. Create snowflake integration object.

• استعلام aws s3 از snowflake. Query aws s3 from snowflake.

• بارگذاری اطلاعات از s3 به snowflake. Load data from s3 to snowflake.

• دانلود اطلاعات به s3 Unload data to s3

• اصول کلی Aws Aws cli basics

• گزینه های دیگر برای کپی کردن Other options to copy.

• کپی فایل های فشرده Copy zip files

• با استفاده از کنسول وب aws و cli داده ها را در aws s3 آپلود کنید. Upload data to aws s3 using aws web console and cli.

• خلاصه بخش Section Recap.

• منطقه صحنه سازی خارجی Aws. Aws external staging area.

میزهای خارجی دانه برف Snowflake external tables

• آشنایی با جداول خارجی Introduction to external tables.

• چرا جداول خارجی Why external tables.

• درج سناریو Insert scenario.

• حذف سناریو Delete scenario.

• به روز رسانی سناریو Update scenario.

• پارتیشن بندی در جداول خارجی Partition in external tables.

• پارتیشن دستی در جداول خارجی Manual partition in external tables.

• به‌روزرسانی خودکار متادیتا. Auto refresh metadata.

بارگیری داده ها از Google GCS. Load data from Google GCS.

• حساب gcs ایجاد کنید. Create gcs account.

• سطل ایجاد کنید. Create bucket.

• آناتومی فرمان را کپی کنید. Copy command anatomy.

• شی ادغام ذخیره سازی Gcp را ایجاد کنید. Create Gcp storage integration object.

• داده های Gcs را پرس و جو کنید. Query Gcs data.

• داده ها را در برف ریزه بارگذاری کنید. Load data into snowflake.

• داده های Gcs را بارگیری کنید. Unload Gcs data.

بارگیری داده ها از Azure. Loading data from Azure.

• حساب لاجوردی ایجاد کنید Create azure account

• اتصال دانه‌های برف به ذخیره‌سازی لکه‌های لاجوردی Connecting snowflake to azure blob storage

• داده ها را با استفاده از AZCOPY آپلود کنید Upload data using AZCOPY

• داده های پارکت را از لاجورد جستجو کنید Query parquet data from azure

• داده های پارکت را روی دانه های برف بارگیری کنید Load parquet data to snowflake

• داده های پارکت را در لاجورد تخلیه کنید Unload parquet data to azure

گزینه های کپی Copy options

• معرفی. Introduction.

• [نمایش] اعتبارسنجی قبل از بارگیری داده ها در جدول. [Demo] Validate before loading data to table.

• [نمایش] گزینه های سطح فایل. [Demo] File level options.

• [نمایش] جمع آوری سوابق رد شده از دستور کپی. [Demo] Collecting rejected records from copy command.

• [دمو] گزینه ستون را اجرا و کوتاه کنید. [Demo] Enforce and Truncate column option.

• [نمایش] گزینه نیرو. [Demo] Force option.

• [دمو] گزینه پاکسازی. [Demo] Purge option.

• بارگیری تاریخچه و مشاهده تاریخچه کپی Load history and copy history views

• گزینه های فرمان را کپی کنید. Copy command options.

[دمو] کار با دستور کپی. [Demo] Working with copy command.

• آماده سازی داده ها Preparing data.

• داده های نمونه را بارگیری کنید. Load sample data.

• عملکرد فرمان را کپی کنید. Copy command performance.

• تمرین نمایشی Demo practice.

تکالیف. Assignments.

• بارگذاری داده ها در جدول دانه های برف با استفاده از مرحله داخلی. Load data into snowflake table using internal stage.

• سند تکلیف: برای بارگذاری داده ها در دو جدول مختلف. Assignment document: To load data to two different tables.

• داده های بارگذاری را به چندین جدول اختصاص دهید Assignment load data to multiple tables

• سند واگذاری: داده ها را در مرحله داخلی بارگیری کنید. Assignment document : Unload data to internal stage.

• داده ها را به مرحله داخلی تخلیه کنید. Unload data to internal stage.

• سند تخصیص: ایجاد شی ادغام. Assignment document : Create integration object.

• ایجاد شی ادغام Create integration object.

• سند تکلیف: استفاده از برف ریزه به عنوان موتور جستجو. Assignment document : Using snowflake as query engine.

• از snowflake به عنوان موتور جستجو بر روی aws s3 استفاده کنید. Use snowflake as query engine over aws s3.

• سند واگذاری: در حال بارگیری داده های باز aws. Assignment document : Loading aws open data.

• در حال بارگیری aws داده‌های باز برای برف‌ریزه. Loading aws open data to snowflake.

بارگیری داده های بدون ساختار Loading unstructured data

• در حال بارگذاری معرفی داده های بدون ساختار. Loading unstructured data introduction.

• داده های json را بارگیری کنید Load json data

• داده های xml را بارگیری کنید Load xml data

• بارگذاری داده های بدون ساختار: روش-1 Loading unstructured data: Method-1

• بارگیری داده های بدون ساختار: روش-2 Loading unstructured data : Method-2

• بارگیری داده های بدون ساختار: روش-3 Loading unstructured data : Method-3

• بارگیری داده های کتاب json. Load json book data.

• بارگذاری اطلاعات توییتر Load twitter data.

• داده های پارکت را تخلیه و بارگیری کنید. Unload and load parquet data.

/********ماژول-3 شروع می شود*******/ /*******Module-3 starts*******/

• معرفی ماژول 3. Module 3 introduction.

لوله برف در دانه برف. Snow pipe in snowflake.

• معرفی لوله برفی Snow pipe introduction.

• نسخه ی نمایشی Snowpipe Snowpipe demo

• تجزیه و تحلیل Snowpipe قسمت 1 Snowpipe analysis part-1

• تجزیه و تحلیل Snowpipe قسمت 2 Snowpipe analysis part-2

• تجزیه و تحلیل Snowpipe قسمت 3 Snowpipe analysis part-3

• مسابقه لوله برفی. Snow pipe quiz.

• تعیین لوله برف. Snowpipe assingment.

به اشتراک گذاری داده ها در برف ریزه Data sharing in snowflake

• معرفی سریع به اشتراک گذاری داده ها Data sharing quick introduction.

• نسخه نمایشی اشتراک داده Data share demo

• ایجاد نمای امن Creating secure view

• تفاوت بین نمای امن و عادی Difference between secure and normal view.

• ایجاد اکانت برف خوان Creating snowflake reader account.

• پیکربندی حساب خواننده Configure reader account.

• محدودیت در حساب خواننده Restriction on reader account.

• اهمیت اشتراک داده ها Data share significance.

• خواندن بیشتر منابع Further reading Resources

• تکلیف-1: ایجاد حساب مشترک. Assignment-1: Create shared account.

• تکلیف-2: ایجاد نما Assignment-2 : Create views

• تکلیف-3: ایجاد پایگاه داده مشترک Assignment-3 : Create shared database

• مسابقه اشتراک گذاری داده ها Data sharing quiz.

سفر در زمان در دانه های برف Time Travel in snowflake

• دمو سفر در زمان Time travel demo.

• سفر در زمان در دانه برف و نحوه عملکرد آن Time travel in snowflake and how it works.

• دوره نگهداری جدول Table retention period.

• مسابقه سفر در زمان Time travel quize

• بیشتر در مورد سفر در زمان More on time travel.

• تکلیف: سفر در زمان Assignment : Time travel

• سفر در زمان و دوره نگهداری. Time travel and retention period.

ایمن شکست در دانه های برف Fail safe in snowflake

• ایمن شکست در دانه های برف. Fail safe in snowflake.

• دسترسی ایمن از کنسول وب با شکست مواجه شد. Access fail safe from web console.

• ارتباط بین ایمن شکست و دوره نگهداری Relation between fail safe and retention period.

• انواع جدول در دانه های برف. Table types in snowflake.

• میز دائمی و ایمن. Permanent table and failsafe.

• جدول گذرا Transient table.

• جدول موقت Temporary table.

• ایجاد پایگاه داده گذرا در snowflake. Creating transient database in snowflake.

• مسابقه ایمن شکست بخور Fail safe quize

• شکست امن خواندن بیشتر. Fail safe further reading.

• تکلیف: - ایمن از کار افتادن. Assignment:- Fail safe.

ویژگی کلون در برف ریزه Clone feature in snowflake

• ویژگی کلون در برف ریزه و نحوه کار آن. Clone feature in snowflake and how it works.

• نسخه ی نمایشی ویژگی Clone. Clone feature demo.

• تعویض میز در دانه برف. Table swap in snowflake.

• مسابقه شبیه سازی Cloning quiz

• تکلیف: - شبیه سازی. Assignment:-Cloning.

نمونه گیری داده ها در دانه های برف. Data sampling in snowflake.

• معرفی نمونه برداری از دانه های برف Snowflake sampling introduction.

• نمونه برداری ردیف در مقابل بلوک Row vs Block sampling.

• نمونه گیری نسخه ی نمایشی Sampling Demo

• کلون در مقابل نمونه برداری Clone vs Sampling.

• مرجع- نمونه گیری Reference- Sampling

• تکلیف:-نمونه گیری داده ها. Assignment:-Data sampling.

برنامه ریزی در برف ریزه-کارها Scheduling in snowflake-TASKS

• معرفی وظایف دانه برف. Snowflake tasks introduction.

• نسخه ی نمایشی وظیفه دانه برف. Snowflake task demo.

• مقدمه وابستگی به کار Task dependency intro.

• نسخه ی نمایشی وابستگی به کار Task dependency demo

جریان در دانه های برف. Streaming in snowflake.

• مقدمه ای بر استریم ها Introduction to streams.

• پخش دمو قسمت 1 Streaming demo part 1

• پخش دمو قسمت 2 Streaming demo part 2

• انواع جریان Types of stream

• بند تغییر CHANGE clause

• به آرامی تغییر ابعاد با استفاده از جریان. Slowly changing dimension using streams.

[نمایش] بارگذاری مداوم داده در دانه های برف [Demo] continuous data load in snowflake

• نمای کلی نسخه ی نمایشی Demo overview

• تهیه کد Code preparation

• اجرا Execution

دیدگاه های مادی شده Materialized views

• مقدمه نمای مادی شده Materialized view intro

• ام وی زیر کاپوت MV under the hood

• هزینه تعمیر و نگهداری MV MV maintenance cost

• قبل از استفاده از MV Before using MV

• مسابقه نمایش مادی شده Materialized view quiz

• محدودیت نماهای مادی شده Limitation of Materialized views.

• تکلیف: - دیدگاه های مادی شده. Assignment :- Materialized views.

/********پایان ماژول-3*******/ /*******Module-3 ends*******/

• ماژول-3 به پایان می رسد. Module-3 ends.

/****ماژول-4****/ /****Module-4****/

• حاکمیت داده و مدیریت Data governacence and Administration

پوشش داده ها Data masking

• مقدمه ای بر پوشش داده ها Introduction to data masking.

• پوشش داده را درک کنید Understand data masking

• سناریوی پوشش داده 1 Data masking scenario 1

• سناریوی پوشش داده 2 Data masking scenario 2

• تفکیک وظایف Segregation of duties

• اعمال پوشش داده (HIPAA نسخه 1) Apply data masking (HIPAA version 1)

• قوانین HIPAA نسخه 2 HIPAA rules version 2

• مشکل ماسک زدن Problem with masking

• استفاده از نماها Using views

• استفاده از نماها (ادامه) Using views ( continued )

خط مشی دسترسی به ردیف Row access policy

• معرفی. Introduction.

• دمو خط مشی دسترسی به ردیف Row access policy demo

• چرا خط مشی دسترسی به ردیف؟ why row access policy?

• تفکیک وظایف Segregation of duties

• جداول نقشه برداری Mapping tables.

• عملیات Dml Dml operations

• نتیجه. Conclusion.

برچسب زدن در دانه های برف Tagging in snowflake

• برچسب زدن در دانه های برف Tagging in snowflake

• تگ ایجاد و اعمال کنید Create and apply tag

• تفکیک وظایف Seggregation of duties

• محیط را آماده کنید Prepare environment

• اعمال تگ Applying tag

• خط مشی پوشش مبتنی بر برچسب part1 Tag based masking policy part1

• خط مشی پوشش مبتنی بر برچسب قسمت 2 Tag based masking policy part2

• پوشش بر اساس ارزش برچسب. Masking based on tag value.

• طبقه بندی Classification

• نسخه ی نمایشی طبقه بندی Classification demo

رویه های ذخیره شده Stored procedures

• معرفی بخش Section introduction

• اصول رویه ذخیره شده Stored procedure basics

• برگرداندن نتیجه از رویه ذخیره شده Returning result from stored procedure

• استفاده از دستورات کنترل Using control statements.

• استفاده از متغیرهای bind Using bind variables.

• روش نرخ پر کردن جدول Table fill rate procedure.

• سناریوهای خطا Error scenarios.

• رسیدگی به سناریوهای خطا Handling error scenarios.

• ثبت پیام های خطا Logging error messages.

• معاملات در رویه های ذخیره شده Transactions in stored procedures.

• رویه های تماس گیرنده و مالک Caller and owner procedures.

• استفاده از متغیرهای جلسه در رویه ها Using session variables in procedures.

• موارد استفاده از رویه مالک و تماس گیرنده. Owner and Caller procedure use cases.

کنترل دسترسی در برف ریزه Access control in snowflake

• معرفی کنترل دسترسی Access-control introduction.

• سلسله مراتب اشیاء و نقش. Objects and role hierarchy.

• نقش های پیش فرض Default roles.

• ایجاد پایگاه داده: Level1 Creating database: Level1

• ایجاد پایگاه داده: Level2 Creating database : Level2

• ایجاد پایگاه داده: Level3 Creating database : Level3

• ایجاد پایگاه داده: Level4 Creating database : Level4

• ایجاد پایگاه داده: Level5 Creating database : Level5

• معرفی طرحواره مدیریت شده Managed schema introduction.

• نسخه ی نمایشی طرحواره مدیریت شده. Managed schema demo.

• معرفی سلسله مراتب ساختمان. Building hierarchy introduction.

• ساخت دمو سلسله مراتبی. Building hierarchy demo.

• سلسله مراتب برای تحلیلگر Hierarchy for analyst.

• کمک های مالی آینده Future grants.

• اشیاء SharedDB SharedDB objects

• خلاصه. Summary.

بهترین روش های دانه برف Snowflake best practices

• معرفی بهترین شیوه ها Best practices introduction.

• بهترین روش ها در حین انجام کلون Best practices while doing clone.

• بهترین تمرین هنگام ایجاد پایگاه داده و جداول. Best practice while creating database and tables.

• بهترین تمرین در هنگام استفاده از انبار مجازی Best practice while using virtual warehouse.

• بهترین تمرین هنگام استفاده از دوره نگهداری و سفر در زمان. Best practice while using retention period and time travel.

بخش پاداش Bonus section

• دانه برف با جرقه Snowflake with spark