آموزش Snowflake – The Complete Masterclas (نسخه 2023)

سرفصل ها و درس ها

معرفی Introduction

• خوش آمدی! Welcome!

• طرح کلی دوره Course Outline

• چگونه از دوره بهترین بهره را ببریم؟ How to benefit best from the course?

• همه اسلایدها و منابع دوره All course slides & resources

شروع شدن Getting started

• برای آزمایش رایگان ثبت نام کنید Sign up for free trial

• وارد حساب کاربری شوید Login to account

• آشنایی با رابط کاربری Getting to know the interface

• معماری دانه های برف Snowflake architecture

• معماری Architecture

• راه اندازی انبار Setting up warehouse

• راه اندازی انبار با استفاده از SQL Setting up warehouse using SQL

• راه اندازی انبار مجازی Setting up virtual warehouse

• سیاست مقیاس بندی Scaling policy

• کاوش جداول و پایگاه های داده Exploring tables & databases

• بارگیری داده ها در برف ریزه Loading data in snowflake

• بارگذاری داده ها Load data

معماری دانه های برف Snowflake architecture

• انبار داده چیست؟ What is a data warehouse?

• پردازش ابری Cloud computing

• نسخه های دانه برف Snowflake editions

• قیمت دانه های برف Snowflake pricing

• استفاده از مانیتور Monitor Usage

• نقش در دانه های برف Roles in snowflake

• معماری Architecture

در حال بارگیری داده ها Loading data

• روش های بارگذاری Loading methods

• درک مراحل Understanding stages

• ایجاد مرحله Creating stage

• دستور COPY COPY command

• یک مرحله ایجاد کنید و داده ها را بارگذاری کنید Create a stage & load data

• تبدیل داده ها Transforming data

• تحولات بیشتر More transformations

• گزینه کپی: ON_ERROR Copy option: ON_ERROR

• شی فرمت فایل File format object

• خلاصه Summary

• در حال بارگیری داده ها Loading data

• ایجاد شی فرمت فایل و استفاده از گزینه کپی Create file format object & use copy option

گزینه های کپی Copy options

• درک گزینه های کپی Understanding copy options

• VALIDATION_MODE VALIDATION_MODE

• با استفاده از گزینه های کپی Using the copy options

• کار با سوابق رد شده Working with rejected records

• SIZE_LIMIT SIZE_LIMIT

• RETURN_FAILED_ONLY RETURN_FAILED_ONLY

• ستون های تنه TRUNCATECOLUMNS

• زور FORCE

• بارگذاری تاریخچه Load history

• گزینه های کپی Copy options

• با استفاده از گزینه های کپی Using the copy options

بارگیری داده های بدون ساختار Loading unstructured data

• مراحل سطح بالا High-level steps

• داده های ما Our data

• ایجاد مرحله و فایل خام Creating stage & raw file

• بارگیری JSON خام Load raw JSON

• تجزیه JSON Parsing JSON

• مدیریت داده های تو در تو Handling nested data

• تجزیه و مدیریت آرایه Parsing & handling array

• برخورد با سلسله مراتب Dealing with hierarchy

• درج داده های نهایی Insert final data

• استعلام داده های PARQUET Querying PARQUET data

• در حال بارگیری داده های PARQUET Loading PARQUET data

بهینه سازی عملکرد Performance optimization

• اجرا در Snowflake Performance in Snowflake

• ایجاد انبار مجازی اختصاصی Create dedicated virtual warehouse

• پیاده سازی انبار مجازی اختصاصی Implement dedicated virtual warehouse

• افزایش مقیاس Scaling up

• بزرگ شدن Scaling out

• ذخیره سازی - تئوری Caching - Theory

• ذخیره سازی را به حداکثر برسانید Maximize Caching

• خوشه بندی - نظریه Clustering - Theory

• خوشه بندی - تمرین Clustering - Practice

• بهینه سازی عملکرد Performance optimization

بارگیری از AWS Loading from AWS

• برای آزمایش رایگان ثبت نام کنید Sign up for free trial

• ایجاد سطل S3 Creating S3 bucket

• فایل ها را در S3 آپلود کنید Upload files in S3

• ایجاد خط مشی Creating policy

• ایجاد شی ادغام Creating integration object

• بارگیری از S3 Loading from S3

• JSON را کنترل کنید Handle JSON

• بارگیری از AWS Loading from AWS

بارگیری از Azure Loading from Azure

• برای آزمایش رایگان ثبت نام کنید Sign up for free trial

• یک حساب ذخیره سازی ایجاد کنید Create a storage account

• یک ظرف ایجاد کنید Create a container

• ایجاد شی ادغام Create integration object

• ایجاد شی صحنه Create stage object

• فایل CSV را بارگیری کنید Load CSV file

• فایل JSON را بارگیری کنید Load JSON file

بارگیری از GCP Loading from GCP

• برای آزمایش رایگان ثبت نام کنید Sign up for free trial

• یک سطل ایجاد کنید Create a bucket

• ایجاد شی ادغام Create integration object

• مرحله ایجاد کنید Create stage

• پرس و جو و بارگیری داده ها Query & load data

• داده ها را تخلیه کنید Unload data

لوله برف Snowpipe

• Snowpipe چیست؟ What is Snowpipe?

• مراحل سطح بالا High-level steps

• ایجاد مرحله Creating stage

• ایجاد لوله Creating pipe

• پیکربندی لوله و اعلان ها Configure pipe & notifications

• رسیدگی به خطا Error handling

• لوله ها را مدیریت کنید Manage pipes

• لوله برف Snowpipe

Snowpipe برای Azure Snowpipe for Azure

• مراحل سطح بالا High-level steps

• ایجاد ادغام مرحله و ذخیره سازی Create stage & storage integration

• ایجاد یکپارچه سازی اعلان ها Create notification integration

• داده های لوله و بار را ایجاد کنید Create pipe and load data

سفر در زمان Time Travel

• استفاده از سفر در زمان Using time travel

• سفر در زمان Time travel

• بازیابی داده ها Restoring data

• جدا کردن جداول UNDROP tables

• رها کردن Undrop

• زمان ماندگاری Retention time

• هزینه سفر در زمان Time travel cost

• سفر در زمان Time travel

Fail Safe Fail Safe

• درک Fail Safe Understanding Fail Safe

• ذخیره سازی ایمن شکست خورده است Fail Safe storage

• Fail Safe Fail Safe

انواع میز Types of tables

• انواع مختلف میز Different table types

• جداول و پایگاه های داده دائمی Permanent tables & databases

• جداول و پایگاه های داده گذرا Transient tables & databases

• جداول و پایگاه داده های موقت Temporary tables & databases

• انواع میز Types of tables

شبیه سازی صفر کپی Zero-Copy Cloning

• درک شبیه سازی صفر کپی Understanding Zero-Copy Cloning

• جداول شبیه سازی Cloning tables

• شبیه سازی طرحواره ها و پایگاه های داده Cloning schemas & databases

• شبیه سازی با سفر در زمان Cloning with time travel

• تعویض جداول Swapping tables

• شبیه سازی صفر کپی Zero-Copy Cloning

• شبیه سازی صفر کپی Zero-Copy Cloning

به اشتراک گذاری داده ها Data Sharing

• درک اشتراک گذاری داده ها Understanding data sharing

• استفاده از اشتراک گذاری داده ها Using data sharing

• اشتراک گذاری را از طریق رابط ایجاد کنید Create share through the interface

• اشتراک گذاری با کاربران غیر دانه برف Sharing with non-snowflake users

• ایجاد حساب خواننده Creating a reader account

• ایجاد پایگاه داده از اشتراک Creating a database from share

• کاربران را برای اشتراک گذاری تنظیم کنید Set up users for share

• به اشتراک گذاری پایگاه داده و طرحواره Sharing database & schema

• نمای ایمن در مقابل نمای عادی Secure vs. normal view

• به اشتراک گذاری یک نمای امن Sharing a secure view

• به اشتراک گذاری داده ها Data Sharing

• به اشتراک گذاری داده ها Data Sharing

نمونه گیری داده ها Data Sampling

• چرا نمونه گیری از داده ها؟ Why data sampling?

• روش های نمونه گیری از داده ها Methods of data sampling

• داده های نمونه گیری: عملی Sampling data: Hands-on

• نمونه گیری داده ها Data Sampling

• نمونه گیری داده ها Data Sampling

برنامه ریزی وظایف Scheduling Tasks

• درک وظایف Understanding tasks

• ایجاد وظایف Creating tasks

• با استفاده از CRON Using CRON

• درخت وظایف را درک کنید Understand tree of tasks

• ایجاد درخت وظایف Creating trees of tasks

• فراخوانی رویه ذخیره شده Calling a stored procedure

• سابقه کار و رسیدگی به خطا Task history & error handling

• وظایف با شرط Tasks with condition

• وظایف Tasks

جریان ها Streams

• درک جریان ها Understanding streams

• عملیات INSERT INSERT operation

• عملیات به روز رسانی UPDATE operation

• عملیات DELETE DELETE operation

• تمام تغییرات داده را پردازش کنید Process all data changes

• جریان ها و وظایف را ترکیب کنید Combine streams & tasks

• انواع جریان Types of streams

• بند را تغییر می دهد Changes clause

• جریان ها Streams

نماهای مادی شده Materialized Views

• دیدگاه های تحقق یافته را درک کنید Understand materialized views

• استفاده از دیدگاه های مادی شده Using materialized views

• بازخوانی نماهای تحقق یافته Refresh materialized views

• هزینه های نگهداری Maintenance costs

• زمان استفاده از نماهای مادی شده When to use materialized views

• محدودیت ها Limitations

• دیدگاه های مادی شده Materialized views

• دیدگاه های مادی شده Materialized views

پوشش داده پویا Dynamic Data Masking

• آشنایی با پوشش داده ها Understanding data masking

• ایجاد خط مشی پوشش Creating a masking policy

• تنظیم و جایگزینی خط مشی Unset & replace policy

• سیاست موجود را تغییر دهید Alter an existing policy

• نمونه های زندگی واقعی Real life examples

• پوشش داده ها Data Masking

مدیریت دسترسی Access Management

• مفاهیم کلیدی Key concepts

• نمای کلی نقش ها Roles overview

• ACCOUNTADMIN ACCOUNTADMIN

• ACCOUNTADMIN در عمل ACCOUNTADMIN in practice

• SECURITYADMIN SECURITYADMIN

• SECURITYADMIN در عمل SECURITYADMIN in practice

• SYSADMIN SYSADMIN

• SYSADMIN در عمل SYSADMIN in practice

• نقش های سفارشی Custom roles

• نقش های سفارشی در عمل Custom roles in practice

• USERADMIN USERADMIN

• USERADMIN در عمل USERADMIN in practice

• عمومی PUBLIC

• مدیریت دسترسی Access management

تجسم - Power BI & Tableau Visualization - Power BI & Tableau

• تجسم داده ها Data Visualization

• Power BI را دانلود و نصب کنید Download & install Power BI

• Power BI و Snowflake را وصل کنید Connect Power BI & Snowflake

• کار در Power BI Working in Power BI

• Tableau را دانلود و نصب کنید Download & install Tableau

• Tableau & Snowflake را متصل کنید Connect Tableau & Snowflake

Partner Connect - اتصال ابزارهای دیگر Partner Connect - Connecting other tools

• اتصال به ابزارهای دیگر Connecting to other tools

• به ابزار ETL متصل شوید Connect to ETL tool

بهترین شیوه ها Best Practises

• بهترین شیوه ها Best practices

• انبارهای مجازی Virtual warehouses

• طراحی میز Table design

• نظارت بر Monitoring

• دوره نگهداری Retention period

جایزه Bonus

• سخنرانی پاداش Bonus lecture