آموزش تسلط بر دانه های برف: گام های آسان برای کسب تخصص [2023]

سرفصل ها و درس ها

شروع شدن Getting Started

• خوش آمد گویی و ساختار دوره Welcome and Course Structure

• سلب مسئولیت و مدرسان Alphaedge Solutions Alphaedge Solutions disclaimer and instructors

• منابع دوره Course Resources

• چند اقدام قبل از اینکه یادگیری خود را راه اندازی کنید Few Actions before you launch your learning

معرفی Introduction

• ایجاد حساب آزمایشی Create trial account

• رابط کاربری خود را بشناسید Know your UI interface

• معماری دیسک اشتراکی و غیر اشتراکی Share and non share disc architecture

• معماری دانه های برف سطح بالا High level snowflake architecture

• اندازه های انبار مجازی Virtual warehouse sizes

• ایجاد انبار مجازی Create virtual warehouse

• سیاست مقیاس بندی Scaling policy

• اولین پایگاه داده و جدول ایجاد کنید Create first database and table

• فایل csv را از سطل عمومی S3 بارگیری کنید Load csv file from public S3 bucket

• معرفی Introduction

• معرفی Introduction

معماری دانه های برف Snowflake Architecture

• نسخه های دانه برف Snowflake editions

• نسخه های دانه برف Snowflake editions

• وام Credits

• مفهوم حداقل 1 دقیقه Minumum 1 minute concept

• سناریوهای استفاده از اعتبار Credit usage scenarios

• هزینه ذخیره سازی اعتبار به دلار Credit to dollar storage cost

• مصرف اعتبار برای ذخیره سازی Credit consumption for storage

• معماری دانه های برف Snowflake Architecture

مدیریت اجرایی Performance management

• روش های بهبود عملکرد Performance improvement methods

• انبارهای مجازی اختصاصی Dedicated virtual warehouses

• ایجاد انبار مجازی اختصاصی Dedicated Virtual warehouse creation

• افزایش مقیاس و کاهش مقیاس Scale up and Scale down

• افزایش مقیاس و کاهش مقیاس Scale up and Scale down

• بزرگ کردن و مقیاس کردن Scale out and Scale in

• ذخیره سازی را به حداکثر برسانید Maximize caching

• نمایش حافظه پنهان را به حداکثر برسانید Maximize caching demonstration

• کلیدهای خوشه بندی Clustering keys

• هزینه های خوشه بندی Clustering costs

• خوشه بندی Clustering

• عملکرد خوشه بندی Clustering performance

• میکروپارتیشن ها Micropartitions

• ریزپارتیشن ها - هرس پرس و جو، عمق و همپوشانی Micropartitions - query pruning, depths and overlap

• مدیریت اجرایی Performance Management

• هرس پرس و جوی میکروپارتیشن ها Micropartitions query pruning

مدیریت دسترسی Access management

• کنترل دسترسی و RBAC Access control and RBAC

• اشیاء قابل ایمن سازی Securable objects

• نقش ها Roles

• کنترل دسترسی Access Control

جداول در دانه های برف Tables in snowflake

• انواع جدول Table types

• انواع پایگاه داده و طرحواره Database and schema types

• جداول Tables

• جداول Tables

• جداول ادامه یافت Tables continued

• انواع پایگاه داده و طرحواره Database and schema types

توابع تعریف شده توسط کاربر (UDF) و رویه های ذخیره شده User defined functions (UDF's) and Stored procedures

• توابع تعریف شده توسط کاربر (UDF) User defined functions (UDF's)

• رویه های ذخیره شده (SP's) Stored procedures (SP's)

• UDF و SP را ایمن کنید Secure UDF's and SP's

• UDF و SP UDF's and SP

• UDF ها را ایمن کنید Secure UDF's

بازدیدها Views

• دیدگاه‌های محقق نشده Non materialized views

• دیدگاه های مادی شده Materialized views

• بازخوانی نمای تحقق یافته Refresh materialized view

• بازدیدها Views

• نماهای مادی شده Materialized Views

بارگذاری داده ها Data loading

• تکنیک های بارگذاری داده ها Data loading techniques

• مراحل دانه های برف را بشناسید Know snowflake stages

• SNOWSQL را نصب کنید Install SNOWSQL

• بارگذاری داده ها Data loading

• مراحل داخلی - Userstage Internal stages - Userstage

• مراحل داخلی - Tablestage Internal stages - Tablestage

• مراحل داخلی - Namedstage Internal stages - Namedstage

• مراحل بیرونی External stages

• مراحل Stages

• دستور COPY COPY command

• COPY Transformations1 COPY Transformations1

• COPY Transformations2 COPY Transformations2

• شی فرمت فایل File format object

• ویژگی های شی فرمت فایل File format object properties

• کپی و شی فرمت فایل COPY and File Format Object

• بارگذاری داده ها Data Loading

• شی فرمت فایل و تبدیل File format object and transformation

گزینه های کپی COPY OPTIONS

• ON_ERROR - ادامه ON_ERROR - CONTINUE

• ON_ERROR - SKIP_FILE ON_ERROR - SKIP_FILE

• SIZE_LIMIT SIZE_LIMIT

• RETURN_FAILED_ONLY RETURN_FAILED_ONLY

• بررسی دانش گزینه‌های کپی 1 Copy options knowledge check 1

• ENFORCE_LENGTH/TRUNCATECOLUMNS ENFORCE_LENGTH/TRUNCATECOLUMNS

• FORCE/LOAD_UNCERTAIN_FILES FORCE/LOAD_UNCERTAIN_FILES

• LOAD_HISTORY LOAD_HISTORY

• بررسی دانش گزینه‌های کپی ۲ Copy options knowledge check 2

• حالت اعتبارسنجی - RETURN_ERRORS VALIDATION MODE - RETURN_ERRORS

• حالت اعتبار - RETURN_<n>_ROWS/RETURN_ALL_ERRORS VALIDATION MODE - RETURN_<n>_ROWS/RETURN_ALL_ERRORS

• ثبت رکوردهای رد شده با استفاده از RESULT_SCAN Logging rejected records using RESULT_SCAN

• ثبت رکوردهای رد شده با استفاده از اعتبارسنجی Logging rejected records using validate

• بهترین شیوه های بارگذاری داده 1 Data loading best practices1

• بهترین شیوه های بارگذاری داده 2 Data loading best practices2

• حالت اعتبارسنجی، ثبت و سوابق رد شده Validation mode , logging and rejected records

• گزینه های کپی Copy Options

تخلیه داده ها Data Unloading

• نظریه تخلیه داده ها Data unloading theory

• کپی در مکان: Internalstage -> Userstage COPY into location: Internalstage -> Userstage

• کپی در مکان: Internalstage -> Tablestage COPY into location: Internalstage -> Tablestage

• کپی در مکان: Internalstage -> Internalstage نامگذاری شده است COPY into location: Internalstage -> Named internalstage

• تخلیه با استفاده از پرس و جو Unloading using query

• تخلیه چندین فایل Unloading multiple files

• تخلیه داده ها Data unloading

• تخلیه داده ها Data unloading

بارگیری و تخلیه از AWS Loading and Unloading from AWS

• حساب رایگان AWS ایجاد کنید Create AWS free-tier account

• سطل، فایل و نقش S3 ایجاد کنید Create S3 bucket, file and role

• شیء یکپارچه سازی ذخیره سازی Storage integration object

• فایل را از AWS بارگیری کنید Load file from AWS

• داده ها را در AWS بارگیری کنید Unload data to AWS

• بارگیری تخلیه در AWS Loading unloading to AWS

• بارگیری داده های تخلیه Loading unloading data

بارگیری و تخلیه از AZURE Loading and Unloading from AZURE

• حساب آزمایشی رایگان لاجورد ایجاد کنید Create azure free trial account

• ذخیره سازی و ظرف ایجاد کنید Create storage and container

• شی ادغام Integration object

• بارگیری داده ها از Azure Load data from Azure

• داده ها را در Azure بارگیری کنید Unload data to Azure

• بارگیری تخلیه از Azure Loading unloading from Azure

• بارگیری تخلیه از Azure Loading unloading from Azure

بارگیری و تخلیه از GCP Loading and Unloading from GCP

• ایجاد حساب آزمایشی GCP، ایجاد سطل و آپلود فایل Create GCP trial account, create bucket and upload file

• شی ادغام Integration object

• بارگیری داده از GCP Load data from GCP

• بارگیری داده ها در GCP Unload data to GCP

• بارگیری تخلیه از GCP Loading unloading from GCP

• بارگیری تخلیه از GCP Loading unloading from GCP

بارگذاری داده های نیمه ساختار یافته Loading Semi-Structured data

• معرفی Introduction

• پردازش و درک داده های آزمایشی Process and understanding the demo data

• JSON: داده های خام را بارگیری کنید و اشیاء تودرتو را تجزیه و تحلیل کنید JSON: Load raw data and analyse nested objects

• جیسون: صاف کن JSON: FLATTEN

• JSON: بارگذاری و تبدیل داده ها JSON: Data load and transformation

• PARQUET: بارگذاری فایل و تبدیل PARQUET: File load and transformation

• داده های نیمه ساختار یافته Semi-structured data

• داده های نیمه ساختار یافته Semi-structured data

لوله برف Snowpipe

• بررسی اجمالی Overview

• ایجاد snowpipe، بارگیری و پیکربندی Create snowpipe, load and configure

• عیب یابی و نوسازی لوله Troubleshooting and pipe refresh

• برف لوله را مدیریت کنید Manage snowpipe

• لوله برف Snowpipe

• لوله برف Snowpipe

پوشش داده پویا Dynamic Data Masking

• نمای کلی پوشاندن داده پویا Dynamic data masking overview

• خط مشی پوشاندن داده پویا ایجاد کنید Create dynamic data masking policy

• خط مشی پوشش و مرجع خط مشی Masking policy and policy reference

• خط مشی پوشش در چندین ستون، پوشش تودرتو و نمونه های زندگی واقعی Masking policy on multiple columns, nested masking and real life examples

• زمینه سیاست پوشاندن و پوشش مشروط Masking policy context and conditional masking

• پوشش داده پویا Dynamic Data Masking

• پوشش داده پویا Dynamic data masking

تجسم داده ها Data Visualization

• تنظیم داده برای تجسم Data setup for visualization

• نمودارهای برفی و تجسم Snowsight charts and visualization

• نصب تابلو Tableau installation

• درایور Snowflake ODBC Snowflake ODBC driver

• تجسم تابلو از داده های دانه های برف Tableau visualization from snowflake data

• تجسم داده ها Data visualization

• تجسم داده ها Data Visualization

شریک اتصال Partner Connect

• بررسی اجمالی Overview

• نسخه نمایشی اتصال شریک Partner connect demo

• شریک اتصال Partner Connect

• شریک اتصال Partner Connect

به اشتراک گذاری داده ها Data Sharing

• نمای کلی به اشتراک گذاری داده ها Data sharing overview

• جدول، جدول خارجی و UDF برای به اشتراک گذاری داده ایجاد کنید Create Table, external table and UDF's for data sharing

• نسخه نمایشی به اشتراک گذاری داده از جدول، جدول خارجی و UDF Data sharing demo of table, external table and UDF

• ایجاد اشتراک داده از طریق UI Create data share via UI

• به اشتراک گذاری داده در حساب خواننده Data share to a reader account

• امتیازات وارداتی Imported privileges

• اشتراک داده - کل پایگاه داده Data share - entire database

• عملیات اشتراک داده - DDL و DML تأثیر می گذارد Data share operations - DDL and DML affect

• به اشتراک گذاری دیدگاه ها و دیدگاه های مادی شده Sharing views and materialized views

• به اشتراک گذاری داده ها Data Sharing

• به اشتراک گذاری داده ها Data Sharing

سفر در زمان Time Travel

• مروری بر سفر در زمان Time travel overview

• بازیابی داده ها با استفاده از "at" و "قبل از" Retrieve data using "at" and "before"

• بازیابی اطلاعات به روش مستقیم Data restoration using direct method

• بازیابی اطلاعات به روش غیر مستقیم Data restoration using indirect method

• UNDROP UNDROP

• درک زمان ماندگاری Understanding retention time

• سفر در زمان Time Travel

• سفر در زمان Time Travel

FAILSAFE FAILSAFE

• بررسی اجمالی Overview

• نسخه ی نمایشی Failsafe Failsafe demo

• Fail Safe Fail Safe

شبیه سازی صفر کپی Zero Copy Cloning

• بررسی اجمالی Overview

• شبیه سازی جداول دائمی Cloning permanent tables

• کمک هزینه ها و موارد دیگر در مورد شبیه سازی را کپی کنید Copy grants and more on cloning

• کلون طرح و پایگاه داده Clone schema and database

• تعویض کنید Swap

• شبیه سازی با استفاده از سفر در زمان و درک اشتراک گذاری در مقابل شبیه سازی Clone using time travel and understand sharing vs cloning

• شبیه سازی صفر کپی Zero copy cloning

• شبیه سازی صفر کپی Zero copy cloning

جریان ها Streams

• مروری بر جریان ها Streams Overview

• آفست جریان ها Streams Offset

• مصرف جریان ها با استفاده از درج، به روز رسانی و حذف Consuming streams using insert, update and delete

• انواع جریان - پیش فرض، فقط پیوست. مصرف جریان با استفاده از شرایط نادرست Types of streams - default, append only. Consume stream using false condition

• فقط جریان‌ها را برای جداول خارجی درج کنید Insert only streams for external tables

• مصرف کنندگان متعدد با جریان Multiple consumers with streams

• بند را تغییر می دهد Changes clause

• استریم های stale_after و تمدید در چند روز Streams stale_after and extension in days

• ایجاد مجدد، تغییر نام و اثر شبیه سازی در جریان Recreate, rename and clone effect on stream

• جریان ها Streams

• جریان ها Streams

وظایف Tasks

• درک وظایف Understanding tasks

• کارها را با استفاده از Procedure When و عیب یابی وظایف ایجاد کنید Create tasks using procedure when and troubleshoot tasks

• کار را با استفاده از CRON برنامه ریزی کنید Schedule task using CRON

• CRON - ملاحظات صرفه جویی در نور روز CRON - Day light savings considerations

• DAG - درخت وظایف DAG - Tree of tasks

• کار با جریان Task with stream

• وظایف مدیریت شده توسط کاربر و ملاحظات انبار User managed tasks and warehouse considerations

• وظایف Tasks

• وظایف Tasks

داده های نمونه گیری Sampling Data

• بررسی اجمالی Overview

• روش نمونه گیری ردیفی Row sampling method

• روش بلوک سیستم System block method

• داده های نمونه گیری Sampling Data

• داده های نمونه برداری Sampling data

مدیریت دسترسی در عمل Access management in practice

• نقش های تعریف شده سیستم و کاربران آن System defined roles and its users

• نقش های سفارشی و کاربران آن Custom roles and its users

• اشیاء را از نقش sysadmin ایجاد کنید و به نقش توسعه دهنده اختصاص دهید Create objects from sysadmin role and assign to developer role

• کاربران سفارشی ایجاد کنید - developer1، developer2، qa1 و reader1 Create custom users - developer1, developer2, qa1 and reader1

• مشکلات به دلیل نقش‌های سفارشی تعیین نشده Problems due to unassigned custom roles

• حل مشکلات Solution of the problems

• نقش عمومی Public Role

• مدیریت دسترسی در عمل Access management in practice

• مدیریت دسترسی در عمل Access management in practice

بهترین شیوه ها Best Practices

• رزومه خودکار، موفقیت و شکست و پرس و جوهای طولانی مدت Auto resume, success and failure and long running queries

• نظارت بر منابع Resource monitor

• نظارت بر منابع از طریق SQL Resource monitor via SQL

• نظارت بر منابع با برنامه زمانی سفارشی Resource monitor with custom schedule

• هزینه ذخیره سازی ستون ها و محک زدن پرس و جوها Columns storage cost and benchmarking the queries

• بهترین شیوه ها Best practices

• نظارت بر منابع Resource monitor

متشکرم Thank you

• با تشکر از شما، در ارتباط باشید و موفق باشید! Thank you note, stay connected and good luck !