Snowflake - ساخت و معمار خطوط لوله داده با استفاده از AWS [ویدئو]

سرفصل ها و درس ها

مقدمه دوره Introduction to the Course

• نقشه راه دوره Course Roadmap

• پیش نیازها و نحوه موفقیت در این دوره Prerequisites and How to Succeed in This Course

مقدمه ای بر Snowflake و AWS Introduction to Snowflake and AWS

• Data-Warehouse چیست؟ What Is Data-Warehouse?

• دو جنبه از اکوسیستم داده Two Aspects of a Data Ecosystem

• آزمایشگاه - حساب آزمایشی Snowflake را تنظیم کنید Lab – Set Up Snowflake Trial Account

• معماری دانه های برف Snowflake Architecture

• سلسله مراتب اشیاء دانه برف Snowflake Object Hierarchy

• دانه برف - انبارهای مجازی Snowflake - Virtual Warehouses

• Snowflake - اجزای مختلف صورتحساب Snowflake - Different Billing Components

• دانه برف - میزان مصرف خود را پیگیری کنید Snowflake - Track Your Consumption

• Snowflake- مانیتورهای منابع Snowflake- Resource Monitors

دانه برف - جداول Snowflake - Tables

• مقدمه - جداول مختلف در Snowflake Introduction - Different Tables in Snowflake

• آزمایشگاه - ایجاد جداول در Snowflake Lab - Create Tables in Snowflake

• Snowflake - نماها، نماهای مادی و نماهای امن Snowflake - Views, Materialized Views and Secure Views

• آزمایشگاه - ایجاد نماها در Snowflake Lab - Create Views in Snowflake

• آزمایشگاه - ایجاد نماهای امن در Snowflake Lab - Create Secure Views in Snowflake

• اطلاعات بیشتر درباره Views in Snowflake More about Views in Snowflake

Snowflake – پارتیشن بندی، خوشه بندی و بهینه سازی عملکرد Snowflake – Partitioning, Clustering, and Performance Optimization

• نمای کلی بخش Section Overview

• مقدمه ای بر پارتیشن ها و کلیدهای خوشه بندی Introduction to Partitions and Clustering Keys

• آزمایشگاه - میکرو پارتیشن ها و کلیدهای خوشه بندی Lab – Micro-Partitions and Clustering Keys

• مزایای میکرو پارتیشن ها و خوشه بندی Benefits of Micro-Partitions and Clustering

• درک عمق خوشه‌بندی و همپوشانی خوشه‌ها Understanding Clustering Depth and Cluster Overlap

• آزمایشگاه - انتخاب کلیدهای خوشه بندی شما Lab - Selecting Your Clustering Keys

• آزمایشگاه - نمایه و سابقه پرس و جو را بررسی کنید Lab - Check Query Profile and History

• آزمایشگاه - پردازش پرس و جو و ذخیره سازی Lab - Query Processing and Caching

• ویژگی بهینه سازی جستجو Search Optimization Feature

Snowflake – بارگیری/بلع و استخراج داده ها Snowflake – Data Loading/Ingestion and Extraction

• نمای کلی بخش Section Overview

• بلع داده – موارد استفاده در دنیای واقعی Data Ingestion – Real-World Use Cases

• آزمایشگاه - یک شی ادغام برای اتصال Snowflake با AWS S3 ایجاد کنید Lab - Create an Integration Object to Connect Snowflake with AWS S3

• آزمایشگاه - CSV را از S3 تا Snowflake مصرف کنید Lab - Ingest CSV from S3 to Snowflake

• آزمایشگاه - JSON را از S3 به Snowflake وارد کنید Lab - Ingest JSON from S3 to Snowflake

• مقدمه ای بر مصرف مداوم داده ها در Snowflake Introduction to Continuous Data Ingestion in Snowflake

• آزمایشگاه - ایجاد و پیاده سازی Snow Pipe Lab - Create and Implement Snow Pipe

• لوله برف - تخمین صورتحساب و ملاحظات کلیدی برای جذب داده Snow pipe - Billing Estimation and Key Considerations for Data Ingestion

• آزمایشگاه - استخراج/تخلیه داده ها از Snowflake به S3 Lab - Extracting/Unload Data from Snowflake to S3

Snowflake - وظایف و برنامه ریزی پرس و جو Snowflake – Tasks and Query Scheduling

• نمای کلی بخش Section Overview

• مقدمه ای بر Tasks Introduction to Tasks

• آزمایشگاه - درخت وظایف مستقل و وابسته را ایجاد کنید Lab - Create Standalone and Dependent Tree of Tasks

• آزمایشگاه - صورت‌حساب و تاریخچه پرس و جو برای وظایف Lab - Billing and Query History for Tasks

Snowflake - جریان و تغییر ضبط داده Snowflake – Streams and Change Data Capture

• نمای کلی بخش Section Overview

• مقدمه ای بر استریم ها Introduction to Streams

• آزمایشگاه - اجرای جریان های استاندارد Lab - Implement Standard Streams

• آزمایشگاه - اجرای جریان‌های فقط پیوست Lab - Implement Append-Only Streams

• آزمایشگاه - جریان در یک تراکنش Lab - Streams in a Transaction

• جریان ها - حفظ و بیات بودن داده ها Streams - Data Retention and Staleness

• آزمایشگاه - تغییر ردیابی با استفاده از "تغییرات" Lab - Change Tracking Using "Changes"

• بررسی اجمالی پروژه Project Overview

• آزمایشگاه - ایجاد جریان - راه حل پروژه Lab - Create Streams - Project Solution

• آزمایشگاه - ایجاد جریان - ادامه Lab - Create Streams – Continuation

• آزمایشگاه - خط لوله پایان به انتها در عمل Lab – End-to-End Pipeline in Action

Snowflake – توابع تعریف شده توسط کاربر Snowflake – User-Defined Functions

• مقدمه ای بر توابع تعریف شده توسط کاربر و انواع UDF Introduction to User-Defined Functions and UDF Types

• آزمایشگاه - نوشتن و پیاده سازی Scalar UDF Lab - Write and Implement a Scalar UDF

• آزمایشگاه - UDF جدولی را در SQL بنویسید Lab - Write Tabular UDF in SQL

• آزمایشگاه - UDF های جاوا اسکریپت را پیاده سازی کنید Lab - Implement JavaScript UDFs

• Pushdown در UDF چیست؟ What Is Pushdown in UDF?

• آزمایشگاه - چگونه Pushdown می‌تواند داده‌های زیربنایی را افشا کند؟ Lab - How Can Pushdown Expose the Underlying Data?

• آزمایشگاه - UDF های امن بنویسید Lab - Write Secure UDFs

دانه برف - عملکردهای خارجی Snowflake – External Functions

• نمای کلی بخش Section Overview

• مقدمه ای بر توابع خارجی Introduction to External Functions

• آزمایشگاه - عملکرد AWS Lambda را اجرا کنید Lab - Deploy AWS Lambda Function

• نقش IAM را ایجاد کنید Create IAM Role

• آزمایشگاه - ایجاد دروازه API Lab - Create API Gateway

• آزمایشگاه - ایمن و استقرار دروازه API Lab - Secure and Deploy API Gateway

• آزمایشگاه - ایجاد عملکرد خارجی در Snowflake Lab - Create External Function in Snowflake

برف ریزه با پایتون، اسپارک و جریان هوا در AWS Snowflake with Python, Spark, and Airflow on AWS

• نمای کلی بخش Section Overview

• آزمایشگاه - پایتون را با Snowflake در ماشین محلی خود وصل کنید Lab - Connect Python with Snowflake in Your Local Machine

• مقدمه ای بر چسب AWS Introduction to AWS Glue

• آزمایشگاه - استقرار و اجرای اسکریپت پایتون در چسب AWS Lab - Deploy and Execute Python Script to AWS Glue

• آزمایشگاه - اسکریپت پایتون خود را روی چسب AWS پارامتر کنید Lab - Parameterize Your Python Script on AWS Glue

• آزمایشگاه - پانداهای پایتون با دانه‌های برف روی چسب AWS Lab - Python Pandas with Snowflake on AWS Glue

• Pushdown در Spark 3.1 چیست؟ What Is Pushdown in Spark 3.1?

• آزمایشگاه - یک اسکریپت PySpark را با استفاده از چسب AWS اجرا کنید Lab - Deploy a PySpark Script Using AWS Glue

• آزمایشگاه - مجموعه جریان هوای مدیریت شده را در AWS تنظیم کنید Lab – Set Up Managed Airflow Cluster on AWS

• آزمایشگاه - اتصال برف ریزه را در جریان هوا پیکربندی کنید Lab - Configure Snowflake Connectivity in Airflow

• آزمایشگاه - یک کار تبدیل PySpark را در چسب AWS اجرا کنید Lab - Deploy a PySpark Transformation job in AWS Glue

• آزمایشگاه - DAG جریان هوا را تنظیم کنید Lab – Set Up Airflow DAG

پخش بیدرنگ با کافکا و دانه برف Real-Time Streaming with Kafka and Snowflake

• نمای کلی بخش Section Overview

• آزمایشگاه - فایل های JAR ضروری را دانلود کنید Lab - Download the Necessary JAR Files

• آزمایشگاه - کافکا را در سیستم محلی خود راه اندازی کنید Lab – Set Up Kafka in your local system

• آزمایشگاه - اتصال دهنده دانه های برف کافکا را راه اندازی کنید Lab – Set Up Kafka Snowflake Connector

• آزمایشگاه - کلیدهای رمزگذاری را برای اتصال کافکا-دانه برف تنظیم کنید Lab – Set Up Encryption Keys for Kafka-Snowflake Connectivity

• آزمایشگاه - جریان داده در عمل Lab - Streaming Data in Action

Snowflake - حفاظت از داده ها و حاکمیت Snowflake – Data Protection and Governance

• نمای کلی بخش Section Overview

• سفر در زمان و Failsafe در Snowflake چیست؟ What Is Time Travel and Failsafe in Snowflake?

• آزمایشگاه - سفر در زمان و بازیابی اطلاعات Lab - Time Travel and Data Recovery

• آزمایشگاه - پوشش داده پویا در سطح ستون Lab - Column Level Dynamic Data Masking

• امنیت سطح ردیف چیست؟ What Is Row Level Security?

• آزمایشگاه - ایجاد و پیاده سازی خط مشی دسترسی در سطح ردیف Lab - Create and Implement Row Level Access Policy

Snowpark - برای خطوط لوله داده و علم داده Snowpark – For Data Pipelines and Data Science

• مقدمه – پارک برفی چیست؟ Introduction – What Is Snowpark?

• آزمایشگاه - شروع کار با Snowpark Lab - Getting Started with Snowpark

• نمای کلی - UDF ها و رویه های فروشگاه Overview - UDFs and Store Procedures

• آزمایشگاه - UDF های پایتون را مستقر کنید Lab - Deploy Python UDFs

• آزمایشگاه - استقرار رویه های ذخیره شده برای پردازش دسته ای ETL Lab - Deploy Stored Procedures for ETL Batch Processing

• علم داده - از مرور کلی پرونده و آماده سازی داده استفاده کنید Data Science – Use Case Overview and Data Preparation

• آزمایشگاه - مدل استقرار - کد آموزشی برای Scikit-Learn با استفاده از رویه‌های ذخیره شده Lab - Deploy Model - Training Code for Scikit-Learn Using Stored Procedures

• آزمایشگاه - خط لوله سرویس دهی/پیش بینی مدل را با استفاده از UDF مستقر کنید Lab - Deploy Model Serving/Prediction Serving Pipeline Using UDFs

• مرجع یادگیری بیشتر و کد کوپن More Learning Reference and Coupon Code

جمع بندی و یادگیری بیشتر Wrap Up and More Learning

• به‌روزرسانی‌های بیشتر و آنچه در ادامه است More Updates and What's Next