آموزش جامع مهندسی داده مدرن با Snowflake - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• انفجار داده‌ها و تقاضا برای تحلیل‌های بصیرتی The explosion of data and the demand for insights

• آنچه در این دوره خواهیم آموخت What we’ll cover in this course

1. مهندسی داده مدرن با Snowflake 1. Modern Data Engineering with Snowflake

• مهندسی داده مدرن با اسنو-فلیک Modern data engineering with snowflake

• مروری بر تجربیات قبلی در مهندسی داده You’ve probably done some data engineering in the past

• آماده‌سازی محیط توسعه Preparing your development environment

• ساخت یک خط لوله داده بسیار ساده در Snowflake Build a really simple data pipeline in snowflake

2. ورود داده‌های دسته‌ای (Batch) با Snowflake 2. Batch Data Ingestion with Snowflake

• بارگذاری داده‌ها با استفاده از دستور COPY INTO Loading data using the COPY INTO command

• بارگذاری داده‌ها با استفاده از Snowflake CLI Loading data using snowflake CLI

• ورود داده‌ها (Data Ingestion) چیست؟ What is data ingestion?

• ورود داده‌ها از سایر سیستم‌ها با استفاده از کانکتورها Ingesting data from other data systems using connectors

• بارگذاری داده‌ها از طریق رابط کاربری وب Snowflake Loading data using snowflake’s web interface

• ورود داده‌های دسته‌ای (Batch Ingestion) با Snowflake Batch ingestion with snowflake

• جمع‌بندی و بهترین روش‌ها برای ورود داده‌های دسته‌ای Recap and best practices for batch ingestion

• بهینه‌سازی منابع پردازشی برای ورود بهینه داده‌ها Optimize compute resources for efficient batch ingestion

• بارگذاری داده‌ها از Snowflake Marketplace Loading data from snowflake marketplace

3. تبدیل داده‌ها در Snowflake 3. Data Transformations with Snowflake

• منطق رویه‌ای پیچیده با استفاده از Stored Procedures Complex procedural logic with stored procedures

• جمع‌بندی و بهترین روش‌ها برای تبدیل داده‌ها Recap and best practices for data transformations

• محاسبات با توابع تعریف شده توسط کاربر (UDF) Computations with user-defined functions

• تبدیل داده‌ها در Visual Studio Code (اختیاری) Data transformations in visual studio code (optional)

• تبدیل داده‌ها با استفاده از Snowpark Data transformations with snowpark

• تبدیلات خودکار با جداول پویا (Dynamic Tables) Automatic transformations with dynamic tables

• تبدیل داده‌ها با استفاده از SQL Data transformations with SQL

• تبدیلات بهینه با استفاده از Streams Efficient transformations with streams

• تبدیل داده‌ها (Data Transformations) چیست؟ What are data transformations?

4. تحویل محصولات داده‌ای با Snowflake 4. Delivering data products with Snowflake

• اپلیکیشن‌های بومی Snowflake Snowflake native applications

• تحویل محصولات داده‌ای Delivery of data products

• جمع‌بندی و بهترین روش‌ها برای تحویل محصولات داده‌ای Recap and best practices for data product delivery

• استفاده از Streamlit در اپلیکیشن‌های Snowflake Streamlit in snowflake applications

• اشتراک‌گذاری داده‌ها در Snowflake Marketplace Data sharing on snowflake marketplace

5. ارکستراسیون خط لوله‌های داده مداوم با Snowflake 5. Orchestrating Continuous Data Pipelines with Snowflake

• ارکستراسیون با استفاده از DAGها Orchestration with DAGs

• اتوماسیون با استفاده از Tasks Automation with tasks

• جمع‌بندی و بهترین روش‌ها برای ارکستراسیون خط لوله Recap and best practices for pipeline orchestration

• نتیجه‌گیری Conclusion

• ارکستراسیون (Orchestration) چیست؟ What is orchestration?