آموزش Snowpark: مهندسی داده با Snowflake.

سرفصل ها و درس ها

معرفی Introduction

• معرفی پارک برفی Snowpark introduction

• تست اتصال Test connection

• Snowpark-Demo Part 1 Snowpark-demo part 1

• Snowpark-Demo part2 Snowpark-demo part2

• بازنگری بخش Section revise

• آزمون-1 Quize-1

• [اختیاری] - داده های مورد استفاده در این دوره [Optional]-Data used in this course

Snowpark-- خواندن عملیات Snowpark-- Read operations

• ایجاد Dataframe--part1 Create dataframe--part1

• ایجاد دیتافریم--part2 Create dataframe--part2

• طرحواره را اعمال کنید Apply schema

• ایجاد Dataframe--part3 Create dataframe--part3

• ایجاد دیتافریم--part4 Create dataframe--part4

• خواندن از جدول -- قسمت 1 Read from table--part1

• از s3 csv بخوانید Read from s3 csv

• از s3 json بخوانید Read from s3 json

تکالیف -- عملیات خواندن Assignments-- Read operation

• ایجاد dataframe-Local data Create dataframe-Local data

• ایجاد چارچوب داده با طرحواره Create data frame- with schema

• خواندن به چارچوب داده از جدول Read to dataframe from table

Snowpark --- عملیات را بنویسید Snowpark---Write operations

• عملیات نوشتن پایه Basic write operation

• از s3 به جدول بنویسید--json Write from s3 to table--json

• از s3 به جدول بنویسید - csv Write from s3 to table--csv

تکالیف -- عملیات نوشتن Assignments -- write operations

• Dataframe را در snowflake بنویسید Write dataframe to snowflake

• داده ها را با خطا بنویسید Write data with errors

تکالیف-- خواندن و نوشتن داده های نیمه ساختار یافته. Assignments-- Read and write semistructured data.

• ایجاد دیتافریم از s3 - json Create dataframe from s3 - json

• فایل های دیتافریم را از پارکت ایجاد کنید Create dataframe from-parquet files

• ایجاد دیتافریم از s3- avro Create dataframe from s3- avro

• ایجاد دیتافریم از s3-orc Create dataframe from s3- orc

Snowpark - دستورات را کپی کنید Snowpark--Copy commands

• با استفاده از کپی بنویسید Write using copy

• کپی داده ها از s3 به جدول برف ریزه. Copy data from s3 to snowflake table.

• شناسه پرس و جو را دریافت کنید و سوابق رد شده را جمع آوری کنید Get query id and collect rejected records

• کپی داده ها از محلی به دانه برف Copy data from local to snowflake

• دانلود داده ها از snowflake به محلی Download data from snowflake to local

تحولات و پرس و جو Transformations and query

• تجمع در پارک برفی Aggregation in snowpark

• گروه بندی بر اساس -- قسمت 1 Group by --part 1

• گروه بندی بر اساس -- قسمت 2 Group by --part 2

• عملکرد پنجره Window function

• می پیوندد Joins

• استفاده در بند Using in clause

تکالیف --- تبدیل و پرس و جو Assignments---Transformation and query

• داده ها را آماده کنید Prepare data

• اطلاعات را در پارک برفی بخوانید و سفارش دهید Read and order data in snowpark

• خواندن و جمع آوری بر اساس نام ستون Read and aggregate by column name

• ستون ها را بخوانید و جمع کنید Read and aggregate columns

• بخوانید و فیلتر کنید Read and filter

• تکلیف 1 Assignment1

ساخت اجزای عمومی Building generic components

• دانلود منابع Download resources

• ایجاد مؤلفه اتصال برفی - قسمت 1 Create snow connection component-- part1

• ایجاد مؤلفه اتصال برف - قسمت 2 Create snow connection component--part2

• در جدول دانه های برف کپی کنید Copy to snowflake table

• ایجاد فایل پیکربندی Creating configuration file

• ردها را جمع آوری کنید Collect rejects

• قسمت 1 داده های نیمه ساختار یافته را کپی کنید Copy semi structured data part 1

• قسمت 2 داده های نیمه ساختار یافته را کپی کنید Copy semi structured data part 2

• ستون های نقشه Map columns

• راه حل ستون های نقشه Map columns solution

• خلاصه Summary

UDF پایتون پارک اسنو Snowpark python UDF

• مقدمه Python Udf Python Udf intro

• منابع بخش Section resources.

• بسته های آناکوندا پایتون را فعال کنید Enable anaconda python packages

• Snowpark UDF را ایجاد کنید Create Snowpark UDF

• Snowpark UDF زیر کاپوت. Snowpark UDF under the hood.

• روش های مختلف موجود است. Different methods available.

• استفاده از بسته های آناکوندا Using anaconda packages.

• UDF بردار Vectorized UDF

• با بسته های خارجی تماس بگیرید Call external packages

• خلاصه Summary