پایگاه داده ابری Snowflake با ELT (Airflow+Python+Talend)

سرفصل ها و درس ها

/**** ماژول 1 *****/ /***** Module 1 *****/

• مقدمه ماژول 1 Module 1 Intro

پیش نیازها prerequisites

• تنظیم محیط برف ریزه Setup snowflake environment

• دانلود ماشین مجازی Virtual machine download

• پوشه محلی را روی vm قرار داده و vm را شروع کنید Mount local folder to vm and start vm

• راه اندازی کد Vs برای VM Setup Vs code for VM

• پیکربندی جزئیات اتصال Configure connection details

• لینک Github Github link

معرفی جریان هوا Airflow intro

• معرفی جریان هوا Airflow introduction

• معماری جریان هوا Airflow architecture

• اولین داگ First Dag

• مقدمه ای بر ابرداده DB Introduction to metadata DB

• زمانبندی جریان هوا Airflow scheduler

• برنامه ریزی در جریان هوا Scheduling in airflow

• مجریان در جریان هوا Executors in airflow

• وب سرور جریان هوا Airflow webserver

• شکست ها را مدیریت کنید Handle failures

جریان هوای دانه برف ELT Snowflake airflow ELT

• مقدمه Introduction

• بارگذاری روی دانه برف مثال 1 Load to snowflake example 1

• [نمایش] بارگذاری بر روی دانه های برف مثال 1 [Demo] Load to snowflake example 1

• بارگذاری روی دانه های برف مثال 2 Load to snowflake example 2

• بارگذاری روی دانه برف مثال 3 Load to snowflake example 3

Snowflake python intro api -- مبانی Snowflake python api intro -- Basics

• مقدمه Introduction

• تست اتصال 1 Connection test 1

• تست اتصال 2 Connection test 2

• روش اجرا execute method

• ویژگی های مکان نما cursor attributes

• بسیاری را اعدام کنید execute many

• قسمت 1 async را اجرا کنید execute async part 1

• قسمت 2 async را اجرا کنید execute async part 2

• قسمت 3 async را اجرا کنید execute async part 3

• قالب بندی: pyformat Formatting: pyformat

• قالب بندی: qmark Formatting: qmark

• فراداده نتیجه Result metadata

• کد را تایپ کنید Type code

Snowflake python intro api - پیشرفته Snowflake python api intro -- Advanced

• پیکان پانداها را واکشی کنید Fetch pandas arrow

• مدیر زمینه Context manager

• دسته نتیجه Result batch

• دسته نتیجه را دریافت کنید Get result batch

• واکشی دسته های فلش Fetch arrow batches

• دسته پانداها را بیاورید Fetch pandas batches

• پیکان به پانداها To pandas arrow

• اجرای جریان Execute stream

• رشته را اجرا کنید Execute string

• دستور مکان نما Cursor dict

دانه برف پیتون ELT Snowflake python ELT

• کپی داده ها: s3 در snowflake Copy data : s3 to snowflake

• کپی داده ها: s3 به snowflake (موازی) Copy data : s3 to snowflake ( parallel )

• پرس و جو ELT را اجرا کنید: راه پایتون Execute ELT query : Python way

• زمانبندی کار جریان هوا: برای کد پایتون Schedule airflow job : For python code

معرفی استعداد. Talend introduction.

• Talend به عنوان ابزار منبع باز ETL. Talend as open source ETL tool.

• Talend را دانلود و نصب کنید. Download and install talend.

• معرفی فضای کاری Talend. Talend workspace introduction.

• اولین کار را بسازید و استعداد را پیکربندی کنید Build first job and configure talend

• ساخت نمونه کار: سطح 1 Build sample job : Level 1

• ساخت نمونه کار: سطح 2 Build sample job : Level 2

• ساخت نمونه کار: سطح 3 Build sample job : Level 3

• نمونه کار ساختمان: Level4 Building sample job : Level4

• ساخت نمونه کار: Level5 Build sample job : Level5

• ساخت نمونه کار: با استفاده از جریان هوا برنامه ریزی کنید Build sample job : Schedule using airflow

• خلاصه Summary

/**** ماژول 2 ****/ / **** Module 2 **** /

• مقدمه ماژول 2 Module 2 intro

اجزای عمومی ایجاد کنید. Create generic components.

• نیاز تحلیلگر Analyst requirement.

• نسخه ی نمایشی برنامه کپی S3 به برف ریزه S3 to snowflake copy app demo

• نیاز به پردازش داده ها Requirement to process data.

• نسخه ی نمایشی برنامه Elt Elt app demo

• برنامه ریزی کار. Scheduling job.

• نوشتن کد عمومی dag part1 Writing generic dag code part1

• نوشتن کد عمومی dag part2 Writing generic dag code part2

• نوشتن کد عمومی dag part3 Writing generic dag code part3

گردش کار ساختمان Building workflow

• مقدمه Introduction

• طراحی سطح بالا High level design

• کپی اطلاعات از s3 Copy data from s3

• تجزیه داده ها Parsing data

• حسابرسی سوابق src Audit src records

• آرشیو و ایجاد نمای قسمت 1 Archive and create view part 1

• آرشیو و ایجاد نمای قسمت 2 Archive and create view part 2

• رکوردهای امتیاز بخش 1 Score records part 1

• رکوردهای امتیاز قسمت 2 Score records part 2

• کد داگ را آماده کنید prepare dag code

• کار جریان هوا را اجرا کنید Execute airflow job

• رویکرد را بهبود بخشید Improve the approach

• رجیستری پارامتر Parameter registry

• خلاصه Summary

نسخه نمایشی داده ترافیک Nyc Nyc traffic data demo

• مقدمه. Introduction.

• نمای کلی داده های ترافیک Nyc Nyc traffic data overview

• داده های نمونه را بارگیری کنید Load sample data

• بارگیری کامل داده Nyc Nyc full data load

• داشبورد دید برفی Snow sight Dashboard

/****بخش های پاداش شروع می شود****/ /****Bonus sections starts****/

• بخش پاداش Bonus section

منطق جار عمومی. Generic jar logic.

• کار کپی عمومی ساخت استعداد. Building talend generic copy job.

• ارزیابی جداول حسابرسی Evaluating audit tables.

• دمو شغلی تبدیل ELT. ELT transform job demo.

• نسخه نمایشی کد شغل عمومی ELT. ELT Generic job code demo.

بخش پاداش: صادرات مشاغل استعداد به عنوان برنامه های jar Bonus section: Exporting talend jobs as jar apps

• مقدمه. Introduction.

• نیاز مدیران Managers requirement.

• راه حل مرحله 1: آماده سازی پرس و جو. Solution step 1: preparing query.

• راه حل مرحله 2: ایجاد شغل استعداد. Solution step 2 : create talend job.

• راه حل گام 3: پارامتر کردن کار استعداد. Solution step 3 : parameterise talend job.

• راه حل مرحله 4: ایجاد برنامه jar. Solution step 4 : create jar application.

• نیاز مدیر 2. Manager's requirement 2.

• راه حل مرحله 1: ایجاد شغل با استعداد. Solution step 1 : creating talend job.

• راه حل مرحله 2: استفاده از گروه های زمینه. Solution step 2 : using context groups.

• مشکل توسعه دهنده Developer problem

• اپلیکیشن هشدار هزینه Cost warning app