آموزش معرفی کامل عملی به Airbyte

سرفصل ها و درس ها

خوش آمدی! Welcome!

• خوش آمدی! Welcome!

• پیش نیازها Prerequisites

• من کی هستم؟ Who am I?

• مشاوره یادگیری Learning Advice

اصول Airbyte Airbyte Fundamentals

• چرا ایربایت؟ Why Airbyte?

• Airbyte چیست؟ What is Airbyte?

• مفاهیم اصلی The Core Concepts

• اجزای اصلی The Core Components

• چرا Airbyte نه؟ Why not Airbyte?

• Airbyte Cloud یا OSS؟ Airbyte Cloud or OSS?

• امتحان! Quiz!

شروع کار با Airbyte Getting started with Airbyte

• مقدمه ای بر داکر (اختیاری) Introduction to Docker (Optional)

• اجرای Airbyte با Docker Running Airbyte with Docker

• تور Airbyte UI The Airbyte UI tour

• خط لوله بانک The Bank Pipeline

• اولین منبع خود را ایجاد کنید (کاربرگ‌نگار Google) Create your first source (Google Sheets)

• اولین مقصد خود را ایجاد کنید (BigQuery) Create your first destination (BigQuery)

• اولین اتصال خود را پیکربندی کنید Configure your first connection

• اولین همگام سازی خود را انجام دهید! Make your first sync!

• جداول خام و ستون های اضافی؟ Raw tables and additional columns?

• طبقه بندی رابط ها (گواهی، انجمن، و غیره) Connector classifications (Certified, Community, etc)

• امتحان! Quiz!

مفاهیم پیشرفته Advanced Concepts

• یک همگام سازی چگونه کار می کند؟ How does a sync work?

• ایجاد یک منبع جدید (Postgres) Create a new source (Postgres)

• یادداشت های جانبی برای Postgres Side notes for Postgres

• اضافه کردن برخی از داده ها (Postgres) Add some data (Postgres)

• حالت های همگام سازی را کشف کنید Discover the sync modes

• مدیریت تغییرات طرحواره Handling schema changes

• Change Data Capture (CDC) چیست؟ What is Change Data Capture (CDC)?

• CDC را با Postgres فعال کنید Enable CDC with Postgres

• همگام سازی داده ها بین Postgres و BigQuery با استفاده از CDC Syncing data between Postgres and BigQuery using CDC

• برگه تقلب حالت های همگام سازی The Sync Modes cheat sheet

• CDC زیر کاپوت CDC under the hood

• امتحان! Quiz!

پروژه تقلب The Fraud Project

• نمای کلی پروژه Project overview

• توصیه های آموزشی Learning recommendations

• راه اندازی و الزامات The Setup and requirements

• مولدهای داده (اسکریپت های پایتون) The Data Generators (Python Scripts)

• معرفی سریع Apache Airflow Quick introduction to Apache Airflow

• بیایید مقداری داده تولید کنیم! Let's generate some data!

• سطل S3 را با کاربر تنظیم کنید Set up the S3 bucket with the user

• مقصد AWS S3 را با Airbyte ایجاد کنید Create the AWS S3 destination with Airbyte

• اتصال Postgres به S3 را با Airbyte ایجاد کنید Create the Postgres to S3 connection with Airbyte

• منبع MySQL را با Airbyte ایجاد کنید Create the MySQL source with Airbyte

• اتصال MySQL به S3 را با Airbyte ایجاد کنید Create the MySQL to S3 connection with Airbyte

• بیایید سعی کنیم داده ها را همگام کنیم! Let's try to sync data!

• الگوی Write Audi Publish چیست؟ What's the Write Audi Publish pattern?

• منبع AWS S3 را با Airbyte ایجاد کنید Create the AWS S3 source with Airbyte

• با Airbyte مقصد Snowflake را ایجاد کنید Create the Snowflake destination with Airbyte

• اتصال Raw to Staging را با Airbyte ایجاد کنید Create the Raw to Staging connection with Airbyte

• بیایید داده ها را در مرحله بندی بنویسیم! Let's write the data into staging!

• معرفی سریع سودا Quick introduction to Soda

• بررسی کیفیت داده ها را با سودا بنویسید Write data quality checks with Soda

• جدول customer_metrics را با dbt ایجاد کنید Create the customer_metrics table with dbt

• خط لوله داده های تقلب را با جریان هوا ایجاد کنید Create the Fraud Data Pipeline with Airflow

• خط لوله در عمل! The pipeline in action!