آموزش پروژه مهندسی داده GCP: انتقال داده از MySQL به BigQuery از طریق Dataflow - آخرین آپدیت
دانلود GCP Data Engineering Project: MySQL to BigQuery via Dataflow
یک پروژه مهندسی داده GCP واقعی بسازید که دادههای خردهفروشی را از Cloud SQL for MySQL با استفاده از Google Cloud Dataflow به BigQuery منتقل میکند.
شما این پروژه را در نقش یک مهندس داده پیش میبرید؛ از درک فضای کسبوکار و سیستمهای منبع گرفته تا تعریف قرارداد پایپلاین، طراحی بارگذاریهای افزایشی، راهاندازی منابع گوگل کلاود، پیادهسازی راهکار، اعتبارسنجی خروجی و سازماندهی اجراهای تکرارپذیر.
در این پروژه شما موارد زیر را انجام خواهید داد:
آمادهسازی منبع: راهاندازی جداول منبع خردهفروشی در Cloud SQL for MySQL
پیکربندی شبکه: اتصال Cloud SQL و Dataflow با استفاده از شبکه خصوصی
ساخت پایپلاین جذب: انتقال دادهها از MySQL به BigQuery با استفاده از Dataflow
بارگذاری افزایشی دادهها: استفاده از واترمارکها برای پردازش رکوردهای جدید و بهروز شده
ایجاد جداول BigQuery: ساخت جداول Staging و Raw با استفاده از Partitioning و Clustering
ادغام دادههای افزایشی: استفاده از رویههای MERGE در BigQuery برای بهروزرسانی جداول هدف
سازماندهی پایپلاین: استقرار و زمانبندی گردش کارهای اجرایی با Cloud Composer و Apache Airflow
اعتبارسنجی نتایج: کوئری زدن روی دادههای بارگذاری شده و تایید اجراهای اولیه و افزایشی در BigQuery
فراتر از نمایشهای مجزای سرویسها
شما این پروژه را در حساب گوگل کلاود خود و با استفاده از کد منبع ارائه شده، دادههای نمونه خردهفروشی، فایلهای پیکربندی، اسکریپتهای SQL و اسکریپتهای راهاندازی زیرساخت خواهید ساخت.
تمرکز تنها بر اجرای پایپلاین نیست. شما درک خواهید کرد که چرا از هر سرویس گوگل کلاود استفاده شده است، چگونه Cloud SQL، Dataflow، BigQuery و Cloud Composer با هم کار میکنند و پایپلاین چگونه رکوردهای جدید و بهروز شده منبع را در اجراهای بعدی مدیریت میکند.
در پایان دوره، شما یک پروژه کامل مهندسی داده GCP خواهید داشت که میتوانید آن را تمرین کنید، برای رزومه (پورتفولیو) خود سازگار کنید و در مصاحبههای شغلی به طور واضح توضیح دهید.
این دوره شامل یک تخفیف ویژه است.
شروع به کار Getting Started
-
خوش آمدید به Data0to1 Welcome to Data0to1
-
ساخت حساب کاربری GCP Create Your GCP Account
-
ساخت پروژه GCP و تعیین بودجه Create a GCP Project and Set a Budget
راهاندازی محیط توسعه Set Up Your Development Environment
-
نصب Visual Studio Code Install Visual Studio Code
-
نصب WSL و Ubuntu Install WSL and Ubuntu
-
اتصال Visual Studio Code به WSL Connect Visual Studio Code to WSL
درک کسبوکار و سیستمهای منبع Understand the Business and Source Systems
-
درک فضای کسبوکار خردهفروشی Understand the Retail Business Context
-
شناخت چشمانداز سیستمهای منبع Understand the Source-System Landscape
راهاندازی محیط پروژه GCP Set Up the GCP Project Environment
-
دانلود فایلهای پروژه Download the Project Files
-
باز کردن و پیکربندی پروژه در Visual Studio Code Open and Configure the Project in Visual Studio Code
-
ساخت زیرساخت پایه GCP (GCS, BigQuery, IAM) Create the GCP Base Infrastructure(GCS, BigQuery, IAM)
-
نظارت و کنترل هزینههای GCP Monitor and Control GCP Costs
ساخت پروژه انتقال افزایشی MySQL به BigQuery Build the Incremental MySQL-to-BigQuery Project
-
قرارداد پایپلاین: تعریف خروجیهای مورد نیاز پروژه Pipeline Contract: Define What the Project Must Deliver
-
یادداشتهای طراحی: برنامهریزی بارگذاریهای افزایشی و مدیریت خطاها Design Notes: Plan Incremental Loads and Failure Handling
-
راهاندازی Cloud SQL و Composer Set Up Cloud SQL and Composer
-
ساخت، اجرا و اعتبارسنجی پایپلاین افزایشی Build, Run and Validate the Incremental Pipeline
ادامه مسیر یادگیری Continue your learning Journey
-
درس هدیه Bonus Lecture
Chandra Venkat
نمایش نظرات