آموزش پروژه واقعی مهندسی داده بانکی در گوگل کلاود (GCP) - آخرین آپدیت
دانلود A Real Banking Project on Google Cloud for Data Engineers
این دوره یک پروژه عملی مهندسی داده در GCP است که حول محور یک پلتفرم داده بانکی واقعگرایانه ساخته شده است. به جای یادگیری جداگانه سرویسها، خواهید دید که چگونه چندین سرویس گوگل کلاود برای حل یک مورد کاربردی کامل مهندسی داده، از ورود دادهها تا لایههای تحلیلی نهایی، با هم کار میکنند.
شما با معماری پروژه و مجموعه دادههای بانکی شروع میکنید، سپس منابع مورد نیاز GCP شامل Cloud SQL، Pub/Sub، Google Cloud Storage، BigQuery و Dataproc را راهاندازی میکنید. از آنجا، یک خط لوله ورود داده دستهای از Cloud SQL به GCS و یک خط لوله ورود داده جریانی از Pub/Sub به BigQuery خواهید ساخت.
سپس دوره به سراغ پردازش دادهها به سبک مدالین (Medallion Architecture) میرود. شما لایههای برنزی، نقرهای و طلایی را ایجاد کرده، دادهها را با PySpark روی Dataproc بارگذاری میکنید و جداولی آماده برای کسبوکار میسازید که برای تحلیل و گزارشدهی قابل استفاده باشند. در نهایت، کل خط لوله بانکی را با استفاده از DAGهای Apache Airflow مدیریت کرده و نحوه اتصال CI/CD با GitHub و Cloud Build را خواهید آموخت.
در پایان دوره، شما یک پروژه عملی و آماده برای پورتفولیو در زمینه بانکی با GCP خواهید داشت که میتوانید در مصاحبههای شغلی ارائه دهید. این دوره بهویژه برای متقاضیان مهندسی داده، مهندسان کلاود، توسعهدهندگان ETL، تحلیلگران داده و افرادی که به دنبال تجربه پروژه واقعی با ابزارهای مهندسی داده گوگل کلاود هستند، بسیار مفید است.
منابع و مطالب دوره Course Resources & Materials
-
یادداشتها و مخزن پروژه Notes and Project Repository
معرفی و راهاندازی پروژه Project Introduction and Setup
-
معرفی پروژه و معماری پلتفرم داده بانکی Project Introduction and Banking Data Platform Architecture
-
ساخت حساب رایگان GCP Create a GCP Free Tier Account
-
راهاندازی پروژه و بررسی مخزن کد Project Setup and Repository Walkthrough
-
درک مجموعه دادههای بانکی Understanding the Banking Dataset
سیستمهای منبع و لایههای فرود (Landing) Source Systems and Landing Layers
-
راهاندازی منبع اول: نمونه Cloud SQL MySQL Set Up Source 1 - Cloud SQL MySQL Instance
-
راهاندازی منبع دوم: Pub/Sub Set Up Source 2 - Pub/Sub
-
راهاندازی لایه فرود (Landing Layer) Set Up the Landing Layer
-
راهاندازی لایه متادیتا (Metadata Layer) Set Up the Metadata Layer
انتقال از Cloud SQL به GCS و پردازش لایه برنزی Cloud SQL to GCS and Bronze Processing
-
ساخت خط لوله ورود داده ۱: از Cloud SQL به GCS (بخش اول) Build Ingestion Pipeline 1 - Cloud SQL to GCS (Part 1)
-
ساخت خط لوله ورود داده ۱: از Cloud SQL به GCS (بخش دوم) Build Ingestion Pipeline 1 - Cloud SQL to GCS (Part 2)
-
راهاندازی لایه برنزی (بخش اول) Set Up the Bronze Layer (Part 1)
-
ایجاد کلاستر Dataproc Create a Dataproc Cluster
-
بارگذاری دادههای برنزی با PySpark روی Dataproc Load Bronze Data with PySpark on Dataproc
ورود دادههای جریانی و لایههای مدالین Streaming Ingestion and Medallion Layers
-
ساخت خط لوله ورود داده ۲: از Pub/Sub به BigQuery Build Ingestion Pipeline 2 - Pub/Sub to BigQuery
-
راهاندازی لایه نقرهای Set Up the Silver Layer
-
راهاندازی لایه طلایی Set Up the Gold Layer
ارکستراسیون با Airflow Airflow Orchestration
-
آشنایی با ارکستراسیون Airflow Introduction to Airflow Orchestration
-
ساخت DAG ورود دادههای بانکی Create the Banking Ingestion DAG
-
ساخت DAG لایه برنزی بانکی Create the Banking Bronze DAG
-
ساخت DAG لایه نقرهای بانکی Create the Banking Silver DAG
-
ساخت DAG لایه طلایی بانکی Create the Banking Gold DAG
-
ایجاد محیط Airflow Create the Airflow Environment
-
اجرای دستی DAGهای Airflow Manually Trigger the Airflow DAGs
پیادهسازی CI/CD برای خط لوله بانکی CI/CD for the Banking Pipeline
-
پیادهسازی CI/CD با Cloud Build، GitHub و Airflow CI/CD with Cloud Build, GitHub, and Airflow
آمادگی برای مصاحبه و ارائه پروژه Interview Preparation and Project Storytelling
-
نحوه توضیح این پروژه در مصاحبههای مهندسی داده How to Explain This Project in Data Engineering Interviews
-
آمادهسازی ارائه ۲ دقیقهای از پروژه Prepare Your 2-Minute Project Walkthrough
Saidhul Shaik
نمایش نظرات