آموزش مهندسی داده در GCP - پروژه جامع و کامل - حوزه سلامت - آخرین آپدیت
دانلود GCP Data Engineering-End to End Project-Healthcare Domain
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
پروژه استاندارد صنعتی در حوزه بهداشت و درمان با استفاده از GCP
مهندسی داده کامل در صنعت بهداشت و درمان با GCP
در این پروژه با استفاده از سرویسهای گوگل کلود (GCP) مانند GCS، BigQuery، Dataproc، Composer، GitHub و CI/CD، یک پروژه استاندارد صنعتی در حوزه بهداشت و درمان را پیادهسازی خواهید کرد.
این پروژه یک پروژه مهندسی داده کامل را پوشش میدهد و به شما امکان میدهد تا با طراحی و پیادهسازی پایپلاینهای ETL مقیاسپذیر برای دادههای بهداشتی آشنا شوید.
تکنیکهای کلیدی مورد استفاده
- اجرای تکنیکهای کلیدی مانند دادههای افزایشی، SCD2، رویکرد مبتنی بر فراداده، معماری مدالیون، مدیریت خطا، مدل داده مشترک (CDM) و CI/CD.
- توسعه و استقرار راهکارهای داده با استفاده از روشهای CI/CD.
پیشنیازها
دانش پایه در مورد Python و SQL
شرح پروژه
این پروژه بر ساخت یک Data Lake در پلتفرم Google Cloud (GCP) برای مدیریت چرخه درآمد (RCM) در حوزه بهداشت و درمان تمرکز دارد.
هدف، متمرکزسازی، پاکسازی و تبدیل دادهها از منابع مختلف است، که به ارائه دهندگان خدمات بهداشتی و شرکتهای بیمه این امکان را میدهد تا فرآیندهای صدور صورتحساب، پردازش مطالبات و ردیابی درآمد را سادهسازی کنند.
سرویسهای GCP مورد استفاده:
- Google Cloud Storage (GCS): ذخیره فایلهای داده خام و پردازش شده.
- BigQuery: به عنوان موتور تحلیلی برای ذخیره و پرس و جوی دادههای ساختاریافته عمل میکند.
- Dataproc: برای پردازش دادههای در مقیاس بزرگ با Apache Spark استفاده میشود.
- Cloud Composer (Apache Airflow): پایپلاینهای ETL و هماهنگسازی گردش کار را خودکار میکند.
- Cloud SQL (MySQL): دادههای تراکنشی سوابق پزشکی الکترونیکی (EMR) را ذخیره میکند.
- GitHub & Cloud Build: کنترل نسخه و پیادهسازی CI/CD را امکانپذیر میکند.
- CICD (Continuous Integration & Continuous Deployment): خطوط استقرار را برای پردازش دادهها و گردش کار ETL خودکار میکند.
تکنیکهای درگیر:
- رویکرد مبتنی بر فراداده (Metadata Driven Approach)
- پیادهسازی SCD type 2
- مدل داده مشترک (CDM)
- معماری مدالیون
- ثبت وقایع و نظارت (Logging and Monitoring)
- مدیریت خطا
- بهینهسازیها
- پیادهسازی CICD
- بسیاری از بهترین روشها
منابع داده
- دادههای EMR (Electronic Medical Records) از دو بیمارستان
- فایلهای مطالبات
- کد CPT (Current Procedural Terminology)
- داده NPI (National Provider Identifier)
نتایج مورد انتظار
- پایپلاین داده کارآمد: خودکارسازی ورود و تبدیل دادههای RCM.
- انبار داده ساختیافته: جداول طلایی در BigQuery برای پرس و جوهای تحلیلی.
- داشبوردهای KPI: بینش در مورد جمع آوری درآمد، کارایی پردازش مطالبات و روندهای مالی.
سرفصل ها و درس ها
Project Material
-
Important Links-لینکهای مهم Important Links
-
Introductory Lecture to Understand Project-جلسه مقدماتی برای درک پروژه Introductory Lecture to Understand Project
GCP Data Engineering - Project-GCP Data Engineering - پروژه GCP Data Engineering - Project
-
Project Introduction - Overview, Architecture-معرفی پروژه - مرور کلی، معماری Project Introduction - Overview, Architecture
-
Setting up the Data sources - SQL DBs, GCS, BQ, Configs-راه اندازی منابع داده - SQL DBs، GCS، BQ، تنظیمات Setting up the Data sources - SQL DBs, GCS, BQ, Configs
-
Data Ingestion - Dataproc, Pyspark, GCS Landing-دریافت داده - Dataproc، Pyspark، GCS Landing Data Ingestion - Dataproc, Pyspark, GCS Landing
-
GCS Landing to Bronze Layer - GCS, BigQuery-GCS Landing به لایه Bronze - GCS، BigQuery GCS Landing to Bronze Layer - GCS, BigQuery
-
Bronze to Silver Layer Processing - BigQuery-پردازش لایه Bronze به Silver - BigQuery Bronze to Silver Layer Processing - BigQuery
-
Silver to Gold Layer Processing - BigQuery-پردازش لایه Silver به Gold - BigQuery Silver to Gold Layer Processing - BigQuery
-
Create Dags - Workflow Orchestration - Airflow-ایجاد Dags – سازماندهی گردش کار - Airflow Create Dags - Workflow Orchestration - Airflow
-
CICD - Github, Cloud Build, Airflow-CICD - Github، Cloud Build، Airflow CICD - Github, Cloud Build, Airflow
Saidhul Shaik
نمایش نظرات