آموزش پروژه جامع Databricks روی گوگل کلاود (GCP) - آخرین آپدیت
دانلود The Complete Databricks Project on Google Cloud (GCP)
آیا به دنبال تسلط بر Databricks در گوگل کلاود (GCP) از طریق یک پروژه واقعی و جامع هستید؟ این دوره طراحی شده تا تجربه عملی یکی از پرتقاضاترین مهارتهای مهندسی داده را به شما ارائه دهد: ساخت خط لولههای داده مقیاسپذیر با استفاده از Databricks، PySpark و معماری Medallion.
در این پروژه، ما نقش یک سازمان حمل و نقل دولتی را ایفا میکنیم که دادههای ترافیک جادهای را تحلیل میکند. شما یاد میگیرید چگونه مجموعهدادههای زیرساخت جادهای را مدیریت کنید، دادههای شمارش ترافیک حسگرها را پردازش کنید و تحلیلهایی مانند پرترددترین مناطق، روند پذیرش خودروهای برقی و حجم ترافیک سال به سال را استخراج کنید.
ما با راهاندازی Databricks روی GCP، ایجاد باکتها، مکانهای خارجی (External Locations) و Unity Catalog شروع میکنیم و سپس گام به گام از طریق لایههای برنز، نقره و طلا با استفاده از Auto Loader و Structured Streaming پیش میرویم. شما تجربه واقعی در جذب دادهها، تبدیل و خط لولههای تجمیعی (Aggregation) کسب خواهید کرد.
این دوره فراتر از توسعه کد رفته و مباحث مدیریت ورکفلو (Orchestration)، یکپارچهسازی با GitHub و متدهای CI/CD را پوشش میدهد. شما یاد میگیرید چگونه محیطهای توسعه (Dev)، تست (UAT) و تولید (Production) را راهاندازی کنید، کدها را با شاخههای Git مدیریت کنید و خط لولهها را از طریق pull requestها ارتقا دهید – دقیقاً مشابه پروژههای صنعتی واقعی.
در پایان این دوره، شما نه تنها یک پروژه آماده برای رزومه (پورتفولیو) ساختهاید، بلکه به دانش کاربردی و مفاهیم مورد نیاز مصاحبههای شغلی برای تصاحب نقشهای مهندسی داده با تمرکز بر Databricks و GCP مجهز خواهید شد.
چه مبتدی باشید و چه یک متخصص شاغل، این دوره پروژه-محور تضمین میکند که شما با انجام دادن یاد بگیرید و با اعتماد به نفس کامل در هر دو زمینه مهارتهای فنی و کاربردهای واقعی فارغالتحصیل شوید.
مرور کلی پروژه Project Overview
-
معرفی پروژه Project Introduction
-
معماری پروژه Project Architecture
-
درک مجموعهدادهها Understanding the Datasets
منابع و مطالب آموزشی دوره Course Material and Resources
-
لینکهای دسترسی به منابع Links to Access Resources
-
نحوه دسترسی به مطالب، کدهای مخزن، دادههای نمونه و یادداشتها How to Access Material, Repo Codes, Sample datasets and Notes
راهاندازی حساب کاربری Databricks Databricks Account Setup
-
ساخت حساب رایگان Databricks روی GCP Databricks Free Account Creation on GCP
-
ایجاد Workspace و Metastore در Databricks Databricks Workspace and Metastore Creation
راهاندازی محیط توسعه (DEV) DEV Environment Setup
-
ایجاد زیرساخت: باکتهای GCS، دسترسیهای ذخیرهسازی، مکانهای خارجی، کاتالوگها و کلاسترها Infra Creation - GCS buckets, Storage Creds, External Loc, Catalogs and Clusters
-
گام اول توسعه: ایجاد پویا (Dynamic) اسکیماها Development Step-1 : Create Schemas Dynamically
-
گام دوم توسعه: ایجاد پویای جداول برنز (Bronze) Development Step-2 : Creating Bronze Tables Dynamically
-
گام سوم توسعه: بارگذاری دادهها در جداول برنز Development Step-3 : Load to Bronze Tables
-
گام چهارم توسعه: تبدیلهای لایه نقرهای (Silver) Development Step-4 : Siver Transformations
-
گام پنجم توسعه: تبدیلهای لایه طلایی (Gold) Development Step-5 : Gold Transformations
-
گام ششم توسعه: ایجاد ورکفلو و مدیریت اجرا (Orchestration) Development Step-6 : Workflow Creation & Orchestration
-
گام هفتم توسعه: راهاندازی گیتهاب و بهروزرسانی خط لولههای Dev با Git Development Step-7 : Setup Github and Update the Dev Pipelines with Git
راهاندازی محیط تست (UAT) UAT Environment Setup
-
ایجاد زیرساخت: باکتهای GCS، دسترسیهای ذخیرهسازی، مکانهای خارجی، کاتالوگها و کلاسترها Infra Creation - GCS buckets, Storage Creds, External Loc, Catalogs and Clusters
-
پیکربندی GIT برای UAT و ایجاد PR برای ثبت تغییرات در شاخه UAT Configure GIT to UAT and Create PR to commit changes to UAT branch
-
مدیریت ورکفلو در محیط UAT UAT workflow Orchestration
راهاندازی محیط عملیاتی (PRD) PRD Environment Setup
-
تکلیف: راهاندازی محیط PRD مشابه مراحل DEV و UAT و جمعبندی پروژه Assignment : Prd Setup similar to DEV and UAT steps and Project Closure
Saidhul Shaik
نمایش نظرات