معرفی مهندسی داده در گوگل کلود (Google Cloud) - آموزش جامع - آخرین آپدیت

معرفی دوره 課程簡介

• معرفی دوره 課程簡介

اصول و مفاهیم مهندسی داده 資料工程工作與元件

• معرفی واحد 單元簡介

• نقش مهندس داده 資料工程師的角色

• مقایسه منابع داده و ابزارهای جذب داده 資料來源和資料接收器的比較

• الگوهای داده 資料格式

• گزینه‌های راهکار ذخیره‌سازی در Google Cloud Google Cloud 的儲存空間解決方案選項

• گزینه‌های مدیریت داده‌های میانی در Google Cloud Google Cloud 的中繼資料管理選項

• استفاده از مجموعه‌های داده مشترک Analytics Hub 使用 Analytics Hub 共用資料集

• معرفی آزمایشگاه: بارگذاری داده‌ها در BigQuery 實驗室簡介：將資料載入 BigQuery

• Coursera: شروع کار با Google Cloud Platform و Qwiklabs Coursera：開始使用 Google Cloud Platform 和 Qwiklabs

مشاهده و انتقال داده‌ها 資料複製及遷移

• معرفی واحد 單元簡介

• ساختار مشاهده و انتقال داده‌ها 資料複製及遷移架構

• ابزار خط فرمان gcloud gcloud 指令列工具

• انتقال مجموعه‌های داده 遷移資料集

• سرویس Datastream Datastream

• معرفی آزمایشگاه: Datastream از PostgreSQL به BigQuery 實驗室簡介：Datastream：從 PostgreSQL 複製資料到 BigQuery

مدل خط لوله استخراج و بارگذاری داده (Ingestion Pipeline) 擷取及載入資料 pipeline 模式

• معرفی واحد 單元簡介

• ساختار استخراج و بارگذاری داده‌ها 資料擷取及載入的架構

• ابزار خط فرمان bq bq 指令列工具

• سرویس انتقال داده BigQuery BigQuery 資料移轉服務

• سرویس BigLake BigLake

• معرفی آزمایشگاه: BigLake Qwik Start 實驗室簡介：BigLake：Qwik Start

مدل خط لوله استخراج، بارگذاری و تبدیل داده (ELT Pipeline) 擷取、載入及轉換資料 pipeline 模式

• معرفی واحد 單元簡介

• ساختار استخراج، بارگذاری و تبدیل داده (ELT) 資料擷取、載入及轉換 (ELT) 的架構

• قابلیت‌های برنامه‌نویسی و دستورات SQL در BigQuery BigQuery 的 SQL 指令碼編寫和排程功能

• سرویس Dataform Dataform

• معرفی آزمایشگاه: ایجاد و اجرای جریان کاری SQL در Dataform 實驗室簡介：在 Dataform 建立及執行 SQL 工作流程

مدل خط لوله استخراج، تبدیل و بارگذاری داده (ETL Pipeline) 擷取、轉換及載入資料 pipeline 模式

• معرفی واحد 單元簡介

• ساختار استخراج، تبدیل و بارگذاری داده (ETL) 資料擷取、轉換及載入 (ETL) 的架構

• ابزارهای GUI گوگل کلود برای خط لوله داده ETL ETL 資料 pipeline 的 Google Cloud GUI 工具

• پردازش دسته‌ای داده‌ها با Dataproc 使用 Dataproc 批次處理資料

• معرفی آزمایشگاه: استفاده از Dataproc Serverless for Spark برای بارگذاری در BigQuery 實驗室簡介：使用 Dataproc Serverless for Spark 將資料載入 BigQuery

• گزینه‌های پردازش داده‌های جریانی (Streaming) 串流資料處理選項

• Bigtable و خط لوله‌های داده Bigtable 和資料 pipeline

• معرفی آزمایشگاه: استفاده از Dataflow برای ایجاد خط لوله داده جریانی 實驗室簡介：使用 Dataflow 為即時資訊主頁建立串流資料 pipeline

تکنیک‌های اتوماسیون 自動化技巧

• معرفی واحد 單元簡介

• مدل‌ها و گزینه‌های اتوماسیون خط لوله pipeline 的自動化模式和選項

• سرویس‌های Cloud Scheduler و Workflows Cloud Scheduler 和 Workflows

• سرویس Cloud Composer Cloud Composer

• سرویس Cloud Run functions Cloud Run functions

• سرویس Eventarc Eventarc

• معرفی آزمایشگاه: استفاده از Cloud Run Functions برای بارگذاری داده در BigQuery 實驗室簡介：使用 Cloud Run Functions 將資料載入 BigQuery

جمع‌بندی دوره 課程摘要

• جمع‌بندی دوره 課程摘要