آموزش مقدمه‌ای بر مهندسی داده در گوگل کلاد (Google Cloud) - آخرین آپدیت

مقدمه دوره 课程简介

• مقدمه دوره 课程简介

وظایف و مفاهیم مهندسی داده 数据工程任务和组件

• مقدمه واحد 单元简介

• مسئولیت‌های مهندس داده 数据工程师的职责

• منابع داده و ابزارهای جذب داده 数据源和数据接收器

• مدل‌های داده 数据格式

• گزینه‌های راهکار ذخیره‌سازی در Google Cloud Google Cloud 存储解决方案选项

• راهکارهای مدیریت داده‌های خام در Google Cloud Google Cloud 元数据管理方案

• اشتراک‌گذاری مجموعه‌داده‌ها با Analytics Hub 使用 Analytics Hub 共享数据集

• مقدمه عملی: بارگذاری داده‌ها در BigQuery 实验简介：将数据加载到 BigQuery 中

• راهنمای استفاده از Google Cloud Platform و Qwiklabs در Coursera Coursera：Google Cloud Platform 和 Qwiklabs 使用入门

تکثیر و انتقال داده‌ها 数据复制和迁移

• مقدمه واحد 单元简介

• ساختار تکثیر و انتقال 复制和迁移架构

• ابزار خط فرمان gcloud gcloud 命令行工具

• جابجایی مجموعه‌داده‌ها 移动数据集

• سرویس Datastream Datastream

• مقدمه عملی: تکثیر داده‌ها از PostgreSQL به BigQuery با Datastream 实验简介：Datastream：将数据从 PostgreSQL 复制到 BigQuery

مدل خط لوله داده استخراج و بارگذاری 提取和加载”数据流水线模式

• مقدمه واحد 单元简介

• ساختار استخراج و بارگذاری 提取和加载架构

• ابزار خط فرمان bq bq 命令行工具

• سرویس انتقال داده BigQuery BigQuery Data Transfer Service

• سرویس BigLake BigLake

• مقدمه عملی: شروع سریع با BigLake 实验简介：BigLake：Qwik Start

مدل خط لوله داده استخراج، بارگذاری و تبدیل (ELT) 提取、加载和转换”数据流水线模式

• مقدمه واحد 单元简介

• ساختار استخراج، بارگذاری و تبدیل (ELT) 提取、加载和转换 (ELT) 架构

• قابلیت‌های نوشتن و بهینه‌سازی SQL در BigQuery 使用 BigQuery 的 SQL 脚本编写和调度功能

• سرویس Dataform Dataform

• مقدمه عملی: ایجاد و اجرای جریان کاری SQL در Dataform 实验简介：在 Dataform 中创建和执行 SQL 工作流

مدل خط لوله داده استخراج، تبدیل و بارگذاری (ETL) 提取、转换和加载”数据流水线模式

• مقدمه واحد 单元简介

• ساختار استخراج، تبدیل و بارگذاری (ETL) 提取、转换和加载 (ETL) 架构

• ابزارهای GUI برای خط لوله‌های داده ETL در Google Cloud Google Cloud 上用于 ETL 数据流水线的 GUI 工具

• پردازش دسته‌ای داده‌ها با Dataproc 使用 Dataproc 执行批量数据处理

• مقدمه عملی: بارگذاری در BigQuery با Dataproc Serverless for Spark 实验简介：使用 Dataproc Serverless for Spark 加载 BigQuery

• راهکارهای پردازش جریانی داده‌ها (Streaming) 流式数据处理方案

• سرویس Bigtable و خط لوله‌های داده Bigtable 和数据流水线

• مقدمه عملی: ایجاد خط لوله داده جریانی برای مرکز اطلاعات بلادرنگ با Dataflow 实验简介：使用 Dataflow 为实时信息中心创建流式数据流水线

تکنولوژی‌های اتوماسیون 自动化技术

• مقدمه واحد 单元简介

• مدل‌ها و گزینه‌های اتوماسیون خط لوله 流水线的自动化模式和选项

• سرویس‌های Cloud Scheduler و Workflows Cloud Scheduler 和 Workflows

• سرویس Cloud Composer Cloud Composer

• سرویس Cloud Run Functions Cloud Run Functions

• سرویس Eventarc Eventarc

• مقدمه عملی: بارگذاری در BigQuery با استفاده از Cloud Run functions 实验简介：使用 Cloud Run functions 加载 BigQuery

جمع‌بندی دوره 课程总结

• جمع‌بندی دوره 课程总结