آموزش مقدمه‌ای بر مهندسی داده در گوگل کلاود (Google Cloud) - آخرین آپدیت

مقدمه دوره Course Introduction

• مقدمه دوره Course Introduction

وظایف و اجزای مهندسی داده Data Engineering Tasks and Components

• مقدمه بخش Module Introduction

• نقش مهندس داده The Role of a Data Engineer

• منابع داده در مقابل مخازن داده (Sources vs Sinks) Data Sources Versus Data Sinks

• فرمت‌های داده Data Formats

• گزینه‌های راهکار ذخیره‌سازی در گوگل کلاود Storage Solution Options on Google Cloud

• گزینه‌های مدیریت متادیتا در گوگل کلاود Metadata Management Options on Google Cloud

• اشتراک‌گذاری مجموعه‌داده‌ها با استفاده از Analytics Hub Sharing Datasets using Analytics Hub

• آشنایی با آزمایشگاه: بارگذاری داده‌ها در BigQuery Lab Intro: Loading Data into BigQuery

تکثیر و مهاجرت داده‌ها Data Replication and Migration

• مقدمه بخش Module Introduction

• معماری تکثیر و مهاجرت Replication and Migration Architecture

• ابزار خط فرمان gcloud The gcloud Command Line Tool

• انتقال مجموعه‌داده‌ها Moving Datasets

• سرویس Datastream Datastream

• آشنایی با آزمایشگاه: Datastream و تکثیر PostgreSQL به BigQuery Lab Intro: Datastream: PostgreSQL Replication to BigQuery

الگوی خط لوله استخراج و بارگذاری داده (Extract and Load) The Extract and Load Data Pipeline Pattern

• مقدمه بخش Module Introduction

• معماری استخراج و بارگذاری Extract and Load Architecture

• ابزار خط فرمان bq The bq Command Line Tool

• سرویس انتقال داده BigQuery BigQuery Data Transfer Service

• سرویس BigLake BigLake

• آشنایی با آزمایشگاه: شروع سریع با BigLake Lab Intro: BigLake: Qwik Start

الگوی خط لوله استخراج، بارگذاری و تبدیل داده (ELT) The Extract, Load, and Transform Data Pipeline Pattern

• مقدمه بخش Module Introduction

• معماری استخراج، بارگذاری و تبدیل (ELT) Extract, Load, and Transform (ELT) Architecture

• اسکریپت‌نویسی SQL و زمان‌بندی با BigQuery SQL Scripting and Scheduling with BigQuery

• ابزار Dataform Dataform

• آشنایی با آزمایشگاه: ایجاد و اجرای گردش کار SQL در Dataform Lab Intro: Create and Execute a SQL Workflow in Dataform

الگوی خط لوله استخراج، تبدیل و بارگذاری داده (ETL) The Extract, Transform, and Load Data Pipeline Pattern

• مقدمه بخش Module Introduction

• معماری استخراج، تبدیل و بارگذاری (ETL) Extract, Transform, and Load (ETL) Architecture

• ابزارهای رابط گرافیکی گوگل کلاود برای خط لوله‌های ETL Google Cloud GUI Tools for ETL Data Pipelines

• پردازش دسته‌ای داده‌ها با استفاده از Dataproc Batch Data Processing Using Dataproc

• آشنایی با آزمایشگاه: استفاده از Serverless برای Apache Spark جهت بارگذاری BigQuery Lab Intro: Use Serverless for Apache Spark to Load BigQuery

• گزینه‌های پردازش جریانی داده‌ها (Streaming) Streaming Data Processing Options

• سرویس Bigtable و خط لوله‌های داده Bigtable and Data Pipelines

• آشنایی با آزمایشگاه: ایجاد خط لوله داده جریانی برای داشبورد لحظه‌ای با Dataflow Lab Intro: Creating a Streaming Data Pipeline for a Real-Time Dashboard with Dataflow

تکنیک‌های اتوماسیون Automation Techniques

• مقدمه بخش Module Introduction

• الگوها و گزینه‌های اتوماسیون برای خط لوله‌ها Automation Patterns and Options for Pipelines

• سرویس‌های Cloud Scheduler و Workflows Cloud Scheduler and Workflows

• سرویس Cloud Composer Cloud Composer

• توابع Cloud Run Cloud Run Functions

• سرویس Eventarc Eventarc

• آشنایی با آزمایشگاه: استفاده از توابع Cloud Run برای بارگذاری BigQuery Lab Intro: Use Cloud Run Functions to Load BigQuery

جمع‌بندی دوره Course Summary

• جمع‌بندی دوره Course Summary