آموزش جامع مهندسی داده در گوگل کلاد (Google Cloud) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه و کلیات دوره コースの概要

• مقدمه و کلیات دوره コースの概要

مفاهیم و تسک‌های مهندسی داده データ エンジニアリングのタスクとコンポーネント

• مفهوم ماژول モジュールの概要

• نقش مهندس داده データ エンジニアの役割

• تفاوت دریاچه داده و انبار داده データソースとデータシンクの違い

• انواع داده‌ها データ形式

• گزینه‌های ذخیره‌سازی در Google Cloud Google Cloud のストレージ ソリューション オプション

• گزینه‌های مدیریت متاداده در Google Cloud Google Cloud のメタデータ管理オプション

• اشتراک‌گذاری مجموعه‌داده‌ها با Analytics Hub Analytics Hub を使用したデータセットの共有

• دمو: بارگذاری داده‌ها در BigQuery ラボの概要: BigQuery へのデータの読み込み

• شروع کار با Coursera، Google Cloud Platform و Qwiklabs Coursera: Google Cloud Platform と Qwiklabs を使って開始する

تکمیل و انتقال داده‌ها データのレプリケーションと移行

• مفهوم ماژول モジュールの概要

• آشنایی با تکمیلی کردن و انتقال داده‌ها レプリケーションと移行のアーキテクチャ

• راهنمای دستورات gcloud gcloud コマンドライン ツール

• جابجایی مجموعه‌داده‌ها データセットの移動

• معرفی Datastream Datastream

• دمو: تکمیلی کردن داده‌ها از PostgreSQL به BigQuery با Datastream ラボの概要: Datastream: PostgreSQL から BigQuery へのレプリケーション

الگوهای خط لوله داده استخراج و بارگذاری 抽出と読み込みのデータ パイプライン パターン

• مفهوم ماژول モジュールの概要

• آشنایی با استخراج و بارگذاری 抽出と読み込みのアーキテクチャ

• راهنمای دستورات bq bq コマンドライン ツール

• سرویس انتقال داده BigQuery BigQuery Data Transfer Service

• معرفی BigLake BigLake

• دمو: شروع سریع با BigLake ラボの概要: BigLake: Qwik Start

الگوهای خط لوله داده بارگذاری و تبدیل 読み込み、変換のデータ パイプライン パターン

• مفهوم ماژول モジュールの概要

• آشنایی با استخراج، بارگذاری و تبدیل (ELT) 抽出、読み込み、変換（ELT）アーキテクチャ

• ساخت اسکریپت‌های SQL و زمان‌بندی در BigQuery BigQuery を使用した SQL スクリプト作成とスケジュール設定

• معرفی Dataform Dataform

• دمو: ایجاد و اجرای گردش‌کارهای SQL در Dataform ラボの概要: Dataform で SQL ワークフローを作成して実行する

الگوهای خط لوله داده استخراج، تبدیل و بارگذاری 抽出、変換、読み込みのデータ パイプライン パターン

• مفهوم ماژول モジュールの概要

• آشنایی با استخراج، تبدیل و بارگذاری (ETL) 抽出、変換、読み込み（ETL）アーキテクチャ

• ابزارهای گرافیکی (GUI) گوگل کلاد برای خط لوله ETL ETL データ パイプラインに使用される Google Cloud GUI ツール

• پردازش داده‌های حجیم با Dataproc Dataproc を使用したバッチデータ処理

• دمو: بارگذاری داده‌ها در BigQuery با Dataproc Serverless برای Spark ラボの概要: Dataproc Serverless for Spark を使用して BigQuery を読み込む

• گزینه‌های پردازش داده‌های جریانی (Streaming) ストリーミング データ処理オプション

• Bigtable و خط لوله‌های داده Bigtable とデータ パイプライン

• دمو: ساخت خط لوله پردازش جریانی برای داده‌های در لحظه با Dataflow ラボの概要: Dataflow を使用してリアルタイム ダッシュボード用のストリーミング データ パイプラインを作成する

متدهای اتوماسیون 自動化の手法

• مفهوم ماژول モジュールの概要

• الگوها و گزینه‌های اتوماسیون در خط لوله‌های داده パイプラインに使用できる自動化のパターンとオプション

• معرفی Cloud Scheduler و Workflows Cloud Scheduler と Workflows

• معرفی Cloud Composer Cloud Composer

• معرفی Cloud Run functions Cloud Run functions

• معرفی Eventarc Eventarc

• دمو: بارگذاری داده‌ها در BigQuery با Cloud Run functions ラボの概要: Cloud Run functions を使用して BigQuery を読み込む

جمع‌بندی دوره コースのまとめ

• جمع‌بندی نهایی دوره コースのまとめ