آموزش ساخت خطوط لوله داده دسته ای در Google Cloud

مقدمه Introduction

• معرفی دوره Course Introduction

مقدمه ای بر ساخت خطوط لوله داده دسته ای Introduction to Building Batch Data Pipelines

• معرفی ماژول Module introduction

• EL، ELT، ETL EL, ELT, ETL

• ملاحظات کیفیت Quality considerations

• نحوه انجام عملیات در BigQuery How to carry out operations in BigQuery

• کاستی ها Shortcomings

• ETL برای حل مشکلات کیفیت داده ها ETL to solve data quality issues

اجرای Spark در Dataproc Executing Spark on Dataproc

• معرفی ماژول Module introduction

• اکوسیستم هادوپ The Hadoop ecosystem

• اجرای Hadoop در Dataproc Running Hadoop on Dataproc

• فضای ذخیره سازی ابری به جای HDFS Cloud Storage instead of HDFS

• بهینه سازی Dataproc Optimizing Dataproc

• بهینه سازی ذخیره سازی Dataproc Optimizing Dataproc storage

• بهینه سازی الگوهای DataProc و AutoScaling Optimizing Dataproc templates and autoscaling

• بهینه سازی نظارت بر Dataproc Optimizing Dataproc monitoring

• معرفی آزمایشگاه: اجرای مشاغل Apache Spark در Dataproc Lab Intro: Running Apache Spark jobs on Dataproc

• شروع کار با GCP و Qwiklabs Getting Started with GCP and Qwiklabs

• آزمایشگاه: اجرای کارهای Apache Spark در Cloud Dataproc Lab: Running Apache Spark jobs on Cloud Dataproc

• خلاصه Summary

پردازش داده های بدون سرور با Dataflow Serverless Data Processing with Dataflow

• معرفی ماژول Module introduction

• مقدمه ای بر Dataflow Introduction to Dataflow

• چرا مشتریان برای Dataflow ارزش قائل هستند؟ Why customers value Dataflow

• ساخت خطوط لوله جریان داده در کد Building Dataflow pipelines in code

• ملاحظات کلیدی در طراحی خطوط لوله Key considerations with designing pipelines

• تبدیل داده ها با PTtransforms Transforming data with PTransforms

• معرفی آزمایشگاه: ایجاد یک خط لوله ساده برای جریان داده Lab Intro: Building a Simple Dataflow Pipeline

• آزمایشگاه: خط لوله ساده Dataflow (Python) 2.5 Lab: A simple Dataflow pipeline (Python) 2.5

• با GroupByKey جمع کنید و ترکیب کنید Aggregate with GroupByKey and Combine

• معرفی آزمایشگاه: MapReduce در جریان داده Lab Intro: MapReduce in Dataflow

• آزمایشگاه: MapReduce در Dataflow (Python) 2.5 Lab: MapReduce in Dataflow (Python) 2.5

• ورودی های جانبی و پنجره های داده Side inputs and windows of data

• معرفی آزمایشگاه: تمرین ورودی های جانبی خط لوله Lab Intro: Practicing Pipeline Side Inputs

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: ورودی های جانبی (پایتون) Lab: Serverless Data Analysis with Dataflow: Side Inputs (Python)

• ایجاد و استفاده مجدد از الگوهای خط لوله Creating and re-using pipeline templates

• خطوط لوله SQL جریان داده Dataflow SQL pipelines

• خلاصه Summary

خطوط لوله داده را با Cloud Data Fusion و Cloud Composer مدیریت کنید Manage Data Pipelines with Cloud Data Fusion and Cloud Composer

• معرفی ماژول Module introduction

• مقدمه ای بر Cloud Data Fusion Introduction to Cloud Data Fusion

• اجزای Cloud Data Fusion Components of Cloud Data Fusion

• رابط کاربری Cloud Data Fusion Cloud Data Fusion UI

• یک خط لوله بسازید Build a pipeline

• داده ها را با استفاده از Wrangler کاوش کنید Explore data using wrangler

• معرفی آزمایشگاه: ساخت و اجرای یک نمودار خط لوله در Cloud Data Fusion Lab Intro: Building and executing a pipeline graph in Cloud Data Fusion

• آزمایشگاه: ساخت و اجرای نمودار خط لوله با Data Fusion 2.5 Lab: Building and Executing a Pipeline Graph with Data Fusion 2.5

• کار را بین سرویس‌های Google Cloud با Cloud Composer هماهنگ کنید Orchestrate work between Google Cloud services with Cloud Composer

• محیط Apache Airflow Apache Airflow environment

• DAG ها و اپراتورها DAGs and Operators

• برنامه ریزی گردش کار Workflow scheduling

• نظارت و ثبت Monitoring and Logging

• معرفی آزمایشگاه: مقدمه ای بر Cloud Composer Lab Intro: An Introduction to Cloud Composer

• Lab: An Introduction to Cloud Composer 2.5 Lab: An Introduction to Cloud Composer 2.5

خلاصه دوره Course Summary

• خلاصه دوره Course Summary

منابع دوره Course Resources

• ساخت خطوط لوله داده دسته ای در Google Cloud Building Batch Data Pipelines on Google Cloud