آموزش ساخت خطوط لوله داده دسته ای در Google Cloud

مقدمه Introduction

• معرفی دوره Course Introduction

مقدمه ای بر ساخت خطوط لوله داده دسته ای Introduction to Building Batch Data Pipelines

• معرفی ماژول Module introduction

• EL، ELT، ETL EL, ELT, ETL

• ملاحظات کیفیت Quality considerations

• نحوه انجام عملیات در BigQuery How to carry out operations in BigQuery

• کاستی ها Shortcomings

• ETL برای حل مشکلات کیفیت داده ها ETL to solve data quality issues

اجرای Spark در Dataproc Executing Spark on Dataproc

• معرفی ماژول Module introduction

• اکوسیستم هادوپ The Hadoop ecosystem

• اجرای Hadoop روی Dataproc Running Hadoop on Dataproc

• Cloud Storage به جای HDFS Cloud Storage instead of HDFS

• بهینه سازی Dataproc Optimizing Dataproc

• بهینه سازی ذخیره سازی Dataproc Optimizing Dataproc storage

• بهینه سازی قالب های Dataproc و مقیاس خودکار Optimizing Dataproc templates and autoscaling

• بهینه سازی نظارت بر Dataproc Optimizing Dataproc monitoring

• معرفی آزمایشگاه: اجرای کارهای Apache Spark در Dataproc Lab Intro: Running Apache Spark jobs on Dataproc

• Pluralsight: شروع به کار با GCP و Qwiklabs Pluralsight: Getting Started with GCP and Qwiklabs

• آزمایشگاه: اجرای کارهای Apache Spark در Cloud Dataproc Lab: Running Apache Spark jobs on Cloud Dataproc

• خلاصه Summary

پردازش داده های بدون سرور با Dataflow Serverless Data Processing with Dataflow

• معرفی ماژول Module introduction

• مقدمه ای بر Dataflow Introduction to Dataflow

• چرا مشتریان برای Dataflow ارزش قائل هستند؟ Why customers value Dataflow

• ساخت خطوط لوله جریان داده در کد Building Dataflow pipelines in code

• ملاحظات کلیدی در طراحی خطوط لوله Key considerations with designing pipelines

• معرفی آزمایشگاه: ساخت یک خط لوله ساده جریان داده Lab Intro: Building a Simple Dataflow Pipeline

• Lab: A Simple Dataflow Pipeline (Python) 2.5 Lab: A Simple Dataflow Pipeline (Python) 2.5

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: خط لوله ساده جریان داده (جاوا) Lab: Serverless Data Analysis with Dataflow: A Simple Dataflow Pipeline (Java)

• با GroupByKey جمع کنید و ترکیب کنید Aggregate with GroupByKey and Combine

• معرفی آزمایشگاه: MapReduce در Beam Lab Intro: MapReduce in Beam

• آزمایشگاه: MapReduce در Beam (Python) 2.5 Lab: MapReduce in Beam (Python) 2.5

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با Beam: MapReduce در Beam (جاوا) Lab: Serverless Data Analysis with Beam: MapReduce in Beam (Java)

• ورودی های جانبی و پنجره های داده Side inputs and windows of data

• معرفی آزمایشگاه: تمرین ورودی های جانبی خط لوله Lab Intro: Practicing Pipeline Side Inputs

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: ورودی های جانبی (پایتون) Lab: Serverless Data Analysis with Dataflow: Side Inputs (Python)

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: ورودی های جانبی (جاوا) Lab: Serverless Data Analysis with Dataflow: Side Inputs (Java)

• ایجاد و استفاده مجدد از الگوهای خط لوله Creating and re-using pipeline templates

• خلاصه Summary

خطوط لوله داده را با Cloud Data Fusion و Cloud Composer مدیریت کنید Manage Data Pipelines with Cloud Data Fusion and Cloud Composer

• معرفی ماژول Module introduction

• مقدمه ای بر Cloud Data Fusion Introduction to Cloud Data Fusion

• اجزای Cloud Data Fusion Components of Cloud Data Fusion

• رابط کاربری Cloud Data Fusion Cloud Data Fusion UI

• یک خط لوله بسازید Build a pipeline

• کاوش داده ها با استفاده از wrangler Explore data using wrangler

• معرفی آزمایشگاه: ساخت و اجرای یک نمودار خط لوله در Cloud Data Fusion Lab Intro: Building and executing a pipeline graph in Cloud Data Fusion

• آزمایشگاه: ساخت و اجرای نمودار خط لوله با Data Fusion 2.5 Lab: Building and Executing a Pipeline Graph with Data Fusion 2.5

• با Cloud Composer کار بین سرویس‌های Google Cloud را هماهنگ کنید Orchestrate work between Google Cloud services with Cloud Composer

• محیط Apache Airflow Apache Airflow environment

• DAG ها و اپراتورها DAGs and Operators

• برنامه ریزی گردش کار Workflow scheduling

• نظارت و ثبت Monitoring and Logging

• معرفی آزمایشگاه: مقدمه ای بر Cloud Composer Lab Intro: An Introduction to Cloud Composer

• Lab: An Introduction to Cloud Composer 2.5 Lab: An Introduction to Cloud Composer 2.5

خلاصه دوره Course Summary

• خلاصه دوره Course Summary

منابع دوره Course Resources

• ساخت خطوط لوله داده دسته ای در Google Cloud Building Batch Data Pipelines on Google Cloud