آموزش خط لوله های داده دسته ای در GCP - آخرین آپدیت

مقدمه Introduction

• مقدمه دوره Course Introduction

مقدمه ای بر خطوط لوله داده Introduction to Batch Data Pipelines

• EL ، ELT ، ETL EL, ELT, ETL

• ملاحظات کیفیت Quality considerations

• نحوه انجام عملیات در BigQuery How to carry out operations in BigQuery

• کاستی ها Shortcomings

• ETL برای حل مسائل مربوط به کیفیت داده ETL to solve data quality issues

اجرای Spark در Cloud Dataproc Executing Spark on Cloud Dataproc

• اکوسیستم Hadoop The Hadoop ecosystem

• اجرای Hadoop در Cloud Dataproc Running Hadoop on Cloud Dataproc

• GCS به جای HDFS GCS instead of HDFS

• بهینه سازی Dataproc Optimizing Dataproc

• بهینه سازی ذخیره سازی Dataproc Optimizing Dataproc Storage

• بهینه سازی الگوهای DataProc و AutoScaling Optimizing Dataproc Templates and Autoscaling

• بهینه سازی نظارت DataProc Optimizing Dataproc Monitoring

• شروع با GCP و Qwiklabs Getting Started With GCP And Qwiklabs

• معرفی آزمایشگاه: اجرای مشاغل Apache Spark در Cloud Dataproc Lab Intro:Running Apache Spark jobs on Cloud Dataproc

• آزمایشگاه: اجرای مشاغل Apache Spark در Cloud Dataproc Lab: Running Apache Spark jobs on Cloud Dataproc

• خلاصه Summary

خطوط لوله داده را با Cloud Data Fusion و Cloud Composer مدیریت کنید Manage Data Pipelines with Cloud Data Fusion and Cloud Composer

• مقدمه Introduction

• اجزای همجوشی داده ها Components of Data Fusion

• ایجاد خط لوله Building a Pipeline

• کاوش داده ها با استفاده از Wrangler Exploring Data using Wrangler

• آزمایشگاه: ساختمان و اجرای نمودار خط لوله در فیوژن داده های ابر Lab:Building and executing a pipeline graph in Cloud Data Fusion

• آزمایشگاه: ساختمان و اجرای نمودار خط لوله با همجوشی داده Lab: Building and Executing a Pipeline Graph with Data Fusion

• کار ارکستر بین خدمات GCP با آهنگساز ابر Orchestrating work between GCP services with Cloud Composer

• محیط جریان هوا آپاچی Apache Airflow Environment

• DAG و اپراتورها DAGs and Operators

• برنامه ریزی گردش کار Workflow scheduling

• نظارت و ورود به سیستم Monitoring and Logging

• آزمایشگاه: مقدمه ای برای آهنگساز ابر Lab:An Introduction to Cloud Composer

• آزمایشگاه: مقدمه ای برای آهنگساز ابر Lab: An Introduction to Cloud Composer

پردازش داده بدون سرور با Cloud Dataflow Serverless Data Processing with Cloud Dataflow

• جریان داده های ابری Cloud Dataflow

• چرا مشتریان برای گردش داده ارزش قائل هستند Why customers value Dataflow

• ایجاد خطوط لوله داده ابر ابر در کد Building Cloud Dataflow Pipelines in code

• ملاحظات اصلی با طراحی خطوط لوله Key considerations with designing pipelines

• تبدیل داده ها با PTransforms Transforming data with PTransforms

• آزمایشگاه: ساخت یک خط لوله داده های ساده Lab:Building a Simple Dataflow Pipeline

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با DataFlow: یک خط لوله Dataflow ساده (پایتون) Lab: Serverless Data Analysis with Dataflow: A Simple Dataflow Pipeline (Python)

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با DataFlow: یک خط لوله Dataflow ساده (جاوا) Lab: Serverless Data Analysis with Dataflow: A Simple Dataflow Pipeline (Java)

• جمع شدن با GroupBykey و ترکیب Aggregating with GroupByKey and Combine

• آزمایشگاه: MapReduce در Cloud Dataflow Lab:MapReduce in Cloud Dataflow

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با DataFlow: MapReduce در DataFlow (پایتون) Lab: Serverless Data Analysis with Dataflow: MapReduce in Dataflow (Python)

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با DataFlow: MapReduce در DataFlow (جاوا) Lab: Serverless Data Analysis with Dataflow : MapReduce in Dataflow (Java)

• ورودی های جانبی و ویندوز داده ها Side Inputs and Windows of data

• آزمایشگاه: تمرین ورودی های سمت خط لوله Lab:Practicing Pipeline Side Inputs

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با گردش داده: ورودی های جانبی (پایتون) Lab: Serverless Data Analysis with Dataflow: Side Inputs (Python)

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با گردش داده: ورودی های جانبی (جاوا) Lab: Serverless Data Analysis with Dataflow: Side Inputs (Java)

• ایجاد و استفاده مجدد از الگوهای خط لوله Creating and re-using Pipeline Templates

• خطوط لوله Cloud Dataflow SQL Cloud Dataflow SQL pipelines

خلاصه Summary

• خلاصه دوره Course Summary

• خط لوله های داده دسته ای در اسلایدهای Google Cloud Building Batch Data Pipelines on Google Cloud Slides