آموزش ساخت خطوط لوله داده ای در GCP

مقدمه Introduction

• معرفی دوره Course Introduction

مقدمه ای بر خطوط لوله داده Introduction to Batch Data Pipelines

• EL ، ELT ، ETL EL, ELT, ETL

• ملاحظات کیفی Quality considerations

• نحوه انجام عملیات در BigQuery How to carry out operations in BigQuery

• کمبودها Shortcomings

• ETL برای حل مشکلات کیفیت داده ها ETL to solve data quality issues

اجرای Spark در Cloud Dataproc Executing Spark on Cloud Dataproc

• اکوسیستم Hadoop The Hadoop ecosystem

• اجرای Hadoop در Cloud Dataproc Running Hadoop on Cloud Dataproc

• GCS به جای HDFS GCS instead of HDFS

• بهینه سازی Dataproc Optimizing Dataproc

• بهینه سازی ذخیره سازی Dataproc Optimizing Dataproc Storage

• بهینه سازی الگوهای Dataproc و مقیاس خودکار Optimizing Dataproc Templates and Autoscaling

• بهینه سازی نظارت بر Dataproc Optimizing Dataproc Monitoring

• شروع کار با GCP و Qwiklabs Getting Started With GCP And Qwiklabs

• آزمایشگاه معرفی: اجرای مشاغل Apache Spark در Cloud Dataproc Lab Intro:Running Apache Spark jobs on Cloud Dataproc

• آزمایشگاه: اجرای مشاغل Apache Spark در Cloud Dataproc Lab: Running Apache Spark jobs on Cloud Dataproc

• خلاصه Summary

خطوط لوله داده را با Cloud Data Fusion و Cloud Composer مدیریت کنید Manage Data Pipelines with Cloud Data Fusion and Cloud Composer

• مقدمه Introduction

• مonلفه های همجوشی داده ها Components of Data Fusion

• ساخت خط لوله Building a Pipeline

• کاوش داده ها با استفاده از Wrangler Exploring Data using Wrangler

• آزمایشگاه: ساخت و اجرای نمودار خط لوله در Cloud Data Fusion Lab:Building and executing a pipeline graph in Cloud Data Fusion

• آزمایشگاه: ساخت و اجرای نمودار خط لوله با همجوشی داده ها Lab: Building and Executing a Pipeline Graph with Data Fusion

• هماهنگی بین سرویس های GCP با Cloud Composer Orchestrating work between GCP services with Cloud Composer

• محیط جریان هوا Apache Apache Airflow Environment

• DAG ها و اپراتورها DAGs and Operators

• برنامه ریزی گردش کار Workflow scheduling

• نظارت و ورود به سیستم Monitoring and Logging

• آزمایشگاه: درآمدی بر آهنگساز ابر Lab:An Introduction to Cloud Composer

• آزمایشگاه: درآمدی بر آهنگساز ابر Lab: An Introduction to Cloud Composer

پردازش داده بدون سرور با Cloud Dataflow Serverless Data Processing with Cloud Dataflow

• Cloud Dataflow Cloud Dataflow

• چرا مشتریان برای Dataflow ارزش قائل هستند Why customers value Dataflow

• ساخت خطوط لوله انتقال داده Cloud به صورت کد Building Cloud Dataflow Pipelines in code

• ملاحظات اصلی در مورد طراحی خطوط لوله Key considerations with designing pipelines

• تبدیل داده ها با PTransforms Transforming data with PTransforms

• آزمایشگاه: ساخت یک خط لوله ساده گردش داده Lab:Building a Simple Dataflow Pipeline

• آزمایشگاه: تجزیه و تحلیل داده بدون سرور با جریان داده: یک خط لوله ساده داده (پایتون) Lab: Serverless Data Analysis with Dataflow: A Simple Dataflow Pipeline (Python)

• آزمایشگاه: تجزیه و تحلیل داده بدون سرور با جریان داده: یک خط لوله ساده داده (جاوا) Lab: Serverless Data Analysis with Dataflow: A Simple Dataflow Pipeline (Java)

• جمع کردن با GroupByKey و Combine Aggregating with GroupByKey and Combine

• آزمایشگاه: MapReduce در Cloud Dataflow Lab:MapReduce in Cloud Dataflow

• آزمایشگاه: تجزیه و تحلیل داده بدون سرور با جریان داده: MapReduce در جریان داده (پایتون) Lab: Serverless Data Analysis with Dataflow: MapReduce in Dataflow (Python)

• آزمایشگاه: تجزیه و تحلیل داده بدون سرور با جریان داده: MapReduce در جریان داده (جاوا) Lab: Serverless Data Analysis with Dataflow : MapReduce in Dataflow (Java)

• ورودی های جانبی و ویندوز داده ها Side Inputs and Windows of data

• آزمایشگاه: تمرین ورودی های جانبی خط لوله Lab:Practicing Pipeline Side Inputs

• آزمایشگاه: تجزیه و تحلیل داده بدون سرور با جریان داده: ورودی های جانبی (پایتون) Lab: Serverless Data Analysis with Dataflow: Side Inputs (Python)

• آزمایشگاه: تجزیه و تحلیل داده بدون سرور با جریان داده: ورودی های جانبی (جاوا) Lab: Serverless Data Analysis with Dataflow: Side Inputs (Java)

• ایجاد و استفاده مجدد از الگوهای خط لوله Creating and re-using Pipeline Templates

• خطوط انتقال داده Cloud SQL Cloud Dataflow SQL pipelines

خلاصه Summary

• خلاصه دوره Course Summary

• ساخت خطوط لوله داده در اسلایدهای Google Cloud Building Batch Data Pipelines on Google Cloud Slides