آموزش ساخت خطوط لوله داده دسته ای در GCP

معرفی Introduction

• معرفی دوره Course Introduction

• معرفی دوره Course Introduction

• شروع کار با GCP و Qwiklabs Getting started with GCP and Qwiklabs

• شروع کار با GCP و Qwiklabs Getting started with GCP and Qwiklabs

مقدمه ای بر خطوط لوله داده دسته ای Introduction to Batch Data Pipelines

• EL، ELT، ETL EL, ELT, ETL

• EL، ELT، ETL EL, ELT, ETL

• ملاحظات کیفیت Quality considerations

• ملاحظات کیفیت Quality considerations

• نحوه انجام عملیات در BigQuery How to carry out operations in BigQuery

• نحوه انجام عملیات در BigQuery How to carry out operations in BigQuery

• کاستی ها Shortcomings

• کاستی ها Shortcomings

• ETL برای حل مشکلات کیفیت داده ها ETL to solve data quality issues

• ETL برای حل مشکلات کیفیت داده ها ETL to solve data quality issues

اجرای Spark در Cloud Dataproc Executing Spark on Cloud Dataproc

• اکوسیستم هادوپ The Hadoop ecosystem

• اکوسیستم هادوپ The Hadoop ecosystem

• اجرای Hadoop در Cloud Dataproc Running Hadoop on Cloud Dataproc

• اجرای Hadoop در Cloud Dataproc Running Hadoop on Cloud Dataproc

• GCS به جای HDFS GCS instead of HDFS

• GCS به جای HDFS GCS instead of HDFS

• بهینه سازی Dataproc Optimizing Dataproc

• بهینه سازی Dataproc Optimizing Dataproc

• بهینه سازی ذخیره سازی Dataproc Optimizing Dataproc Storage

• بهینه سازی ذخیره سازی Dataproc Optimizing Dataproc Storage

• بهینه سازی الگوهای Dataproc و مقیاس خودکار Optimizing Dataproc Templates and Autoscaling

• بهینه سازی الگوهای Dataproc و مقیاس خودکار Optimizing Dataproc Templates and Autoscaling

• بهینه سازی مانیتورینگ Dataproc Optimizing Dataproc Monitoring

• بهینه سازی مانیتورینگ Dataproc Optimizing Dataproc Monitoring

• معرفی آزمایشگاه: اجرای کارهای Apache Spark در Cloud Dataproc Lab Intro:Running Apache Spark jobs on Cloud Dataproc

• معرفی آزمایشگاه: اجرای کارهای Apache Spark در Cloud Dataproc Lab Intro:Running Apache Spark jobs on Cloud Dataproc

• آزمایشگاه: اجرای کارهای Apache Spark در Cloud Dataproc Lab: Running Apache Spark jobs on Cloud Dataproc

• آزمایشگاه: اجرای کارهای Apache Spark در Cloud Dataproc Lab: Running Apache Spark jobs on Cloud Dataproc

• خلاصه Summary

• خلاصه Summary

خطوط لوله داده را با Cloud Data Fusion و Cloud Composer مدیریت کنید Manage Data Pipelines with Cloud Data Fusion and Cloud Composer

• معرفی Introduction

• معرفی Introduction

• اجزای ترکیب داده ها Components of Data Fusion

• اجزای ترکیب داده ها Components of Data Fusion

• ساخت خط لوله Building a Pipeline

• ساخت خط لوله Building a Pipeline

• کاوش داده ها با استفاده از رانگلر Exploring Data using Wrangler

• کاوش داده ها با استفاده از رانگلر Exploring Data using Wrangler

• آزمایشگاه: ساخت و اجرای نمودار خط لوله در Cloud Data Fusion Lab:Building and executing a pipeline graph in Cloud Data Fusion

• آزمایشگاه: ساخت و اجرای نمودار خط لوله در Cloud Data Fusion Lab:Building and executing a pipeline graph in Cloud Data Fusion

• آزمایشگاه: ساخت و اجرای نمودار خط لوله با ترکیب داده ها Lab: Building and Executing a Pipeline Graph with Data Fusion

• آزمایشگاه: ساخت و اجرای نمودار خط لوله با ترکیب داده ها Lab: Building and Executing a Pipeline Graph with Data Fusion

• هماهنگ کردن کار بین سرویس های GCP با Cloud Composer Orchestrating work between GCP services with Cloud Composer

• هماهنگ کردن کار بین سرویس های GCP با Cloud Composer Orchestrating work between GCP services with Cloud Composer

• محیط جریان هوای آپاچی Apache Airflow Environment

• محیط جریان هوای آپاچی Apache Airflow Environment

• DAG ها و اپراتورها DAGs and Operators

• DAG ها و اپراتورها DAGs and Operators

• برنامه ریزی گردش کار Workflow scheduling

• برنامه ریزی گردش کار Workflow scheduling

• نظارت و ثبت Monitoring and Logging

• نظارت و ثبت Monitoring and Logging

• Lab:An Introduction to Cloud Composer Lab:An Introduction to Cloud Composer

• Lab:An Introduction to Cloud Composer Lab:An Introduction to Cloud Composer

• آزمایشگاه: مقدمه ای بر Cloud Composer Lab: An Introduction to Cloud Composer

• آزمایشگاه: مقدمه ای بر Cloud Composer Lab: An Introduction to Cloud Composer

پردازش داده های بدون سرور با Cloud Dataflow Serverless Data Processing with Cloud Dataflow

• Cloud Dataflow Cloud Dataflow

• Cloud Dataflow Cloud Dataflow

• چرا مشتریان برای Dataflow ارزش قائل هستند؟ Why customers value Dataflow

• چرا مشتریان برای Dataflow ارزش قائل هستند؟ Why customers value Dataflow

• ساخت خطوط لوله داده های ابری در کد Building Cloud Dataflow Pipelines in code

• ساخت خطوط لوله داده های ابری در کد Building Cloud Dataflow Pipelines in code

• ملاحظات کلیدی در طراحی خطوط لوله Key considerations with designing pipelines

• ملاحظات کلیدی در طراحی خطوط لوله Key considerations with designing pipelines

• تبدیل داده ها با PTtransforms Transforming data with PTransforms

• تبدیل داده ها با PTtransforms Transforming data with PTransforms

• آزمایشگاه: ساخت یک خط لوله جریان داده ساده Lab:Building a Simple Dataflow Pipeline

• آزمایشگاه: ساخت یک خط لوله جریان داده ساده Lab:Building a Simple Dataflow Pipeline

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: خط لوله ساده جریان داده (جاوا) Lab: Serverless Data Analysis with Dataflow: A Simple Dataflow Pipeline (Java)

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: خط لوله ساده جریان داده (جاوا) Lab: Serverless Data Analysis with Dataflow: A Simple Dataflow Pipeline (Java)

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: خط لوله ساده جریان داده (پایتون) Lab: Serverless Data Analysis with Dataflow: A Simple Dataflow Pipeline (Python)

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: خط لوله ساده جریان داده (پایتون) Lab: Serverless Data Analysis with Dataflow: A Simple Dataflow Pipeline (Python)

• جمع شدن با GroupByKey و Combine Aggregating with GroupByKey and Combine

• جمع شدن با GroupByKey و Combine Aggregating with GroupByKey and Combine

• آزمایشگاه:MapReduce در Cloud Dataflow Lab:MapReduce in Cloud Dataflow

• آزمایشگاه:MapReduce در Cloud Dataflow Lab:MapReduce in Cloud Dataflow

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: MapReduce در جریان داده (جاوا) Lab: Serverless Data Analysis with Dataflow : MapReduce in Dataflow (Java)

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: MapReduce در جریان داده (جاوا) Lab: Serverless Data Analysis with Dataflow : MapReduce in Dataflow (Java)

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با Dataflow: MapReduce در Dataflow (Python) Lab: Serverless Data Analysis with Dataflow: MapReduce in Dataflow (Python)

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با Dataflow: MapReduce در Dataflow (Python) Lab: Serverless Data Analysis with Dataflow: MapReduce in Dataflow (Python)

• ورودی های جانبی و ویندوز داده ها Side Inputs and Windows of data

• ورودی های جانبی و ویندوز داده ها Side Inputs and Windows of data

• آزمایشگاه: تمرین ورودی های جانبی خط لوله Lab:Practicing Pipeline Side Inputs

• آزمایشگاه: تمرین ورودی های جانبی خط لوله Lab:Practicing Pipeline Side Inputs

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: ورودی های جانبی (پایتون) Lab: Serverless Data Analysis with Dataflow: Side Inputs (Python)

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: ورودی های جانبی (پایتون) Lab: Serverless Data Analysis with Dataflow: Side Inputs (Python)

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: ورودی های جانبی (جاوا) Lab: Serverless Data Analysis with Dataflow: Side Inputs (Java)

• آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: ورودی های جانبی (جاوا) Lab: Serverless Data Analysis with Dataflow: Side Inputs (Java)

• ایجاد و استفاده مجدد از الگوهای خط لوله Creating and re-using Pipeline Templates

• ایجاد و استفاده مجدد از الگوهای خط لوله Creating and re-using Pipeline Templates

• خطوط لوله Cloud Dataflow SQL Cloud Dataflow SQL pipelines

• خطوط لوله Cloud Dataflow SQL Cloud Dataflow SQL pipelines

خلاصه Summary

• خلاصه دوره Course Summary

• خلاصه دوره Course Summary