آموزش ساخت خطوط لوله داده دسته ای در Google Cloud

Building Batch Data Pipelines on Google Cloud

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیویی برای نمایش وجود ندارد.
توضیحات دوره: خطوط لوله داده معمولاً تحت یکی از پارادایم های Extra-Load، Extract-Load-Transform یا Extract-Transform-Load قرار می گیرند. این دوره توضیح می دهد که کدام پارادایم و چه زمانی باید برای داده های دسته ای استفاده شود. خطوط لوله داده معمولاً تحت یکی از پارادایم های Extra-Load، Extract-Load-Transform یا Extract-Transform-Load قرار می گیرند. این دوره توضیح می دهد که کدام پارادایم و چه زمانی برای داده های دسته ای باید استفاده شود. علاوه بر این، این دوره چندین فناوری را در Google Cloud برای تبدیل داده ها از جمله BigQuery، اجرای Spark در Dataproc، نمودارهای خط لوله در Cloud Data Fusion و پردازش داده های بدون سرور با Dataflow را پوشش می دهد. یادگیرندگان تجربه عملی در ساخت اجزای خط لوله داده در Google Cloud با استفاده از Qwiklabs خواهند داشت.

سرفصل ها و درس ها

مقدمه Introduction

  • معرفی دوره Course Introduction

مقدمه ای بر ساخت خطوط لوله داده دسته ای Introduction to Building Batch Data Pipelines

  • معرفی ماژول Module introduction

  • EL، ELT، ETL EL, ELT, ETL

  • ملاحظات کیفیت Quality considerations

  • نحوه انجام عملیات در BigQuery How to carry out operations in BigQuery

  • کاستی ها Shortcomings

  • ETL برای حل مشکلات کیفیت داده ها ETL to solve data quality issues

اجرای Spark در Dataproc Executing Spark on Dataproc

  • معرفی ماژول Module introduction

  • اکوسیستم هادوپ The Hadoop ecosystem

  • اجرای Hadoop در Dataproc Running Hadoop on Dataproc

  • فضای ذخیره سازی ابری به جای HDFS Cloud Storage instead of HDFS

  • بهینه سازی Dataproc Optimizing Dataproc

  • بهینه سازی ذخیره سازی Dataproc Optimizing Dataproc storage

  • بهینه سازی الگوهای DataProc و AutoScaling Optimizing Dataproc templates and autoscaling

  • بهینه سازی نظارت بر Dataproc Optimizing Dataproc monitoring

  • معرفی آزمایشگاه: اجرای مشاغل Apache Spark در Dataproc Lab Intro: Running Apache Spark jobs on Dataproc

  • شروع کار با GCP و Qwiklabs Getting Started with GCP and Qwiklabs

  • آزمایشگاه: اجرای کارهای Apache Spark در Cloud Dataproc Lab: Running Apache Spark jobs on Cloud Dataproc

  • خلاصه Summary

پردازش داده های بدون سرور با Dataflow Serverless Data Processing with Dataflow

  • معرفی ماژول Module introduction

  • مقدمه ای بر Dataflow Introduction to Dataflow

  • چرا مشتریان برای Dataflow ارزش قائل هستند؟ Why customers value Dataflow

  • ساخت خطوط لوله جریان داده در کد Building Dataflow pipelines in code

  • ملاحظات کلیدی در طراحی خطوط لوله Key considerations with designing pipelines

  • تبدیل داده ها با PTtransforms Transforming data with PTransforms

  • معرفی آزمایشگاه: ایجاد یک خط لوله ساده برای جریان داده Lab Intro: Building a Simple Dataflow Pipeline

  • آزمایشگاه: خط لوله ساده Dataflow (Python) 2.5 Lab: A simple Dataflow pipeline (Python) 2.5

  • با GroupByKey جمع کنید و ترکیب کنید Aggregate with GroupByKey and Combine

  • معرفی آزمایشگاه: MapReduce در جریان داده Lab Intro: MapReduce in Dataflow

  • آزمایشگاه: MapReduce در Dataflow (Python) 2.5 Lab: MapReduce in Dataflow (Python) 2.5

  • ورودی های جانبی و پنجره های داده Side inputs and windows of data

  • معرفی آزمایشگاه: تمرین ورودی های جانبی خط لوله Lab Intro: Practicing Pipeline Side Inputs

  • آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: ورودی های جانبی (پایتون) Lab: Serverless Data Analysis with Dataflow: Side Inputs (Python)

  • ایجاد و استفاده مجدد از الگوهای خط لوله Creating and re-using pipeline templates

  • خطوط لوله SQL جریان داده Dataflow SQL pipelines

  • خلاصه Summary

خطوط لوله داده را با Cloud Data Fusion و Cloud Composer مدیریت کنید Manage Data Pipelines with Cloud Data Fusion and Cloud Composer

  • معرفی ماژول Module introduction

  • مقدمه ای بر Cloud Data Fusion Introduction to Cloud Data Fusion

  • اجزای Cloud Data Fusion Components of Cloud Data Fusion

  • رابط کاربری Cloud Data Fusion Cloud Data Fusion UI

  • یک خط لوله بسازید Build a pipeline

  • داده ها را با استفاده از Wrangler کاوش کنید Explore data using wrangler

  • معرفی آزمایشگاه: ساخت و اجرای یک نمودار خط لوله در Cloud Data Fusion Lab Intro: Building and executing a pipeline graph in Cloud Data Fusion

  • آزمایشگاه: ساخت و اجرای نمودار خط لوله با Data Fusion 2.5 Lab: Building and Executing a Pipeline Graph with Data Fusion 2.5

  • کار را بین سرویس‌های Google Cloud با Cloud Composer هماهنگ کنید Orchestrate work between Google Cloud services with Cloud Composer

  • محیط Apache Airflow Apache Airflow environment

  • DAG ها و اپراتورها DAGs and Operators

  • برنامه ریزی گردش کار Workflow scheduling

  • نظارت و ثبت Monitoring and Logging

  • معرفی آزمایشگاه: مقدمه ای بر Cloud Composer Lab Intro: An Introduction to Cloud Composer

  • Lab: An Introduction to Cloud Composer 2.5 Lab: An Introduction to Cloud Composer 2.5

خلاصه دوره Course Summary

  • خلاصه دوره Course Summary

منابع دوره Course Resources

  • ساخت خطوط لوله داده دسته ای در Google Cloud Building Batch Data Pipelines on Google Cloud

نمایش نظرات

آموزش ساخت خطوط لوله داده دسته ای در Google Cloud
جزییات دوره
2h 23m
53
Pluralsight (پلورال سایت) Pluralsight (پلورال سایت)
(آخرین آپدیت)
از 5
دارد
دارد
دارد
Google Cloud
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Google Cloud Google Cloud

ایجاد تحول دیجیتال با آموزش درخواستی

Google Cloud آموزش و گواهینامه های درخواستی را در فناوری های ابری در حال ظهور ارائه می دهد.

Google Cloud با صدها آزمایشگاه، دوره و نشان مهارت، متخصصان را قادر می‌سازد تا مهارت‌های ابری حیاتی را با سرعت خودشان ایجاد کنند. آزمایشگاه‌های عملی این شرکت اعتبارنامه‌های موقتی را به منابع واقعی ابر ارائه می‌دهند، بنابراین افراد می‌توانند Google Cloud را با استفاده از چیز واقعی یاد بگیرند. فراگیران همچنین می توانند با کسب گواهینامه های Google Cloud و/یا نشان های مهارتی که می توانند با شبکه خود به اشتراک بگذارند، تخصص خود را تأیید کنند.

در وب‌سایت رسمی Google Cloud بیشتر بیاموزید.