نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیویی برای نمایش وجود ندارد.
توضیحات دوره:
خطوط لوله داده معمولاً تحت یکی از پارادایم های Extra-Load، Extract-Load-Transform یا Extract-Transform-Load قرار می گیرند. این دوره توضیح می دهد که کدام پارادایم و چه زمانی باید برای داده های دسته ای استفاده شود. خطوط لوله داده معمولاً تحت یکی از پارادایم های Extra-Load، Extract-Load-Transform یا Extract-Transform-Load قرار می گیرند. این دوره توضیح می دهد که کدام پارادایم و چه زمانی برای داده های دسته ای باید استفاده شود. علاوه بر این، این دوره چندین فناوری را در Google Cloud برای تبدیل داده ها از جمله BigQuery، اجرای Spark در Dataproc، نمودارهای خط لوله در Cloud Data Fusion و پردازش داده های بدون سرور با Dataflow را پوشش می دهد. یادگیرندگان تجربه عملی در ساخت اجزای خط لوله داده در Google Cloud با استفاده از Qwiklabs خواهند داشت.
سرفصل ها و درس ها
مقدمه
Introduction
-
معرفی دوره
Course Introduction
مقدمه ای بر ساخت خطوط لوله داده دسته ای
Introduction to Building Batch Data Pipelines
-
معرفی ماژول
Module introduction
-
EL، ELT، ETL
EL, ELT, ETL
-
ملاحظات کیفیت
Quality considerations
-
نحوه انجام عملیات در BigQuery
How to carry out operations in BigQuery
-
کاستی ها
Shortcomings
-
ETL برای حل مشکلات کیفیت داده ها
ETL to solve data quality issues
اجرای Spark در Dataproc
Executing Spark on Dataproc
-
معرفی ماژول
Module introduction
-
اکوسیستم هادوپ
The Hadoop ecosystem
-
اجرای Hadoop در Dataproc
Running Hadoop on Dataproc
-
فضای ذخیره سازی ابری به جای HDFS
Cloud Storage instead of HDFS
-
بهینه سازی Dataproc
Optimizing Dataproc
-
بهینه سازی ذخیره سازی Dataproc
Optimizing Dataproc storage
-
بهینه سازی الگوهای DataProc و AutoScaling
Optimizing Dataproc templates and autoscaling
-
بهینه سازی نظارت بر Dataproc
Optimizing Dataproc monitoring
-
معرفی آزمایشگاه: اجرای مشاغل Apache Spark در Dataproc
Lab Intro: Running Apache Spark jobs on Dataproc
-
شروع کار با GCP و Qwiklabs
Getting Started with GCP and Qwiklabs
-
آزمایشگاه: اجرای کارهای Apache Spark در Cloud Dataproc
Lab: Running Apache Spark jobs on Cloud Dataproc
-
خلاصه
Summary
پردازش داده های بدون سرور با Dataflow
Serverless Data Processing with Dataflow
-
معرفی ماژول
Module introduction
-
مقدمه ای بر Dataflow
Introduction to Dataflow
-
چرا مشتریان برای Dataflow ارزش قائل هستند؟
Why customers value Dataflow
-
ساخت خطوط لوله جریان داده در کد
Building Dataflow pipelines in code
-
ملاحظات کلیدی در طراحی خطوط لوله
Key considerations with designing pipelines
-
تبدیل داده ها با PTtransforms
Transforming data with PTransforms
-
معرفی آزمایشگاه: ایجاد یک خط لوله ساده برای جریان داده
Lab Intro: Building a Simple Dataflow Pipeline
-
آزمایشگاه: خط لوله ساده Dataflow (Python) 2.5
Lab: A simple Dataflow pipeline (Python) 2.5
-
با GroupByKey جمع کنید و ترکیب کنید
Aggregate with GroupByKey and Combine
-
معرفی آزمایشگاه: MapReduce در جریان داده
Lab Intro: MapReduce in Dataflow
-
آزمایشگاه: MapReduce در Dataflow (Python) 2.5
Lab: MapReduce in Dataflow (Python) 2.5
-
ورودی های جانبی و پنجره های داده
Side inputs and windows of data
-
معرفی آزمایشگاه: تمرین ورودی های جانبی خط لوله
Lab Intro: Practicing Pipeline Side Inputs
-
آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: ورودی های جانبی (پایتون)
Lab: Serverless Data Analysis with Dataflow: Side Inputs (Python)
-
ایجاد و استفاده مجدد از الگوهای خط لوله
Creating and re-using pipeline templates
-
خطوط لوله SQL جریان داده
Dataflow SQL pipelines
-
خلاصه
Summary
خطوط لوله داده را با Cloud Data Fusion و Cloud Composer مدیریت کنید
Manage Data Pipelines with Cloud Data Fusion and Cloud Composer
-
معرفی ماژول
Module introduction
-
مقدمه ای بر Cloud Data Fusion
Introduction to Cloud Data Fusion
-
اجزای Cloud Data Fusion
Components of Cloud Data Fusion
-
رابط کاربری Cloud Data Fusion
Cloud Data Fusion UI
-
یک خط لوله بسازید
Build a pipeline
-
داده ها را با استفاده از Wrangler کاوش کنید
Explore data using wrangler
-
معرفی آزمایشگاه: ساخت و اجرای یک نمودار خط لوله در Cloud Data Fusion
Lab Intro: Building and executing a pipeline graph in Cloud Data Fusion
-
آزمایشگاه: ساخت و اجرای نمودار خط لوله با Data Fusion 2.5
Lab: Building and Executing a Pipeline Graph with Data Fusion 2.5
-
کار را بین سرویسهای Google Cloud با Cloud Composer هماهنگ کنید
Orchestrate work between Google Cloud services with Cloud Composer
-
محیط Apache Airflow
Apache Airflow environment
-
DAG ها و اپراتورها
DAGs and Operators
-
برنامه ریزی گردش کار
Workflow scheduling
-
نظارت و ثبت
Monitoring and Logging
-
معرفی آزمایشگاه: مقدمه ای بر Cloud Composer
Lab Intro: An Introduction to Cloud Composer
-
Lab: An Introduction to Cloud Composer 2.5
Lab: An Introduction to Cloud Composer 2.5
خلاصه دوره
Course Summary
-
خلاصه دوره
Course Summary
منابع دوره
Course Resources
-
ساخت خطوط لوله داده دسته ای در Google Cloud
Building Batch Data Pipelines on Google Cloud
نمایش نظرات