آموزش Data Science on Google Cloud Platform: ساخت خطوط لوله داده

سرفصل ها و درس ها

مقدمه Introduction

• چه چیزی وارد یک خط لوله داده می شود؟ What goes into a data pipeline?

• ماژول های علم داده را پوشانده است Data science modules covered

1. محصولات خط لوله داده GCP 1. GCP Data Pipeline Products

• گزینه های خط لوله داده GCP GCP data pipeline options

• Cloud Dataproc Cloud Dataproc

• Cloud Dataflow Cloud Dataflow

• Cloud Pub / Sub Cloud Pub/Sub

2. پرتو آپاچی 2. Apache Beam

• پرتوی آپاچی چیست؟ What is Apache Beam?

• خطوط لوله پرتو Beam pipelines

• رایانه های شخصی PCollections

• تحولات Transforms

• خط لوله I / O Pipeline I/O

• دونده ها Runners

3. تنظیم Dataflow 3. Setting Up Dataflow

• تنظیم GCP برای Dataflow Setting up GCP for Dataflow

• تنظیم پایتون Setting up Python

• ایجاد یک خط لوله ساده Creating a simple pipeline

• اعدام در Dataflow Executing in Dataflow

4- پردازش داده ها با Beam و Dataflow 4. Data Processing with Beam and Dataflow

• خواندن فایل های متنی Reading text files

• پارودو ParDo

• دسته بندی بر اساس GroupBy

• نقشه Map

• ترکیب Combine

• نوشتن داده ها به پرونده های متنی Writing data to text files

• سایر قابلیت ها Other capabilities

5. ابر بار / زیر 5. Cloud Pub/Sub

• میخانه / زیر چیست؟ What is Pub/Sub?

• مباحث و پیام ها Topics and messages

• ناشران Publishers

• مشترکین Subscribers

• مبحث ایجاد کنید Create a topic

• اشتراک ایجاد کنید Create a subscription

• انتشار و دریافت کنید Publish and receive

• پایتون SDK Python SDK

6. جریان با Dataflow 6. Streaming with Dataflow

• جریان با Dataflow Streaming with Dataflow

• پنجره با Dataflow Windowing with Dataflow

• مثال جریان و جریان باد Streaming and windowing example

نتیجه Conclusion

• مراحل بعدی Next steps