آموزش یادگیری عملی Apache Beam در جاوا | چارچوب BigData - آخرین آپدیت

سرفصل ها و درس ها

معرفی Introduction

مقدمه Introduction

• مقدمه Introduction

• پردازش دسته‌ای در مقابل پردازش بلادرنگ Batch processing vs Realtime processing

• Apache Beam Apache Beam

• آزمایشگاه: نصب و راه‌اندازی Lab : Installation & Setup

PCCollections PCollections

PCollections PCollections

• مقدمه Introduction

• آزمایشگاه: ایجاد PCollection از سیستم فایل Lab : Creating a PCollection from file system

• آزمایشگاه: ایجاد PCollection از داده‌های در حافظه Lab : Creating a PCollection from in-memory data

• آزمایشگاه: PipelineOptions Lab : PipelineOptions

تبدیل - از نظر عنصر Transformation - Element-wise

تبدیل - عنصربه-عنصر Transformation - Element-wise

• PTransform PTransform

• آزمایشگاه: MapElements Lab :MapElements

• آزمایشگاه: MapElements با استفاده از SimpleFunction Lab : MapElements using SimpleFunction

• آزمایشگاه: ParDo Lab : ParDo

• آزمایشگاه: فیلترها Lab : Filters

• آزمایشگاه: ادغام Lab : Flatten

• آزمایشگاه: پارتیشن‌بندی Lab : Partition

• آزمایشگاه: ورودی‌های جانبی Lab : Side Inputs

تبدیل: تجمع Transformation : Aggregation

تبدیل: تجمیع Transformation : Aggregation

• آزمایشگاه: متمایز کردن Lab : Distinct

• آزمایشگاه: نحوه شمارش PCollection Lab : How to Count PCollection

• GroupByKey GroupByKey

• آزمایشگاه: GroupByKey Lab : GroupByKey

پیوستن Join

الحاق Join

• آزمایشگاه: الحاق داخلی (CoGroupByKey) Lab : Inner Join (CoGroupByKey)

• آزمایشگاه: الحاق خارجی سمت چپ Lab : Left Outer Join

• آزمایشگاه: الحاق خارجی سمت راست Lab : Right Outer Join

خط لوله ورودی/خروجی Pipeline I/O

ورودی/خروجی Pipeline Pipeline I/O

• آزمایشگاه: AWS S3 (قسمت ۱) Lab : AWS S3 (Part 1)

• آزمایشگاه: AWS S3 - (قسمت ۲) Lab : AWS S3 - (Part 2)

• آزمایشگاه: نوشتن با ParquetIO Lab : ParquetIO Write

• آزمایشگاه: خواندن با Parquet Lab : Parquet Read

ادغام Integration

یکپارچه‌سازی Integration

• آزمایشگاه: یکپارچه‌سازی Beam با JDBC Lab : Beam integration with JDBC

• آزمایشگاه: یکپارچه‌سازی Beam با MongoDB Lab : Beam integration with MongoDB

• آزمایشگاه: یکپارچه‌سازی Beam با HDFS Lab : Beam integration with HDFS

جریان پرتو Beam Streaming

Beam Streaming Beam Streaming

• ETL جریانی Streaming- ETL

• آزمایشگاه: ETL جریانی - ۱ (راه‌اندازی Kafka) Lab : Streaming ETL - 1 ( Kafka Setup )

• آزمایشگاه: ETL جریانی - ۲ (یکپارچه‌سازی Kafka با Apache beam) Lab:Streaming ETL -2 (Kafka integration with Apache beam)

• آزمایشگاه: ETL جریانی - ۳ (شمارش و پنجره) Lab:Streaming ETL -3 (Count & Window)

• آزمایشگاه: ETL جریانی - ۴ (بارگذاری داده‌ها در MySQL) Lab: Streaming ETL -4 (Load data in MySQL)

پرتو SQL Beam SQL

Beam SQL Beam SQL

• آزمایشگاه: BEAM SQL Lab : BEAM SQL

• آزمایشگاه: BEAM SQL شمارش و گروه بندی Lab : BEAM SQL Count & Group By

• آزمایشگاه: Beam-SQL الحاق داخلی Lab : Beam-SQL Inner Join

پرتو آپاچی با Google Cloud Platform Apache beam with Google Cloud Platform

Apache beam با Google Cloud Platform Apache beam with Google Cloud Platform

• مقدمه Introduction

• ایجاد حساب GCP Create GCP Account

• آزمایشگاه: راه‌اندازی سطل ذخیره‌سازی GCP Lab : GCP Storage Bucket Setup

• آزمایشگاه: خواندن داده از Google Storage Lab : Read data from Google Storage

• آزمایشگاه: اعتبارسنجی داده‌ها Lab : Data Validation

• آزمایشگاه: وارد کردن به Google BigQuery Lab : Ingesting into Google BigQuery