آموزش کاربردی پرتو آپاچی در جاوا | چارچوب BigData

سرفصل ها و درس ها

معرفی Introduction

معرفی Introduction

• معرفی Introduction

• پردازش دسته ای در مقابل پردازش بیدرنگ Batch processing vs Realtime processing

• پرتو آپاچی Apache Beam

• آزمایشگاه: نصب و راه اندازی Lab : Installation & Setup

PCCollections PCollections

PCCollections PCollections

• معرفی Introduction

• آزمایشگاه: ایجاد یک مجموعه PC از سیستم فایل Lab : Creating a PCollection from file system

• آزمایشگاه: ایجاد یک مجموعه PC از داده های درون حافظه Lab : Creating a PCollection from in-memory data

• آزمایشگاه: PipelineOptions Lab : PipelineOptions

تبدیل - از نظر عنصر Transformation - Element-wise

تبدیل - از نظر عنصر Transformation - Element-wise

• PT تبدیل شود PTransform

• آزمایشگاه: MapElements Lab :MapElements

• آزمایشگاه: MapElements با استفاده از SimpleFunction Lab : MapElements using SimpleFunction

• آزمایشگاه: ParDo Lab : ParDo

• آزمایشگاه: فیلترها Lab : Filters

• آزمایشگاه: صاف کردن Lab : Flatten

• آزمایشگاه: پارتیشن Lab : Partition

• آزمایشگاه: ورودی های جانبی Lab : Side Inputs

تبدیل: تجمع Transformation : Aggregation

تبدیل: تجمع Transformation : Aggregation

• آزمایشگاه: متمایز Lab : Distinct

• آزمایشگاه: نحوه شمارش PCCollection Lab : How to Count PCollection

• GroupByKey GroupByKey

• آزمایشگاه: GroupByKey Lab : GroupByKey

پیوستن Join

پیوستن Join

• آزمایشگاه: پیوستن داخلی (CoGroupByKey) Lab : Inner Join (CoGroupByKey)

• آزمایشگاه: عضویت بیرونی سمت چپ Lab : Left Outer Join

• آزمایشگاه: پیوستن به سمت راست بیرونی Lab : Right Outer Join

خط لوله ورودی/خروجی Pipeline I/O

خط لوله ورودی/خروجی Pipeline I/O

• آزمایشگاه: AWS S3 (قسمت 1) Lab : AWS S3 (Part 1)

• آزمایشگاه: AWS S3 - (قسمت 2) Lab : AWS S3 - (Part 2)

• آزمایشگاه : ParquetIO Write Lab : ParquetIO Write

• آزمایشگاه: پارکت رید Lab : Parquet Read

ادغام Integration

ادغام Integration

• آزمایشگاه: ادغام پرتو با JDBC Lab : Beam integration with JDBC

• آزمایشگاه: ادغام پرتو با MongoDB Lab : Beam integration with MongoDB

• آزمایشگاه: ادغام پرتو با HDFS Lab : Beam integration with HDFS

جریان پرتو Beam Streaming

جریان پرتو Beam Streaming

• جریان - ETL Streaming- ETL

• آزمایشگاه : استریمینگ ETL - 1 ( راه اندازی کافکا ) Lab : Streaming ETL - 1 ( Kafka Setup )

• Lab:Streaming ETL -2 (ادغام کافکا با پرتو آپاچی) Lab:Streaming ETL -2 (Kafka integration with Apache beam)

• آزمایشگاه: جریان ETL -3 (شمار ​​و پنجره) Lab:Streaming ETL -3 (Count & Window)

• آزمایشگاه: جریان ETL -4 (بارگیری داده ها در MySQL) Lab: Streaming ETL -4 (Load data in MySQL)

پرتو SQL Beam SQL

پرتو SQL Beam SQL

• آزمایشگاه: BEAM SQL Lab : BEAM SQL

• آزمایشگاه : BEAM SQL Count & Group By Lab : BEAM SQL Count & Group By

• آزمایشگاه: Beam-SQL Inner Join Lab : Beam-SQL Inner Join

پرتو آپاچی با Google Cloud Platform Apache beam with Google Cloud Platform

پرتو آپاچی با Google Cloud Platform Apache beam with Google Cloud Platform

• معرفی Introduction

• ایجاد حساب GCP Create GCP Account

• آزمایشگاه: راه اندازی سطل ذخیره سازی GCP Lab : GCP Storage Bucket Setup

• آزمایشگاه: داده‌ها را از Google Storage بخوانید Lab : Read data from Google Storage

• آزمایشگاه: اعتبارسنجی داده ها Lab : Data Validation

• آزمایشگاه: ورود به Google BigQuery Lab : Ingesting into Google BigQuery