پرتو آپاچی | یک دوره آموزشی برای ایجاد خطوط لوله داده های بزرگ

سرفصل ها و درس ها

معرفی Introduction

• آشنایی با پرتو آپاچی Introduction to Apache Beam

• تکامل چارچوب های داده های بزرگ Evolution of Big data Frameworks

• معماری پرتو آپاچی Architecture of Apache Beam

• جریان مدل برنامه ریزی پرتو Flow of Beam's Programming Model

• اصطلاحات پایه در Beam Basic Terminologies in Beam

• نصب و راه اندازی Installation

تبدیل در پرتو Transformations in Beam

• ساختار یک خط لوله پرتو Structure of a Beam Pipeline

• تبدیل های خواندنی مختلف در پرتو Various Read Transforms in Beam

• تبدیل ایجاد کنید Create Transform

• تبدیل های مختلف نوشتن در پرتو Various Write Transforms in Beam

• نقشه، نقشه مسطح و فیلتر - قسمت 1 Map, FlatMap & Filter - Part 1

• نقشه، نقشه مسطح و فیلتر - قسمت 2 Map, FlatMap & Filter - Part 2

• انشعاب خطوط لوله Branching Pipelines

• تکلیف 1 Assignment 1

• ParDo Transform ParDo Transform

• ترکیب پیشرفته پرتو Advanced Combiner of Beam

• تبدیل های مرکب ایجاد کنید Create Composite Transforms

• CoGroupBy برای پیوستن CoGroupBy for Joins

• نحوه دسترسی به فایل ها از گوگل درایو How to access files from Google Drive

ورودی ها و خروجی های جانبی Side Inputs and Outputs

• ورودی های جانبی Side Inputs

• خروجی های اضافی در خط لوله Additional Outputs in Pipeline

• آزمون 1 Quiz 1

مطالعه موردی زمان واقعی - شناسایی مشتریان نکول بانک Real Time Case Study - Identifying Bank's Defaulter Customers

• مقدمه ای بر مطالعه موردی Introduction to Case Study

• نیازمندی‌ها و داده‌ها برای کاپیتان‌های کارت Requirements and Data walk-through for Card skippers

• شناسایی ناشران پرداخت کارت اعتباری Identifying Credit card payment skippers

• نیازمندی‌ها و داده‌ها برای بازپرداخت‌کنندگان وام Requirements and Data walk-through for Loan Deafulters

• شناسایی متخلفان وام - قسمت 1 Identifying Loan Defaulters - Part 1

• شناسایی متخلفان وام - قسمت 2 Identifying Loan Defaulters - Part 2

رمزگذاری و رمزگشایی داده ها Data encoding & decoding

• رمزگذاری داده ها در Beam Data encoding in Beam

• کلاس کدگذار در Beam Coder class in Beam

نکات را در پرتو تایپ کنید Type Hints in Beam

• Type Safety چیست و چگونه Beam آن را تضمین می کند What is Type Safety and How Beam ensures it

• با استفاده از Type Hints Using Type Hints

ساخت خطوط لوله داده جریانی Build Streaming data Pipelines

• مقدمه ای بر استریمینگ Introduction to Streaming

• PubSub Streaming Architecture PubSub Streaming Architecture

• اتصال پرتو با Google Cloud Beam connection with Google Cloud

• راه اندازی پروژه PubSub GCP Setting up GCP's PubSub Project

• یک خط لوله جریان نمایشی را در GCP اجرا کنید Run a Demo streaming pipeline on GCP

• آزمون 2 Quiz 2

پیاده سازی ویندوز در آپاچی بیم Implementing Windows in Apache Beam

• معرفی ویندوز در Beam Introduction to Windows in Beam

• مثال بازی موبایل Mobile Game Example

• مفاهیم زمان در چارچوب های جریان Time Notions in Streaming Frameworks

• پنجره های غلتشی و کشویی چیست؟ What are Tumbling & Sliding Windows

• پیاده سازی Tumbling Windows Implementing Tumbling Windows

• توصیه برای پنجره Recommendation for Windowing

• پیاده سازی ویندوز کشویی Implementing Sliding Windows

• Session Windows و پیاده سازی آن Session Windows & its implementation

• ویندوز جهانی و اجرای آن Global Windows & its implementation

واترمارک در محیط Streaming Watermarks in Streaming environment

• واترمارک چیست What is Watermark

محرک ها و اجرای آن Triggers and its Implementation

• چگونه Beam با استفاده از Triggerها عناصر دیررس را کنترل می کند How Beam handles late elements using Triggers

• انواع تریگرها و اجرای آنها Types of Triggers & their implementation

• محرک های مرکب Composite Triggers

• امتحان 3 Quiz 3

مطالعه موردی زمان واقعی - تجزیه و تحلیل بازی موبایل Real Time Case Study - Mobile Game Analysis

• الزامات و کد پیاده‌روی Requirements & Code walk-through

• خط لوله برای افزایش امتیازات Pipeline for incrementing scores

• خط لوله برای شناسایی سلاح ماهر بازیکن Pipeline to identify Player's skilled weapon

استقرار خط لوله Beam در Google Cloud Dataflow Deploy Beam pipeline on Google Cloud Dataflow

• ایجاد خط لوله با گزینه ها Create Pipeline with Options

• استقرار آن در GCP (جریان داده) Deploy it on GCP (Dataflow)

در جداول BigQuery بنویسید Write to BigQuery Tables

• معرفی Introduction

• مجموعه داده BigQuery را ایجاد کنید Create BigQuery Dataset

• جدول BigQuery را ایجاد و بارگذاری کنید Create and Load BigQuery Table

• جدول بارگذاری شده را در BigQuery مشاهده کنید View loaded Table in BigQuery

یادگیری های اضافی Additional Learnings

• پردازش دسته ای در مقابل جریان Batch Vs Stream Processing

• فلینک در مقابل اسپارک Flink Vs Spark

• GCP اکوسیستم کلان داده GCP Big data ecosystem

• متشکرم ThankYou

جایزه BONUS

• جایزه Bonus