پرتو آپاچی | یک دوره آموزشی برای ایجاد خطوط لوله داده های بزرگ

Apache Beam | A Hands-On course to build Big data Pipelines

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: خطوط لوله داده بزرگ را با پرتو Apache به هر زبانی بسازید و آن را از طریق Spark، Flink، GCP (Google Cloud Dataflow) اجرا کنید. Apache Beam را با اجرای Real-Time آن بیاموزید. با استفاده از پرتو آپاچی، خطوط لوله پردازش داده های بزرگ کسب و کار بلادرنگ بسازید. یک مدل برنامه نویسی قابل حمل را بیاموزید که خطوط لوله آن می تواند بر روی Spark، Flink، GCP (Google Cloud Dataflow) و غیره مستقر شود. عملکرد هر یک از اجزای Apache Beam را با HANDS-ON Practicals درک کنید. توسعه خطوط لوله برای مطالعات موردی داده های بزرگ دنیای واقعی در حوزه های مختلف تجاری. داده ها را از خط لوله Beam در جداول Google BigQuery بارگیری کنید. مجموعه داده ها و کدهای پرتو مورد استفاده در سخنرانی ها در برگه منابع موجود است. پیش نیازها: دانش پایه معماری پردازش داده های توزیع شده. دانش اولیه پایتون مفید خواهد بود.

Apache Beam یک مدل برنامه نویسی یکپارچه و قابل حمل برای موارد استفاده از داده های دسته ای و جریانی است.

قبلاً می‌توانستیم Spark، Flink Cloud Dataflow Jobs را فقط روی خوشه‌های مربوطه اجرا کنیم. اما اکنون Apache Beam یک مدل برنامه‌نویسی قابل حمل ارائه کرده است که در آن می‌توانیم خطوط لوله داده‌های بزرگ را با زبان آگنوستیک بسازیم و آن را با استفاده از هر موتور داده بزرگ (Apache Spark، Flink یا در Google Cloud Platform با استفاده از Cloud Dataflow و بسیاری دیگر از موتورهای Big Data) اجرا کنیم. .

Apache Beam آینده ساخت خطوط لوله پردازش داده های بزرگ است و به دلیل قابل حمل بودن توسط شرکت های انبوه پذیرفته می شود. بسیاری از شرکت های بزرگ حتی شروع به استقرار خطوط لوله Beam در سرورهای تولید خود کرده اند.

چه چیزی در دوره گنجانده شده است؟

  • مفاهیم پرتو آپاچی کامل از ابتدا تا پیاده‌سازی بلادرنگ توضیح داده شده است.

  • هر مفهوم پرتو آپاچی با نمونه‌های عملی مناسب آن توضیح داده شده است.

  • حتی آن مفاهیمی را که توضیح آنها در هیچ کجای آنلاین خیلی واضح نیست، درج کنید.

  • نکات را تایپ کنید، رمزگشایی رمزگذاری، واترمارک، ویندوز، محرک‌ها و بسیاری موارد دیگر.

  • با استفاده از مدل برنامه نویسی پرتو آپاچی، دو مطالعه موردی داده های بزرگ در زمان واقعی بسازید.

  • داده‌های پردازش‌شده Beam را از خط لوله Beam در Google Cloud BigQuery Tables بارگیری کنید.

  • کدها و مجموعه داده‌های مورد استفاده در سخنرانی‌ها برای راحتی شما در دوره پیوست شده‌اند.


سرفصل ها و درس ها

معرفی Introduction

  • آشنایی با پرتو آپاچی Introduction to Apache Beam

  • تکامل چارچوب های داده های بزرگ Evolution of Big data Frameworks

  • معماری پرتو آپاچی Architecture of Apache Beam

  • جریان مدل برنامه ریزی پرتو Flow of Beam's Programming Model

  • اصطلاحات پایه در Beam Basic Terminologies in Beam

  • نصب و راه اندازی Installation

تبدیل در پرتو Transformations in Beam

  • ساختار یک خط لوله پرتو Structure of a Beam Pipeline

  • تبدیل های خواندنی مختلف در پرتو Various Read Transforms in Beam

  • تبدیل ایجاد کنید Create Transform

  • تبدیل های مختلف نوشتن در پرتو Various Write Transforms in Beam

  • نقشه، نقشه مسطح و فیلتر - قسمت 1 Map, FlatMap & Filter - Part 1

  • نقشه، نقشه مسطح و فیلتر - قسمت 2 Map, FlatMap & Filter - Part 2

  • انشعاب خطوط لوله Branching Pipelines

  • تکلیف 1 Assignment 1

  • ParDo Transform ParDo Transform

  • ترکیب پیشرفته پرتو Advanced Combiner of Beam

  • تبدیل های مرکب ایجاد کنید Create Composite Transforms

  • CoGroupBy برای پیوستن CoGroupBy for Joins

  • نحوه دسترسی به فایل ها از گوگل درایو How to access files from Google Drive

ورودی ها و خروجی های جانبی Side Inputs and Outputs

  • ورودی های جانبی Side Inputs

  • خروجی های اضافی در خط لوله Additional Outputs in Pipeline

  • آزمون 1 Quiz 1

مطالعه موردی زمان واقعی - شناسایی مشتریان نکول بانک Real Time Case Study - Identifying Bank's Defaulter Customers

  • مقدمه ای بر مطالعه موردی Introduction to Case Study

  • نیازمندی‌ها و داده‌ها برای کاپیتان‌های کارت Requirements and Data walk-through for Card skippers

  • شناسایی ناشران پرداخت کارت اعتباری Identifying Credit card payment skippers

  • نیازمندی‌ها و داده‌ها برای بازپرداخت‌کنندگان وام Requirements and Data walk-through for Loan Deafulters

  • شناسایی متخلفان وام - قسمت 1 Identifying Loan Defaulters - Part 1

  • شناسایی متخلفان وام - قسمت 2 Identifying Loan Defaulters - Part 2

رمزگذاری و رمزگشایی داده ها Data encoding & decoding

  • رمزگذاری داده ها در Beam Data encoding in Beam

  • کلاس کدگذار در Beam Coder class in Beam

نکات را در پرتو تایپ کنید Type Hints in Beam

  • Type Safety چیست و چگونه Beam آن را تضمین می کند What is Type Safety and How Beam ensures it

  • با استفاده از Type Hints Using Type Hints

ساخت خطوط لوله داده جریانی Build Streaming data Pipelines

  • مقدمه ای بر استریمینگ Introduction to Streaming

  • PubSub Streaming Architecture PubSub Streaming Architecture

  • اتصال پرتو با Google Cloud Beam connection with Google Cloud

  • راه اندازی پروژه PubSub GCP Setting up GCP's PubSub Project

  • یک خط لوله جریان نمایشی را در GCP اجرا کنید Run a Demo streaming pipeline on GCP

  • آزمون 2 Quiz 2

پیاده سازی ویندوز در آپاچی بیم Implementing Windows in Apache Beam

  • معرفی ویندوز در Beam Introduction to Windows in Beam

  • مثال بازی موبایل Mobile Game Example

  • مفاهیم زمان در چارچوب های جریان Time Notions in Streaming Frameworks

  • پنجره های غلتشی و کشویی چیست؟ What are Tumbling & Sliding Windows

  • پیاده سازی Tumbling Windows Implementing Tumbling Windows

  • توصیه برای پنجره Recommendation for Windowing

  • پیاده سازی ویندوز کشویی Implementing Sliding Windows

  • Session Windows و پیاده سازی آن Session Windows & its implementation

  • ویندوز جهانی و اجرای آن Global Windows & its implementation

واترمارک در محیط Streaming Watermarks in Streaming environment

  • واترمارک چیست What is Watermark

محرک ها و اجرای آن Triggers and its Implementation

  • چگونه Beam با استفاده از Triggerها عناصر دیررس را کنترل می کند How Beam handles late elements using Triggers

  • انواع تریگرها و اجرای آنها Types of Triggers & their implementation

  • محرک های مرکب Composite Triggers

  • امتحان 3 Quiz 3

مطالعه موردی زمان واقعی - تجزیه و تحلیل بازی موبایل Real Time Case Study - Mobile Game Analysis

  • الزامات و کد پیاده‌روی Requirements & Code walk-through

  • خط لوله برای افزایش امتیازات Pipeline for incrementing scores

  • خط لوله برای شناسایی سلاح ماهر بازیکن Pipeline to identify Player's skilled weapon

استقرار خط لوله Beam در Google Cloud Dataflow Deploy Beam pipeline on Google Cloud Dataflow

  • ایجاد خط لوله با گزینه ها Create Pipeline with Options

  • استقرار آن در GCP (جریان داده) Deploy it on GCP (Dataflow)

در جداول BigQuery بنویسید Write to BigQuery Tables

  • معرفی Introduction

  • مجموعه داده BigQuery را ایجاد کنید Create BigQuery Dataset

  • جدول BigQuery را ایجاد و بارگذاری کنید Create and Load BigQuery Table

  • جدول بارگذاری شده را در BigQuery مشاهده کنید View loaded Table in BigQuery

یادگیری های اضافی Additional Learnings

  • پردازش دسته ای در مقابل جریان Batch Vs Stream Processing

  • فلینک در مقابل اسپارک Flink Vs Spark

  • GCP اکوسیستم کلان داده GCP Big data ecosystem

  • متشکرم ThankYou

جایزه BONUS

  • جایزه Bonus

نمایش نظرات

پرتو آپاچی | یک دوره آموزشی برای ایجاد خطوط لوله داده های بزرگ
جزییات دوره
5.5 hours
62
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
8,945
4.4 از 5
دارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

J Garg - Real Time Learning J Garg - Real Time Learning

مهندسی داده، تجزیه و تحلیل و مربی ابری