لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
پرتو آپاچی | یک دوره آموزشی برای ایجاد خطوط لوله داده های بزرگ
Apache Beam | A Hands-On course to build Big data Pipelines
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
خطوط لوله داده بزرگ را با پرتو Apache به هر زبانی بسازید و آن را از طریق Spark، Flink، GCP (Google Cloud Dataflow) اجرا کنید. Apache Beam را با اجرای Real-Time آن بیاموزید. با استفاده از پرتو آپاچی، خطوط لوله پردازش داده های بزرگ کسب و کار بلادرنگ بسازید. یک مدل برنامه نویسی قابل حمل را بیاموزید که خطوط لوله آن می تواند بر روی Spark، Flink، GCP (Google Cloud Dataflow) و غیره مستقر شود. عملکرد هر یک از اجزای Apache Beam را با HANDS-ON Practicals درک کنید. توسعه خطوط لوله برای مطالعات موردی داده های بزرگ دنیای واقعی در حوزه های مختلف تجاری. داده ها را از خط لوله Beam در جداول Google BigQuery بارگیری کنید. مجموعه داده ها و کدهای پرتو مورد استفاده در سخنرانی ها در برگه منابع موجود است. پیش نیازها: دانش پایه معماری پردازش داده های توزیع شده. دانش اولیه پایتون مفید خواهد بود.
Apache Beam یک مدل برنامه نویسی یکپارچه و قابل حمل برای موارد استفاده از داده های دسته ای و جریانی است.
قبلاً میتوانستیم Spark، Flink Cloud Dataflow Jobs را فقط روی خوشههای مربوطه اجرا کنیم. اما اکنون Apache Beam یک مدل برنامهنویسی قابل حمل ارائه کرده است که در آن میتوانیم خطوط لوله دادههای بزرگ را با زبان آگنوستیک بسازیم و آن را با استفاده از هر موتور داده بزرگ (Apache Spark، Flink یا در Google Cloud Platform با استفاده از Cloud Dataflow و بسیاری دیگر از موتورهای Big Data) اجرا کنیم. .
Apache Beam آینده ساخت خطوط لوله پردازش داده های بزرگ است و به دلیل قابل حمل بودن توسط شرکت های انبوه پذیرفته می شود. بسیاری از شرکت های بزرگ حتی شروع به استقرار خطوط لوله Beam در سرورهای تولید خود کرده اند.
چه چیزی در دوره گنجانده شده است؟
مفاهیم پرتو آپاچی کامل از ابتدا تا پیادهسازی بلادرنگ توضیح داده شده است.
هر مفهوم پرتو آپاچی با نمونههای عملی مناسب آن توضیح داده شده است.
حتی آن مفاهیمی را که توضیح آنها در هیچ کجای آنلاین خیلی واضح نیست، درج کنید.
نکات را تایپ کنید، رمزگشایی رمزگذاری، واترمارک، ویندوز، محرکها و بسیاری موارد دیگر.
با استفاده از مدل برنامه نویسی پرتو آپاچی، دو مطالعه موردی داده های بزرگ در زمان واقعی بسازید.
دادههای پردازششده Beam را از خط لوله Beam در Google Cloud BigQuery Tables بارگیری کنید.
کدها و مجموعه دادههای مورد استفاده در سخنرانیها برای راحتی شما در دوره پیوست شدهاند.
سرفصل ها و درس ها
معرفی
Introduction
آشنایی با پرتو آپاچی
Introduction to Apache Beam
تکامل چارچوب های داده های بزرگ
Evolution of Big data Frameworks
معماری پرتو آپاچی
Architecture of Apache Beam
جریان مدل برنامه ریزی پرتو
Flow of Beam's Programming Model
اصطلاحات پایه در Beam
Basic Terminologies in Beam
نصب و راه اندازی
Installation
تبدیل در پرتو
Transformations in Beam
ساختار یک خط لوله پرتو
Structure of a Beam Pipeline
تبدیل های خواندنی مختلف در پرتو
Various Read Transforms in Beam
تبدیل ایجاد کنید
Create Transform
تبدیل های مختلف نوشتن در پرتو
Various Write Transforms in Beam
نقشه، نقشه مسطح و فیلتر - قسمت 1
Map, FlatMap & Filter - Part 1
نقشه، نقشه مسطح و فیلتر - قسمت 2
Map, FlatMap & Filter - Part 2
انشعاب خطوط لوله
Branching Pipelines
تکلیف 1
Assignment 1
ParDo Transform
ParDo Transform
ترکیب پیشرفته پرتو
Advanced Combiner of Beam
تبدیل های مرکب ایجاد کنید
Create Composite Transforms
CoGroupBy برای پیوستن
CoGroupBy for Joins
نحوه دسترسی به فایل ها از گوگل درایو
How to access files from Google Drive
ورودی ها و خروجی های جانبی
Side Inputs and Outputs
ورودی های جانبی
Side Inputs
خروجی های اضافی در خط لوله
Additional Outputs in Pipeline
آزمون 1
Quiz 1
مطالعه موردی زمان واقعی - شناسایی مشتریان نکول بانک
Real Time Case Study - Identifying Bank's Defaulter Customers
مقدمه ای بر مطالعه موردی
Introduction to Case Study
نیازمندیها و دادهها برای کاپیتانهای کارت
Requirements and Data walk-through for Card skippers
نمایش نظرات