آموزش آپاچی فلینک | دوره Real Time و Hands-On در Flink

Apache Flink | A Real Time & Hands-On course on Flink

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: دوره عملی کامل، عمیق و عملی در مورد فناوری بهتر از Spark برای پردازش جریانی، یعنی Apache Flink، یک لبه برتر و آخرین چارچوب پردازش جریان آپاچی یعنی Flink را بیاموزید. فناوری را یاد بگیرید که بسیار سریعتر از Hadoop و Spark است. عملکرد هر یک از اجزای Apache Flink را با HANDS-ON Practicals درک کنید. حتی مفاهیمی را یاد بگیرید که به درستی در اسناد رسمی فلینک توضیح داده نشده است. مطالعات موردی کسب و کار بلادرنگ را با استفاده از Apache Flink حل کنید. مجموعه داده ها و کدهای Flink مورد استفاده در سخنرانی ها در برگه منابع موجود است. پیش نیازها: دانش پایه از چارچوب های توزیع شده. دانش اولیه OOPS. همه چیز در مورد Apache Flink در این دوره با Practical پوشش داده شده است.

*** توجه (2023): همه کدها با آخرین نسخه Flink به روز می شوند.

Apache Flink جانشین Hadoop و Spark است. این موتور نسل بعدی Big Data برای پردازش Stream است. اگر Hadoop 2G است، Spark 3G است، Apache Flink 4G در چارچوب های پردازش جریان داده های بزرگ است. در واقع Spark یک چارچوب پردازش جریان واقعی نبود، فقط یک کار موقت برای انجام آن بود، اما Apache Flink یک موتور جریان واقعی با ظرفیت اضافه برای انجام پردازش دسته ای، نمودار، جدول و همچنین اجرای الگوریتم های یادگیری ماشین است.

Apache Flink جدیدترین فناوری Big Data است و به سرعت در حال افزایش سرعت در بازار است. فرض بر این است که همانطور که Apache Spark جایگزین Hadoop شد، Flink نیز می تواند در آینده نزدیک جایگزین Spark شود.

تقاضای Flink در بازار در حال افزایش است. بسیاری از شرکت‌های بزرگ از حوزه‌های مختلف صنعت، قبلاً استفاده از Apache Flink را برای پردازش داده‌های بزرگ بلادرنگ خود آغاز کرده‌اند و هزاران شرکت دیگر در حال غواصی هستند.

چه چیزی در دوره گنجانده شده است؟

  • مفاهیم Apache Flink کامل توضیح داده شده از ابتدا تا پیاده سازی Real-Time.

  • هر مفهوم Apache Flink با کد Flink HANDS-ON توضیح داده شده است.

  • حتی شامل آن مفاهیمی می شود که توضیح آنها حتی در اسناد رسمی Flink چندان واضح نیست.

  • برای کمک به توسعه دهندگان غیر جاوا، همه کدهای جاوا Flink خط به خط توضیح داده می شوند، به گونه ای که حتی یک فرد غیر فنی نیز می تواند آن را درک کند.

  • کدهای Flink و مجموعه داده های مورد استفاده در سخنرانی ها برای راحتی شما در دوره پیوست شده است.

  • همه کدها با آخرین نسخه Flink به روز می شوند.


سرفصل ها و درس ها

مقدمه ای بر فلینک Introduction to Flink

  • Flink مقدمه Flink Introduction

  • اعلامیه Announcement

  • پردازش دسته ای در مقابل پردازش جریانی Batch Processing Vs Stream Processing

  • Hadoop vs Streaming Engines (Spark & ​​Flink) Hadoop Vs Streaming Engines (Spark & Flink)

  • اسپارک در مقابل فلینک Spark Vs Flink

  • معماری/اکوسیستم فلینک Flink Architecture/Ecosystem

  • مدل برنامه نویسی فلینک | جریان یک برنامه فلینک Flink's programming model | Flow of a Flink program

  • در حال نصب Flink Installing Flink

عملیات تبدیل DataSet API Transformation operations of DataSet API

  • ساختار کد پیش فرض یک برنامه Flink Default Code structure of a Flink Program

  • WordCount با استفاده از Map، Flatmap، Filter، groupby | قسمت 1 WordCount using Map, Flatmap, Filter, groupby | Part 1

  • WordCount با استفاده از Map، Flatmap، Filter، groupby | قسمت 2 WordCount using Map, Flatmap, Filter, groupby | Part 2

  • پیوستن - پیوستن درونی Joins - Inner join

  • اتصالات - پیوستن چپ، راست و کامل بیرونی Joins - Left, Right & Full Outer Join

  • به نکاتی برای بهینه سازی بپیوندید (ویژگی انحصاری) Join Hints for Optimization (Exclusive feature)

عملیات DataStream API DataStream API Operations

  • منابع داده و سینک های Datastream API Data Sources & Sinks of Datastream API

  • اولین برنامه با استفاده از Datastream API First program using Datastream API

  • کاهش عملیات Reduce Operation

  • عملیات تا کردن Fold Operation

  • عملیات تجمع در Flink Aggregation Operations in Flink

  • عملیات تقسیم Split Operation

  • اپراتور Iterate Iterate Operator

  • تکلیف 1 Assignment 1

ویندوز در Flink Windows in Flink

  • مقدمه ای بر پنجره سازی Introduction to Windowing

  • تعیین کننده های پنجره Window Assigners

  • مفاهیم زمانی مختلف ویندوز در Flink Various Time Notions of Windows in Flink

  • اجرای غلتک ویندوز Tumbling Windows Implementation

  • پیاده سازی کشویی ویندوز Sliding Windows Implementation

  • Session پیاده سازی ویندوز Session Windows Implementation

  • پیاده سازی جهانی ویندوز Global Windows Implementation

محرک ها و اخراج کننده ها Triggers & Evictors

  • تریگرها در ویندوز Triggers in Windows

  • Evictors برای ویندوز Evictors for Windows

واترمارک ها و عناصر متاخر Watermarks and Late elements

  • واترمارک، عناصر متأخر و تأخیر مجاز Watermarks, Late Elements & Allowed Lateness

  • نحوه تولید واترمارک How to generate Watermarks

  • آزمون 1 Quiz 1

وضعیت، ایست بازرسی و تحمل خطا State, Checkpointing and Fault tolerance

  • ایالت در فلینک چیست؟ What is a State in Flink

  • ایست بازرسی و عکس برداری از موانع Checkpointing and Barrier Snapshoting

  • چک پوینت افزایشی (ویژگی جدید) Incremental Checkpointing (New Feature)

  • انواع ایالت ها Types of States

  • پیاده سازی دولت ارزش Value State Implementation

  • لیست اجرای دولت List State Implementation

  • کاهش اجرای دولت Reducing State Implementation

  • وظیفه Assignment

  • اجرای دولت اپراتور مدیریت شده Managed Operator State Implementation

  • اجرای Checkpointing در یک برنامه Flink Implement Checkpointing in a Flink Program

  • اجرای دولت پخش The Broadcast State Implementation

  • وضعیت قابل استعلام (نسخه بتا) Queryable State (Beta Version)

تعامل با داده های زمان واقعی با استفاده از کافکا Interacting with Real-Time Data using Kafka

  • دریافت داده های توییتر با استفاده از API های آن Getting Twitter data using its APIs

  • افزودن کافکا به Flink به عنوان منبع داده Adding Kafka to Flink as a Data source

مطالعه موردی 1 - تجزیه و تحلیل داده های توییتر با استفاده از Flink Case Study 1 - Twitter data analysis using Flink

  • تجزیه و تحلیل داده های توییتر با استفاده از Flink Twitter data analysis using Flink

مطالعه موردی 2 - کشف کلاهبرداری در زمان واقعی بانکی Case Study 2 - Bank Real-Time Fraud detection

  • شناسایی معاملات کلاهبرداری در زمان واقعی Identifying Fraud transactions in Real-Time

مطالعه موردی 3 - پردازش داده های سهام در زمان واقعی Case Study 3 - Stock data processing in Real-Time

  • پردازش اطلاعات بلادرنگ سهام | قسمت 1 Stock Real-Time Data Processing | Part 1

  • پردازش اطلاعات بلادرنگ سهام | قسمت 2 Stock Real-Time Data Processing | Part 2

Table & Sql API | API های رابطه ای Flink Table & Sql API | Relational APIs of Flink

  • مقدمه ای بر Table & Sql API Introduction to Table & Sql API

  • نحوه ثبت جدول در API های رابطه ای How to register a Table in Relational APIs

  • نوشتن پرس و جو در Table & Sql API Writing Queries in Table & Sql API

  • آزمون 2 Quiz 2

Gelly API برای پردازش گراف Gelly API for Graph Processing

  • گراف چیست What is a Graph

  • دوستان دوستان یک شخص را با استفاده از GELLY Api محاسبه کنید Calculate Friends of Friends of a Person using GELLY Api

جایزه BONUS

  • جایزه Bonus

نمایش نظرات

آموزش آپاچی فلینک | دوره Real Time و Hands-On در Flink
جزییات دوره
6 hours
55
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
12,807
- از 5
دارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

J Garg - Real Time Learning J Garg - Real Time Learning

مهندسی داده، تجزیه و تحلیل و مربی ابری