آموزش برنامه‌نویسی رابطه‌ای آپاچی فِلینک با استفاده از Table API و SQL - آخرین آپدیت

دانلود Apache Flink Relational Programming using Table API and SQL

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:

آموزش Apache Flink با پایتون برای پردازش داده‌های دسته‌ای و جریانی در مقیاس بزرگ

Apache Flink به دلیل توانایی در انجام محاسبات stateful پیشرفته به گونه‌ای که مقیاس‌پذیر باشد و پاسخگوی نیازهای موارد استفاده با توان عملیاتی و عملکرد بالا باشد، به طور گسترده‌ای در حال افزایش محبوبیت است. Apache Flink نه تنها بسیار مقیاس‌پذیر و کارآمد است، بلکه با طیف گسترده‌ای از سیستم‌های داده منبع و مقصد مانند فایل‌های متنی (CSV، TXT، TSV)، پایگاه‌های داده و صف‌های پیام (Kafka، AWS Kinesis، GCP Pub/Sub، RabbitMQ) نیز ادغام می‌شود.

در این دوره، دانشجویان یاد خواهند گرفت که از قدرت Apache Flink، یک چارچوب محاسباتی توزیع‌شده مدرن، استفاده کنند که یک رویکرد واحد برای پردازش داده‌های دسته‌ای و جریانی ارائه می‌دهد. این دوره به طور خاص بر روی پارادایم برنامه‌نویسی رابطه‌ای که از طریق Table API و SQL Interface آپاچی فلینک ارائه شده (با مثال‌هایی در پایتون) تمرکز دارد و انتزاعات بصری و در عین حال قدرتمندی را برای پردازش مقادیر زیادی از داده‌ها در منابع محدود (دسته‌ای) یا نامحدود (جریانی) ارائه می‌دهد.

  • دانشجویان از طریق مثال‌های متعددی از مصرف، پردازش و تولید نتایج از/به سیستم فایل در قالب CSV، پردازش دسته‌ای با Flink را یاد می‌گیرند.

  • دانشجویان همچنین پردازش جریانی با Flink را از طریق چندین مثال مصرف، پردازش و تولید نتایج از/به Apache Kafka که در یک خوشه Kafka محلی Dockerized اجرا می‌شود، یاد می‌گیرند.

Apache Flink از توسعه برنامه‌های Flink با Table API و SQL interface در جاوا، اسکالا و پایتون پشتیبانی می‌کند. با این حال، این دوره بر استفاده از بایندینگ‌های پایتون برای Apache Flink تمرکز دارد. تمرکز بر پایتون برای این دوره به دلیل محبوبیت زبان برنامه‌نویسی پایتون، به‌ویژه در اکوسیستم مهندسی داده‌های بزرگ، و همچنین به دلیل کمبود پایتون در دوره‌های آموزشی Apache Flink موجود که عمدتاً APIهای Java و Scala Flink را پوشش می‌دهند، انتخاب شد.

API جدول Apache Flink

رابط SQL آپاچی Flink

آپاچی فلینک با پایتون (PyFlink)

پردازش داده‌های دسته‌ای

پردازش داده‌های جریانی

پیش نیازها:

تجربه قبلی با برنامه نویسی پایتون

درک اولیه از سیستم عامل ها و داکر

درک اولیه از محاسبات توزیع شده


سرفصل ها و درس ها

مقدمه Introduction

  • مقدمه Introduction

  • چرا این دوره مهم است Why this Course is Important

  • تمرکز دوره Focus of Course

  • درباره مدرس About Instructor

  • پیش‌نیازهای دوره Course Prerequisites

معرفی رابط Apache Flink Table API و SQL Introduction to Apache Flink Table API and SQL Interface

  • آپاچی فلینک چیست What is Apache Flink

  • معرفی رابط Apache Flink Table API و SQL Introducing Apache Flink Table API and SQL Interface

  • معرفی ساختار داده Table در Apache Flink Introducing the Table Data Structure in Apache Flink

  • کاتالوگ Apache Flink Apache Flink Catalog

  • تمایز پردازش دسته‌ای و جریانی داده Differentiating Batch and Stream Data Processing

  • نصب Apache Flink Installing Apache Flink

  • دمو: نصب بسته‌های پایتون Apache Flink (PyFlink) Demo: Installing Apache Flink Python Bindings (PyFlink)

TableEnvironment، منابع و مقصدهای Table TableEnvironment, Table Sources and Table Sinks

  • TableEnvironment The TableEnvironment

  • دمو: ایجاد TableEnvironment Demo: Creating TableEnvironment

  • جداول منبع Source Tables

  • دمو: ایجاد جدول منبع از عناصر هاردکد شده برای آزمایش Demo: Creating Source Table from Hard Coded Elements for Experimentation

  • دمو: ایجاد جداول منبع CSV Demo: Creating CSV Source Tables

  • دمو: ایجاد جداول منبع Kafka Demo: Creating Kafka Source Tables

  • جداول مقصد Sink Tables

  • دمو: ایجاد جداول مقصد CSV Demo: Creating CSV Sink Tables

  • دمو: ایجاد جداول مقصد Kafka Demo: Creating Kafka Sink Tables

عملیات بر روی شی Table با استفاده از Table API و SQL Operations on the Table Object using Table API and SQL

  • مقایسه جداول استاتیک محدود و جداول جریانی نامحدود Comparing Static Bounded Tables and Unbounded Stream Oriented Tables

  • ایجاد مدل ذهنی از جریان داده در پردازش دسته‌ای و جریانی داده Building a Mental Model of Data Flow in Batch and Stream Data Processing

  • مروری بر عملیات پایه Overview of Basic Operations

  • دمو: проекты جداول با select(...) و SELECT ... Demo: Table Projects with select(...) and SELECT ...

  • دمو: فیلتر کردن جداول با where(...), filter(...) و WHERE ... Demo: Filtering Tables with where(...), filter(...) and WHERE ...

  • دمو: پیوستن جداول Demo: Joining Tables

  • دمو: تجمیع داده‌ها روی جداول با group_by(...), GROUP BY ... و محاسبات Demo: Aggregations on Tables with group_by(...), GROUP BY ... and Calculations

  • مولفه زمان در پردازش جریان Time Component of Stream Processing

  • تجمیع جریانی و Windows Streaming Aggregations and Windows

  • Tumbling Windows Tumbling Windows

  • Sliding Windows Sliding Windows

  • Session Windows Session Windows

  • راه‌اندازی دموهای جریانی مشترک Streaming Demos Common Setup

  • دمو: Tumbling Windows با Table API Demo: Tumbling Windows with Table API

  • دمو: Tumbling Windows با SQL Demo: Tumbling Windows with SQL

  • دمو: Sliding Windows با Table API Demo: Sliding Windows with Table API

  • دمو: Sliding (Hopping) Windows با SQL Demo: Sliding (Hopping) Windows with SQL

  • دمو: Session Windows با Table API Demo: Session Windows with Table API

  • دمو: Session Windows با SQL Demo: Session Windows with SQL

  • دمو: پردازش زمان رویداد Demo: Event Time Processing

  • دمو: عملیات ردیفی و UDFها Demo: Row Operations and UDFs

نمایش نظرات

آموزش برنامه‌نویسی رابطه‌ای آپاچی فِلینک با استفاده از Table API و SQL
جزییات دوره
4 hours
42
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
682
4.3 از 5
دارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Adam McQuistan Adam McQuistan

مهندس نرم افزار