آموزش استریمینگ ساختاریافته (Structured Streaming) در آپاچی اسپارک - آخرین آپدیت

دانلود Structured Streaming in Apache Spark

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: مدیریت داده‌های بلادرنگ (Real-time) یکی از چالش‌های حیاتی برای کسب‌وکارهایی است که به دنبال تصمیم‌گیری‌های سریع و داده‌محور در حوزه‌هایی مانند امور مالی، تجارت الکترونیک و اینترنت اشیاء (IoT) هستند. در این دوره آموزشی «استریمینگ ساختاریافته در آپاچی اسپارک»، شما توانایی طراحی، پیاده‌سازی و بهینه‌سازی خط لوله‌های داده (Data Pipelines) بلادرنگ را با استفاده از Apache Spark به دست خواهید آورد. در ابتدا، مفاهیم بنیادی پردازش جریان (Stream Processing)، از جمله خواندن و تبدیل داده‌های استریم از منابعی مانند سوکت‌ها و فایل‌ها را بررسی خواهید کرد. سپس، نحوه استفاده از تریگرها (Triggers)، حالت‌های خروجی (Output Modes) و چک‌پوینتینگ (Checkpointing) را برای تضمین جریان‌های کاری قابل اعتماد و کارآمد در پردازش استریم فرا می‌گیرید. در نهایت، یاد خواهید گرفت که چگونه آپاچی اسپارک را با آپاچی کافکا (Apache Kafka) ادغام کنید تا داده‌های استریمینگ بلادرنگ را مصرف، تبدیل و تجمیع نمایید. پس از اتمام این دوره، شما مهارت‌ها و دانش لازم در زمینه Apache Spark Streaming را برای پردازش و تحلیل داده‌های بلادرنگ جهت ایجاد اپلیکیشن‌های مقیاس‌پذیر و صنعتی خواهید داشت.

سرفصل ها و درس ها

عملیات استریمینگ در اسپارک Streaming Operations in Spark

  • نیازمندی‌های سیستم و نرم‌افزاری System and Software Requirements

  • پردازش دسته‌ای (Batch) و پردازش جریانی (Stream) Batch and Stream Processing

  • استریمینگ ساختاریافته در اسپارک Structured Streaming in Spark

  • دمو: استریمینگ از منبع سوکت Demo: Streaming from a Socket Source

  • دمو: استریمینگ از منبع فایل Demo: Streaming from a File Source

تریگرها و حالت‌های خروجی Triggers and Output Modes

  • حالت‌های خروجی (Output Modes) Output Modes

  • دمو: حالت Append Demo: Append Mode

  • دمو: حالت Complete Demo: Complete Mode

  • دمو: حالت Update Demo: Update Mode

  • تریگرها (Triggers) Triggers

  • دمو: تریگر Micro batch با بازه زمانی ثابت Demo: Fixed-interval Micro-batch Trigger

  • دمو: تریگر Micro batch در دسترس فعلی Demo: Available-now Micro-batch Trigger

  • دمو: چک‌پوینتینگ داده‌های استریمینگ Demo: Checkpointing Streaming Data

سینک‌های خروجی و APIهای جدول استریمینگ Output Sinks and Streaming Table APIs

  • دمو: استریمینگ به Memory Sink Demo: Streaming to a Memory Sink

  • دمو: استریمینگ به Foreach Sink Demo: Streaming to a Foreach Sink

  • دمو: API جداول استریمینگ Demo: Streaming Tables API

داده‌های استریمینگ با آپاچی کافکا Streaming Data with Apache Kafka

  • معرفی آپاچی کافکا Introducing Apache Kafka

  • دمو: نصب آپاچی کافکا Demo: Installing Apache Kafka

  • دمو: استریمینگ با کافکا Demo: Streaming with Kafka

نمایش نظرات

آموزش استریمینگ ساختاریافته (Structured Streaming) در آپاچی اسپارک
جزییات دوره
59m
19
Pluralsight (پلورال سایت) Pluralsight (پلورال سایت)
(آخرین آپدیت)
4
از 5
دارد
دارد
دارد
Janani Ravi
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Janani Ravi Janani Ravi

معمار و مهندس داده خبره Google Cloud

Janani Ravi یک معمار و مهندس داده خبره Google cloud است.

جنانی مدرک کارشناسی ارشد خود را در رشته مهندسی برق از دانشگاه استنفورد دریافت کرد و برای مایکروسافت، گوگل و فلیپ کارت کار کرده است. او یکی از بنیانگذاران Loonycorn است، یک استودیوی محتوا که بر ارائه محتوای با کیفیت بالا برای توسعه مهارت های فنی متمرکز است، جایی که او عشق خود را به فناوری با اشتیاق خود به تدریس ترکیب می کند.