آموزش الگوهای طراحی پردازش جریان با Spark

Stream Processing Design Patterns with Spark

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: پردازش جریان با تولید هرچه بیشتر داده توسط وب سایت ها ، دستگاه ها و ارتباطات ، محبوبیت بیشتری پیدا می کند. Apache Spark یک پلتفرم پیشرو است که پردازش جریان مقیاس پذیر و سریع را فراهم می کند ، اما با این وجود برای دستیابی به حداکثر بازده به طراحی هوشمندانه ای نیاز دارد. این دوره به توسعه دهندگان کمک می کند تا از بهترین شیوه ها و الگوهای طراحی معتبر برای اجرای پردازش جریان در Apache Spark استفاده کنند. مربی Kumaran Ponnambalam نحوه تنظیم محیط خود را نشان می دهد و سپس از چهار الگوی طراحی و موارد استفاده در دنیای واقعی عبور می کند: تجزیه و تحلیل جریان ، هشدارها و آستانه ها ، تابلوهای امتیازات و پیش بینی در زمان واقعی. در فصل شش ، او یک پروژه شروع به پایان را معرفی می کند که نشان می دهد چگونه می توان با استفاده از Spark ، Apache Kafka ، MariaDB و Redis از طراحی به کار دیگر اجرا کرد. با پایان دوره ، تمام توانایی های این پلت فرم قدرتمند را درک خواهید کرد و می توانید آن را در راه حل های مهندسی داده خود بگنجانید.
موضوعات شامل:
  • جریان دادن فرصت ها و چالش ها
  • تنظیم محیط
  • تجزیه و تحلیل بخارپز با Spark
  • کنترل هشدارها و آستانه ها با Spark
  • ایجاد تابلوی امتیازات با Spark
  • ایجاد پیش بینی در زمان واقعی با Spark
  • پروژه عملی جریانی Spark

سرفصل ها و درس ها

مقدمه Introduction

  • پخش جریانی با جرقه Streaming with Spark

  • پیش نیازها Prerequisites

1. پردازش جریان با Spark 1. Stream Processing with Spark

  • پردازش جریان چیست؟ What is stream processing?

  • جریان دادن به فرصت ها و چالش ها Streaming opportunities and challenges

  • پخش جریانی با Apache Spark Streaming with Apache Spark

  • Spark Streamed Streaming API و SQL Spark Structured Streaming APIs and SQL

  • تنظیم پرونده های تمرینی Setting up the exercise files

  • راه اندازی کافکا Setting up Kafka

  • راه اندازی MariaDB و Redis Setting up MariaDB and Redis

2. جریان تجزیه و تحلیل 2. Streaming Analytics

  • تجزیه و تحلیل جریان: الگو Streaming analytics: Pattern

  • تجزیه و تحلیل جریان: از طراحی حروف استفاده کنید Streaming analytics: Use case design

  • تجزیه و تحلیل جریان: کلاس های یاور Streaming analytics: Helper classes

  • تجزیه و تحلیل جریان: اجرای خط لوله Streaming analytics: Pipeline implementation

  • تجزیه و تحلیل جریان: بررسی نتایج Streaming analytics: Results review

3. هشدارها و آستانه ها 3. Alerts and Thresholds

  • هشدارها و آستانه ها: الگو Alerts and thresholds: Pattern

  • هشدارها و آستانه ها: از طراحی حروف استفاده کنید Alerts and thresholds: Use case design

  • هشدارها و آستانه ها: کلاس های یاور Alerts and thresholds: Helper classes

  • هشدارها و آستانه ها: اجرای خط لوله Alerts and thresholds: Pipeline implementation

  • هشدارها و آستانه ها: مرور کنید Alerts and thresholds: Review

4. تابلوهای امتیازات 4. Leaderboards

  • تابلوها: الگو Leaderboards: Pattern

  • مدیران صفحه: از طراحی مورد استفاده کنید Leaderboards: Use case design

  • تابلوهای امتیازات: کلاس های یاور Leaderboards: Helper classes

  • تابلوهای امتیازات: اجرای خط لوله Leaderboards: Pipeline implementation

  • مدیران سایت: مرور کنید Leaderboards: Review

5. پیش بینی در زمان واقعی 5. Real-Time Predictions

  • پیش بینی در زمان واقعی: الگو Real-time predictions: Pattern

  • پیش بینی در زمان واقعی: از طراحی حروف استفاده کنید Real-time predictions: Use case design

  • پیش بینی در زمان واقعی: کلاس های یاور Real-time predictions: Helper classes

  • پیش بینی در زمان واقعی: اجرای خط لوله Real-time predictions: Pipeline implementation

  • پیش بینی های زمان واقعی: مرور کنید Real-time predictions: Review

6. از موارد استفاده کنید 6. Use Cases

  • از تعریف حروف استفاده کنید Use case definition

  • طراحی پروژه Design of the project

  • عبور از کد Code walk-through

  • اجرا و تحلیل کنید Execute and analyze

نتیجه Conclusion

  • مراحل بعدی Next steps

نمایش نظرات

آموزش الگوهای طراحی پردازش جریان با Spark
جزییات دوره
1h 9m
34
Linkedin (لینکدین) Linkedin (لینکدین)
(آخرین آپدیت)
488
- از 5
ندارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Kumaran Ponnambalam Kumaran Ponnambalam

اختصاص به آموزش علوم داده

V2 Maestros به آموزش علوم داده و داده های بزرگ با هزینه های مقرون به صرفه برای جهان اختصاص دارد. مربیان ما تجربه دنیای واقعی در تمرین علم داده و ارائه نتایج تجاری دارند. علم داده یک حوزه داغ و در حال رخ دادن در صنعت فناوری اطلاعات است. متأسفانه منابع موجود برای یادگیری این مهارت به سختی یافت می شود و گران است. امیدواریم این مشکل را با ارائه آموزش باکیفیت با نرخ های مقرون به صرفه، با ایجاد استعدادهای علم داده در سراسر جهان، کاهش دهیم.