لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش با مثال بیاموزید: طوفان آپاچی
Learn By Example : Apache Storm
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
25 مثال حل شده در مورد پردازش جریان بیدرنگ ساخت توپولوژی طوفانی برای پردازش داده ها مدیریت قابلیت اطمینان و تحمل خطا توپولوژی کنترل موازی سازی با استفاده از استراتژی های گروه بندی مختلف انجام تبدیل های پیچیده با استفاده از الگوریتم های یادگیری ماشینی Trident Apply در پرواز در برنامه های Storm پیش نیازها:تجربه در جاوا برنامه نویسی و آشنایی با استفاده از فریمورک های جاوا باید یک Java IDE مانند IntelliJ Idea نصب شود
Storm برای پردازش جریانی در زمان واقعی همان چیزی است که Hadoop برای پردازش دسته ای است. با استفاده از Storm میتوانید برنامههایی بسازید که نیاز دارند به جدیدترین دادهها بسیار پاسخگو باشید و در عرض چند ثانیه و چند دقیقه واکنش نشان دهید، مانند یافتن جدیدترین موضوعات پرطرفدار در توییتر، یا نظارت بر افزایشها در خرابیهای درگاه پرداخت. از تبدیل دادههای ساده گرفته تا استفاده از الگوریتمهای یادگیری ماشین در حال پرواز، Storm میتواند همه این کارها را انجام دهد.
این دوره دارای 25 مثال حل شده در مورد ساختن برنامه های طوفانی است.
چه چیزی پوشش داده شده است؟
1) آشنایی با دهانهها و پیچها که بلوکهای سازنده هر توپولوژی طوفان هستند.
2) اجرای توپولوژی طوفان در حالت محلی و در حالت راه دور
3) موازی کردن پردازش داده در یک توپولوژی با استفاده از استراتژیهای گروهبندی مختلف : گروهبندی مختلط، گروهبندی فیلدها، گروهبندی مستقیم، همه گروهبندی، گروهبندی سفارشی
4) مدیریت قابلیت اطمینان و تحمل خطا در دهانهها و پیچها
5) انجام تبدیلهای پیچیده در حال پرواز با استفاده از توپولوژی Trident: عملیات نقشه، فیلتر، پنجرهسازی و پارتیشن بندی
6) استفاده از الگوریتمهای ML در جریان با استفاده از کتابخانههایی مانند Trident-ML و Storm-R.
سرفصل ها و درس ها
از اینجا شروع کنید
Start Here
شما، این دوره و ما
You, This Course and Us
شما، این دوره و ما
You, This Course and Us
از اینجا شروع کنید
Start Here
پردازش جریان با طوفان
Stream Processing with Storm
توییتر چگونه Trends را محاسبه می کند؟
How does Twitter compute Trends?
بهبود عملکرد با استفاده از پردازش توزیع شده
Improving Performance using Distributed Processing
بهبود عملکرد با استفاده از پردازش توزیع شده
Improving Performance using Distributed Processing
بلوک های ساختمان توپولوژی های طوفان
Building blocks of Storm Topologies
اضافه کردن موازی در توپولوژی طوفان
Adding Parallelism in a Storm Topology
اجزای یک خوشه طوفان
Components of a Storm Cluster
اجزای یک خوشه طوفان
Components of a Storm Cluster
پردازش جریان با طوفان
Stream Processing with Storm
توییتر چگونه Trends را محاسبه می کند؟
How does Twitter compute Trends?
بلوک های ساختمان توپولوژی های طوفان
Building blocks of Storm Topologies
اضافه کردن موازی در توپولوژی طوفان
Adding Parallelism in a Storm Topology
پیاده سازی توپولوژی Hello World
Implementing a Hello World Topology
توپولوژی ساده Hello World
A Simple Hello World Topology
مثال 1: اجرای یک دهانه
Ex 1: Implementing a Spout
مثال 1: پیاده سازی یک پیچ
Ex 1: Implementing a Bolt
مثال 1: پیاده سازی یک پیچ
Ex 1: Implementing a Bolt
مثال 1: ارسال توپولوژی
Ex 1: Submitting the Topology
مثال 1: ارسال توپولوژی
Ex 1: Submitting the Topology
پیاده سازی توپولوژی Hello World
Implementing a Hello World Topology
توپولوژی ساده Hello World
A Simple Hello World Topology
مثال 1: اجرای یک دهانه
Ex 1: Implementing a Spout
پردازش داده ها با استفاده از فایل ها
Processing Data using Files
مثال 2: خواندن داده ها از یک فایل
Ex 2: Reading Data from a File
مثال 2: خواندن داده ها از یک فایل
Ex 2: Reading Data from a File
نمایش داده ها با استفاده از Tuples
Representing Data using Tuples
مثال 3: دسترسی به داده ها از Tuples
Ex 3: Accessing data from Tuples
مثال 4: نوشتن داده ها در یک فایل
Ex 4: Writing Data to a File
مثال 4: نوشتن داده ها در یک فایل
Ex 4: Writing Data to a File
پردازش داده ها با استفاده از فایل ها
Processing Data using Files
نمایش داده ها با استفاده از Tuples
Representing Data using Tuples
مثال 3: دسترسی به داده ها از Tuples
Ex 3: Accessing data from Tuples
اجرای توپولوژی در حالت از راه دور
Running a Topology in the Remote Mode
راه اندازی یک خوشه طوفان
Setting up a Storm Cluster
مثال 5: ارسال توپولوژی به خوشه طوفان
Ex 5: Submitting a topology to the Storm Cluster
اجرای توپولوژی در حالت از راه دور
Running a Topology in the Remote Mode
راه اندازی یک خوشه طوفان
Setting up a Storm Cluster
مثال 5: ارسال توپولوژی به خوشه طوفان
Ex 5: Submitting a topology to the Storm Cluster
اضافه کردن موازی به توپولوژی طوفان
Adding Parallelism to a Storm Topology
مثال 6: مخلوط کردن گروه بندی
Ex 6 : Shuffle Grouping
مثال 6: مخلوط کردن گروه بندی
Ex 6 : Shuffle Grouping
مثال 7: گروه بندی فیلدها
Ex 7: Fields Grouping
مثال 8: همه گروه بندی
Ex 8: All Grouping
مثال 9: گروه بندی سفارشی
Ex 9: Custom Grouping
مثال 10: گروه بندی مستقیم
Ex 10: Direct Grouping
مثال 10: گروه بندی مستقیم
Ex 10: Direct Grouping
اضافه کردن موازی به توپولوژی طوفان
Adding Parallelism to a Storm Topology
مثال 7: گروه بندی فیلدها
Ex 7: Fields Grouping
مثال 8: همه گروه بندی
Ex 8: All Grouping
مثال 9: گروه بندی سفارشی
Ex 9: Custom Grouping
بخش 7: ساخت توپولوژی تعداد کلمات
Section 7: Building a Word Count Topology
مثال 11: ساخت توپولوژی شمارش کلمات
Ex 11: Building a Word Count Topology
بخش 7: ساخت توپولوژی تعداد کلمات
Section 7: Building a Word Count Topology
مثال 11: ساخت توپولوژی شمارش کلمات
Ex 11: Building a Word Count Topology
تماس های رویه از راه دور با استفاده از Storm
Remote Procedure Calls Using Storm
مثال 12: توپولوژی طوفان برای فراخوانی های DRPC
Ex 12: A Storm Topology for DRPC calls
تماس های رویه از راه دور با استفاده از Storm
Remote Procedure Calls Using Storm
مثال 12: توپولوژی طوفان برای فراخوانی های DRPC
Ex 12: A Storm Topology for DRPC calls
مدیریت قابلیت اطمینان توپولوژی ها
Managing Reliability of Topologies
مثال 13: مدیریت خرابی ها در دهانه ها
Ex 13: Managing Failures in Spouts
مثال 13: مدیریت خرابی ها در دهانه ها
Ex 13: Managing Failures in Spouts
مدیریت قابلیت اطمینان توپولوژی ها
Managing Reliability of Topologies
ادغام طوفان با منابع/سینک های مختلف
Integrating Storm with Different Sources/Sinks
مثال 14: پیاده سازی یک شبکه توییتر
Ex 14: Implementing a Twitter Spout
مثال 14: پیاده سازی یک شبکه توییتر
Ex 14: Implementing a Twitter Spout
مثال 15: استفاده از پیچ HDFS
Ex 15: Using a HDFS Bolt
مثال 15: استفاده از پیچ HDFS
Ex 15: Using a HDFS Bolt
ادغام طوفان با منابع/سینک های مختلف
Integrating Storm with Different Sources/Sinks
با استفاده از پروتکل چند زبانه طوفان
Using the Storm Multilang Protocol
مثال 16: ساخت توپولوژی طوفان با استفاده از پایتون
Ex 16: Building a Storm Topology using Python
مثال 16: ساخت توپولوژی طوفان با استفاده از پایتون
Ex 16: Building a Storm Topology using Python
با استفاده از پروتکل چند زبانه طوفان
Using the Storm Multilang Protocol
تبدیل های پیچیده با استفاده از ترایدنت
Complex Transformations using Trident
مثال 17: ساخت یک توپولوژی پایه Trident
Ex 17: Building a basic Trident Topology
مثال 17: ساخت یک توپولوژی پایه Trident
Ex 17: Building a basic Trident Topology
مثال 18: اجرای یک تابع نقشه
Ex 18: Implementing a Map Function
مثال 18: اجرای یک تابع نقشه
Ex 18: Implementing a Map Function
مثال 19: اجرای یک تابع فیلتر
Ex 19: Implementing a Filter Function
مثال 19: اجرای یک تابع فیلتر
Ex 19: Implementing a Filter Function
مثال 20: جمع آوری داده ها
Ex 20: Aggregating data
مثال 21: درک ایالات
Ex 21: Understanding States
مثال 22: عملیات پنجره
Ex 22: Windowing operations
مثال 22: عملیات پنجره
Ex 22: Windowing operations
مثال 23: پیوستن به جریان های داده
Ex 23: Joining data streams
مثال 24: ساخت یک استخراج کننده هشتگ توییتر
Ex 24: Building a Twitter Hashtag Extractor
تبدیل های پیچیده با استفاده از ترایدنت
Complex Transformations using Trident
مثال 20: جمع آوری داده ها
Ex 20: Aggregating data
مثال 21: درک ایالات
Ex 21: Understanding States
مثال 23: پیوستن به جریان های داده
Ex 23: Joining data streams
مثال 24: ساخت یک استخراج کننده هشتگ توییتر
Ex 24: Building a Twitter Hashtag Extractor
نمایش نظرات