کانال تلگرام پشتیبانی تلگرام شماره تماس پشتیبانی: 0930 395 3766
ورود ثبت نام

آموزش پخش داده های بزرگ با Spark Streaming، Scala و Spark 3! [ویدئو]

Streaming Big Data with Spark Streaming, Scala, and Spark 3! [Video]

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: در این دوره با اصول اولیه زبان برنامه نویسی اسکالا آشنا می شوید. یاد بگیرید که Apache Spark چگونه روی یک خوشه کار می کند. راه‌اندازی جریان‌های گسسته با Spark Streaming و تبدیل آنها به هنگام دریافت داده‌ها. تجزیه و تحلیل جریان داده ها در پنجره های کشویی زمان؛ حفظ اطلاعات حالت دار در سراسر جریان داده ها؛ Spark Streaming را با منابع داده بسیار مقیاس پذیر از جمله Kafka، Flume و Kinesis متصل کنید. جریان های داده را در زمان واقعی به پایگاه های داده NoSQL مانند Cassandra تخلیه کنید. اجرای پرس و جوهای SQL بر روی داده های جریانی در زمان واقعی. مدل‌های یادگیری ماشینی را در زمان واقعی با داده‌های جریانی آموزش دهید و از آنها برای پیش‌بینی‌هایی استفاده کنید که در طول زمان بهتر می‌شوند. و همچنین، بسته بندی، استقرار و اجرای کدهای Spark Streaming خود را در یک خوشه Hadoop واقعی با استفاده از Amazon Elastic MapReduce انجام دهید. این دوره بسیار عملی است، پر از فعالیت ها و تمرین های قابل دستیابی برای تقویت یادگیری شما. در پایان این دوره، شما با اطمینان اسکریپت‌های Spark Streaming را در اسکالا ایجاد می‌کنید و برای مقابله با جریان‌های عظیم داده به روشی کاملاً جدید آماده می‌شوید. از اینکه Spark Streaming چقدر آن را آسان می کند شگفت زده خواهید شد! تمامی کدها و فایل های پشتیبانی این دوره در https://github.com/packtpublishing/streaming-big-data-with-spark-streaming-scala-and-spark-3- پردازش مقادیر زیادی از داده های بلادرنگ موجود است. با استفاده از ماژول Spark Streaming با استفاده از زبان برنامه نویسی اسکالا اپلیکیشن های Spark کارآمد ایجاد کنید Spark Streaming را با منابع داده مختلف ادغام کنید Spark Streaming را با Spark SQL ادغام کنید تا اطلاعات خود را در زمان واقعی جستجو کنید مدل‌های یادگیری ماشینی را با داده‌های جریانی آموزش دهید و از آن برای پیش‌بینی‌های هم‌زمان استفاده کنید حفظ وضعیت داده ها در جریان پیوسته داده های ورودی اگر شما دانش آموزی هستید که می خواهید نحوه استفاده از Apache Spark را یاد بگیرید یا یک متخصص داده های بزرگ که می خواهید حجم زیادی از داده ها را به صورت لحظه ای پردازش کند، این دوره برای شما مناسب است. برخی از تجربیات اولیه برنامه نویسی و اسکریپت نویسی برای استفاده حداکثری از دوره مورد نیاز است. پردازش جریان‌های بلادرنگ داده‌ها از منابع مختلف با Spark Streaming * داده‌های جریان خود را در زمان واقعی با استفاده از Spark SQL جستجو کنید * یک آموزش جامع با مثال‌های عملی برای کمک به شما در توسعه برنامه‌های Spark بلادرنگ
سرفصل ها و درس ها

شروع شدن Getting Started

  • مقدمه و راه اندازی Introduction, and Getting Set Up

  • [فعالیت] توییت‌های زنده را با Spark Streaming پخش کنید! [Activity] Stream Live Tweets with Spark Streaming!

یک دوره تصادف در اسکالا A Crash Course in Scala

یک دوره تصادف در اسکالا A Crash Course in Scala

  • [فعالیت] مبانی اسکالا [Activity] Scala Basics

  • [فعالیت] مبانی اسکالا [Activity] Scala Basics

  • [تمرین] کنترل جریان در اسکالا [Exercise] Flow Control in Scala

  • [تمرین] کنترل جریان در اسکالا [Exercise] Flow Control in Scala

  • [تمرین] توابع در اسکالا [Exercise] Functions in Scala

  • [تمرین] توابع در اسکالا [Exercise] Functions in Scala

  • [تمرین] ساختارهای داده در اسکالا [Exercise] Data Structures in Scala

  • [تمرین] ساختارهای داده در اسکالا [Exercise] Data Structures in Scala

مفاهیم جریان جرقه Spark Streaming Concepts

مفاهیم جریان جرقه Spark Streaming Concepts

  • مقدمه ای بر اسپارک Introduction to Spark

  • مقدمه ای بر اسپارک Introduction to Spark

  • مجموعه داده های توزیع شده انعطاف پذیر (RDD) The Resilient Distributed Dataset (RDD)

  • مجموعه داده های توزیع شده انعطاف پذیر (RDD) The Resilient Distributed Dataset (RDD)

  • [فعالیت] RDD در عمل: برنامه شمارش کلمات ساده [Activity] RDD's in Action: Simple Word Count Application

  • [فعالیت] RDD در عمل: برنامه شمارش کلمات ساده [Activity] RDD's in Action: Simple Word Count Application

  • مقدمه ای بر جریان اسپارک Introduction to Spark Streaming

  • مقدمه ای بر جریان اسپارک Introduction to Spark Streaming

  • [فعالیت] بازدید مجدد از برنامه PrintTweets [Activity] Revisiting the PrintTweets application

  • [فعالیت] بازدید مجدد از برنامه PrintTweets [Activity] Revisiting the PrintTweets application

  • پنجره: جمع آوری داده ها در بازه های زمانی طولانی تر Windowing: Aggregating data over longer time spans

  • پنجره: جمع آوری داده ها در بازه های زمانی طولانی تر Windowing: Aggregating data over longer time spans

  • تحمل خطا در جریان جرقه Fault Tolerance in Spark Streaming

  • تحمل خطا در جریان جرقه Fault Tolerance in Spark Streaming

نمونه های جریانی اسپارک با توییتر Spark Streaming Examples with Twitter

نمونه های جریانی اسپارک با توییتر Spark Streaming Examples with Twitter

  • [تمرین] ذخیره توییت ها در دیسک [Exercise] Saving Tweets to Disk

  • [تمرین] ذخیره توییت ها در دیسک [Exercise] Saving Tweets to Disk

  • [تمرین] پیگیری میانگین طول توییت [Exercise] Tracking the Average Tweet Length

  • [تمرین] پیگیری میانگین طول توییت [Exercise] Tracking the Average Tweet Length

  • [تمرین] ردیابی محبوب ترین هشتگ ها [Exercise] Tracking the Most Popular Hashtags

  • [تمرین] ردیابی محبوب ترین هشتگ ها [Exercise] Tracking the Most Popular Hashtags

مثال‌های پخش جریانی اسپارک با داده‌های گزارش دسترسی به کلیک استریم/آپاچی Spark Streaming Examples with Clickstream / Apache Access Log Data

مثال‌های پخش جریانی اسپارک با داده‌های گزارش دسترسی به کلیک استریم/آپاچی Spark Streaming Examples with Clickstream / Apache Access Log Data

  • [تمرین] پیگیری URL درخواستی برتر [Exercise] Tracking the Top URL's Requested

  • [تمرین] پیگیری URL درخواستی برتر [Exercise] Tracking the Top URL's Requested

  • [تمرین] هشدار دهنده در مورد خطاهای ورود [Exercise] Alarming on Log Errors

  • [تمرین] هشدار دهنده در مورد خطاهای ورود [Exercise] Alarming on Log Errors

  • [تمرین] ادغام Spark Streaming با Spark SQL [Exercise] Integrating Spark Streaming with Spark SQL

  • [تمرین] ادغام Spark Streaming با Spark SQL [Exercise] Integrating Spark Streaming with Spark SQL

  • مقدمه ای بر جریان ساخت یافته Introduction to Structured Streaming

  • مقدمه ای بر جریان ساخت یافته Introduction to Structured Streaming

  • [فعالیت] تجزیه و تحلیل فایل های Apache Log با جریان ساخت یافته [Activity] Analyzing Apache Log files with Structured Streaming

  • [فعالیت] تجزیه و تحلیل فایل های Apache Log با جریان ساخت یافته [Activity] Analyzing Apache Log files with Structured Streaming

ادغام با سایر سیستم ها Integrating with Other Systems

ادغام با سایر سیستم ها Integrating with Other Systems

  • ادغام با آپاچی کافکا Integrating with Apache Kafka

  • ادغام با آپاچی کافکا Integrating with Apache Kafka

  • ادغام با Apache Flume Integrating with Apache Flume

  • ادغام با Apache Flume Integrating with Apache Flume

  • ادغام با Amazon Kinesis Integrating with Amazon Kinesis

  • ادغام با Amazon Kinesis Integrating with Amazon Kinesis

  • [فعالیت] نوشتن گیرنده های سفارشی داده [Activity] Writing Custom Data Receivers

  • [فعالیت] نوشتن گیرنده های سفارشی داده [Activity] Writing Custom Data Receivers

  • ادغام با کاساندرا Integrating with Cassandra

  • ادغام با کاساندرا Integrating with Cassandra

نمونه های پیشرفته جریان جرقه Advanced Spark Streaming Examples

نمونه های پیشرفته جریان جرقه Advanced Spark Streaming Examples

  • [تمرین] اطلاعات وضعیتی در جریان اسپارک [Exercise] Stateful Information in Spark Streams

  • [تمرین] اطلاعات وضعیتی در جریان اسپارک [Exercise] Stateful Information in Spark Streams

  • [فعالیت] پخش جریانی K-Means Clustering [Activity] Streaming K-Means Clustering

  • [فعالیت] پخش جریانی K-Means Clustering [Activity] Streaming K-Means Clustering

  • [فعالیت] جریان رگرسیون خطی [Activity] Streaming Linear Regression

  • [فعالیت] جریان رگرسیون خطی [Activity] Streaming Linear Regression

جریان جرقه در تولید Spark Streaming in Production

جریان جرقه در تولید Spark Streaming in Production

  • [فعالیت] بسته بندی و اجرای کد اسپارک در تولید [Activity] Packaging and Running Spark Code in Production

  • [فعالیت] بسته بندی و اجرای کد اسپارک در تولید [Activity] Packaging and Running Spark Code in Production

  • [فعالیت] بسته بندی کد خود با SBT [Activity] Packaging Your Code with SBT

  • [فعالیت] بسته بندی کد خود با SBT [Activity] Packaging Your Code with SBT

  • در حال اجرا بر روی یک کلاستر هدوپ واقعی با EMR Running on a Real Hadoop Cluster with EMR

  • در حال اجرا بر روی یک کلاستر هدوپ واقعی با EMR Running on a Real Hadoop Cluster with EMR

  • عیب یابی و تنظیم Spark Jobs Troubleshooting and Tuning Spark Jobs

  • عیب یابی و تنظیم Spark Jobs Troubleshooting and Tuning Spark Jobs

تو موفق شدی! You Made It!

تو موفق شدی! You Made It!

  • یادگیری بیشتر Learning More

  • یادگیری بیشتر Learning More

نمایش نظرات

Packtpub یک ناشر دیجیتالی کتاب‌ها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرم‌افزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتاب‌ها، ویدیوها و دوره‌های آموزشی می‌پردازد که به توسعه‌دهندگان و متخصصان فناوری اطلاعات کمک می‌کند تا مهارت‌های خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامه‌نویسی، توسعه وب، داده‌کاوی، امنیت سایبری و هوش مصنوعی را پوشش می‌دهد. محتوای این منابع به صورت کاربردی و به‌روز ارائه می‌شود تا کاربران بتوانند دانش و توانایی‌های لازم برای موفقیت در پروژه‌های عملی و حرفه‌ای خود را کسب کنند.

آموزش پخش داده های بزرگ با Spark Streaming، Scala و Spark 3! [ویدئو]
جزییات دوره
6 h 21 m
34
Packtpub Packtpub
(آخرین آپدیت)
از 5
ندارد
دارد
دارد
Frank Kane

https://donyad.com/d/d6f20c

جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Frank Kane Frank Kane

یادگیری ماشین و داده های بزرگ، آمازون سابق

فرانک 9 سال را در آمازون و IMDb گذراند و فناوری را توسعه و مدیریت کرد که به طور خودکار توصیه های محصول و فیلم را به صدها میلیون مشتری ارائه می دهد. زمان. فرانک دارای 17 حق ثبت اختراع صادر شده در زمینه های محاسبات توزیع شده ، داده کاوی و یادگیری ماشین است. در سال 2012، فرانک شرکت موفق خود را به نام Sundog Software راه اندازی کرد که بر فناوری محیط واقعیت مجازی تمرکز دارد و به دیگران در مورد تجزیه و تحلیل داده های بزرگ آموزش می دهد.

Scala Apache Spark اسکالا آپاچی اسپارک Data Big Data داده ها داده های بزرگ