آموزش Apache Spark 3 - پردازش جریان در زمان واقعی با استفاده از Scala
Apache Spark 3 - Real-time Stream Processing using Scala
درباره دوره
من در حال ایجاد Apache Spark 3 - Real-time Stream Processing با استفاده از دوره Scala هستم تا به شما کمک کنم پردازش جریان بلادرنگ را با استفاده از Apache Spark درک کنید و این دانش را برای ایجاد راه حل های پردازش جریانی در زمان واقعی بکار ببرید. این دوره نمونه محور است و از یک جلسه کاری مانند رویکرد پیروی می کند. ما یک رویکرد برنامه نویسی زنده را در پیش خواهیم گرفت و تمام مفاهیم مورد نیاز را در طول مسیر توضیح خواهیم داد.
چه کسی باید این دوره را بگذراند؟
من این دوره را برای مهندسین نرم افزاری طراحی کردم که مایل به توسعه خط لوله و برنامه پردازش جریان بیدرنگ با استفاده از اسپارک آپاچی هستند. من همچنین در حال ایجاد این دوره برای معماران داده و مهندسان داده هستم که مسئول طراحی و ساخت زیرساخت های داده محور سازمان هستند. گروه دیگری از افراد، مدیران و معمارانی هستند که مستقیماً با اجرای اسپارک کار نمی کنند. با این حال، آنها با افرادی کار می کنند که Apache Spark را در سطح زمین پیاده سازی می کنند.
نسخه Spark مورد استفاده در دوره
این دوره از Apache Spark 3.x استفاده می کند. من تمام کد منبع و نمونه های استفاده شده در این دوره آموزشی را در توزیع منبع باز Apache Spark 3.0.0 آزمایش کرده ام.
قبل از اینکه تو شروع کنی Before you start
-
درباره دوره About the Course
-
پیش نیاز دوره Course Prerequisite
-
کد منبع و سایر منابع Source Code and Other Resources
قبل از اینکه تو شروع کنی Before you start
-
درباره دوره About the Course
-
پیش نیاز دوره Course Prerequisite
-
کد منبع و سایر منابع Source Code and Other Resources
محیط خود را تنظیم کنید Setup your Environment
-
پیش نیازهای نصب اسپارک Spark Installation Prerequisites
-
نصب آپاچی اسپارک Installing Apache Spark
-
IDE خود را راه اندازی و آزمایش کنید Setup and test your IDE
-
آپاچی کافکا را نصب و اجرا کنید Install and run Apache Kafka
محیط خود را تنظیم کنید Setup your Environment
-
محیط توسعه جرقه Spark Development Environment
-
محیط توسعه جرقه Spark Development Environment
-
پیش نیازهای نصب اسپارک Spark Installation Prerequisites
-
نصب آپاچی اسپارک Installing Apache Spark
-
IDE خود را راه اندازی و آزمایش کنید Setup and test your IDE
-
آپاچی کافکا را نصب و اجرا کنید Install and run Apache Kafka
شروع کار با Spark Structured Streaming Getting started with Spark Structured Streaming
-
مقدمه ای بر پردازش جریانی Introduction to Stream Processing
-
Spark Streaming APIs - Dstream vs Structured Streaming Spark Streaming APIs - Dstream Vs Structured Streaming
شروع کار با Spark Structured Streaming Getting started with Spark Structured Streaming
-
مقدمه ای بر پردازش جریانی Introduction to Stream Processing
-
Spark Streaming APIs - Dstream vs Structured Streaming Spark Streaming APIs - Dstream Vs Structured Streaming
-
ایجاد اولین برنامه پردازش جریان شما Creating your first stream processing application
-
ایجاد اولین برنامه پردازش جریان شما Creating your first stream processing application
-
مدل پردازش جریان در اسپارک Stream processing model in Spark
-
مدل پردازش جریان در اسپارک Stream processing model in Spark
-
کار با فایل ها و دایرکتوری ها Working with Files and Directories
-
کار با فایل ها و دایرکتوری ها Working with Files and Directories
-
منابع جریان، سینک ها و حالت خروجی Streaming Sources, Sinks and Output Mode
-
منابع جریان، سینک ها و حالت خروجی Streaming Sources, Sinks and Output Mode
-
تحمل خطا و راه اندازی مجدد Fault Tolerance and Restarts
-
تحمل خطا و راه اندازی مجدد Fault Tolerance and Restarts
جریان جرقه با کافکا Spark Streaming with Kafka
-
سریال سازی کافکا و سریال زدایی برای اسپارک Kafka Serialization and Deserialization for Spark
-
کار با منبع Kafka AVRO Working with Kafka AVRO Source
جریان جرقه با کافکا Spark Streaming with Kafka
-
پخش از منبع کافکا Streaming from Kafka Source
-
پخش از منبع کافکا Streaming from Kafka Source
-
کار با کافکا سینک Working with Kafka Sinks
-
کار با کافکا سینک Working with Kafka Sinks
-
برنامه جریان چند پرس و جو Multi-query Streams Application
-
برنامه جریان چند پرس و جو Multi-query Streams Application
-
سریال سازی کافکا و سریال زدایی برای اسپارک Kafka Serialization and Deserialization for Spark
-
ایجاد سینک های Kafka AVRO Creating Kafka AVRO Sinks
-
ایجاد سینک های Kafka AVRO Creating Kafka AVRO Sinks
-
کار با منبع Kafka AVRO Working with Kafka AVRO Source
پنجره ها و مصالح Windowing and Aggregates
-
دگرگونی‌های بی‌اتباع در مقابل Statefull Stateless Vs Statefull transformations
-
تجمع پنجره غلتکی Tumbling Window aggregate
-
واترمارک کردن پنجره های خود Watermarking your windows
-
پنجره کشویی Sliding Window
پنجره ها و مصالح Windowing and Aggregates
-
دگرگونی‌های بی‌اتباع در مقابل Statefull Stateless Vs Statefull transformations
-
زمان رویداد و پنجره Event time and Windowing
-
زمان رویداد و پنجره Event time and Windowing
-
تجمع پنجره غلتکی Tumbling Window aggregate
-
واترمارک کردن پنجره های خود Watermarking your windows
-
حالت های واترمارک و خروجی Watermark and output modes
-
حالت های واترمارک و خروجی Watermark and output modes
-
پنجره کشویی Sliding Window
پردازش جریانی و پیوستن Stream Processing and Joins
پردازش جریانی و پیوستن Stream Processing and Joins
-
پیوستن جریان به منبع استاتیک Joining Stream to static source
-
پیوستن جریان به منبع استاتیک Joining Stream to static source
-
پیوستن استریم به جریانی دیگر Joining Stream to another Stream
-
پیوستن استریم به جریانی دیگر Joining Stream to another Stream
-
پخش واترمارک Streaming Watermark
-
پخش واترمارک Streaming Watermark
-
پخش جریانی اتصالات خارجی Streaming Outer Joins
-
پخش جریانی اتصالات خارجی Streaming Outer Joins
به یادگیری ادامه دهید Keep Learning
به یادگیری ادامه دهید Keep Learning
-
کلمه پایانی Final Word
-
کلمه پایانی Final Word
-
سخنرانی جایزه: اضافی دریافت کنید Bonus Lecture : Get Extra
-
سخنرانی جایزه: اضافی دریافت کنید Bonus Lecture : Get Extra
https://donyad.com/d/967856
Prashant Kumar Pandey
معمار ، نویسنده ، مشاور ، مربی @ Learning JournalPrashant Kumar Pandey علاقه زیادی به کمک به مردم برای یادگیری و رشد در زندگی حرفه ای خود دارد و از بین بردن شکاف بین مهارت های موجود و مورد نیاز آنها است. وی در تلاش برای تحقق این مأموریت ، نویسندگی کتاب ، انتشار مقالات فنی و ایجاد فیلم های آموزشی برای کمک به متخصصان و دانشجویان فناوری اطلاعات در صنعت است. وی با بیش از 18 سال تجربه در IT به عنوان توسعه دهنده ، معمار ، مشاور ، مربی و مربی ، با سازمان های بین المللی خدمات نرم افزار در پروژه های مختلف داده محوری و Bigdata کار کرده است. Prashant اعتقاد راسخ به یادگیری مستمر مادام العمر و رشد مهارت دارد. وی برای محبوبیت بخشیدن به یادگیری مادام العمر مادام العمر ، شروع به انتشار فیلم های آموزشی رایگان در کانال YouTube خود کرد و ایده ایجاد ژورنال یادگیری خود را تحت عنوان Learning Journal مفهوم سازی کرد. وی بنیانگذار ، نویسنده اصلی و سردبیر اصلی پورتال Learning Journal است که دوره های مختلف مهارت آموزی ، آموزش و مقالات فنی را از ابتدای سال 2018 ارائه می دهد.
Learning Journal
ژورنال یادگیری ، تیم کوچکی از افراد است که علاقه زیادی به کمک به دیگران برای یادگیری و رشد در کار خود دارند ، از بین بردن فاصله بین مهارت های موجود و مورد نیاز آنها. در تلاش برای انجام این ماموریت ، ما در حال نوشتن کتاب ، انتشار مقالات فنی و ایجاد فیلم های آموزشی برای کمک به متخصصان و دانشجویان فناوری اطلاعات در صنعت هستیم. با هم بیش از 40 سال تجربه در IT به عنوان توسعه دهنده ، معمار ، مشاور ، مربی و مربی داریم. ما با سازمان های بین المللی خدمات نرم افزار در پروژه های مختلف داده محوری و Bigdata کار کرده ایم. یادگیری ژورنال یک تیم معتقدین راسخ به یادگیری مستمر مادام العمر و رشد مهارت است. برای محبوب کردن اهمیت یادگیری مادام العمر ، ما شروع به انتشار فیلم های آموزشی رایگان در کانال YouTube خود کردیم. ما مفهوم یادگیری مداوم را مفهوم سازی کردیم و ژورنالی از یادگیری خود را تحت عنوان روزنامه یادگیری ایجاد کردیم. ما از ابتدای سال 2018 دوره های مختلف مهارت آموزی ، آموزش و مقالات فنی را تألیف کرده ایم.
نمایش نظرات