کانال تلگرام پشتیبانی تلگرام شماره تماس پشتیبانی: 0930 395 3766
ورود ثبت نام

آموزش پردازش جریان بیدرنگ با استفاده از Apache Spark 3 برای توسعه دهندگان Scala [ویدئو]

Real-Time Stream Processing Using Apache Spark 3 for Scala Developers [Video]

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: آپاچی اسپارک از زمان آغاز به کار خود به سرعت توسط شرکت ها در طیف گسترده ای از صنایع مورد پذیرش قرار گرفته است. بنابراین، تسلط بر آپاچی اسپارک طیف گسترده ای از فرصت های حرفه ای را باز می کند. اگر شما یک مهندس نرم افزار یا معمار هستید و می خواهید پروژه های خود را طراحی یا بسازید، این دوره آموزشی مناسب برای شماست. این یک دوره پیشرفته، عملی، مبتنی بر مثال، با جلسات نمایشی و کدنویسی است. این دوره به شما کمک می‌کند تا پردازش جریان بلادرنگ را با استفاده از Apache Spark درک کنید و بعداً می‌توانید از آن دانش برای ساخت راه‌حل‌های پردازش جریانی بلادرنگ استفاده کنید. این دوره همه چیز را از ابتدا پوشش می دهد، که شامل نصب Apache Spark و دیدن نحوه راه اندازی و اجرای Apache Kafka است. علاوه بر این، پردازش جریان و نحوه کار با فایل ها و دایرکتوری ها را معرفی می کند. همچنین سریال‌سازی و سریال‌زدایی کافکا برای Spark و نحوه کار با منبع Kafka AVRO را بررسی خواهید کرد. و در نهایت، دوره با پخش واترمارک و مفاصل بیرونی به پایان می رسد. در پایان این دوره، شما قادر خواهید بود پروژه های مهندسی کلان داده را طراحی و توسعه دهید. شما قادر خواهید بود برنامه های پردازش جریانی در زمان واقعی را با Apache Spark ایجاد کنید. این دوره همچنین به شما کمک می کند تا رشد خود را در پردازش جریان بلادرنگ افزایش دهید. همه منابع و فایل های کد در اینجا قرار می گیرند: https://github.com/PacktPublishing/Spark-Streaming-In-Scala ایجاد سینک های جریان دلخواه منبع کافکا را کاوش کنید و Spark را با کافکا ادغام کنید تحولات جریان بدون حالت و کامل را بیاموزید مدیریت مشکلات حافظه با پیوستن به جریان را یاد بگیرید کار با جریان فایل را یاد بگیرید کاوش در مجموع پنجره ها با استفاده از Spark Stream این دوره برای مهندسان نرم افزار و معمارانی طراحی شده است که می خواهند پروژه های مهندسی داده های بزرگ را با استفاده از Apache Spark توسعه دهند. همچنین، اگر شما یک برنامه نویس و توسعه دهنده هستید که می خواهید با استفاده از Apache Spark رشد کنید و مهندسی داده را یاد بگیرید، این دوره برای شما مناسب است. گروه دیگری از افرادی که می توانند این دوره را انتخاب کنند، مدیران و معمارانی هستند که ممکن است مستقیماً با پیاده سازی Spark کار نکنند اما همچنان با افرادی که Apache Spark را در سطح زمین پیاده سازی می کنند کار می کنند. شیرجه عمیق به APIها و معماری جریان ساختاریافته Spark * پیوندها و تجمیع جریان را کشف کنید * مفاهیم پردازش جریان در زمان واقعی را کاوش کنید
سرفصل ها و درس ها

قبل از اینکه تو شروع کنی Before You Start

  • درباره دوره About the Course

  • پیش نیازهای دوره Course Prerequisites

محیط خود را تنظیم کنید Set Up Your Environment

  • محیط توسعه جرقه Spark Development Environment

  • پیش نیازهای نصب اسپارک Spark Installation Prerequisites

  • نصب آپاچی اسپارک Installing Apache Spark

  • IDE خود را تنظیم و آزمایش کنید Set Up and Test Your IDE

  • آپاچی کافکا را نصب و اجرا کنید Install and Run Apache Kafka

شروع کار با جریان ساختار یافته Spark Getting Started with Spark Structured Streaming

  • مقدمه ای بر پردازش جریانی Introduction to Stream Processing

  • Spark Streaming API - DSstream در مقابل جریان ساختاری Spark Streaming APIs - DStream Versus Structured Streaming

  • ایجاد اولین برنامه پردازش جریان شما Creating Your First Stream Processing Application

  • مدل پردازش جریان در Spark Stream Processing Model in Spark

  • کار با فایل ها و دایرکتوری ها Working with Files and Directories

  • منابع جریان، سینک ها، و حالت خروجی Streaming Sources, Sinks, and Output Mode

  • تحمل خطا و راه اندازی مجدد Fault Tolerance and Restarts

جریان جرقه با کافکا Spark Streaming with Kafka

  • پخش از منبع کافکا Streaming from Kafka Source

  • کار با کافکا سینک Working with Kafka Sinks

  • برنامه جریان های چند پرس و جو Multi-Query Streams Application

  • سریال سازی کافکا و سریال زدایی برای اسپارک Kafka Serialization and Deserialization for Spark

  • ایجاد سینک های Kafka AVRO Creating Kafka AVRO Sinks

  • کار با منبع Kafka AVRO Working with Kafka AVRO Source

پنجره ها و مصالح Windowing and Aggregates

  • دگرگونی های بی تابعیت در مقابل تحولات دولتی Stateless Versus Stateful Transformations

  • زمان رویداد و پنجره Event Time and Windowing

  • جمع کردن پنجره غلتشی Tumbling Window Aggregate

  • واترمارک کردن ویندوز شما Watermarking Your Windows

  • حالت های واترمارک و خروجی Watermark and Output Modes

  • ویندوز کشویی Sliding Windows

پردازش جریانی و پیوستن Stream Processing and Joins

  • پیوستن جریان به منبع استاتیک Joining Stream to Static Source

  • پیوستن به جریان به جریانی دیگر Joining Stream to Another Stream

  • پخش واترمارک Streaming Watermark

  • پخش جریانی اتصالات خارجی Streaming Outer Joins

نمایش نظرات

Packtpub یک ناشر دیجیتالی کتاب‌ها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرم‌افزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتاب‌ها، ویدیوها و دوره‌های آموزشی می‌پردازد که به توسعه‌دهندگان و متخصصان فناوری اطلاعات کمک می‌کند تا مهارت‌های خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامه‌نویسی، توسعه وب، داده‌کاوی، امنیت سایبری و هوش مصنوعی را پوشش می‌دهد. محتوای این منابع به صورت کاربردی و به‌روز ارائه می‌شود تا کاربران بتوانند دانش و توانایی‌های لازم برای موفقیت در پروژه‌های عملی و حرفه‌ای خود را کسب کنند.

آموزش پردازش جریان بیدرنگ با استفاده از Apache Spark 3 برای توسعه دهندگان Scala [ویدئو]
جزییات دوره
3 h 23 m
30
Packtpub Packtpub
(آخرین آپدیت)
از 5
ندارد
دارد
دارد
Scholar Nest

https://donyad.com/d/fedfe9

جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Scholar Nest Scholar Nest

ScholarNest یک تیم کوچک از افرادی است که با پر کردن شکاف بین مهارت‌های موجود و مورد نیازشان، علاقه زیادی به کمک به دیگران برای یادگیری و رشد در حرفه‌شان دارند. آنها با هم بیش از 40 سال تجربه در فناوری اطلاعات به عنوان توسعه دهنده، معمار، مشاور، مربی و مربی دارند. آنها با سازمان های خدمات نرم افزاری بین المللی در پروژه های مختلف داده محور و کلان داده کار کرده اند. این تیمی متشکل از اعتقاد راسخ به یادگیری مستمر مادام العمر و توسعه مهارت است. برای محبوب کردن اهمیت یادگیری مداوم، آنها شروع به انتشار فیلم های آموزشی رایگان در کانال یوتیوب خود کردند. آنها مفهوم یادگیری مستمر را مفهوم‌سازی کردند و مجله‌ای از یادگیری ما را تحت عنوان مجله یادگیری ایجاد کردند.

Scala اسکالا Data Big Data داده ها داده های بزرگ