لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش پردازش جریان بیدرنگ با استفاده از Apache Spark 3 برای توسعه دهندگان Scala [ویدئو]
Real-Time Stream Processing Using Apache Spark 3 for Scala Developers [Video]
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
آپاچی اسپارک از زمان آغاز به کار خود به سرعت توسط شرکت ها در طیف گسترده ای از صنایع مورد پذیرش قرار گرفته است. بنابراین، تسلط بر آپاچی اسپارک طیف گسترده ای از فرصت های حرفه ای را باز می کند. اگر شما یک مهندس نرم افزار یا معمار هستید و می خواهید پروژه های خود را طراحی یا بسازید، این دوره آموزشی مناسب برای شماست.
این یک دوره پیشرفته، عملی، مبتنی بر مثال، با جلسات نمایشی و کدنویسی است. این دوره به شما کمک میکند تا پردازش جریان بلادرنگ را با استفاده از Apache Spark درک کنید و بعداً میتوانید از آن دانش برای ساخت راهحلهای پردازش جریانی بلادرنگ استفاده کنید.
این دوره همه چیز را از ابتدا پوشش می دهد، که شامل نصب Apache Spark و دیدن نحوه راه اندازی و اجرای Apache Kafka است. علاوه بر این، پردازش جریان و نحوه کار با فایل ها و دایرکتوری ها را معرفی می کند. همچنین سریالسازی و سریالزدایی کافکا برای Spark و نحوه کار با منبع Kafka AVRO را بررسی خواهید کرد. و در نهایت، دوره با پخش واترمارک و مفاصل بیرونی به پایان می رسد.
در پایان این دوره، شما قادر خواهید بود پروژه های مهندسی کلان داده را طراحی و توسعه دهید. شما قادر خواهید بود برنامه های پردازش جریانی در زمان واقعی را با Apache Spark ایجاد کنید. این دوره همچنین به شما کمک می کند تا رشد خود را در پردازش جریان بلادرنگ افزایش دهید.
همه منابع و فایل های کد در اینجا قرار می گیرند: https://github.com/PacktPublishing/Spark-Streaming-In-Scala ایجاد سینک های جریان دلخواه
منبع کافکا را کاوش کنید و Spark را با کافکا ادغام کنید
تحولات جریان بدون حالت و کامل را بیاموزید
مدیریت مشکلات حافظه با پیوستن به جریان را یاد بگیرید
کار با جریان فایل را یاد بگیرید
کاوش در مجموع پنجره ها با استفاده از Spark Stream این دوره برای مهندسان نرم افزار و معمارانی طراحی شده است که می خواهند پروژه های مهندسی داده های بزرگ را با استفاده از Apache Spark توسعه دهند. همچنین، اگر شما یک برنامه نویس و توسعه دهنده هستید که می خواهید با استفاده از Apache Spark رشد کنید و مهندسی داده را یاد بگیرید، این دوره برای شما مناسب است. گروه دیگری از افرادی که می توانند این دوره را انتخاب کنند، مدیران و معمارانی هستند که ممکن است مستقیماً با پیاده سازی Spark کار نکنند اما همچنان با افرادی که Apache Spark را در سطح زمین پیاده سازی می کنند کار می کنند. شیرجه عمیق به APIها و معماری جریان ساختاریافته Spark * پیوندها و تجمیع جریان را کشف کنید * مفاهیم پردازش جریان در زمان واقعی را کاوش کنید
سرفصل ها و درس ها
قبل از اینکه تو شروع کنی
Before You Start
درباره دوره
About the Course
پیش نیازهای دوره
Course Prerequisites
محیط خود را تنظیم کنید
Set Up Your Environment
محیط توسعه جرقه
Spark Development Environment
پیش نیازهای نصب اسپارک
Spark Installation Prerequisites
نصب آپاچی اسپارک
Installing Apache Spark
IDE خود را تنظیم و آزمایش کنید
Set Up and Test Your IDE
آپاچی کافکا را نصب و اجرا کنید
Install and Run Apache Kafka
شروع کار با جریان ساختار یافته Spark
Getting Started with Spark Structured Streaming
مقدمه ای بر پردازش جریانی
Introduction to Stream Processing
Spark Streaming API - DSstream در مقابل جریان ساختاری
Spark Streaming APIs - DStream Versus Structured Streaming
ایجاد اولین برنامه پردازش جریان شما
Creating Your First Stream Processing Application
مدل پردازش جریان در Spark
Stream Processing Model in Spark
کار با فایل ها و دایرکتوری ها
Working with Files and Directories
منابع جریان، سینک ها، و حالت خروجی
Streaming Sources, Sinks, and Output Mode
تحمل خطا و راه اندازی مجدد
Fault Tolerance and Restarts
جریان جرقه با کافکا
Spark Streaming with Kafka
پخش از منبع کافکا
Streaming from Kafka Source
کار با کافکا سینک
Working with Kafka Sinks
برنامه جریان های چند پرس و جو
Multi-Query Streams Application
سریال سازی کافکا و سریال زدایی برای اسپارک
Kafka Serialization and Deserialization for Spark
ایجاد سینک های Kafka AVRO
Creating Kafka AVRO Sinks
کار با منبع Kafka AVRO
Working with Kafka AVRO Source
پنجره ها و مصالح
Windowing and Aggregates
دگرگونی های بی تابعیت در مقابل تحولات دولتی
Stateless Versus Stateful Transformations
زمان رویداد و پنجره
Event Time and Windowing
جمع کردن پنجره غلتشی
Tumbling Window Aggregate
واترمارک کردن ویندوز شما
Watermarking Your Windows
حالت های واترمارک و خروجی
Watermark and Output Modes
ویندوز کشویی
Sliding Windows
پردازش جریانی و پیوستن
Stream Processing and Joins
پیوستن جریان به منبع استاتیک
Joining Stream to Static Source
پیوستن به جریان به جریانی دیگر
Joining Stream to Another Stream
پخش واترمارک
Streaming Watermark
پخش جریانی اتصالات خارجی
Streaming Outer Joins
نمایش نظرات
Packtpub یک ناشر دیجیتالی کتابها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرمافزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتابها، ویدیوها و دورههای آموزشی میپردازد که به توسعهدهندگان و متخصصان فناوری اطلاعات کمک میکند تا مهارتهای خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامهنویسی، توسعه وب، دادهکاوی، امنیت سایبری و هوش مصنوعی را پوشش میدهد. محتوای این منابع به صورت کاربردی و بهروز ارائه میشود تا کاربران بتوانند دانش و تواناییهای لازم برای موفقیت در پروژههای عملی و حرفهای خود را کسب کنند.
ScholarNest یک تیم کوچک از افرادی است که با پر کردن شکاف بین مهارتهای موجود و مورد نیازشان، علاقه زیادی به کمک به دیگران برای یادگیری و رشد در حرفهشان دارند. آنها با هم بیش از 40 سال تجربه در فناوری اطلاعات به عنوان توسعه دهنده، معمار، مشاور، مربی و مربی دارند. آنها با سازمان های خدمات نرم افزاری بین المللی در پروژه های مختلف داده محور و کلان داده کار کرده اند. این تیمی متشکل از اعتقاد راسخ به یادگیری مستمر مادام العمر و توسعه مهارت است. برای محبوب کردن اهمیت یادگیری مداوم، آنها شروع به انتشار فیلم های آموزشی رایگان در کانال یوتیوب خود کردند. آنها مفهوم یادگیری مستمر را مفهومسازی کردند و مجلهای از یادگیری ما را تحت عنوان مجله یادگیری ایجاد کردند.
نمایش نظرات