لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش استریمینگ ساختاریافته (Structured Streaming) در آپاچی اسپارک
- آخرین آپدیت
دانلود Structured Streaming in Apache Spark
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
مدیریت دادههای بلادرنگ (Real-time) یکی از چالشهای حیاتی برای کسبوکارهایی است که به دنبال تصمیمگیریهای سریع و دادهمحور در حوزههایی مانند امور مالی، تجارت الکترونیک و اینترنت اشیاء (IoT) هستند.
در این دوره آموزشی «استریمینگ ساختاریافته در آپاچی اسپارک»، شما توانایی طراحی، پیادهسازی و بهینهسازی خط لولههای داده (Data Pipelines) بلادرنگ را با استفاده از Apache Spark به دست خواهید آورد.
در ابتدا، مفاهیم بنیادی پردازش جریان (Stream Processing)، از جمله خواندن و تبدیل دادههای استریم از منابعی مانند سوکتها و فایلها را بررسی خواهید کرد.
سپس، نحوه استفاده از تریگرها (Triggers)، حالتهای خروجی (Output Modes) و چکپوینتینگ (Checkpointing) را برای تضمین جریانهای کاری قابل اعتماد و کارآمد در پردازش استریم فرا میگیرید.
در نهایت، یاد خواهید گرفت که چگونه آپاچی اسپارک را با آپاچی کافکا (Apache Kafka) ادغام کنید تا دادههای استریمینگ بلادرنگ را مصرف، تبدیل و تجمیع نمایید.
پس از اتمام این دوره، شما مهارتها و دانش لازم در زمینه Apache Spark Streaming را برای پردازش و تحلیل دادههای بلادرنگ جهت ایجاد اپلیکیشنهای مقیاسپذیر و صنعتی خواهید داشت.
سرفصل ها و درس ها
عملیات استریمینگ در اسپارک
Streaming Operations in Spark
نیازمندیهای سیستم و نرمافزاری
System and Software Requirements
پردازش دستهای (Batch) و پردازش جریانی (Stream)
Batch and Stream Processing
استریمینگ ساختاریافته در اسپارک
Structured Streaming in Spark
دمو: استریمینگ از منبع سوکت
Demo: Streaming from a Socket Source
دمو: استریمینگ از منبع فایل
Demo: Streaming from a File Source
تریگرها و حالتهای خروجی
Triggers and Output Modes
حالتهای خروجی (Output Modes)
Output Modes
دمو: حالت Append
Demo: Append Mode
دمو: حالت Complete
Demo: Complete Mode
دمو: حالت Update
Demo: Update Mode
تریگرها (Triggers)
Triggers
دمو: تریگر Micro batch با بازه زمانی ثابت
Demo: Fixed-interval Micro-batch Trigger
Janani Ravi یک معمار و مهندس داده خبره Google cloud است.
جنانی مدرک کارشناسی ارشد خود را در رشته مهندسی برق از دانشگاه استنفورد دریافت کرد و برای مایکروسافت، گوگل و فلیپ کارت کار کرده است. او یکی از بنیانگذاران Loonycorn است، یک استودیوی محتوا که بر ارائه محتوای با کیفیت بالا برای توسعه مهارت های فنی متمرکز است، جایی که او عشق خود را به فناوری با اشتیاق خود به تدریس ترکیب می کند.
نمایش نظرات