کانال تلگرام پشتیبانی تلگرام شماره تماس پشتیبانی: 0930 395 3766
ورود ثبت نام

آموزش پردازش داده های جریانی با Apache Spark در Databricks

Processing Streaming Data with Apache Spark on Databricks

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
توضیحات دوره: این دوره به شما می آموزد که چگونه از انتزاعات Spark برای استریم داده ها استفاده کنید و با استفاده از API های جریان ساخت یافته Spark در Azure Databricks، تغییراتی را روی داده های جریانی انجام دهید. استریم ساختاری در Apache Spark داده های بلادرنگ را به عنوان جدولی در نظر می گیرد که دائماً اضافه می شود. این منجر به یک مدل پردازش جریانی می‌شود که از همان APIهای یک مدل پردازش دسته‌ای استفاده می‌کند - این بر عهده Spark است که عملیات دسته‌ای ما را برای کار بر روی جریان افزایش دهد. بار پردازش جریان از کاربر به سیستم منتقل می شود و پردازش داده های جریانی با Spark را بسیار آسان و شهودی می کند. در این دوره آموزشی، پردازش داده‌های جریانی با آپاچی اسپارک در Databricks، شما یاد می‌گیرید که داده‌ها را با استفاده از انتزاعات ارائه شده توسط جریان ساختاری Spark استریم و پردازش کنید. ابتدا، تفاوت بین پردازش دسته ای و پردازش جریانی را درک خواهید کرد و مدل های مختلفی را مشاهده خواهید کرد که می توانند برای پردازش داده های جریان استفاده شوند. همچنین ساختار و پیکربندی‌های APIهای جریان ساختاری Spark را بررسی خواهید کرد. در مرحله بعد، نحوه خواندن از منبع استریم با استفاده از Auto Loader در Azure Databricks را خواهید آموخت. Auto Loader فرآیند خواندن داده های جریانی از یک سیستم فایل را خودکار می کند و از مدیریت فایل و ردیابی فایل های پردازش شده مراقبت می کند و دریافت داده ها از منابع ذخیره سازی ابری خارجی را بسیار آسان می کند. سپس تبدیل‌ها و تجمیع‌ها را روی داده‌های جریانی انجام می‌دهید و داده‌ها را با استفاده از مدل‌های ضمیمه، تکمیل و به‌روزرسانی در فضای ذخیره‌سازی می‌نویسید. در نهایت، نحوه استفاده از انتزاعات SQL مانند در جریان های ورودی را خواهید آموخت. شما به یک منبع ذخیره سازی ابری خارجی، یک سطل Amazon S3 متصل خواهید شد و با استفاده از Auto Loader در جریان خود مطالعه خواهید کرد. سپس کوئری های SQL را برای پردازش داده های خود اجرا خواهید کرد. در طول مسیر، پردازش جریان خود را با استفاده از چک پوینت در برابر خرابی ها مقاوم می کنید و همچنین عملیات پردازش جریان خود را به عنوان یک کار در یک خوشه شغلی Databricks پیاده سازی می کنید. وقتی این دوره را به پایان رساندید، مهارت ها و دانش مربوط به جریان داده در Spark را خواهید داشت که برای پردازش و نظارت بر جریان ها و شناسایی موارد استفاده برای تبدیل داده های جریانی لازم است.
سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

  • بررسی اجمالی دوره Course Overview

مروری بر معماری استریمینگ در آپاچی اسپارک Overview of the Streaming Architecture in Apache Spark

  • بررسی نسخه Version Check

  • پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

  • پردازش دسته ای در مقابل پردازش جریانی Batch Processing vs. Stream Processing

  • میکرو دسته ای و پردازش مداوم Micro-batch and Continuous Processing

  • پردازش جریان در آپاچی اسپارک Stream Processing in Apache Spark

  • کاربردهای مداوم در Spark Continuous Applications in Spark

  • نسخه ی نمایشی: خواندن داده های دسته ای و جریانی Demo: Reading Batch and Streaming Data

  • نسخه ی نمایشی: اجرای یک جستجوی جریانی ساده Demo: Running a Simple Streaming Query

  • نسخه ی نمایشی: پردازش و تجسم جریان ها Demo: Processing and Visualizing Streams

  • محرک ها Triggers

  • نسخه ی نمایشی: پیکربندی تریگرها Demo: Configuring Triggers

  • خلاصه ماژول Module Summary

اعمال تبدیل در داده های جریانی Applying Transformations on Streaming Data

  • منابع و سینک های جریان Streaming Sources and Sinks

  • لودر خودکار Auto Loader

  • نسخه ی نمایشی: بارگذار خودکار و داده های نجات یافته Demo: Auto Loader and Rescued Data

  • نسخه ی نمایشی؛ نوشتن جریان در فایل سینک Demo; Writing Streams to File Sinks

  • نسخه ی نمایشی: انجام تبدیل در جریان ها Demo: Performing Transformations on Streams

  • نسخه ی نمایشی: پردازش جریانی Demo: Stream Processing

  • حالت های خروجی Output Modes

  • نسخه ی نمایشی: حالت افزودن Demo: Append Mode

  • نسخه ی نمایشی: حالت کامل Demo: Complete Mode

  • نسخه ی نمایشی: حالت به روز رسانی Demo: Update Mode

اجرای پرس و جوهای SQL در جریان داده ها Executing SQL Queries on Streaming Data

  • نسخه ی نمایشی: اجرای پرس و جوهای SQL برای پردازش جریان ها Demo: Executing SQL Queries to Process Streams

  • نسخه ی نمایشی: ایجاد یک کاربر AWS و سطل S3 Demo: Creating an AWS User and S3 Bucket

  • نسخه ی نمایشی: نصب یک سطل S3 در DBFS Demo: Mounting an S3 Bucket to DBFS

  • نسخه ی نمایشی: لودر خودکار برای خواندن از منبع سطل S3 Demo: Auto Loader to Read from an S3 Bucket Source

  • نسخه ی نمایشی: استفاده از UDF در جریان داده ها Demo: Applying UDFs on Streaming Data

  • ایست بازرسی Checkpointing

  • نسخه ی نمایشی: ایست بازرسی Demo: Checkpointing

  • نسخه ی نمایشی: اجرای یک کار جریانی در یک کلاستر Demo: Running a Streaming Job on a Cluster

  • نسخه ی نمایشی: مشاهده نتایج کار Demo: Viewing Job Results

  • خلاصه و مطالعه بیشتر Summary and Further Study

نمایش نظرات

نظری ارسال نشده است.

آموزش پردازش داده های جریانی با Apache Spark در Databricks
خرید اشتراک و دانلود خرید تکی و دانلود | 160,000 تومان (5 روز مهلت دانلود) زمان تقریبی آماده سازی لینک دانلود این دوره آموزشی حدود 5 تا 24 ساعت می باشد.
جزییات دوره
2h 1m
33
Pluralsight (پلورال سایت) pluralsight-small
03 آبان 1400 (آخرین آپدیت رو دریافت می‌کنید، حتی اگر این تاریخ بروز نباشد.)
19
4.7 از 5
دارد
دارد
دارد
Janani Ravi

https://donyad.com/d/e169ba

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

آموزش مدیریت سریع داده ها با Apache Spark SQL و پخش جریانی

آموزش مدیریت سریع داده ها با Apache Spark SQL و پخش جریانی

Handling Fast Data with Apache Spark SQL and Streaming

Apache Spark پیشرو در زمینه پردازش سریع و کارآمد داده است. این دوره به شما می آموزد که چگونه از SQL ، Streaming و حتی API های Streamed Streaming جدیدتر Spark برای ایجاد برنامه های کاربردی قادر به مدیریت داده ها هنگام ورود اطلاعات استفاده کنید.

آموزش تجزیه و تحلیل شاخص های توسعه جهانی پروژه Apache Spark

آموزش تجزیه و تحلیل شاخص های توسعه جهانی پروژه Apache Spark

Apache Spark Project World Development Indicators Analytics

پروژه تجزیه و تحلیل شاخص های توسعه جهانی در Apache Spark برای مبتدیان با استفاده از Databricks (غیر رسمی)

آموزش مدیریت داده های دسته ای با Apache Spark در Databricks

آموزش مدیریت داده های دسته ای با Apache Spark در Databricks

Handling Batch Data with Apache Spark on Databricks

این دوره به شما یاد می دهد که چگونه داده های دسته ای را با استفاده از Apache Spark در پلتفرم Azure Databricks با استفاده از پرس و جوهای انتخاب، فیلتر و تجمیع، توابع داخلی و تعریف شده توسط کاربر تبدیل و جمع آوری کنید و پنجره سازی و پیوستن را انجام دهید.

آموزش تجزیه و تحلیل پیش بینی با استفاده از Apache Spark MLlib در Databricks

آموزش تجزیه و تحلیل پیش بینی با استفاده از Apache Spark MLlib در Databricks

Predictive Analytics Using Apache Spark MLlib on Databricks

این دوره به شما می آموزد که تکنیک های مهمی را برای تجزیه و تحلیل پیش بینی کننده مانند رگرسیون و طبقه بندی با استفاده از Apache Spark MLlib بر روی Databricks درک و پیاده سازی کنید.

Janani Ravi Janani Ravi

معمار و مهندس داده خبره Google Cloud

Janani Ravi یک معمار و مهندس داده خبره Google cloud است.

جنانی مدرک کارشناسی ارشد خود را در رشته مهندسی برق از دانشگاه استنفورد دریافت کرد و برای مایکروسافت، گوگل و فلیپ کارت کار کرده است. او یکی از بنیانگذاران Loonycorn است، یک استودیوی محتوا که بر ارائه محتوای با کیفیت بالا برای توسعه مهارت های فنی متمرکز است، جایی که او عشق خود را به فناوری با اشتیاق خود به تدریس ترکیب می کند.

Pluralsight (پلورال سایت)

Pluralsight یکی از پرطرفدارترین پلتفرم‌های آموزش آنلاین است که به میلیون‌ها کاربر در سراسر جهان کمک می‌کند تا مهارت‌های خود را توسعه دهند و به روز رسانی کنند. این پلتفرم دوره‌های آموزشی در زمینه‌های فناوری اطلاعات، توسعه نرم‌افزار، طراحی وب، مدیریت پروژه، و موضوعات مختلف دیگر را ارائه می‌دهد.

یکی از ویژگی‌های برجسته Pluralsight، محتوای بروز و با کیفیت آموزشی آن است. این پلتفرم با همکاری با توسعه‌دهندگان و کارشناسان معتبر، دوره‌هایی را ارائه می‌دهد که با توجه به تغییرات روزافزون در صنعت فناوری، کاربران را در جریان آخرین مفاهیم و تکنولوژی‌ها نگه می‌دارد. این امر به کاربران این اطمینان را می‌دهد که دوره‌هایی که در Pluralsight می‌پذیرند، با جدیدترین دانش‌ها و تجارب به روز شده‌اند.