آموزش پردازش داده های جریان با استفاده از Apache Spark Streamed Streaming

Processing Streaming Data Using Apache Spark Structured Streaming

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیویی برای نمایش وجود ندارد.
توضیحات دوره: جریان سازه ای موتور پردازش جریان مقیاس پذیر و متحمل خطا در Apache Spark 2 است که می تواند برای پردازش جریان های با سرعت بالا مورد استفاده قرار گیرد. برنامه های پردازش جریان با داده های به طور مداوم به روز شده کار می کنند و به تغییرات در زمان واقعی واکنش نشان می دهند. در این دوره ، پردازش جریان داده ها با استفاده از Apache Spark Streamed Streaming ، شما بر ادغام برنامه جریان خود با سرویس پیام رسان قابل اعتماد Apache Kafka برای کار با داده های دنیای واقعی مانند جریان های Twitter تمرکز خواهید کرد. ابتدا ، شما برای پشتیبانی از پردازش توزیع شده در مقیاس ، معماری Spark را کشف خواهید کرد. در مرحله بعد ، شما سرویس پیام رسان قابل اعتماد Apache Kafka را نصب و کار خواهید کرد. سرانجام ، شما تعدادی عملیات تحول را در جریان های توییتر انجام خواهید داد ، از جمله عملیات پنجره سازی و پیوستن. پس از اتمام این دوره ، مهارت و دانش لازم برای کار با داده های با سرعت و حجم بالا با استفاده از Spark و ادغام با Apache Kafka برای پردازش داده های جریان را خواهید داشت.

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

  • بررسی اجمالی دوره Course Overview

شروع کار با خوشه مستقل Spark Getting Started with the Spark Standalone Cluster

  • پیش نیازها و طرح کلی دوره Prerequisites and Course Outline

  • رانندگان ، کارگران ، مجریان و وظایف Drivers, Workers, Executors, and Tasks

  • معرفی Spark Standalone Introducing Spark Standalone

  • طرح های در دسترس بودن بالا High Availability Schemes

  • نسخه ی نمایشی: Spark را بر روی دستگاه محلی خود نصب و تنظیم کنید Demo: Install and Set up Spark on Your Local Machine

  • نسخه ی نمایشی: فرآیندهای اصلی و کارگری را شروع کنید Demo: Start Master and Worker Processes

  • نسخه ی نمایشی: پیکربندی فایل ها برای گره های کارگر Demo: Config Files for Worker Nodes

  • نسخه ی نمایشی: پیکربندی پردازش با استفاده از آرگومان های خط فرمان Demo: Configuring Processing Using Command Line Arguments

  • نسخه ی نمایشی: رابط کاربر Spark Web برای نظارت بر برنامه ها Demo: The Spark Web UI for Monitoring Applications

  • نسخه ی نمایشی: پیکربندی در دسترس بودن بالا با Zookeeper Demo: High Availability Configuration with Zookeeper

  • نسخه ی نمایشی: پیکربندی Spark Environment با استفاده از Config Files Demo: Configuring the Spark Environment Using Config Files

  • امنیت برای خوشه های جرقه ای Security for Spark Clusters

  • فشار پشت Backpressure

ادغام Spark با Apache Kafka Integrating Spark with Apache Kafka

  • جریان اول معماری Stream-first Architecture

  • معرفی Apache Kafka Introducing Apache Kafka

  • نسخه ی نمایشی: نصب و راه اندازی Apache Kafka Demo: Installing and Setting up Apache Kafka

  • نسخه ی نمایشی: ناشران ، مصرف کنندگان و عناوین Demo: Publishers, Consumers, and Topics

  • نسخه ی نمایشی: ایجاد یک حساب برنامه نویس در توییتر Demo: Creating a Developer Account on Twitter

  • نسخه ی نمایشی: اتصال به توییتر با استفاده از Tweepy Demo: Connecting to Twitter Using Tweepy

  • نسخه ی نمایشی: استخراج و شمارش هشتگ ها از یک جریان Twitter Demo: Extracting and Counting Hashtags from a Twitter Stream

  • نسخه ی نمایشی: خواندن پیام های ناشران متعدد Demo: Reading Messages from Multiple Publishers

  • نسخه ی نمایشی: خواندن از چند موضوع Demo: Reading from Multiple Topics

  • نسخه ی نمایشی: خواندن از چند موضوع با استفاده از یک عبارت منظم Demo: Reading from Multiple Topics Using a Regular Expression

  • نسخه ی نمایشی: انجام تجزیه و تحلیل احساسات در توییت های ورودی Demo: Performing Sentiment Analysis on Input Tweets

  • نسخه ی نمایشی: اختصاص وضعیت Sentiment به توییت ها Demo: Assigning Sentiment Status to Tweets

  • نسخه ی نمایشی: نوشتن برای یک سینک ظرفشویی کافکا و سینک ظرفشویی Demo: Writing to a Kafka Sink and Foreach Sink

انجام عملیات پنجره سازی در جریان ها Performing Windowing Operations on Streams

  • مروری کوتاه بر روی پنجره و زمان Brief Overview of Windowing and Time

  • نسخه ی نمایشی: استخراج زمان رویداد و مرتبط کردن زمان پردازش Demo: Extracting Event Time and Associating Processing Time

  • نسخه ی نمایشی: محاسبه تجمع در یک پنجره جهانی Demo: Computing Aggregations within a Global Window

  • نسخه ی نمایشی: استفاده از Tumbling Windows و Sliding Windows Demo: Applying Tumbling Windows and Sliding Windows

انجام عملیات عضویت در جریان ها Performing Join Operations on Streams

  • جریان می پیوندد Streaming Joins

  • نسخه ی نمایشی: اجرای Static Streaming می پیوندد Demo: Performing Static Streaming Joins

  • نسخه ی نمایشی: نوشتن نتایج به یک موضوع کافکا بپیوندید Demo: Writing Join Results to a Kafka Topic

  • نسخه ی نمایشی: نوشتن نتایج در یک فایل پارکت پیوستن Demo: Writing Join Results to a Parquet File

  • نسخه ی نمایشی: واحد تست UDF ها Demo: Unit Testing UDFs

  • نسخه ی نمایشی: آزمایش دستی پایان به پایان برنامه Spark Demo: Manual End-to-end Testing of a Spark Application

  • خلاصه و مطالعه بیشتر Summary and Further Study

نمایش نظرات

Pluralsight (پلورال سایت)

Pluralsight یکی از پرطرفدارترین پلتفرم‌های آموزش آنلاین است که به میلیون‌ها کاربر در سراسر جهان کمک می‌کند تا مهارت‌های خود را توسعه دهند و به روز رسانی کنند. این پلتفرم دوره‌های آموزشی در زمینه‌های فناوری اطلاعات، توسعه نرم‌افزار، طراحی وب، مدیریت پروژه، و موضوعات مختلف دیگر را ارائه می‌دهد.

یکی از ویژگی‌های برجسته Pluralsight، محتوای بروز و با کیفیت آموزشی آن است. این پلتفرم با همکاری با توسعه‌دهندگان و کارشناسان معتبر، دوره‌هایی را ارائه می‌دهد که با توجه به تغییرات روزافزون در صنعت فناوری، کاربران را در جریان آخرین مفاهیم و تکنولوژی‌ها نگه می‌دارد. این امر به کاربران این اطمینان را می‌دهد که دوره‌هایی که در Pluralsight می‌پذیرند، با جدیدترین دانش‌ها و تجارب به روز شده‌اند.

آموزش پردازش داده های جریان با استفاده از Apache Spark Streamed Streaming
جزییات دوره
2h 35m
38
Pluralsight (پلورال سایت) Pluralsight (پلورال سایت)
(آخرین آپدیت)
-
از 5
دارد
دارد
دارد
Janani Ravi
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Janani Ravi Janani Ravi

معمار و مهندس داده خبره Google Cloud

Janani Ravi یک معمار و مهندس داده خبره Google cloud است.

جنانی مدرک کارشناسی ارشد خود را در رشته مهندسی برق از دانشگاه استنفورد دریافت کرد و برای مایکروسافت، گوگل و فلیپ کارت کار کرده است. او یکی از بنیانگذاران Loonycorn است، یک استودیوی محتوا که بر ارائه محتوای با کیفیت بالا برای توسعه مهارت های فنی متمرکز است، جایی که او عشق خود را به فناوری با اشتیاق خود به تدریس ترکیب می کند.