نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیویی برای نمایش وجود ندارد.
توضیحات دوره:
جریان سازه ای موتور پردازش جریان مقیاس پذیر و متحمل خطا در Apache Spark 2 است که می تواند برای پردازش جریان های با سرعت بالا مورد استفاده قرار گیرد. برنامه های پردازش جریان با داده های به طور مداوم به روز شده کار می کنند و به تغییرات در زمان واقعی واکنش نشان می دهند. در این دوره ، پردازش جریان داده ها با استفاده از Apache Spark Streamed Streaming ، شما بر ادغام برنامه جریان خود با سرویس پیام رسان قابل اعتماد Apache Kafka برای کار با داده های دنیای واقعی مانند جریان های Twitter تمرکز خواهید کرد. ابتدا ، شما برای پشتیبانی از پردازش توزیع شده در مقیاس ، معماری Spark را کشف خواهید کرد. در مرحله بعد ، شما سرویس پیام رسان قابل اعتماد Apache Kafka را نصب و کار خواهید کرد. سرانجام ، شما تعدادی عملیات تحول را در جریان های توییتر انجام خواهید داد ، از جمله عملیات پنجره سازی و پیوستن. پس از اتمام این دوره ، مهارت و دانش لازم برای کار با داده های با سرعت و حجم بالا با استفاده از Spark و ادغام با Apache Kafka برای پردازش داده های جریان را خواهید داشت.
سرفصل ها و درس ها
بررسی اجمالی دوره
Course Overview
-
بررسی اجمالی دوره
Course Overview
شروع کار با خوشه مستقل Spark
Getting Started with the Spark Standalone Cluster
-
پیش نیازها و طرح کلی دوره
Prerequisites and Course Outline
-
رانندگان ، کارگران ، مجریان و وظایف
Drivers, Workers, Executors, and Tasks
-
معرفی Spark Standalone
Introducing Spark Standalone
-
طرح های در دسترس بودن بالا
High Availability Schemes
-
نسخه ی نمایشی: Spark را بر روی دستگاه محلی خود نصب و تنظیم کنید
Demo: Install and Set up Spark on Your Local Machine
-
نسخه ی نمایشی: فرآیندهای اصلی و کارگری را شروع کنید
Demo: Start Master and Worker Processes
-
نسخه ی نمایشی: پیکربندی فایل ها برای گره های کارگر
Demo: Config Files for Worker Nodes
-
نسخه ی نمایشی: پیکربندی پردازش با استفاده از آرگومان های خط فرمان
Demo: Configuring Processing Using Command Line Arguments
-
نسخه ی نمایشی: رابط کاربر Spark Web برای نظارت بر برنامه ها
Demo: The Spark Web UI for Monitoring Applications
-
نسخه ی نمایشی: پیکربندی در دسترس بودن بالا با Zookeeper
Demo: High Availability Configuration with Zookeeper
-
نسخه ی نمایشی: پیکربندی Spark Environment با استفاده از Config Files
Demo: Configuring the Spark Environment Using Config Files
-
امنیت برای خوشه های جرقه ای
Security for Spark Clusters
-
فشار پشت
Backpressure
ادغام Spark با Apache Kafka
Integrating Spark with Apache Kafka
-
جریان اول معماری
Stream-first Architecture
-
معرفی Apache Kafka
Introducing Apache Kafka
-
نسخه ی نمایشی: نصب و راه اندازی Apache Kafka
Demo: Installing and Setting up Apache Kafka
-
نسخه ی نمایشی: ناشران ، مصرف کنندگان و عناوین
Demo: Publishers, Consumers, and Topics
-
نسخه ی نمایشی: ایجاد یک حساب برنامه نویس در توییتر
Demo: Creating a Developer Account on Twitter
-
نسخه ی نمایشی: اتصال به توییتر با استفاده از Tweepy
Demo: Connecting to Twitter Using Tweepy
-
نسخه ی نمایشی: استخراج و شمارش هشتگ ها از یک جریان Twitter
Demo: Extracting and Counting Hashtags from a Twitter Stream
-
نسخه ی نمایشی: خواندن پیام های ناشران متعدد
Demo: Reading Messages from Multiple Publishers
-
نسخه ی نمایشی: خواندن از چند موضوع
Demo: Reading from Multiple Topics
-
نسخه ی نمایشی: خواندن از چند موضوع با استفاده از یک عبارت منظم
Demo: Reading from Multiple Topics Using a Regular Expression
-
نسخه ی نمایشی: انجام تجزیه و تحلیل احساسات در توییت های ورودی
Demo: Performing Sentiment Analysis on Input Tweets
-
نسخه ی نمایشی: اختصاص وضعیت Sentiment به توییت ها
Demo: Assigning Sentiment Status to Tweets
-
نسخه ی نمایشی: نوشتن برای یک سینک ظرفشویی کافکا و سینک ظرفشویی
Demo: Writing to a Kafka Sink and Foreach Sink
انجام عملیات پنجره سازی در جریان ها
Performing Windowing Operations on Streams
-
مروری کوتاه بر روی پنجره و زمان
Brief Overview of Windowing and Time
-
نسخه ی نمایشی: استخراج زمان رویداد و مرتبط کردن زمان پردازش
Demo: Extracting Event Time and Associating Processing Time
-
نسخه ی نمایشی: محاسبه تجمع در یک پنجره جهانی
Demo: Computing Aggregations within a Global Window
-
نسخه ی نمایشی: استفاده از Tumbling Windows و Sliding Windows
Demo: Applying Tumbling Windows and Sliding Windows
انجام عملیات عضویت در جریان ها
Performing Join Operations on Streams
-
جریان می پیوندد
Streaming Joins
-
نسخه ی نمایشی: اجرای Static Streaming می پیوندد
Demo: Performing Static Streaming Joins
-
نسخه ی نمایشی: نوشتن نتایج به یک موضوع کافکا بپیوندید
Demo: Writing Join Results to a Kafka Topic
-
نسخه ی نمایشی: نوشتن نتایج در یک فایل پارکت پیوستن
Demo: Writing Join Results to a Parquet File
-
نسخه ی نمایشی: واحد تست UDF ها
Demo: Unit Testing UDFs
-
نسخه ی نمایشی: آزمایش دستی پایان به پایان برنامه Spark
Demo: Manual End-to-end Testing of a Spark Application
-
خلاصه و مطالعه بیشتر
Summary and Further Study
Pluralsight (پلورال سایت)
Pluralsight یکی از پرطرفدارترین پلتفرمهای آموزش آنلاین است که به میلیونها کاربر در سراسر جهان کمک میکند تا مهارتهای خود را توسعه دهند و به روز رسانی کنند. این پلتفرم دورههای آموزشی در زمینههای فناوری اطلاعات، توسعه نرمافزار، طراحی وب، مدیریت پروژه، و موضوعات مختلف دیگر را ارائه میدهد.
یکی از ویژگیهای برجسته Pluralsight، محتوای بروز و با کیفیت آموزشی آن است. این پلتفرم با همکاری با توسعهدهندگان و کارشناسان معتبر، دورههایی را ارائه میدهد که با توجه به تغییرات روزافزون در صنعت فناوری، کاربران را در جریان آخرین مفاهیم و تکنولوژیها نگه میدارد. این امر به کاربران این اطمینان را میدهد که دورههایی که در Pluralsight میپذیرند، با جدیدترین دانشها و تجارب به روز شدهاند.
نمایش نظرات