آموزش مدل سازی داده های جریان برای پردازش با پرتو Apache

Modeling Streaming Data for Processing with Apache Beam

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیویی برای نمایش وجود ندارد.
توضیحات دوره: مدل واحد Apache Beam به ما امکان پردازش دسته ای و همچنین پخش جریانی داده را با استفاده از همان API می دهد. چندین مورد اجرایی مانند Google Cloud Dataflow ، Apache Spark و Apache Flink با Beam سازگار هستند. جریان داده ها معمولاً باید در زمان واقعی یا نزدیک به زمان واقعی پردازش شوند ، این بدان معنی است که سیستم های پردازش جریان باید دارای توانایی هایی باشند که به آنها امکان پردازش داده را می دهد با تأخیر کم ، عملکرد بالا و تحمل خطا. در این دوره ، Modeling Streaming Data for Processing with Apache Beam ، توانایی کار با جریان ها و استفاده از مدل Beam unified برای ساخت خطوط لوله موازی داده را خواهید یافت. ابتدا ، شما شباهت ها و تفاوت های پردازش دسته ای و پردازش جریان را کشف خواهید کرد. در مرحله بعد ، API های پرتو Apache را کشف خواهید کرد که به شما اجازه می دهد خطوط لوله ای را که به صورت دسته ای و همچنین جریان داده ها پردازش می شوند ، تعریف کند. سرانجام ، شما خواهید آموخت که چگونه می توان عملیات پنجره سازی را روی داده های جریانی اعمال کرد. هنگامی که با این دوره به پایان رسیدید ، درک کاملی از مدل ها و معماری های استفاده شده با داده های جریان خواهید داشت و می توانید با مدل Beam unified برای تعریف و اجرای تحولات جریان های ورودی کار کنید.

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

  • بررسی اجمالی دوره Course Overview

شروع با پردازش جریان Getting Started with Stream Processing

  • پیش نیازها و طرح کلی دوره Prerequisites and Course Outline

  • پردازش دسته ای و پردازش جریان Batch Processing and Stream Processing

  • پردازش دسته ای در مقابل پردازش جریان Batch Processing vs. Stream Processing

  • پردازش جریان Stream Processing

  • مدل های پردازش جریان Stream Processing Models

  • جریان پردازش معماری Stream Processing Architectures

  • چالش های پردازش جریان Challenges in Stream Processing

معرفی پرتو Apache برای پردازش جریان Introducing Apache Beam for Stream Processing

  • معرفی پرتو آپاچی Introducing Apache Beam

  • خطوط لوله ، PCollections و PTransforms Pipelines, PCollections, and PTransforms

  • پردازش ورودی با استفاده از Bundles Input Processing Using Bundles

  • راننده و راننده Driver and Runner

  • نسخه ی نمایشی: تنظیمات محیطی و گزینه های پیش فرض خط لوله Demo: Environment Set up and Default Pipeline Options

  • نسخه ی نمایشی: فیلتر کردن با استفاده از ParDo و DoFns Demo: Filtering Using ParDo and DoFns

  • نسخه ی نمایشی: جمع بندی ها با استفاده از تغییرات داخلی Demo: Aggregagtions Using Built-in Transforms

  • نسخه ی نمایشی: منبع فایل و File Sink Demo: File Source and File Sink

  • نسخه ی نمایشی: گزینه های خط لوله سفارشی Demo: Custom Pipeline Options

  • نسخه ی نمایشی: پخش جریانی داده با Direct Runner Demo: Streaming Data with the Direct Runner

  • نسخه ی نمایشی: تعداد کلمات Demo: Word Count

انجام عملیات پنجره سازی Performing Windowing Operations

  • تحولات بدون دولت و دولت Stateless and Stateful Transformations

  • انواع ویندوز Types of Windows

  • زمان رویداد و زمان پردازش Event Time and Processing Time

  • علامت های آبی و داده های بعدی Watermarks and Late Data

  • نسخه ی نمایشی: استفاده از ویندوز ثابت با در حافظه داده Demo: Using Fixed Windows with in Memory Data

  • نسخه ی نمایشی: استفاده از ویندوزهای ثابت با پرونده های ورودی Demo: Using Fixed Windows with Input Files

  • نسخه ی نمایشی: استفاده از ویندوز کشویی با در حافظه داده Demo: Using Sliding Windows with in Memory Data

  • نسخه ی نمایشی: استفاده از ویندوزهای کشویی با پرونده های ورودی Demo: Using Sliding Windows with Input Files

  • نسخه ی نمایشی: ویندوز جلسه Demo: Session Windows

  • نسخه ی نمایشی: ویندوزهای جهانی Demo: Global Windows

  • راه اندازها Triggers

  • چه چیزی ، کجا ، چه زمانی و چگونه در پردازش جریان What, Where, When, and How in Stream Processing

  • خلاصه و مطالعه بیشتر Summary and Further Study

نمایش نظرات

نظری ارسال نشده است.

آموزش مدل سازی داده های جریان برای پردازش با پرتو Apache
خرید اشتراک و دانلود خرید تکی و دانلود | 160,000 تومان (5 روز مهلت دانلود) زمان تقریبی آماده سازی لینک دانلود این دوره آموزشی حدود 5 تا 24 ساعت می باشد.
جزییات دوره
2h 27m
32
Pluralsight (پلورال سایت) pluralsight-small
28 شهریور 1399 (آخرین آپدیت رو دریافت می‌کنید، حتی اگر این تاریخ بروز نباشد.)
-
از 5
دارد
دارد
دارد
Janani Ravi

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Janani Ravi Janani Ravi

معمار و مهندس داده خبره Google Cloud

Janani Ravi یک معمار و مهندس داده خبره Google cloud است.

جنانی مدرک کارشناسی ارشد خود را در رشته مهندسی برق از دانشگاه استنفورد دریافت کرد و برای مایکروسافت، گوگل و فلیپ کارت کار کرده است. او یکی از بنیانگذاران Loonycorn است، یک استودیوی محتوا که بر ارائه محتوای با کیفیت بالا برای توسعه مهارت های فنی متمرکز است، جایی که او عشق خود را به فناوری با اشتیاق خود به تدریس ترکیب می کند.

Pluralsight (پلورال سایت)

Pluralsight یکی از پرطرفدارترین پلتفرم‌های آموزش آنلاین است که به میلیون‌ها کاربر در سراسر جهان کمک می‌کند تا مهارت‌های خود را توسعه دهند و به روز رسانی کنند. این پلتفرم دوره‌های آموزشی در زمینه‌های فناوری اطلاعات، توسعه نرم‌افزار، طراحی وب، مدیریت پروژه، و موضوعات مختلف دیگر را ارائه می‌دهد.

یکی از ویژگی‌های برجسته Pluralsight، محتوای بروز و با کیفیت آموزشی آن است. این پلتفرم با همکاری با توسعه‌دهندگان و کارشناسان معتبر، دوره‌هایی را ارائه می‌دهد که با توجه به تغییرات روزافزون در صنعت فناوری، کاربران را در جریان آخرین مفاهیم و تکنولوژی‌ها نگه می‌دارد. این امر به کاربران این اطمینان را می‌دهد که دوره‌هایی که در Pluralsight می‌پذیرند، با جدیدترین دانش‌ها و تجارب به روز شده‌اند.