آموزش مدیریت داده های جریانی با تجزیه و تحلیل داده های AWS Kinesis با استفاده از جاوا

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

مدیریت داده های جریانی با استفاده از Apache Flink Runtime Handling Streaming Data Using the Apache Flink Runtime

• بررسی نسخه Version Check

• پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

• تجزیه و تحلیل داده های Kinesis و اتصال دهنده ها Kinesis Data Analytics and Connectors

• نسخه ی نمایشی: تنظیم محیط محلی Demo: Setting up the Local Environment

• نسخه ی نمایشی: راه اندازی یک پروژه Apache Maven Demo: Setting up an Apache Maven Project

• نسخه ی نمایشی: راه اندازی یک حساب توسعه دهنده توییتر و ایجاد کلید Demo: Setting up a Twitter Developer Account and Generating Keys

• نسخه ی نمایشی: انتشار پیام های توییتر به جریان های داده Kinesis Demo: Publishing Twitter Messages to Kinesis Data Streams

• نسخه ی نمایشی: پردازش توییت ها با استفاده از Apache Flink Demo: Processing Tweets Using Apache Flink

• نسخه ی نمایشی: ایجاد یک برنامه تجزیه و تحلیل داده های Kinesis Demo: Creating a Kinesis Data Analytics Application

• نسخه ی نمایشی: پیکربندی سیاست ها برای برنامه تجزیه و تحلیل داده های Kinesis Demo: Configuring Policies for the Kinesis Data Analytics Application

• نسخه ی نمایشی: اجرای برنامه تجزیه و تحلیل داده های Kinesis Demo: Running the Kinesis Data Analytics Application

• نسخه ی نمایشی: به روز رسانی شروع و توقف برنامه با استفاده از CLI Demo: Updating Starting and Stopping Application Using the CLI

• نسخه ی نمایشی: غرق شدن نتایج پردازش شده به جریان داده های Kinesis Demo: Sinking Processed Results to a Kinesis Data Stream

• نسخه ی نمایشی: پیکربندی ویژگی های زمان اجرا برنامه Demo: Configuring Application Runtime Properties

• نسخه ی نمایشی: پیکربندی یک جریان تحویل Kinesis Firehose برای ارائه نتایج به S3 Demo: Configuring a Kinesis Firehose Delivery Stream to Deliver Results to S3

نظارت بر مشاغل با استفاده از CloudWatch Monitoring Jobs Using CloudWatch

• Cloud Watch برای نظارت و ثبت گزارش Cloud Watch for Monitoring and Logging

• نسخه ی نمایشی: مشاهده گزارش ها برای یک برنامه تجزیه و تحلیل داده های Kinesis Demo: Viewing Logs for a Kinesis Data Analytics Application

• نسخه ی نمایشی: جستجوی گزارش ها با استفاده از گزارش های بینش Demo: Querying Logs Using Logs Insights

• نسخه ی نمایشی: مشاهده معیارها با استفاده از Cloud Watch Demo: Viewing Metrics Using Cloud Watch

• نسخه ی نمایشی: هشتگ ها، نام های صفحه و تعداد دنبال کنندگان را از توییت ها استخراج کنید Demo: Extract Hashtags, Screen Names, and Followers Count from Tweets

• نسخه ی نمایشی: پیکربندی Log Group، Log Stream و Permissions برای یک برنامه Kinesis Data Analytics Demo: Configure the Log Group, Log Stream, and Permissions for a Kinesis Data Analytics Application

• نسخه ی نمایشی: مجوزها را برای اجازه دادن به CLI برای مرتبط کردن نقش با یک برنامه پیکربندی کنید Demo: Configure Permissions to Allow the CLI to Associate a Role with an Application

• نسخه ی نمایشی: استقرار یک برنامه با استفاده از CLI Demo: Deploying an Application Using the CLI

• نسخه ی نمایشی: خطاهای اشکال زدایی در کد با استفاده از گزارش های Cloud Watch Demo: Debugging Errors in Code Using Cloud Watch Logs

• نسخه ی نمایشی: مشاهده معیارهای سفارشی در Cloud Watch Demo: Viewing Custom Metrics in Cloud Watch

پردازش فیدهای توییتر با استفاده از عملیات پنجره Processing Twitter Feeds Using Windowing Operations

• نسخه ی نمایشی: استخراج زمان رویداد از موجودیت های جریانی Demo: Extracting Event Time from Streaming Entities

• نسخه ی نمایشی: کم کردن ویندوز با استفاده از زمان رویداد Demo: Tumbling Windows Using Event Time

• نسخه ی نمایشی: اجازه داده های خارج از سفارش و دیرهنگام Demo: Allowing out of Order and Late Data

• نسخه ی نمایشی: ویندوز کشویی با تاخیر مجاز Demo: Sliding Windows with Allowed Lateness

• نسخه ی نمایشی: جلسه ویندوز با استفاده از زمان رویداد Demo: Session Windows Using Event Time

• نسخه ی نمایشی: زمان پردازش غلتکی ویندوز Demo: Tumbling Processing Time Windows

• نسخه ی نمایشی: جهانی Windows and Count Triggers Demo: Global Windows and Count Triggers

• نسخه ی نمایشی: ویندوز جهانی و محرک های زمان رویداد پیوسته Demo: Global Windows and Continuous Event Time Triggers

پردازش فیدهای توییتر با استفاده از عملیات Join Processing Twitter Feeds Using Join Operations

• نسخه ی نمایشی: پیاده سازی خط لوله انشعاب Demo: Implementing a Branching Pipeline

• نسخه ی نمایشی: یک AWS Lambda برای نوشتن نتایج پردازش شده در Dynamo DB ایجاد کنید Demo: Create an AWS Lambda to Write Processed Results to Dynamo DB

• نسخه ی نمایشی: استقرار و اجرای یک خط لوله انشعاب و مشاهده نتایج Demo: Deploying and Running a Branching Pipeline and Viewing Results

• نسخه ی نمایشی: پیاده سازی اتصالات در جریان داده Demo: Implementing Joins on Data Streams

• نسخه ی نمایشی: عملیات پیوستن را با استفاده از تجزیه و تحلیل داده های Kinesis انجام دهید Demo: Perform Joining Operations Using Kinesis Data Analytics

• خلاصه و مطالعه بیشتر Summary and Further Study