آموزش سری آپاچی کافکا - نظارت و عملیات کافکا

سرفصل ها و درس ها

نمای کلی و مقدمه دوره Course Overview and Introduction

• بررسی اجمالی دوره Course Overview

• پیام مهم Important Message

• در مورد مربی شما About your instructor

نمای کلی و مقدمه دوره Course Overview and Introduction

دانلود کد Code Download

• دانلود کد Code Download

دانلود کد Code Download

راه اندازی سریع کافکا در AWS Kafka Quick Setup in AWS

• AWS CloudFormation چیست؟ What is AWS CloudFormation

• معماری و راه اندازی هدف Target Architecture and Setup

• ایجاد حساب AWS و هزینه آموزش Create AWS Account & Cost of Tutorial

• [Hands On] Zookeeper را با استفاده از CloudFormation مستقر کنید [Hands-On] Deploy Zookeeper Using CloudFormation

• [Hands On] کافکا را با استفاده از CloudFormation مستقر کنید [Hands-On] Deploy Kafka Using CloudFormation

• [دستی] مروری بر خوشه باغ وحش ما [Hands-On] Overview of our Zookeeper Cluster

• [Hands On] مروری بر خوشه کافکا ما [Hands-On] Overview of our Kafka Cluster

• [دست روی] توقف خوشه کافکا [Hands-On] Stopping the Kafka Cluster

راه اندازی سریع کافکا در AWS Kafka Quick Setup in AWS

راه اندازی مدیریت کافکا Kafka Administration Setup

• [Hands-On] بررسی اجمالی و راه اندازی دستگاه مانیتورینگ [Hands-On] Overview and Setup of Monitoring Machine

• مهم: امنیت IMPORTANT: Security

• راه اندازی Zoonavigator [دست روی] [Hands-On] Setup Zoonavigator

• [Hands On] راه اندازی Kafka Manager [Hands-On] Setup Kafka Manager

• مانیتور کافکا را راه اندازی کنید [Hands-On] Setup Kafka Monitor

• برگه تقلب دستورات Commands Cheat Sheet

راه اندازی مدیریت کافکا Kafka Administration Setup

راه اندازی مانیتورینگ کافکا: Grafana + Prometheus Kafka Monitoring Setup: Grafana + Prometheus

• مروری بر نظارت Overview of Monitoring

• [Hands On] راه اندازی Prometheus + Kafka Broker 1 [Hands-On] Setting up Prometheus + Kafka Broker 1

• [تمرین] بروکر 2 و 3 راه اندازی پرومتئوس [Exercise] Broker 2 & 3 Prometheus Setup

• [راه حل] بروکر 2 و 3 راه اندازی پرومتئوس [Solution] Broker 2 & 3 Prometheus Setup

• [تمرین] راه اندازی Zookeeper & Prometheus [Exercise] Zookeeper & Prometheus Setup

• [راه حل] راه اندازی Zookeeper & Prometheus [Solution] Zookeeper & Prometheus Setup

• [Hands On] Grafana را روی سرور مدیریت راه اندازی کنید [Hands-On] Setup Grafana on Administration Server

• [Hands On] داشبورد کافکا را در Grafana راه اندازی کنید [Hands-On] Setup Kafka Dashboard on Grafana

• معیارهای مهم برای نظارت Important Metrics to monitor

• [دستی] اضافه کردن نمودارها به Grafana [Hands-On] Adding Graphs to Grafana

• [تمرین] اضافه کردن نمودارهای بیشتر به Grafana [Exercise] Adding more graphs to Grafana

• [راه حل] اضافه کردن نمودارهای بیشتر به Grafana [Solution] Adding more graphs to Grafana

• داشبورد Grafana را در کد پیدا کنید Find Grafana dashboard in the code

• در مورد نظارت بر Kafka Connect، Kafka Streams و غیره چطور؟ What about monitoring Kafka Connect, Kafka Streams, etc?

• [دست روی] مشاهده Grafana هنگامی که ما یک دلال را می کشیم [Hands-On] Observing Grafana when we kill a broker

• ملاحظاتی برای آماده ساختن تولید راه اندازی Considerations to make the setup production-ready

راه اندازی مانیتورینگ کافکا: Grafana + Prometheus Kafka Monitoring Setup: Grafana + Prometheus

عملیات کافکا Kafka Operations

• [Hands On] Agent Jolokia را روی Broker 1 نصب کنید [Hands-On] Install Jolokia Agent on Broker 1

• [تمرین] Jolokia را روی Broker 2 و 3 نصب کنید [Exercise] Install Jolokia on Broker 2 & 3

• [راه حل] Jolokia را در بروکر 2 و 3 نصب کنید [Solution] Install Jolokia on Broker 2 & 3

• [Hands-On] اسکریپت Rolling Restart را نصب کنید [Hands-On] Install Rolling Restart Script

• [Hands-On] اسکریپت راه اندازی مجدد رول را اجرا کنید [Hands-On] Run Roll Restart Script

• [Hands On] به‌روزرسانی پیکربندی‌ها روش اول (راه‌اندازی مجدد چرخشی) [Hands-On] Updating Configurations 1st method (rolling restart)

• [Hands On] به روز رسانی تنظیمات روش دوم (فرمان kafka-configs) [Hands-On] Updating Configurations 2nd method (kafka-configs command)

• [Hands-On] تعادل مجدد پارتیشن ها با استفاده از دستورات ساده و JSON [Hands-On] Rebalancing Partitions using plain commands and JSON

• [دستی] تعادل مجدد پارتیشن ها با استفاده از Kafka Manager [Hands-On] Rebalancing Partitions using Kafka Manager

• [دستی] تعادل مجدد پارتیشن ها با استفاده از ابزارهای LinkedIn [Hands-On] Rebalancing Partitions using LinkedIn tools

• [Hands-On] افزایش ضریب تکرار با استفاده از دستورات ساده و JSON [Hands-On] Increasing Replication Factor using plain commands and JSON

• [Hands-On] افزایش ضریب تکرار با استفاده از ابزارهای LinkedIn [Hands-On] Increasing Replication Factor using LinkedIn tools

• [Hands On] افزودن Broker 4 با استفاده از CloudFormation [Hands-On] Adding Broker 4 using CloudFormation

• [تمرین] انتقال پارتیشن ها به Broker 4 با استفاده از ابزار CLI [Exercise] Moving partitions over to Broker 4 using the CLI tools

• [راه حل] انتقال پارتیشن ها به Broker 4 با استفاده از ابزار CLI [Solution] Moving partitions over to Broker 4 using the CLI tools

• [Hands-On] جایگزینی یک کارگزار با حفظ حجم EBS [Hands-On] Replacing a Broker keeping EBS Volume

• [Hands On] جایگزینی بروکری که حجم EBS را از دست داده است [Hands-On] Replacing a Broker losing an EBS Volume

• حذف نمای کلی کارگزار Removing a Broker Overview

• [تمرین] حذف بروکر 4 [Exercise] Remove Broker 4

• [راه حل] حذف بروکر 4 [Solution] Remove Broker 4

عملیات کافکا Kafka Operations

ارتقاء خوشه کافکا Kafka Cluster Upgrade

• ارتقاء نمای کلی خوشه کافکا Upgrading a Kafka Cluster Overview

• [پیشرفته] تبدیل صفر کپی، بالا و پایین [Advanced] Zero Copy, Up and Down Conversions

• مرحله 1 ارتقاء بروکر کافکا [Hands-On] Kafka Broker Upgrade Step 1

• مرحله 2 ارتقاء بروکر کافکا [Hands-On] Kafka Broker Upgrade Step 2

• مرحله 3 ارتقاء بروکر کافکا [Hands-On] Kafka Broker Upgrade Step 3

• مرحله 4 ارتقاء بروکر کافکا [Hands-On] Kafka Broker Upgrade Step 4

• مرحله 5 ارتقاء بروکر کافکا [Hands-On] Kafka Broker Upgrade Step 5

ارتقاء خوشه کافکا Kafka Cluster Upgrade

مراحل بعدی Next Steps

• تمیز کردن AWS Cleaning up AWS

• مراحل بعدی و تبریک! Next Steps & Congratulations!

• متشکرم! THANK YOU!

• سخنرانی پاداش Bonus Lecture

مراحل بعدی Next Steps