لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش عملی: استریم دادهها با Apache Kafka در محیط Azure
- آخرین آپدیت
دانلود Hands-On Training: Streaming Data with Apache Kafka on Azure
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
از راهاندازی تا استریم: ساخت راهکارهای واقعی Apache Kafka روی Azure
درک و راهاندازی Apache Kafka
پیادهسازی سرویسها و Topicهای کافکا
استفاده از پایتون برای مصرف دادهها (Consume) از کافکا
استفاده از پایتون برای تولید دادهها (Produce) در Topicهای کافکا
بهکارگیری Apache Kafka در سناریوهای واقعی
پیش نیازها: دانش پایه پایتون یا برنامهنویسی، آشنایی مقدماتی با Azure و Databricks، و درک اولیه از سیستم Unix.
بسیاری از دورههای Apache Kafka مفاهیم را توضیح میدهند اما هرگز نحوه ساخت یک سیستم استریمینگ کامل و واقعیرا نشان نمیدهند.
در این دوره، شما یک خط لوله (Pipeline) استریم دادههای بلادرنگ را از صفربا استفاده از Apache Kafka روی Microsoft Azureخواهید ساخت. از طریق تمرینات عملی، یاد میگیرید که چگونه Kafka را در محیط ابری نصب، پیکربندی و اجرا کنید و سناریوهای واقعی استریم دادهها را پیادهسازی نمایید.
تمرکز این دوره بر «یادگیری از طریق انجام دادن»است. به جای مطالعه صرف تئوری، شما Kafka را روی ماشینهای مجازی Azure مستقر میکنید، دادههای استریم را با پایتون تولید و مصرف میکنید و خط لوله خود را با سرویسهای Azure مانند Azure Data Lake و Azure Databricksیکپارچه خواهید کرد.
در پایان این دوره، درک خواهید کرد که معماریهای استریم بلادرنگ چگونه ساخته میشوند و Apache Kafka چگونه در پلتفرمهای مدرن مهندسی داده به کار میرود.
آنچه خواهید آموخت:
مبانی Apache Kafka درک معماری کافکا شامل بروکرها (Brokers)، تاپیکها (Topics)، پارتیشنها، تولیدکنندگان (Producers) و مصرفکنندگان (Consumers).
استقرار Kafka روی Azure یادگیری نحوه ایجاد و پیکربندی زیرساخت Azure برای اجرای کلاسترهای کافکا روی ماشینهای مجازی.
نصب و پیکربندی عملی Kafka نصب گامبهگام Kafka و Zookeeper و درک نحوه همکاری آنها.
ساخت خط لولههای استریم بلادرنگ ایجاد جریانهای کاری دادههای استریم با استفاده از Producerها و Consumerهای پایتون.
یکپارچهسازی با پلتفرم داده Azure استریم دادهها به Azure Data Lake و پردازش آنها با استفاده از Azure Databricks و Delta Tables.
پروژه استریم جامع (End-to-End) پیادهسازی چندین سناریوی واقعی برای نمایش نحوه پشتیبانی کافکا از پردازش مقیاسپذیر دادههای بلادرنگ.
چرا این دوره را بگذرانید؟
این دوره بر اساس پیادهسازی عملیطراحی شده است، نه فقط توضیحات تئوریک.
شما موارد زیر را انجام خواهید داد:
•استقرار Apache Kafka در محیط واقعی ابری •ساخت یک خط لوله استریم کامل از تولید تا تحلیل •کار با ابزارهای صنعتی مانند Python، Azure Databricks، Delta Tables و Data Lakes •درک نحوه پیادهسازی معماریهای استریم در پروژههای واقعی
در پایان دوره، شما یک معماری کامل استریم داده را با استفاده از Apache Kafka روی Azure ساخته و تست کردهاید.
این دوره برای چه کسانی است؟
این دوره برای افراد زیر ایدهآل است:
•مهندسان داده آیندهکه به دنبال تجربه عملی با تکنولوژیهای استریم هستند •توسعهدهندگانیکه به پردازش بلادرنگ دادهها و معماریهای Event-Driven علاقه دارند •مهندسان ابرکه با Azure و پلتفرمهای داده مدرن کار میکنند •هر کسی که میخواهد بداند Apache Kafka در سناریوهای واقعی مهندسی داده چگونه کار میکند
سرفصل ها و درس ها
شروع دوره
Course Kickoff
چرا یادگیری از طریق انجام دادن؟
Why Learn by Doing?
پنج کاربرد برتر کافکا
Top 5 Kafka Use Cases
مقدمهای کوتاه بر Apache Kafka
Brief Introduction to Apache Kafka
کوییز مقدماتی
Quiz on Introduction
آمادهسازی دوره و انتظارات
Course Preparation and Expectations
اهداف یادگیری دوره
Course Learning Objectives
پیشنیازهای این دوره
Prerequisites for This Course
مروری بر مورد کاربردی (Use Case) دوره
Overview of the Course Use Case
کوییز مورد کاربردی
Quiz on the use Case
مبانی عملی: بخش اول
Hands-On Foundations: Part 1
راهاندازی حساب کاربری Azure
Setting Up Your Azure Account
مفاهیم ضروری برای دانشجویان جدید در Azure
Essential Concepts for New Students in Azure
ایجاد Resource Group در Azure
Creating a Resource Group in Azure
ایجاد ماشین مجازی برای سرور Kafka
Creating a Virtual Machine for Kafka Server
تست اتصال به ماشین مجازی سرور Kafka
Testing Connection to Kafka Server VM
ایجاد ماشین مجازی برای سرور Flask API
Creating a Virtual Machine for Flask API Server
تست اتصال به ماشین مجازی سرور Flask API
Testing Connection to Flask API Server VM
کوییز مبانی عملی
Quiz on Hands-On Foundations
مبانی عملی: بخش دوم
Hands-On Foundations: Part 2
پیکربندی سرور مجازی Flask API
Configuring the Virtual Flask API Server
تست برنامه API در شبکه سرور
Testing API Program on the Server Network
تست برنامه API در سطح جهانی
Testing API Program Globally
آموزش Python Flask API: کدها و مفاهیم
Python Flask API Tutorial: Code and Concepts
مبانی عملی: بخش سوم
Hands-On Foundations: Part 3
ایجاد کاربر در سرور Kafka
Creating a User in the Kafka Server
نصب Java برای Kafka
Installing Java for Kafka
نصب Apache Kafka
Installing Apache Kafka
مرور کلی ساختار پوشههای Ubuntu
High Level of Ubuntu Folder Structure
مبانی عملی: بخش چهارم
Hands-On Foundations: Part 4
راهاندازی سرویس Zookeeper
Setting Up Zookeeper Service
راهاندازی سرویس Kafka
Setting Up Kafka Service
اجرای سرویسهای Zookeeper و Kafka
Starting Zookeeper and Kafka Services
ایجاد یک Topic در کافکا
Creating a Kafka Topic
بهترین روشها برای ایجاد Topic
Best Practices for Topic Creation
تست Producerها و Consumerها با ابزارهای خط فرمان
Testing Producers and Consumers with Command-Line Tools
مصرف دادهها با پایتون
Python Data Consumption
مصرف دادهها با برنامه پایتون روی سرور محلی
Consuming Data Using Python Application on Local Server
مصرف دادهها با برنامه پایتون از منابع خارجی
Consuming Data Using Python Application from External Sources
پیادهسازی سناریوهای کاربردی: بخش اول
Implementing Use Case Scenarios: Part 1
سناریوی ۱: تولید و مصرف فایلهای CSV روی سرور محلی
Scenario 1: Producing & Consuming CSV Files on Local Server
سناریوی ۲: تولید و مصرف دادهها در Data Lake در Azure - بخش اول
Scenario 2: Producing & Consuming Data to Data Lake in Azure - Part 1
سناریوی ۲: تولید و مصرف دادهها در Data Lake در Azure - بخش دوم
Scenario 2: Producing & Consuming Data to Data Lake in Azure - Part 2
پیادهسازی سناریوهای کاربردی: بخش دوم
Implementing Use Case Scenarios-part 2
نمایش نظرات