دوره جامع آپاچی نیفا: از مبتدی تا پیشرفته - سناریوهای واقعی تولید

8+ ساعت یادگیری عمیق برای تبدیل شدن به یک متخصص مدیریت جریان داده آپاچی نیفا

این دوره تمام آن چیزی است که برای تسلط بر جریان‌های داده آپاچی نیفا نیاز دارید. مناسب برای هر دو گروه مبتدی و پیشرفته.

این دوره به شما کمک می‌کند تا درک عمیقی از نیفا به دست آورید و با سناریوهای واقعی جریان داده در محیط‌های تولید آشنا شوید.

محتوای دوره آپاچی نیفا

نصب و راه‌اندازی نیفا

• نصب نیفا در ویندوز و لینوکس
• نصب NiFi Registry و راه‌اندازی کنترل نسخه برای چرخه حیات توسعه
• مرور کلی و رابط کاربری نیفا
• آشنایی با اصطلاحات کلیدی نیفا

پردازشگرهای (Processors) نیفا

• خواندن فایل‌های منبع و نوشتن در مقصد
• درک تعریف اسکیمای Avro
• تبدیل داده با استفاده از پردازشگر به‌روزرسانی (Update Processor)
• خواندن فایل‌های CSV، انجام جستجو و پارتیشن‌بندی
• غنی‌سازی داده با افزودن ستون‌های جدید
• توابع کاربردی نیفا
• پارتیشن‌بندی رکوردها بر اساس ستون‌ها
• پردازشگر SplitRecord در نیفا
• تقسیم فایل‌های بزرگ به فایل‌های کوچک‌تر قبل از انتقال
• آشنایی با پردازشگرهای مرتبط با JSON

مدیریت داده‌های تکراری

• مدیریت داده‌های تکراری در سطح فایل
• مدیریت داده‌های تکراری در سطح رکورد

کار با کلان داده (Big Data)

• نوشتن داده در Hbase
• نوشتن داده در Hadoop HDFS

خواندن و نوشتن داده در پایگاه‌های داده

• خواندن داده از پایگاه داده H2
• خواندن و نوشتن داده با PostgreSQL
• خواندن و نوشتن داده در پایگاه داده Oracle
• خواندن داده افزایشی از جدول پایگاه داده

اسکریپت‌های سفارشی

• اجرای اسکریپت پایتون سفارشی

نکات مهم دیگر

• استفاده از کوئری SQL در نیفا
• دریافت داده از طریق پروتکل HTTP
• پردازشگرهای HandleHttpRequest و HandleHttpResponse
• خواندن داده‌های جریانی (Streaming Data) از طریق پروتکل HTTP، ادغام و پردازش آن‌ها

سازماندهی جریان‌ها و مدیریت نسخه

• راه‌اندازی NiFi Registry و کنترل نسخه کد
• ایجاد الگوها (Templates) و اشتراک‌گذاری جریان‌ها
• ایجاد استراتژی جریان داده قابل استفاده مجدد

داده‌های پیشینه (Provenance) نیفا

• خواندن داده‌های پیشینه نیفا
• استفاده از پردازشگرهای CountText، LogAttribute، LogMessage و AttributeToCSV
• فعال‌سازی داده‌های حسابرسی با خواندن NiFi Provenance Repository

آشنایی با خوشه‌بندی (Clustering) نیفا

پیش‌نیازها:

• آشنایی با مفاهیم رایج انبار داده به درک آسان‌تر برخی درس‌ها کمک می‌کند.
• اشتیاق برای یادگیری فناوری‌های جدید.

در نهایت، یک دوره کامل آپاچی نیفا که در سال 2024 به‌طور کامل به‌روزرسانی شده است. در این دوره با موارد زیر آشنا خواهید شد:

امیدواریم این دوره به شما در رسیدن به هدفتان کمک کند. لطفاً هر موضوع دیگری را که مایلید به این دوره اضافه شود، به ما اطلاع دهید.