آموزش مدیریت داده‌ها با Apache NiFi (۲۰۲۳) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مدیریت داده‌ها با Apache NiFi Data management with Apache NiFi

1. شروع کار با Apache NiFi 1. Getting Started with Apache NiFi

• سیستم‌های macOS و ویندوز: اجرای سرور NiFi macOS and Windows: Starting the NiFi server

• معماری Apache NiFi Apache NiFi architecture

• سیستم macOS: ورود به NiFi macOS: Logging into NiFi

• سیستم macOS: دانلود Apache NiFi macOS: Download Apache NiFi

• پیش‌نیازها Prerequisites

• بررسی رابط کاربری (UI) نای‌فای Exploring the NiFi UI

• مفاهیم اصلی Apache NiFi Apache NiFi core concepts

• سیستم ویندوز: ورود به Apache NiFi Windows: Logging into Apache NiFi

• سیستم ویندوز: دانلود Apache NiFi Windows: Download Apache NiFi

2. ساخت و اجرای جریان‌های داده 2. Building and Running Data Flows

• خلاصه‌های جریان و عملیات جریان داده Flow summaries and flow operations

• افزودن و پیکربندی پردازنده‌ها Adding and configuring processors

• اجرای یک جریان داده Running a dataflow

• ساخت، ذخیره و وارد کردن قالب‌های جریان (Flow Templates) Creating, saving, and importing flow templates

3. ادغام NiFi با PostgreSQL 3. Integrating NiFi with PostgreSQL

• اجرا و مواجهه با خطاهای جریان داده Running and encountering dataflow errors

• پیکربندی سرویس کنترل‌کننده CSVReader Configuring the CSVReader controller service

• اجرای جریان داده برای درج داده‌ها در PostgreSQL Running a dataflow to insert data into PostgreSQL

• پیکربندی زمان‌بندی اجرا (Run schedule) Configuring the Run schedule

• افزودن پردازنده‌های GetFile و PutDatabase Add GetFile and PutDatabase processors

• راه‌اندازی یک جدول PostgreSQL Set up a PostgreSQL table

• پیکربندی سرویس کنترل‌کننده DBConnectionPool Configuring the DBConnectionPool controller service

• پیکربندی پردازنده‌ها برای اجرای کوئری‌های SQL Configure processors to execute SQL queries

• پیکربندی همزمانی وظایف (Task Concurrency) Configuring task concurrency

• پیکربندی پردازنده ReplaceText Configuring the ReplaceText processor

4. بررسی پردازنده‌ها و گروه‌های پردازشی NiFi 4. Exploring NiFi Processors and Process Groups

• پیکربندی پردازنده‌ها برای تبدیل فرمت‌های داده Configure processors to convert data formats

• به‌روزرسانی ویژگی‌ها و نوشتن فایل‌ها Updating attributes and writing files

• اجرای جریان کامل (End to End) Running the end-to-end flow

• اجرای جریان داده با یک گروه پردازشی Running a dataflow with a process group

• ماژولار کردن جریان‌های داده با گروه‌های پردازشی Modularize dataflows with process groups

5. ادغام NiFi با Amazon S3 5. Integrating NiFi with Amazon S3

• اجرای جریان برای خواندن از فایل و نوشتن در دیتابیس و Amazon S3 Running the flow to read from file and write to database and Amazon S3

• خواندن از فایل‌ها و ذخیره‌سازی در دیتابیس Reading from files and storing in a database

• ساخت جدول PostgreSQL، باکت Amazon S3 و کاربر IAM Creating a PostgreSQL table, Amazon S3 bucket, and an IAM user

• پیکربندی پردازنده PutS3Bucket Configure the PutS3Bucket processor

6. استفاده از ویژگی‌های پیشرفته جریان‌های داده NiFi 6. Using Advanced Features of NiFi Dataflows

• راه‌اندازی نظارت (Monitoring) برای جریان داده Setting up monitoring for the dataflow

• هشدارهای ایمیلی هنگام تغییر در وضعیت فعالیت Email alerts on change in activity status

• پیکربندی سیستم هشدار برای جریان داده Configuring alerting for the dataflow

• استفاده از قیف (Funnel) در جریان داده Using a funnel in the dataflow

• پیکربندی پردازنده InvokeHTTP Configuring an InvokeHTTP processor

• پیکربندی فشار معکوس (Back Pressure) Configuring back pressure

• مشاهده اثرات فشار معکوس Observing the effects of back pressure

• هشدارهای ایمیلی در صورت موفقیت جریان داده Email alerts on dataflow success

• اجرای جریان داده برای خواندن از URL و نوشتن در فایل‌ها Running the dataflow to read from URL and write to files

جمع‌بندی Conclusion

• خلاصه و گام‌های بعدی Summary and next steps