آموزش مدیریت داده ها با Apache NiFi

سرفصل ها و درس ها

معرفی Introduction

• مدیریت داده ها با Apache NiFi Data management with Apache NiFi

1. شروع به کار با Apache NiFi 1. Getting Started with Apache NiFi

• پیش نیازها Prerequisites

• مفاهیم اصلی Apache NiFi Apache NiFi core concepts

• معماری Apache NiFi Apache NiFi architecture

• macOS: Apache NiFi را دانلود کنید macOS: Download Apache NiFi

• ویندوز: Apache NiFi را دانلود کنید Windows: Download Apache NiFi

• macOS و Windows: راه اندازی سرور NiFi macOS and Windows: Starting the NiFi server

• macOS: ورود به NiFi macOS: Logging into NiFi

• ویندوز: ورود به Apache NiFi Windows: Logging into Apache NiFi

• کاوش در رابط کاربری NiFi Exploring the NiFi UI

2. ایجاد و اجرای جریان داده ها 2. Building and Running Data Flows

• اضافه کردن و پیکربندی پردازنده ها Adding and configuring processors

• اجرای یک جریان داده Running a dataflow

• خلاصه جریان و عملیات جریان Flow summaries and flow operations

• ایجاد، ذخیره و وارد کردن الگوهای جریان Creating, saving, and importing flow templates

3. یکپارچه سازی NiFi با PostgreSQL 3. Integrating NiFi with PostgreSQL

• یک جدول PostgreSQL تنظیم کنید Set up a PostgreSQL table

• پردازنده های GetFile و PutDatabase را اضافه کنید Add GetFile and PutDatabase processors

• پیکربندی سرویس کنترلر CSVReader Configuring the CSVReader controller service

• پیکربندی سرویس کنترلر DBConnectionPool Configuring the DBConnectionPool controller service

• در حال اجرا و مواجه شدن با خطاهای جریان داده Running and encountering dataflow errors

• پیکربندی پردازنده ReplaceText Configuring the ReplaceText processor

• اجرای یک جریان داده برای درج داده در PostgreSQL Running a dataflow to insert data into PostgreSQL

• پیکربندی برنامه اجرا Configuring the Run schedule

• پیکربندی همزمانی کار Configuring task concurrency

• پردازنده ها را برای اجرای پرس و جوهای SQL پیکربندی کنید Configure processors to execute SQL queries

4. بررسی پردازنده های NiFi و گروه های فرآیند 4. Exploring NiFi Processors and Process Groups

• پردازنده ها را برای تبدیل فرمت های داده پیکربندی کنید Configure processors to convert data formats

• به روز رسانی ویژگی ها و نوشتن فایل ها Updating attributes and writing files

• اجرای جریان سرتاسر Running the end-to-end flow

• مدولار کردن جریان های داده با گروه های فرآیندی Modularize dataflows with process groups

• اجرای یک جریان داده با یک گروه فرآیند Running a dataflow with a process group

5. یکپارچه سازی NiFi با آمازون S3 5. Integrating NiFi with Amazon S3

• ایجاد جدول PostgreSQL، سطل آمازون S3 و کاربر IAM Creating a PostgreSQL table, Amazon S3 bucket, and an IAM user

• خواندن از فایل ها و ذخیره در پایگاه داده Reading from files and storing in a database

• پردازنده PutS3Bucket را پیکربندی کنید Configure the PutS3Bucket processor

• اجرای جریان برای خواندن از فایل و نوشتن در پایگاه داده و آمازون S3 Running the flow to read from file and write to database and Amazon S3

6. استفاده از ویژگی های پیشرفته NiFi Dataflows 6. Using Advanced Features of NiFi Dataflows

• پیکربندی فشار برگشتی Configuring back pressure

• مشاهده اثرات فشار برگشتی Observing the effects of back pressure

• پیکربندی یک پردازنده InvokeHTTP Configuring an InvokeHTTP processor

• استفاده از قیف در جریان داده Using a funnel in the dataflow

• اجرای جریان داده برای خواندن از URL و نوشتن در فایل ها Running the dataflow to read from URL and write to files

• تنظیم نظارت برای جریان داده Setting up monitoring for the dataflow

• در حال پیکربندی هشدار برای جریان داده Configuring alerting for the dataflow

• هشدارهای ایمیل در مورد موفقیت جریان داده Email alerts on dataflow success

• هشدارهای ایمیلی در مورد تغییر وضعیت فعالیت Email alerts on change in activity status

نتیجه Conclusion

• خلاصه و مراحل بعدی Summary and next steps