آموزش مدیریت داده‌ها با Apache NiFi - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• پیش‌نیازها Prerequisites

• مدیریت داده‌ها با Apache NiFi Data management with Apache NiFi

1. نصب و راه‌اندازی Apache NiFi 1. Installing and Setting up Apache NiFi

• معماری Apache NiFi Apache NiFi architecture

• مک و ویندوز: استارت سرور NiFi Mac OS and Windows: Start the NiFi server

• بررسی رابط کاربری (UI) نی‌فای Explore the NiFi UI

• مفاهیم اصلی Apache NiFi Apache NiFi core concepts

• ویندوز: دانلود Apache NiFi Windows: Download Apache NiFi

• مک: دانلود Apache NiFi Mac OS: Download Apache NiFi

• مک و ویندوز: بازنشانی رمز عبور و ورود به Apache NiFi Mac OS and Windows: Reset password and log into Apache NiFi

2. ساخت و اجرای جریان‌های داده 2. Building and Running Dataflows

• اجرای اولین جریان داده Run our first dataflow

• خلاصه‌ جریان‌ها و عملیات جریان Flow summaries and flow operations

• افزودن و پیکربندی پردازشگرها Add and configure processors

3. تقسیم و ادغام FlowFileها 3. Splitting and Merging FlowFiles

• ترتیب فایل‌ها در یک اتصال Order files in a connection

• اجرا و مشاهده تقسیم فایل‌ها Run and observe file splits

• ادغام محتوا در یک فایل واحد Merge content into a single file

• فایل flow.json.fz The flow.json.fz file

• تقسیم فایل‌های جریان به چندین فایل Split flow files into multiple files

• دانلود تعریف جریان (Flow Definition) Download the flow definition

4. یکپارچه‌سازی NiFi با PostgreSQL 4. Integrating NiFi with PostgreSQL

• راه‌اندازی جدول PostgreSQL Set up a PostgreSQL table

• پیکربندی پردازشگر ReplaceText Configure the ReplaceText processor

• پیکربندی سرویس کنترل‌کننده DBCP Connection Pool Configure the DBCP connection pool controller service

• افزودن پردازشگرهای Get File و Put Database Add get file and put database processors

• اجرای جریان داده برای درج داده‌ها در PostgreSQL Run the dataflow to insert data into PostgreSQL

• اجرا و مواجهه با خطاهای جریان داده Run and encounter dataflow errors

• پیکربندی هم‌روندی تسک‌ها (Task Concurrency) Configure task concurrency

• پیکربندی زمان‌بندی اجرا Configure the run schedule

• پیکربندی سرویس کنترل‌کننده CSV Reader Configure the CSV reader controller service

5. اجرای کوئری‌های SQL در NiFi 5. Executing SQL Queries in NiFi

• اجرای جریان داده با یک گروه پردازشی Run a dataflow with a process group

• پیکربندی PutSQL برای عملیات DML Configure PutSQL for DML operations

• تبدیل بین فرمت‌های مختلف داده Convert between data formats

• اجرای کامل جریان از ابتدا تا انتها Run the flow end-to-end

• اجرای دستورات SQL و تبدیل فرمت‌های نوشتاری Execute SQL commands and convert write formats

• به‌روزرسانی ویژگی‌ها (Attributes) و نوشتن فایل‌ها Update attributes and writing files

• ماژولار کردن جریان‌های داده با گروه‌های پردازشی Modularize dataflows with process groups

6. یکپارچه‌سازی NiFi با Amazon S3 6. Integrating NiFi with Amazon S3

• راه‌اندازی سرویس کنترل‌کننده AWS Credential Provider Set up the AWS credential provider controller service

• پیکربندی پردازشگر PutS3Object Configure the PutS3Object processor

• ایجاد جدول PostgreSQL، باکت Amazon S3 و کاربر IAM Create a PostgreSQL table, Amazon S3 bucket, and an IAM user

• خواندن از سیستم فایل، فیلتر کردن رکوردها و نوشتن در Amazon S3 Read from the file system, filter records, and write to Amazon S3

• خواندن از فایل‌ها و ذخیره در پایگاه داده Read from files and store in a database

7. استفاده از قابلیت‌های پیشرفته جریان‌های داده NiFi 7. Using Advanced Features of NiFi Dataflows

• استفاده از قیف (Funnel) در جریان داده Use a funnel in the dataflow

• مشاهده اثرات فشار معکوس (Backpressure) Observe the effects of backpressure

• اجرای جریان داده برای خواندن از یک URL و نوشتن در فایل‌ها Run a dataflow to read from a URL and write to files

• پیکربندی فشار معکوس Configure backpressure

• پیکربندی پردازشگر InvokeHTTP Configuring an InvokeHTTP processor

8. نظارت و سیستم هشدار در NiFi 8. Monitoring and Alerting in NiFi

• هشدارهای ایمیلی هنگام تغییر وضعیت فعالیت Email alerts on change in activity status

• راه‌اندازی نظارت (Monitoring) برای جریان داده Set up monitoring for the dataflow

• هشدارهای ایمیلی در صورت موفقیت جریان داده Email alerts on dataflow success

• پیکربندی سیستم هشدار برای جریان داده Configure alerting for the dataflow

جمع‌بندی Conclusion

• خلاصه و گام‌های بعدی Summary and next steps