آموزش دوره کامل کارشناسی ارشد Apache NiFi - HDP - Automation ETL

سرفصل ها و درس ها

معرفی آپاچی نیفی Introduction to Apache Nifi

• معرفی Introduction

• معرفی آپاچی نیفی Apache Nifi Introduction

• جریان داده مقدمه - ویژگی های کلیدی Dataflow Introduction - Key Features

• نصب اولیه Basic Installation

• مقدمه اصطلاحات Terminology Introduction

• معرفی رابط کاربری - با رابط کاربری Apache Nifi بازی کنید UI Introduction - Play with Apache Nifi User Interface

معرفی آپاچی نیفی Introduction to Apache Nifi

مرحله اول کودک - نسخه نمایشی فایل جریان First Baby Step - Flow file Demo

• گردش کار ساده ایجاد کنید Create Simple Workflow

مرحله اول کودک - نسخه نمایشی فایل جریان First Baby Step - Flow file Demo

پردازنده ها و اتصالات Processors and Connections

• دسته پردازنده Processor Category

• پیکربندی اتصال Connection configuration

• تنظیمات پیکربندی پردازنده Processor Configuration Settings

• زمانبندی پیکربندی پردازنده Processor Configuration Scheduling

• ویژگی پیکربندی پردازنده Processor Configuration Property

پردازنده ها و اتصالات Processors and Connections

مرحله بعدی به Flowfile Next Step into Flowfile

• کار با ویژگی ها Working with Attributes

• سیاهههای مربوط به پیکربندی و مانیتورینگ لاگ Log Configuration and Monitoring Logs

• رسیدگی به شکست ها Handling Failures

• کار با قالب ها Working With Templates

مرحله بعدی به Flowfile Next Step into Flowfile

یکپارچه سازی Apache Nifi با سیستم پیام رسانی توزیع شده - Apache Kafka Integrating Apache Nifi with Distributed Messaging System - Apache Kafka

• معرفی سریع و نسخه ی نمایشی آپاچی کافکا Apache Kafka Quick Introduction and Demo

• نیفی به عنوان تهیه کننده Nifi As Producer

• نیفی به عنوان مصرف کننده Nifi As Consumer

یکپارچه سازی Apache Nifi با سیستم پیام رسانی توزیع شده - Apache Kafka Integrating Apache Nifi with Distributed Messaging System - Apache Kafka

گروه فرآیند و قیف Process group and Funnel

• گروه فرآیند - پورت های ورودی و خروجی Process group - Input and Output ports

• دوشاخه قیف Funnel Forking

• ترکیب قیفی Funnel Combine

گروه فرآیند و قیف Process group and Funnel

نظارت و منشأ Monitoring and Provenance

• نظارت و آمار نیفی Nifi Monitoring and Statistics

• منشأ داده Data Provenance

نظارت و منشأ Monitoring and Provenance

پردازش داده های ساخت یافته Structured Data Processing

• داده های جدول MySQL را به صورت Avro و JSON بخوانید Read MySQL Table data as Avro and JSON

• CSV را به JSON تبدیل کنید Transform CSV to JSON

• مدیریت وضعیت با MySQL و Incremental Fetch Managing state with MySQL and Incremental Fetch

• CSV را با استفاده از طرحواره پویا به JSON تبدیل کنید Transform CSV to JSON using dynamic schema

پردازش داده های ساخت یافته Structured Data Processing

رجیستری نیفی Nifi Registry

• رجیستری آپاچی نیفی - مقدمه Apache Nifi Registry - Introduction

• رجیستری Nifi به عنوان سیستم کنترل نسخه Nifi Registry as Version Control System

رجیستری نیفی Nifi Registry

خوشه نیفی Nifi Cluster

• نصب و پیکربندی کلاستر Cluster Installation and Configuration

• دمو فایل Cluster Flow Cluster Flow File Demo

خوشه نیفی Nifi Cluster

Nifi و Bigdata Ecosysem Nifi and Bigdata Ecosysem

• تعامل Nifi HDFS Nifi HDFS Interaction

• تعامل کندو نیفی Nifi Hive Interaction

Nifi و Bigdata Ecosysem Nifi and Bigdata Ecosysem

پردازنده های HTTP HTTP Processors

• معرفی پردازنده HTTP HTTP Processor Introduction

• پردازشگر GetHTTP GetHTTP Processor

• راه اندازی پردازشگر PostHTTP و سرویس زمینه SSL PostHTTP Processor and SSL Context Service setup

• گوش دادن به پردازنده HTTP ListenHTTP Processor

• پردازشگر InvokeHTTP بدون SSL InvokeHTTP Processor without SSL

• فراخوانی HTTP با SSL InvokeHTTP with SSL

پردازنده های HTTP HTTP Processors

Nifi و AWS Nifi and AWS

• AWS S3 Object را با پردازنده PutS3Object اضافه می کند AWS S3 add Object with PutS3Object Processor

• اشیاء لیست AWS S3 با پردازنده ListS3 AWS S3 list objects with ListS3 Processor

• AWS S3 اضافه کردن شی - با استفاده از سرویس AWS Controller AWS S3 add object - using AWS Controller service

Nifi و AWS Nifi and AWS

پایگاه داده Nifi و NoSQL Nifi and NoSQL Database

• Mongo DB رکوردها را با Nifi گذاشت Mongo DB put records with Nifi

پایگاه داده Nifi و NoSQL Nifi and NoSQL Database

نیفی و آپاچی سولر Nifi and Apache Solr

• Apache Solr معرفی، نصب و پیکربندی Apache Solr Introduction, Installation and Configuration

• نسخه نمایشی جریان محتوای Apache Solr Apache Solr Content Stream Demo

نیفی و آپاچی سولر Nifi and Apache Solr

پردازنده سفارشی و کنترل کننده سفارشی Custom Processor and Custom Controller

• راه اندازی پروژه با Maven و Eclipse Project setup with Maven and Eclipse

• ساخت پروژه و تولید فایل nar Build project and generate nar file

• نمونه گردش کار را با پردازنده سفارشی ایجاد کنید و اعتبار سنجی کنید Create sample workflow with custom processor and validate

• کنترل کننده سفارشی ایجاد کنید Create Custom Controller

• از کنترلر سفارشی در پردازنده سفارشی استفاده کنید Use custom controller within custom processor

پردازنده سفارشی و کنترل کننده سفارشی Custom Processor and Custom Controller

موارد استفاده عملی Practical Use Cases

• مورد استفاده 1: داده ها را از fordgobike استخراج کنید، آن را تبدیل و در HDFS به عنوان CSV ذخیره کنید Use case 1 : Extract data from fordgobike, transform and store it in HDFS as CSV

• استفاده از مورد 2: قسمت 1: استخراج داده های توییتر به Apache Solr Use Case 2 : Part 1 : Extract Twitter data to Apache Solr

• Uase Case 2: Part 2: داده های توییتر را با استفاده از Banana Dashboard تجسم کنید Uase Case 2 : Part 2 : Visualize Twitter data using Banana Dashboard

موارد استفاده عملی Practical Use Cases

منابع مرجع Reference Resources

• داده های تست استفاده شده Test Data used

• اسلایدهای دوره Course Slides

منابع مرجع Reference Resources

سخنرانی پاداش Bonus Lecture

• کوپن ویژه برای پیوستن به دوره های دیگر من Special coupon to join my other courses

سخنرانی پاداش Bonus Lecture