آموزش Pentaho برای ETL & Data Integration Masterclas 2023 - PDI 9

سرفصل ها و درس ها

معرفی Introduction

• به دوره خوش آمدید Welcome to the course

• منابع دوره Course Resources

نصب و راه اندازی Pentaho Data Integration (PDI) Pentaho Data Integration (PDI) Installation and Setup

• راه اندازی محیط و نصب PDI Setting up environment and installing PDI

• این یک نقطه عطف است! This is a milestone!

• قاشق باز کردن - رابط کاربری گرافیکی Opening Spoon - The Graphical UI

تظاهرات ساده ETL A Simple ETL Demonstration

• مثال بیان مسئله The example problem statement

• نمایش تحول PDI Demonstration of a PDI transformation

• نمایش کار PDI Demonstration of a PDI Job

مفاهیم اساسی - نظریه برای درک بنیادی Basic concepts - Theory for foundational understanding

• ETL چیست؟ What is ETL?

• Data Warehouse ، Ops Database و Data mart Data Warehouse, Ops Database and Data mart

• درک خود را بررسی کنید Check your understanding

• معماری Inmon vs Kimball Inmon vs Kimball Architecture

• ETL در مقابل ELT ETL vs ELT

فرایند ETL: بخش عملی در اینجا شروع می شود The ETL process: The practical part begins here

• داده ها و فرایند ETL Data and the ETL process

استخراج داده ها: استخراج داده های جدولی DATA EXTRACTION: Extracting tabular data

• وارد کردن داده ها به PDI Manually entering data into PDI

• وارد کردن داده ها از یک فایل TXT (متن) Inputting Data from a TXT (text) file

• ورودی از چندین فایل CSV به طور همزمان Input from multiple CSV files at the same time

• وارد کردن اطلاعات از یک فایل اکسل Inputting Data from an Excel file

• استخراج اطلاعات از فایل های فشرده شده Extracting Data from Zipped files

استخراج داده ها: استخراج داده های غیر جدولی DATA EXTRACTION: Extracting non-tabular data

• استخراج از XML Extracting from XML

• استخراج از JSON Extracting from JSON

استخراج از یک جدول SQL Extracting from an SQL table

• برنامه ای برای وارد کردن داده های فروش Plan for importing sales Data

• برنامه ریزی برای واردات داده های فروش Plan for importing sales data

• نصب PostgreSQL و pgAdmin در رایانه شخصی Installing PostgreSQL and pgAdmin in your PC

• نصب و راه اندازی PostgreSQL Installing and setting up PostgreSQL

• ایجاد جدول فروش در SQL Creating Sales table in SQL

• استخراج از یک جدول SQL Extracting from an SQL table

ذخیره و بازیابی اطلاعات از ذخیره سازی ابر Storing and Retrieving Data from Cloud storage

• ذخیره اطلاعات در AWS S3 Storing Data on AWS S3

• خواندن داده ها از AWS S3 Reading data from AWS S3

ادغام جریان داده ها Merging Data Streams

• مفاهیم: ادغام جریان داده ها Concepts: Merging Data Streams

• مرحله ادغام مرتب شده - ادغام داده های مشتری Sorted Merge Step - Merging customer data

• ادغام داده های محصول Merging product data

• وقت آن است که درک خود را بررسی کنید Time to check your understanding

• افزودن جریان داده - ادغام داده های فروش Append data stream - merging sales data

• وقت آن است که درک خود را بررسی کنید Time to check your understanding

پاک کردن داده Data Cleansing

• مقدمه ای بر پاکسازی داده ها Introduction to Data Cleansing

• مرحله نگاشت ارزش Value Mapper Step

• در String Step جایگزین کنید Replace in String Step

• وقت آن است که درک خود را بررسی کنید Time to check your understanding

• مفاهیم بازی فازی Fuzzy Match concepts

• مرحله تطابق فازی در PDI Fuzzy Match Step in PDI

• الگوریتم های تطابق فازی Fuzzy Match Algorithms

• وقت آن است که درک خود را بررسی کنید Time to check your understanding

• مرحله فرمول و تغییر فرمت داده ها Formula Step and changing data format

• مراحل رایج پاکسازی داده ها Common Data Cleaning Steps

• امتحان Quiz

اعتبار سنجی داده ها Data Validation

• مقدمه ای بر اعتبارسنجی داده ها Introduction to Data validation

• Data_validation 1 - اعتبارسنجی رشته به Int و محدوده عدد صحیح Data_validation 1 - String-to-Int and integer range validations

• اعتبارسنجی داده 2 - بررسی مقادیر مرجع با استفاده از جستجوی جریان Data validation 2 - Checking Reference Values using stream look-up

• اعتبارسنجی داده ها 3 - تاریخ سفارش <تاریخ ارسال با استفاده از مرحله ماشین حساب Data validation 3 - Order date < shipping date using calculator step

• مراحل رایج اعتبارسنجی داده ها Common Data Validation steps

رسیدگی به خطا Error Handling

• تصحیح خطاها و ادغام با جریان اصلی Correcting the errors and merging with main stream

• وقت آن است که درک خود را بررسی کنید Time to check your understanding

• نوشتن خطاها در گزارش Writing the errors to the log

• وقت آن است که درک خود را بررسی کنید Time to check your understanding

• نوشتن خطاها در یک فایل جداگانه Writing the errors to a separate file

• وقت آن است که درک خود را بررسی کنید Time to check your understanding

مراحل تحول و تجزیه و تحلیل Transformation and Analytics steps

• الحاق فیلدهای آدرس Concatenating Address Fields

• تجمیع داده ها با استفاده از Group-by Data Aggregation using Group-by

• عادی سازی و غیرعادی سازی Normalization and Denormalization

• مرحله محدوده اعداد Number Range Step

اتصال PDI SQL PDI SQL Connection

• مقدمه ای بر اتصال PDI - SQL Introduction to PDI - SQL connection

• خواندن و فیلتر کردن داده ها از DB به PDI Reading and filtering data from DB into PDI

• به روز رسانی و درج داده ها به DB از PDI Updating and Inserting data into DB from PDI

• حذف داده ها از SQL DB با استفاده از PDI Deleting data from SQL DB using PDI

درک مفهومی برای بارگذاری داده ها Conceptual understanding for Loading Data

• جداول حقایق و ابعاد Facts and Dimensions tables

• وقت آن است که درک خود را بررسی کنید Time to check your understanding

• کلیدهای جایگزین در جداول ابعاد Surrogate Keys in Dimension tables

• ابعاد نوع 1 و 2 به آرامی تغییر می کند Type 1 & 2 Slowly Changing Dimensions

• وقت آن است که درک خود را بررسی کنید Time to check your understanding

• طرحواره ها Schemas

بارگذاری داده ها در Data Mart Loading the data into a Data Mart

• ایجاد جداول در DB Creating tables in DB

• بارگیری داده های مشتری با استفاده از مرحله جستجو/به روز رسانی ترکیبی Loading Customer Data using combination lookup/ update step

• بارگیری داده های محصول با استفاده از مرحله جستجوی ابعاد Loading product data using dimension lookup step

• بارگیری داده های فروش پس از مراحل جستجو در پایگاه داده Loading sales data after database lookup steps

اجرای جاوا و جاوا اسکریپت Running Java and Javascript

• مراحل اسکریپت نویسی Scripting Steps

مشاغل PDI PDI Jobs

• PDI Jobs vs Transformation PDI Jobs vs Transformation

• کنترل جریان اجرا Controlling the flow of execution

• تنظیم متغیرها با استفاده از مرحله مجموعه متغیرها Setting variables using set variables step

• مدیریت فایل و پوشه File and Folder Management

• مرحله ارسال ایمیل Sending Email Step

• مرحله کار را لغو کنید Abort Job Step

• وقت آن است که درک خود را بررسی کنید Time to check your understanding

برنامه ریزی کار برای محیط تولید Scheduling a job for production environment

• در حال اجرا با استفاده از خط فرمان و زمان بندی Running using command prompt and scheduling

تزریق فراداده Metadata injection

• تزریق فراداده Metadata injection

نمادگذاری Regex Regex Notation

• عبارات منظم برای تطبیق رشته های پیشرفته Regular Expressions for advanced String Matching

تبریک و بابت گواهینامه شما Congratulations and about your certificate

• جایگزین پنتاهو Alternative to Pentaho

• نقطه عطف نهایی! The final milestone!

• سخنرانی پاداش Bonus Lecture