آموزش تسلط بر یکپارچه سازی داده ها (ETL) با IBM DataStage

سرفصل ها و درس ها

مقدمه ای بر یکپارچه سازی داده ها Introduction to Data Integration

• معرفی Introduction

• طرح کلی دوره Outline of the course

• مسائل را دریافت کنید Get the matterials

یکپارچه سازی داده ها در مدیریت داده ها Data Integration in Data management

• دستور جلسه The agenda of the session

• یکپارچه سازی داده ها در مدیریت داده ها Data Integration in Data management

• برخی از مفاهیم و انواع یکپارچه سازی داده ها Some concepts and kinds of Data Integration

• یکپارچه سازی داده ها چگونه به نظر می رسد؟ What does data integration look like?

مقدمه ای بر IBM Information Server Introduction to IBM Information Server

• دستور کار این جلسه The agenda of this session

• مقدمه ای بر IBM Information Server Introduction to IBM Information Server

• مقدمه ای بر IBM Information Server (ادامه) Introduction to IBM Information Server (cont.)

• اجزای کلیدی سرور اطلاعات IBM Key IBM Information Server Components

• توپولوژی سرور اطلاعات آی بی ام IBM Information Server topology

• توپولوژی سرور اطلاعات IBM (ادامه) IBM Information Server topology (Cont.)

کنسول مدیریت سرور اطلاعات آی بی ام IBM Information Server Administration Console

• دستور کار این جلسه The agenda of this session

• کنسول مدیریت سرور اطلاعات آی بی ام IBM Information Server Administration Console

• کنسول مدیریت سرور اطلاعات IBM (ادامه) IBM Information Server Administration Console (Cont.)

• تمرین واقعی 1 - کنسول مدیریت سرور اطلاعات IBM Real Practice 1 – IBM Information Server Administration Console

مقدمه ای بر IBM DataStage Introduction to IBM DataStage

• دستور کار این جلسه The agenda of this session

• معماری DataStage DataStage Architecture

• مدیر DataStage DataStage Administrator

• طراح DataStage DataStage Designer

• مدیر DataStage DataStage Director

در حال توسعه در DataStage و ویژگی ها Developing in DataStage and Features

• دستور کار این جلسه The agenda of this session

• در حال توسعه در DataStage Developing in DataStage

• مخزن پروژه DataStage DataStage project repository

• انواع مشاغل DataStage Types of DataStage Jobs

• عناصر طراحی مشاغل موازی Design Elements of Parallel Jobs

• موازی سازی پارتیشن Partition Parallelism

• پارتیشن بندی چند گره Multi-Node Partitioning

• طراحی کار در مقابل اجرا Job design versus execution

• فایل پیکربندی Configuration File

• فایل پیکربندی (ادامه) Configuration File (Cont.)

• Checkpoint - در حال توسعه در IBM DataStage و ویژگی ها Checkpoint - Developing in IBM DataStage and Features

• خلاصه - در حال توسعه در IBM DataStage و ویژگی ها Summary - Developing in IBM DataStage and Features

مدیریت DataStage DataStage Administration

• دستور کار این جلسه The agenda of this session

• اهداف واحد - مدیریت DataStage Unit Objectives - DataStage Administration

• کنسول وب سرور اطلاعات - مدیریت Information Server Web Console - Administration

• پنجره ورود به کنسول وب Web Console Login Window

• مدیریت کاربر و گروه User and Group Management

• ایجاد شناسه کاربری DataStage Creating a DataStage User ID

• نقش های DataStage را تعیین کنید Assign DataStage Roles

• اعتبار DataStage DataStage Credentials

• نقشه‌برداری پیش‌فرض اعتبار DataStage DataStage Credentials Default Mapping

• ورود به DataStage Administrator Logging onto DataStage Administrator

• InforSphere DataStage Administration InforSphere DataStage Administration

• زبانه های مدیر DataStage DataStage Administrator Tabs

• متغیرهای محیطی Environment variables

• متغیرهای گزارش دهی محیطی Environment reporting variables

• برگه مجوزهای مدیر DataStage DataStage Administrator Permissions tab

• کاربران و گروه ها را اضافه کنید Add users and groups

• نقش DataStage را مشخص کنید Specify DataStage Role

• برگه گزارش های مدیریت DataStage DataStage Administrator Logs Tab

• Tab Parallel Administrator DataStage DataStage Administrator Parallel Tab

• ایست بازرسی - مدیریت DataStage Checkpoint - DataStage Administration

• تمرین واقعی 2 - وظیفه 1 - مدیریت سرور اطلاعات - کاربر و گروه Real Practice 2 - Task 1 - Information Server Administration - User & Group

• تمرین واقعی 2 - وظیفه 2 - ویژگی های پروژه - عمومی Real Practice 2 - Task 2 - Project Properties - General

• تمرین واقعی 2 - وظیفه 3 - ویژگی های پروژه - محیط Real Practice 2 - Task 3 - Project Properties - Environment

• تمرین واقعی 2 - وظیفه 4 - ویژگی های پروژه - کاربر و گروه Real Practice 2 - Task 4 - Project Properties - User & Group

• خلاصه - مدیریت DataStage Summary - DataStage Administration

با ابرداده کار کنید Work with metadata

• دستور کار این جلسه The agenda of this session

• اهداف واحد - کار با ابرداده Unit Objectives - Work with metadata

• ورود به DataStage Designer Logging onto DataStage Designer

• طراح DataStage DataStage Designer

• مخزن پروژه DataStage DataStage project repository

• واردات و صادرات Import and Export

• صادر کردن اجزای DataStage Exporting DataStage Components

• صادرات اشیاء Export objects

• رویه واردات Import Procedure

• وارد کردن اشیا Import objects

• ایست بازرسی - با ابرداده کار کنید Checkpoint - Work with metadata

• تمرین واقعی 3 - صادرات و واردات قطعات DataStage Real Practice 3 - Export & Import DataStage Components

• خلاصه - کار با ابرداده Summary - Work with metadata

ایجاد شغل موازی Create Parallel Job

• دستور کار این جلسه The agenda of this session

• اهداف واحد - ایجاد مشاغل موازی Unit objectives - Create parallel jobs

• شغل موازی چیست؟ What is a parallel job?

• پالت ابزار Tools Palette

• یک کار موازی جدید ایجاد کنید Create a new parallel job

• مراحل و پیوندها را از پالت بکشید Drag stages and links from the Palette

• تغییر نام پیوندها و مراحل Rename links and stages

• ویژگی های اتصال Connection Properties

• پارامترهای شغلی Job parameters

• یک پارامتر شغلی را تعریف کنید Define a job parameter

• از یک پارامتر شغلی در یک مرحله استفاده کنید Use a job parameter in a stage

• اسناد شغلی را اضافه کنید Add job documentation

• اسناد پنجره ویژگی های شغلی Job Properties window documentation

• یک کار را کامپایل و اجرا کنید Compile and run a job

• پیام کامپایل، خطا یا موفقیت آمیز Compile, Errors or Successful message

• مدیر DataStage DataStage Director

• گزینه ها را اجرا کنید Run options

• آمار عملکرد Performance statistics

• نمای وضعیت کارگردان Director Status View

• گزارش کار، مشاهده شده از طراح Job log, viewed from designer

• سایر توابع گزارش کار Other job log functions

• مانیتور مدیر Director monitor

• کارها را از خط فرمان اجرا کنید Run jobs from the command line

• مجموعه پارامترها Parameter sets

• یک مجموعه پارامتر ایجاد کنید Create a parameter set

• تعریف پارامترها Defining the parameters

• تعریف فایل های مقادیر Defining values files

• یک مجموعه پارامتر را در یک کار بارگیری کنید Load a parameter set into a job

• از پارامترهای مجموعه پارامتر استفاده کنید Use parameter set parameters

• کارها را با پارامترهای مجموعه پارامتر اجرا کنید Run jobs with parameter set parameters

• ایست بازرسی - کارهای موازی ایجاد کنید Checkpoint - Create parallel jobs

• تمرین واقعی 4 - وظیفه 1 - پایگاه داده --> ترانسفورماتور --> پایگاه داده Real Practice 4 - Task 1 - Database --> Transformer --> Database

• تمرین واقعی 4 - وظیفه 2 - پایگاه داده --> ترانسفورماتور --> پایگاه داده با پارامتر Real Practice 4 - Task 2 - Database --> Transformer --> Database with Parameter

• خلاصه - ایجاد مشاغل موازی Summary - Create parallel jobs

ایجاد مشاغل موازی - دسترسی به داده های متوالی Create parallel jobs - Access sequential data

• دستور کار این جلسه The agenda of this session

• اهداف واحد - به داده های متوالی دسترسی داشته باشید Unit objectives - Access sequential data

• نحوه مدیریت داده های متوالی How sequential data is handled

• ویژگی های مرحله Sequential File Features of the Sequential File stage

• طراحی کار با مراحل فایل متوالی Job design with Sequential File Stages

• ویژگی های مرحله فایل متوالی Sequential File stage properties

• فرمت برگه Format Tab

• برگه ستون Column Tab

• خواننده های متعدد Multiple Readers

• نوشتن در یک فایل متوالی Writing to a sequential file

• رد لینک ها Reject links

• لینک های رد منبع و هدف Source and target reject links

• تنظیم ویژگی Reject Mode Setting the Reject Mode property

• ایست بازرسی - به داده های متوالی دسترسی پیدا کنید Checkpoint - Access sequential data

• تمرین واقعی 5 - وظیفه 1 - فایل --> ترانسفورماتور --> فایل Real Practice 5 - Task 1 - File --> Transformer --> File

• تمرین واقعی 5 - وظیفه 2 - فایل --> ترانسفورماتور --> مجموعه داده با پارامتر Real Practice 5 - Task 2 - File --> Transformer --> DataSet with Parameter

• تمرین واقعی 6 - File --> Transformer --> DataSet Real Practice 6 - File --> Transformer --> DataSet

• خلاصه - دسترسی به داده های متوالی Summary - Access sequential data

پارتیشن بندی و جمع آوری الگوریتم ها Partitioning and collecting algorithms

• دستور کار این جلسه The agenda of this session

• اهداف واحد - پارتیشن بندی و جمع آوری الگوریتم ها Unit objectives - Partitioning and collecting algorithms

• موازی سازی پارتیشن Partition parallelism

• پارتیشن بندی مرحله Stage partitioning

• محیط های سخت افزاری DataStage DataStage hardware environments

• الگوریتم های پارتیشن بندی Partitioning algorithms

• جمع آوری Collecting

• جمع آوری (ادامه) Collecting (Cont.)

• جمع آوری الگوریتم ها Collecting algorithms

• الگوریتم های پارتیشن بندی بدون کلید در مقابل کلیددار Keyless versus keyed partitioning algorithms

• Round Robin و پارتیشن بندی تصادفی Round Robin and Random partitioning

• پارتیشن بندی کامل Entire partitioning

• پارتیشن بندی هش Hash partitioning

• پارتیشن بندی مدول Modulus partitioning

• پارتیشن بندی خودکار Auto partitioning

• پارتیشن بندی/جمع آوری نمادهای پیوند Partitioning / collecting link icons

• نمادهای پارتیشن بندی بیشتر More partitioning icons

• یک الگوریتم پارتیشن بندی را مشخص کنید Specify a partitioning algorithm

• یک الگوریتم جمع آوری را مشخص کنید Specify a collecting algorithm

• فایل پیکربندی Configuration file

• فایل پیکربندی نمونه Example configuration file

• افزودن $APT_CONFIG_FILE به عنوان پارامتر کار Adding $APT_CONFIG_FILE as a job parameter

• ویرایش فایل های پیکربندی Editing configuration files

• ایست بازرسی - الگوریتم های پارتیشن بندی و جمع آوری Checkpoint - Partitioning and collecting algorithms

• خلاصه - پارتیشن بندی و جمع آوری الگوریتم ها Summary - Partitioning and collecting algorithms

داده ها را ترکیب کنید Combine Data

• دستور کار این جلسه The agenda of this session

• اهداف واحد - ترکیب داده ها Unit objectives - Combine Data

• داده ها را ترکیب کنید Combine Data

• مراحل جستجو، عضویت، ادغام Lookup, Join, Merge stages

• ویژگی های مرحله جستجو Lookup Stage features

• انواع جستجو Lookup types

• مثال مرحله جستجوی مسابقه Match Lookup Stage Example

• مرحله جستجو با مسابقه برابری Lookup Stage with an equality match

• کلید Lookup را تعریف کنید Define the Lookup key

• ستون های خروجی را مشخص کنید Specify the output columns

• جستجوی اقدامات شکست Lookup failure actions

• مشخص کردن اقدامات شکست جستجو Specifying lookup failure actions

• مرحله جستجو با لینک رد Lookup stage with reject link

• تمرین واقعی 7 - وظیفه 1 - ترکیب داده ها با مرحله جستجو Real Practice 7 - Task 1 - Combine data with Lookup Stage

• به مرحله بپیوندید Join stage

• کار با Join Stage Job with Join Stage

• به Stage Properties بپیوندید Join Stage Properties

• برگه نگاشت خروجی Output Mapping tab

• مرحله ادغام Merge stage

• ادغام کار مرحله Merge Stage Job

• ادغام ویژگی های مرحله Merge Stage Properties

• مرحله قیف Funnel stage

• مثال مرحله قیف Funnel Stage Example

• ویژگی های مرحله قیف Funnel Stage Properties

• ایست بازرسی - داده ها را ترکیب کنید Checkpoint - Combine Data

• تمرین واقعی 7 - وظیفه 2 - داده ها را با Join Stage ترکیب کنید Real Practice 7 - Task 2 - Combine data with Join Stage

• تمرین واقعی 7 - وظیفه 3 - ترکیب داده ها با مرحله ادغام Real Practice 7 - Task 3 - Combine Data with Merge Stage

• تمرین واقعی 7 - وظیفه 4 - ترکیب داده ها با مرحله قیف Real Practice 7 - Task 4 - Combine Data with Funnel Stage

• خلاصه - ترکیب داده ها Summary - Combine Data

مراحل پردازش گروهی Group processing stages

• دستور کار این جلسه The agenda of this session

• اهداف واحد - مراحل پردازش گروهی Unit objectives - Group processing stages

• مراحل پردازش گروهی Group processing stages

• مرتب سازی داده ها Sort data

• مرتب سازی جایگزین ها Sorting alternatives

• مرتب سازی در مرحله In-Stage sorting

• برگه ویژگی های مرحله مرتب سازی Sort Stage Properties tab

• کلیدهای مرتب سازی را مشخص کنید Specify sort keys

• انواع پارتیشن Partition sorts

• مرحله جمع آوری Aggregator stage

• کار با مرحله جمع آوری Job with Aggregator Stage

• انواع تجمع Aggregation types

• انواع تجمع (ادامه) Aggregation types (Cont.)

• برگه نقشه برداری خروجی Output Mapping Tab

• برگه ستون های خروجی Output Columns tab

• نوع تجمع محاسباتی Calculation aggregation type

• روش های گروه بندی Grouping methods

• موارد تکراری را حذف کنید Remove duplicates

• کار مرحله تکراری را حذف کنید Remove Duplicates stage job

• ویژگی های مرحله Duplicates را حذف کنید Remove Duplicates stage properties

• چنگال - به طراحی شغل بپیوندید Fork - Join Job Design

• ایست بازرسی - مراحل پردازش گروهی Checkpoint - Group processing stages

• تمرین واقعی 8 - فایل --> ترانسفورماتور --> مجموعه داده --> جمع کننده --> فایل Real Practice 8 - File --> Transformer --> DataSet --> Aggregator --> File

• خلاصه - مراحل پردازش گروهی Summary - Group processing stages

مرحله ترانسفورماتور Transfromer Stage

• دستور کار این جلسه The agenda of this session

• اهداف واحد - مرحله ترانسفورماتور Unit Objectives - Transformer stage

• مرحله ترانسفورماتور Transformer stage

• کار با مرحله ترانسفورماتور Job with a Transformer stage

• داخل مرحله ترانسفورماتور Inside the Transformer stage

• عناصر مرحله ترانسفورماتور Transformer stage elements

• عناصر مرحله ترانسفورماتور Transformer stage elements

• محدودیت ها Constraints

• مثال محدودیت ها Constraints example

• یک محدودیت را تعریف کنید Define a constraint

• از ویرایشگر بیان استفاده کنید Use the expression editor

• در غیر این صورت پیوندهایی برای یکپارچگی داده ها Otherwise links for data integrity

• تمرین واقعی 9 - فایل --> ترانسفورماتور --> فایل Real Practice 9 - File --> Transformer --> File

• اشکال زدای کار موازی Parallel job debugger

• نقاط شکست را تنظیم کنید Set breakpoints

• نقاط شکست را ویرایش کنید Edit breakpoints

• اجرای یک کار موازی در دیباگر Running a parallel job in the debugger

• ستون ها را به لیست تماشا اضافه کنید Add columns to the watch list

• ایست بازرسی - مرحله ترانسفورماتور Checkpoint - Transformer stage

• ایست بازرسی - مرحله ترانسفورماتور Checkpoint - Transformer stage

توابع مخزن Repository functions

• دستور کار این جلسه The agenda of this session

• اهداف واحد - توابع مخزن Unit objectives - Repository funcions

• جستجوی تند Quick find

• نتایج یافت شد Found results

• پنجره جستجوی پیشرفته Advanced Find window

• گزینه های جستجوی پیشرفته Advanced Find options

• با استفاده از نتایج یافت شده Using the found results

• انجام تحلیل تاثیر Performing an impact analysis

• شروع تحلیل تاثیر Initiating an impact analysis

• نتایج در قالب متن Results in text format

• نتایج در قالب گرافیکی Results in graphical format

• نمایش نمودار وابستگی Displaying the dependency graph

• نمایش مسیر وابستگی Displaying the dependency path

• مشاهده جریان داده در سطح ستون Viewing column-level data flow

• پیدا کردن جایی که یک ستون منشا می گیرد Finding where a column originates

• نتایج نمایش داده شده Displayed results

• پیدا کردن تفاوت بین دو شغل Finding the difference between two jobs

• شروع مقایسه Initiating the comparison

• نتایج مقایسه Comparison results

• ذخیره در یک فایل HTML Saving to an HTML file

• ایست بازرسی - توابع مخزن Checkpoint - Repository functions

• خلاصه - توابع مخزن Summary - Repository functions

با داده های رابطه ای کار کنید Work with relational data

• دستور کار این جلسه The agenda of this session

• اهداف واحد - کار با داده های رابطه ای Unit Objectives - Work with relational data

• مراحل اتصال Connector stages

• خواندن از جداول پایگاه داده Reading from database tables

• رابط کاربری گرافیکی مرحله رابط Connector stage GUI

• پنل ناوبری Navigation panel

• ویژگی های اتصال Connection properties

• ویژگی های استفاده - Session و Before/After SQL Usage properties - Session and Before/After SQL

• نوشتن در جداول پایگاه داده Writing to database tables

• رابط کاربری گرافیکی رابط DB2 DB2 Connector GUI

• ویژگی های نوشتن رابط Connector write properties

• اشیاء اتصال داده Data connection objects

• اشیاء اتصال داده Data connection objects

• ایجاد یک شیء اتصال داده جدید Creating a new data connection object

• تمرین واقعی 11 - پایگاه داده رابطه ای --> ترانسفورماتور --> فایل Real Practice 11 - Relational Database --> Transformer --> File

• خلاصه - کار با داده های رابطه ای Summary - Work with relational data

کنترل توالی کار Job Sequence Control

• دستور کار این جلسه The agenda of this session

• اهداف واحد - کنترل توالی کار Unit Objectives - Job Sequence control

• توالی شغلی چیست؟ What is a job sequence?

• اصول ایجاد یک دنباله شغلی Basics for creating a job sequence

• مراحل توالی کار Job sequence stages

• مثال دنباله کار Job sequence example

• ویژگی های مرحله فعالیت شغلی Job Activity stage properties

• محرک فعالیت شغلی Job Activity trigger

• مرحله Command را اجرا کنید Execute Command stage

• مرحله فعالیت اطلاع رسانی Notification Activity stage

• مرحله متغیرهای کاربر User Variables stage

• منتظر مرحله File باشید Wait for File stage

• مرحله ترتیب‌دهنده Sequencer stage

• مرحله Nested Condition Nested Condition stage

• مراحل حلقه Loop stages

• ایست بازرسی - کنترل شغل Checkpoint - Job control

• خلاصه - کنترل شغل Summary - Job control

ادغام ابری AWS AWS Cloud Integration

• دستور کار این جلسه The agenda of this session

• تمرین واقعی 12 - ادغام داده های ابری AWS با رابط IBM DataStage S3 Real Practice 12 - AWS Cloud Data Integration with IBM DataStage S3 Connector

Data Vault 1.0 & 2.0 ادغام Data Vault 1.0 & 2.0 Integration

• مقدمه Data Vault Data Vault Introduction

• ادغام Data Vault با IBM DataStage Data Vault Integration with IBM DataStage

• Real Practice 13 - Mini Project 1 - Data Vault 1.0 DWH with IBM DataStage Real Practice 13 - Mini Project 1 - Data Vault 1.0 DWH with IBM DataStage

• Real Practice 13 - Mini Project 2 - Data Vault 2.0 DWH with IBM DataStage Real Practice 13 - Mini Project 2 - Data Vault 2.0 DWH with IBM DataStage

خلاصه Summary

• آنچه ما آموخته ایم What we have learned