آموزش (GCP-PDE) جذب و پردازش داده‌ها - آخرین آپدیت

برنامه‌ریزی خط لوله‌های داده Planning Data Pipelines

• نیازمندی‌های سیستم و نرم‌افزاری System and Software Requirements

• پردازش دسته‌ای و جریانی Batch and Stream Processing

• خط لوله‌های داده و چارچوب‌های ارکستراسیون Data Pipelines and Orchestration Frameworks

• خط لوله‌های دسته‌ای در گوگل کلاود Batch Pipelines on Google Cloud

• مقایسه خط لوله‌های ETL و ELT ETL vs. ELT Pipelines

• پردازش جریانی در گوگل کلاود Stream Processing on Google Cloud

• رویکردهای ترکیبی ETL و ELT و انتخاب گزینه مناسب Hybrid ETL and ELT Approaches and Choosing the Right Pipeline Option

• خط لوله‌های بدون سرور با Dataflow Serverless Pipelines with Dataflow

• تبدیل‌های اصلی داده‌ها Core Data Transforms

• مفاهیم پیشرفته Dataflow: ورودی‌های جانبی، خروجی‌های جانبی و جداول Dead Letter Advanced Dataflow Concepts Side Inputs Side Outputs Dead Letter Tables

• مفاهیم پیشرفته Dataflow: ادغام و تفکیک (Fusion and Unfusion) Advanced Dataflow Concepts Fusion and Unfusion

• الگوها و پرچم‌های (Flags) دیتافلو Dataflow Templates and Dataflow Flags

• گردش‌کارهای Hadoop با Dataproc Hadoop Workflows with Dataproc

• پردازش جریانی Spark با Dataproc Serverless Spark Streaming with Dataproc Serverless

• انتخاب سرویس مناسب برای پردازش داده‌ها Choosing the Right Data Processing Service

• جریان داده با Pub/Sub Streaming with Pub/Sub

• مفاهیم کلیدی Pub/Sub Key Pub/Sub Concepts

ساخت خط لوله‌های داده Building Data Pipelines

• پاک‌سازی داده‌ها با DataPrep Data Cleansing with DataPrep

• دمو: پیکربندی خط لوله Dataflow برای پردازش دسته‌ای Demo: Configure a Dataflow Pipeline for Batch Processing

• دمو: اجرای خط لوله دسته‌ای در Dataflow Demo: Running a Batch Pipeline on Dataflow

• دمو: پیکربندی خط لوله Dataflow با خروجی جانبی Demo: Configure a Dataflow Pipeline with Side Output

• دمو: پیکربندی خط لوله Dataflow با ورودی جانبی Demo: Configure a Dataflow Pipeline with Side Input

• دمو: راه‌اندازی و پیکربندی کلاستر Dataproc Demo: Set up and Configure a Dataproc Cluster

• دمو: اجرای جاب پردازش دسته‌ای Spark در Dataproc Demo: Run a Spark Batch Processing Job on Dataproc

• دمو: اجرای جاب Spark در Dataproc Serverless Demo: Run a Spark Job on Dataproc Serverless

• دمو: راه‌اندازی Topic و Subscription در Pub/Sub Demo: Set up a Pub/Sub Topic and Subscription

• دمو: پردازش جریانی پیام‌های Pub/Sub با استفاده از Dataflow Demo: Stream Processing Messages from Pub/Sub Using Dataflow

• پنجره‌بندی (Windowing) در داده‌های جریانی Windowing on Streaming Data

• انواع پنجره‌ها و انتخاب نوع مناسب Types of Windows and Choosing the Right Type

• واترمارک‌ها (Watermarks) و داده‌های دیر رسیده Watermarks and Late Data

استقرار و عملیاتی‌سازی خط لوله‌های داده Deploying and Operationalizing Data Pipelines

• ارکستراسیون گردش‌کارها با Cloud Composer Orchestrating Workflows Using Cloud Composer

• ارکستراسیون گردش‌کارها با Cloud Workflows Orchestrating Workflows Using Cloud Workflows

• انتخاب چارچوب ارکستراسیون مناسب Choosing the Right Orchestration Framework

• پیاده‌سازی CI/CD در گوگل کلاود CI/CD on Google Cloud

آمادگی برای آزمون Exam Preparation

• مباحث مهم برای آزمون Important Topics for the Exam

• نمونه سوالات آزمون Examples of Exam Questions