آموزش (GCP-PDE) جمع‌آوری و پردازش داده‌ها - آخرین آپدیت

برنامه‌ریزی خطوط لوله داده Planning Data Pipelines

• نیازمندی‌های سیستم و نرم‌افزاری System and Software Requirements

• پردازش دسته‌ای و جریانی Batch and Stream Processing

• خطوط لوله داده و چارچوب‌های ارکستراسیون Data Pipelines and Orchestration Frameworks

• خطوط لوله دسته‌ای در گوگل کلاود Batch Pipelines on Google Cloud

• مقایسه خطوط لوله ETL و ELT ETL vs. ELT Pipelines

• پردازش جریانی در گوگل کلاود Stream Processing on Google Cloud

• رویکردهای ترکیبی ETL و ELT و انتخاب گزینه مناسب Hybrid ETL and ELT Approaches and Choosing the Right Pipeline Option

• خطوط لوله بدون سرور با Dataflow Serverless Pipelines with Dataflow

• تبدیلات اصلی داده‌ها Core Data Transforms

• مفاهیم پیشرفته Dataflow: ورودی‌های جانبی، خروجی‌های جانبی و جداول Dead Letter Advanced Dataflow Concepts Side Inputs Side Outputs Dead Letter Tables

• مفاهیم پیشرفته Dataflow: ادغام (Fusion) و جداسازی (Unfusion) Advanced Dataflow Concepts Fusion and Unfusion

• قالب‌ها و فلگ‌های Dataflow Dataflow Templates and Dataflow Flags

• گردش‌های کاری هدوپ با Dataproc Hadoop Workflows with Dataproc

• استریمینگ Spark با Dataproc Serverless Spark Streaming with Dataproc Serverless

• انتخاب سرویس مناسب برای پردازش داده‌ها Choosing the Right Data Processing Service

• استریمینگ با Pub/Sub Streaming with Pub/Sub

• مفاهیم کلیدی Pub/Sub Key Pub/Sub Concepts

ساخت خطوط لوله داده Building Data Pipelines

• پاک‌سازی داده‌ها با DataPrep Data Cleansing with DataPrep

• دمو: پیکربندی خط لوله Dataflow برای پردازش دسته‌ای Demo: Configure a Dataflow Pipeline for Batch Processing

• دمو: اجرای خط لوله دسته‌ای روی Dataflow Demo: Running a Batch Pipeline on Dataflow

• دمو: پیکربندی خط لوله Dataflow با خروجی جانبی Demo: Configure a Dataflow Pipeline with Side Output

• دمو: پیکربندی خط لوله Dataflow با ورودی جانبی Demo: Configure a Dataflow Pipeline with Side Input

• دمو: راه‌اندازی و پیکربندی کلاستر Dataproc Demo: Set up and Configure a Dataproc Cluster

• دمو: اجرای یک جاب پردازش دسته‌ای Spark روی Dataproc Demo: Run a Spark Batch Processing Job on Dataproc

• دمو: اجرای جاب Spark روی Dataproc Serverless Demo: Run a Spark Job on Dataproc Serverless

• دمو: راه‌اندازی Topic و Subscription در Pub/Sub Demo: Set up a Pub/Sub Topic and Subscription

• دمو: پردازش جریانی پیام‌های Pub/Sub با استفاده از Dataflow Demo: Stream Processing Messages from Pub/Sub Using Dataflow

• پنجره‌بندی (Windowing) در داده‌های جریانی Windowing on Streaming Data

• انواع پنجره‌ها و انتخاب نوع مناسب Types of Windows and Choosing the Right Type

• واترمارک‌ها (Watermarks) و داده‌های دیررس Watermarks and Late Data

استقرار و عملیاتی‌سازی خطوط لوله داده Deploying and Operationalizing Data Pipelines

• ارکستراسیون گردش‌های کاری با Cloud Composer Orchestrating Workflows Using Cloud Composer

• ارکستراسیون گردش‌های کاری با Cloud Workflows Orchestrating Workflows Using Cloud Workflows

• انتخاب چارچوب ارکستراسیون مناسب Choosing the Right Orchestration Framework

• پیاده‌سازی CI/CD در گوگل کلاود CI/CD on Google Cloud

آمادگی برای آزمون Exam Preparation

• مباحث مهم برای آزمون Important Topics for the Exam

• نمونه سوالات آزمون Examples of Exam Questions