آموزش Google Cloud Professional Data Engineer: دریافت گواهینامه 2022

سرفصل ها و درس ها

معرفی Introduction

• خوش آمدی Welcome

• آماده شدن برای آزمون مهندس داده حرفه ای Google Cloud Preparing for the Google Cloud Professional Data Engineer Exam

ذخیره سازی ابری برای مهندسی داده Cloud Storage for Data Engineering

• مقدمه ای بر Object Storage Introduction to Object Storage

• گزینه هایی برای بارگیری داده ها Options for Loading Data

• کنترل های دسترسی برای ذخیره سازی ابری Access Controls for Cloud Storage

• مدیریت سیاست چرخه حیات Lifecycle Policy Management

• استفاده از Cloud Storage Console Using Cloud Storage Console

• تمرین: ذخیره سازی ابری Exercise: Cloud Storage

• راه حل: ذخیره سازی ابری Solution: Cloud Storage

پایگاه های داده رابطه ای - Cloud SQL Relational Databases - Cloud SQL

• مقدمه ای بر پایگاه های داده رابطه ای Introduction to Relational Databases

• زمان استفاده از Cloud SQL When to use Cloud SQL

• ایجاد یک پایگاه داده Cloud SQL Creating a Cloud SQL Database

• مانیتورینگ Cloud SQL Monitoring Cloud SQL

• مقدمه ای بر Cloud SQL Auth Proxy Introduction to Cloud SQL Auth Proxy

• نصب Cloud SQL Auth Proxy Installing Cloud SQL Auth Proxy

• تمرین: یک پایگاه داده Cloud SQL ایجاد کنید Exercise: Create a Cloud SQL Database

• راه حل: یک پایگاه داده Cloud SQL ایجاد کنید Solution: Create a Cloud SQL Database

پایگاه های داده رابطه ای - Cloud Spanner Relational Databases - Cloud Spanner

• چه زمانی باید از Cloud Spanner استفاده کرد When to use Cloud Spanner

• ایجاد یک پایگاه داده Cloud Spanner Creating a Cloud Spanner Database

• ملاحظات عملکرد آچار ابری Cloud Spanner Performance Considerations

• دانش خود را بررسی کنید: انتخاب کلید اصلی برای میز آچار Check Your Knowledge: Choosing a Primary Key for a Spanner Table

پایگاه های داده NoSQL: Cloud Firestore NoSQL Databases: Cloud Firestore

• مقدمه ای بر Cloud Firestore و پایگاه های داده اسناد Introduction to Cloud Firestore & Document Databases

• موجودیت ها و انواع Entities and Kinds

• نمایه سازی در Cloud Firestore Indexing in Cloud Firestore

• ایجاد موجودیت ها Creating Entities

• موجودیت های پرس و جو Querying Entities

• ایجاد انواع و فضاهای نام Creating Kinds and Namespaces

• کار با تراکنش ها Working with Transactions

• تمرین: یک نوع و موجودیت ایجاد کنید Exercise: Create a Kind and Entities

• راه حل: ایجاد انواع و موجودات Solution: Creating Kinds and Entities

پایگاه های داده NoSQL: Bigtable NoSQL Databases: Bigtable

• مقدمه ای بر پایگاه داده های Bigtable و Wide-Column Introduction to Bigtable and Wide-Column Databases

• ایجاد یک نمونه Bigtable Creating a Bigtable Instance

• طراحی کلیدهای ردیف برای Bigtable Designing Row-keys for Bigtable

• الگوهای پرس و جو و غیرعادی سازی Query Patterns and Denormalization

• طراحی برای داده های سری زمانی با Bigtable Designing for Time Series Data with Bigtable

• دانش خود را بررسی کنید: ایجاد پایگاه داده سری زمانی Check Your Knowledge: Creating a Time Series Database

پایگاه های داده تحلیلی: مدیریت داده های BigQuery Analytical Databases: BigQuery Data Management

• مقدمه ای بر BigQuery و پایگاه های داده های تحلیلی Introduction to BigQuery and Analytical Databases

• BigQuery Scalar Datatypes BigQuery Scalar Datatypes

• فیلدهای تودرتو و تکراری BigQuery BigQuery Nested and Repeated Fields

• جستجوی اسکالر، فیلدهای تودرتو و تکراری Querying Scalars, Nested and Repeated Fields

• تمرین: پرس و جو از مجموعه داده های عمومی BigQuery Exercise: Querying BigQuery Public Datasets

• راه حل: پرس و جو از مجموعه داده های عمومی BigQuery Solution: Querying BigQuery Public Datasets

• کنترل های دسترسی در BigQuery Access Controls in BigQuery

• جداول پارتیشن بندی Partitioning Tables

• خوشه بندی جداول پارتیشن بندی شده Clustering Partitioned Tables

• بارگیری داده ها در BigQuery Loading Data into BigQuery

• BigQuery و IAM BigQuery and IAM

• امنیت سطح ستون Column Level Security

• امنیت سطح ردیف Row Level Security

مهاجرت به انبار داده Migrating a Data Warehouse

• ارزیابی وضعیت فعلی یک انبار داده Assessing the Current State of a Data Warehouse

• طرحواره و انتقال داده Schema and Data Transfer

• خطوط لوله داده Data Pipelines

• گزارش و تحلیل Reporting and Analysis

• حاکمیت داده Data Governance

• دانش خود را بررسی کنید: مهاجرت به انبار داده Check Your Knowledge: Data Warehouse Migration

ذخیره داده ها و Cloud Memorystor Caching Data and Cloud Memorystore

• استفاده از کش برای بهبود عملکرد Using Caching to Improve Performance

• ساختارهای داده حافظه ابری Cloud Memorystore Data Structures

• ایجاد یک حافظه پنهان Cloud Memorystor Creating a Cloud Memorystore Cache

• دانش خود را بررسی کنید: یک برنامه توزیع شده را برای دسترسی بالا دوباره طراحی کنید Check Your Knowledge: Redesign a Distributed Application for High Availability

گردش کار و ETL/ELT Workflows and ETL/ELT

• مقدمه ای بر Cloud Composer Introduction to Cloud Composer

• معماری Cloud Composer Cloud Composer Architecture

• مقدمه ای بر Cloud Data Fusion Introduction to Cloud Data Fusion

Cloud Pub/Sub and Data Pipelines Cloud Pub/Sub and Data Pipelines

• مقدمه ای بر Cloud Pub/Sub Introduction to Cloud Pub/Sub

• ایجاد موضوعات و اشتراک Creating Topics and Subscriptions

• ایجاد و خواندن پیام ها Creating and Reading Messages

• تمرین: ایجاد یک موضوع، انتشار پیام ها، خواندن پیام ها Exercise: Create a Topic, Publish Messages, Read Messages

• راه حل: یک پیام انتشار موضوع ایجاد کنید Solution: Create a Topic Publish Message

Cloud Dataflow و Data Pipelines Cloud Dataflow and Data Pipelines

• پردازش جریانی و دسته ای با Cloud Dataflow Stream and Batch Processing with Cloud Dataflow

• اجرای یک کار در Cloud Dataflow Running a Job in Cloud Dataflow

• تجزیه و تحلیل یک کار ناموفق در Cloud Dataflow Analyzing a Failed Job in Cloud Dataflow

• مانیتورینگ Cloud Dataflow Monitoring Cloud Dataflow

• عیب یابی خط لوله Cloud Dataflow Troubleshooting a Cloud Dataflow Pipeline

• دانش خود را بررسی کنید: عیب یابی خط لوله جریان داده ابری Check Your Knowledge: Troubleshooting a Cloud Dataflow Pipeline

Cloud Dataproc و Data Pipelines Cloud Dataproc and Data Pipelines

• مقدمه ای بر Cloud Dataproc Introduction to Cloud Dataproc

• ایجاد یک Cloud Dataproc Cluster Creating a Cloud Dataproc Cluster

• نظارت بر یک Cloud Dataproc Cluster Monitoring a Cloud Dataproc Cluster

• استفاده از Cloud Storage با Cloud Dataproc Using Cloud Storage with Cloud Dataproc

• دانش خود را بررسی کنید: چه زمانی از Cloud Dataproc روی Cloud Dataflow استفاده کنیم؟ Check Your Knowledge: When to use Cloud Dataproc over Cloud Dataflow?

ملاحظات ویژه در سیستم های توزیع شده Special Considerations in Distributed Systems

• محاسبات ترکیبی و چند ابری Hybrid and multi-cloud computing

• پیام رسانی ناهمگام Asychronous Messaging

• پردازش جریان Stream Processing

• مدل های سازگاری داده ها Data Consistency Models

نظارت و ثبت Monitoring and Logging

• نظارت و هشدار با مانیتورینگ ابری Monitoring and Alerting with Cloud Monitoring

• ورود به سیستم با Cloud Logging Logging with Cloud Logging

• ایجاد هشدار Creating an Alert

• مانیتورینگ عامل را روی ماشین مجازی نصب کنید Install the Monitoring Agent on a Virtual Machine

• دانش خود را بررسی کنید: عیب یابی عملکرد برنامه Check Your Knowledge: Troubleshooting Application Performance

امنیت و انطباق Security and Compliance

• مقدمه ای بر مدیریت دسترسی به هویت Introduction to Identity Access Management

• سلسله مراتب منابع Resource Hierarchy

• نقش های از پیش تعریف شده Predefined Roles

• نقش های سفارشی Custom Roles

• نقش های اولیه Primitive Roles

• بهترین روش های IAM IAM Best Practices

• تضمین حریم خصوصی با API پیشگیری از از دست دادن داده Ensuring Privacy with Data Loss Prevention API

• الزامات قانونی Legal Compliance

• رمزگذاری در حالت استراحت و در حرکت Encryption At Rest and In Motion

• مدیریت کلیدی Key Management

• تمرین: نقش هایی را به کاربران اعطا کنید Exercise: Grant roles to users

• راه حل: اعطای نقش به کاربران Solution: Grant roles to users

مقدمه ای بر یادگیری ماشینی Introduction to Machine Learning

• 3 دسته از مسائل یادگیری ماشین 3 Categories of Machine Learning Problems

• 2 رویکرد به ساخت مدل های ML 2 Approaches to Building ML Models

• یادگیری ماشین نمادین Symbolic Machine Learning

• شبکه های عصبی و یادگیری عمیق Neural Networks and Deep Learning

• دانش خود را بررسی کنید: انواع مشکلات یادگیری ماشین Check Your Knowledge: Types of Machine Learning Problems

ساخت مدل های ML Building ML Models

• ویژگی ها و برچسب ها Features and Labels

• مهندسی ویژگی Feature Engineering

• ساختمان مدل Model Building

• ارزیابی مدل Model Evaluation

• گرادیان نزول و پس انتشار Gradient Descent and Backpropagation

• عیب یابی مدل Model Troubleshooting

• ساخت مدل در GCP Building Models in GCP

• استفاده از مدل های ML از پیش ساخته شده Using Pre-built ML Models

• دانش خود را بررسی کنید: یک مدل یادگیری ماشینی را عیب یابی کنید Check Your Knowledge: Troubleshoot an Machine Learning Model

استقرار و نظارت بر مدل های ML Deploying and Monitoring ML Models

• گزینه هایی برای استقرار مدل های ML Options for Deploying ML Models

• استفاده از GPU و TPU Using GPUs and TPUs

• مانیتورینگ مدل های ML Monitoring ML Models

• تعصب و بی انصافی در مدل های ML Bias and Unfairness in ML Models

• دانش خود را بررسی کنید: یک خط لوله یادگیری ماشین طراحی کنید Check Your Knowledge: Design a Machine Learning Pipeline

پایگاه های داده تحلیلی: BigQuery ML Analytical Databases: BigQuery ML

• مقدمه ای بر یادگیری ماشین در BigQuery Introduction to Machine Learning in BigQuery

• ایجاد یک مدل رگرسیون در BigQuery Creating a Regression Model in BigQuery

• ارزیابی یک مدل رگرسیون در BigQuery Evaluating a Regression Model in BigQuery

• استفاده از مدل برای پیش بینی ها در BigQuery Using Model for Predictions in BigQuery

• ایجاد یک مدل در BigQuery Creating a Model in BigQuery

• تمرین: ایجاد یک مدل در BigQuery Exercise: Creating a Model in BigQuery

• راه حل: ایجاد یک مدل ML در BigQuery Solution: Creating an ML Model in BigQuery

نتیجه Conclusion

• نتیجه گیری و مراحل بعدی Conclusion and Next Steps

امتحان تمرینی Practice Exam

• آزمون عملی مهندس داده حرفه ای GCP GCP Professional Data Engineer Practice Exam