آموزش GCP - گواهی مهندس داده حرفه ای Google Cloud

سرفصل ها و درس ها

معرفی Introduction

• مهندس داده - بررسی اجمالی گواهینامه Data Engineer - Certification Overview

• نکات Udemy Udemy Tips

• سوالات متداول دوره Course FAQ

• راهنمای دوره Course Walkthrough

• دانلودهای دوره Course Downloads

مفاهیم مهندسی داده Data Engineering Concepts

• بررسی اجمالی مهندسی داده Data engineering Overview

• انواع داده ها Types of Data

• داده های دسته ای در مقابل داده های جریانی Batch Data vs Streaming Data

GCP اساسی GCP Fundamental

• منطقه و مناطق GCP GCP Region & Zones

• حساب رایگان GCP Tier ایجاد کنید Create GCP Free Tier Account

• نکاتی درباره حساب GCP Notes about GCP Account

• خدمات GCP (آزمون مهندسی داده) GCP services (Data Engineering Exam)

خدمات پایه GCP GCP Basic Services

• بخش مقدمه Section Introduction

• مبانی IAM - هویت IAM Basics - Identity

• [دستی] IAM - نقش‌ها و مجوزها [Hands-on] IAM - Roles & Permissions

• [دستی] نقش ها را به هویت اختصاص دهید [Hands-on] Assign Roles to Identity

• بازخورد شما مهم است Your feedback is Important

• [دستی] IAM - حساب خدمات [Hands-on] IAM - Service Account

• موتور محاسباتی تامین کننده (IAAS) [Hands-on] Provisioning Compute Engine (IAAS)

• [کاربردی] استقرار برنامه در موتور برنامه (PAAS) [Hands-on] Deploy Application on App Engine (PAAS)

• [کاربردی] استقرار برنامه Containerized در Google Kubernetes Engine - GKE (CAAS) [Hands-on] Deploy Containerized app on Google Kubernetes Engine - GKE (CAAS)

• یادداشت Notes

• ایجاد تصاویر First Docker - V2 Create First Docker images - V2

• بهینه سازی تصویر Docker و اجرای Docker Container - V2 Optimize Docker image & Run Docker Container - V2

• Push Docker Image به Container Registry - V2 Push Docker Image to Container registry - V2

• [Hands-on] Cloud Run [Hands-on] Cloud Run

• [دستی] عملکرد ابر [Hands-on] Cloud Function

-------------------- محصول ذخیره سازی -------------------- -------------------- Storage Product --------------------

• مروری بر محصولات مختلف ذخیره سازی Overview of Different Storage Product

Google Cloud Storage Google Cloud Storage

• معرفی Google Cloud Storage Introduction to Google Cloud Storage

• مکان ذخیره سازی و کلاس ذخیره سازی Storage Location & Storage Class

• [دستی] ذخیره سازی ابری [Hands-on] Cloud Storage

• [دستی] مدیریت چرخه حیات شی [Hands-on] Object Lifecycle management

• [دستی] داده های ایمن با رمزگذاری [Hands-on] Secure Data with Encryption

• [دستی] داده های ایمن با رمزگذاری Cntd... [Hands-on] Secure Data with Encryption Cntd...

• [دستی] ویرایش شی [Hands-on] Object Versioning

• بخش کنترل دسترسی به فضای ذخیره‌سازی ابری - I [Hands-on] Cloud Storage Access Control Part - I

• بخش کنترل دسترسی به فضای ذخیره‌سازی ابری - بخش دوم [Hands-on] Cloud Storage Access Control Part - II

• [دستی] URL امضا شده - دسترسی موقت [Hands-on] Signed URL - Temporary Access

• سیاست حفظ سطل [Hands-on] Bucket Retention Policy

• قیمت گذاری GCS GCS Pricing

خدمات انتقال داده Data Transfer Services

• مهاجرت - خدمات انتقال داده Migration - Data migration Services

• [دستی] مهاجرت - خدمات انتقال داده [Hands-on] Migration - Data migration Services

ذخیره‌سازی بلوک ابری و فروشگاه فایل Cloud Block Storage & File Store

• [دستی] ذخیره سازی بلوک: دیسک پایدار - SSD محلی [Hands-on] Block Storage : Persistence Disk - Local SSD

• [دستی] فروشگاه فایل [Hands-on] File Store

• ذخیره سازی - چه زمانی باید از چه فضای ذخیره سازی استفاده کرد Storage - Which storage to use when

مفاهیم پایگاه داده Database concepts

• موضوعات تحت پوشش - مفاهیم پایگاه داده Topics Covered - database concepts

• OLTP در مقابل OLAP OLTP vs OLAP

• مقیاس بندی عمودی در مقابل افقی Vertical vs Horizontal Scaling

• RPO و RTO RPO & RTO

• در دسترس بودن و دوام Availability & Durability

-------------------- محصولات پایگاه داده GCP -------------------- -------------------- GCP Database Products --------------------

• محصول مختلف پایگاه داده GCP Different GCP Database Product

Google Cloud SQL Google Cloud SQL

• مقدمه ای بر Cloud SQL Introduction to Cloud SQL

• [Hands-on] Provision Cloud SQL instance [Hands-on] Provision Cloud SQL instance

• [دستی] Cloud SQL را متصل کنید [Hands-on] Connect Cloud SQL

• [عملی] انتقال پایگاه داده به Cloud SQL [Hands-on] Database Migrate to Cloud SQL

• [دستی] Cloud SQL Failover [Hands-on] Cloud SQL Failover

• [دستی] Cloud SQL Console Explore [Hands-on] Cloud SQL Console Explore

Google Cloud Spanner Google Cloud Spanner

• مقدمه ای بر Cloud Spanner Introduction to Cloud Spanner

• بازخورد شما مهم است Your feedback is Important

• [دستی] قسمت آچار ابری - اول [Hands-on] Cloud Spanner Part - I

• [دستی] Cloud Spanner قسمت - II [Hands-on] Cloud Spanner Part - II

• حذف نمونه آچار Delete Spanner Instance

• از کدام RDBMS چه زمانی استفاده شود Which RDBMS to use When

ذخیره سازی داده های نیمه ساختاری - NoSQL Semi-structure Data Storage - NoSQL

• مقدمه ای بر NoSQL Introduction to NoSQL

Cloud Firestore & Datastore Cloud Firestore & Datastore

• معرفی دیتا استور Introduction to Datastore

• [دستی] Cloud Datastore [Hands-on] Cloud Datastore

• [دستی] Cloud Firestore [Hands-on] Cloud Firestore

Cloud MemoryStore Cloud MemoryStore

• [دستی] Cloud MemoryStore Redis Part - I [Hands-on] Cloud MemoryStore Redis Part - I

• [دستی] Cloud MemoryStore Redis Part - II [Hands-on] Cloud MemoryStore Redis Part - II

Cloud Bigtable Cloud Bigtable

• مقدمه ای بر Cloud BigTable Introduction to Cloud BigTable

• [دستی] Cloud BigTable - ایجاد نمونه [Hands-on] Cloud BigTable - Create Instance

• [دستی] Cloud BigTable - خط فرمان CBT [Hands-on] Cloud BigTable - CBT Command Line

• Cloud BigTable Pricing Cloud BigTable Pricing

--------------------- محصول پردازش داده و اکتشاف -------------------- -------------------- Data Processing Product & Exploration --------------------

• راه حل GCP پردازش داده های مختلف Different Data Processing GCP Solution

Google BigQuery Google BigQuery

• مقدمه ای بر Cloud BigQuery Introduction to Cloud BigQuery

• نکاتی درباره حساب GCP Notes about GCP Account

• [دستی] رابط کاربری BigQuery + مجموعه داده عمومی را کاوش کنید [Hands-on] Explore BigQuery UI + Public Dataset

• [کاربردی] کاوش BigQuery UI + Public Dataset Contd... [Hands-on] Explore BigQuery UI + Public Dataset Contd...

• [دستی] داده ها را از محلی آپلود کنید [Hands-on] Upload Data from Local

• قیمت گذاری Google BigQuery Google BigQuery Pricing

Google Cloud PubSub Google Cloud PubSub

• معرفی PubSub Introduction to PubSub

• [دستی] Cloud PubSub بخش - I (کنسول) [Hands-on] Cloud PubSub Part - I (Console)

• [دستی] Cloud PubSub قسمت - II (کنسول) [Hands-on] Cloud PubSub Part - II (Console)

• [دستی] Cloud PubSub با پایتون [Hands-on] Cloud PubSub with Python

• [دستی] موضوع Cloud PubSub با طرحواره [Hands-on] Cloud PubSub Topic with Schema

• [دستی] Cloud PubSub با Gcloud [Hands-on] Cloud PubSub with Gcloud

Cloud DataFlow Cloud DataFlow

• مقدمه Cloud DataFlow Introduction Cloud DataFlow

• [دستی] Cloud DataFlow - کار WordCount [Hands-on] Cloud DataFlow - WordCount Job

• [دستی] Cloud Dataflow - ارسال کار با الگوی از پیش تعریف شده [Hands-on] Cloud Dataflow - Submit Job With Pre-defined Template

• [دستی] Cloud DataFlow - بخش نمونه نوت بوک - I [Hands-on] Cloud DataFlow - Notebook Instance Part - I

• [دستی] Cloud DataFlow - بخش نمونه نوت بوک - II [Hands-on] Cloud DataFlow - Notebook Instance Part - II

• [دستی] Cloud DataFlow - ارسال کار سفارشی [Hands-on] Cloud DataFlow - Submit Custom Job

Cloud DataProc Cloud DataProc

• مقدمه Cloud DataProc Introduction Cloud DataProc

• [دستی] ایجاد Cloud DataProc Cluster [Hands-on] Create Cloud DataProc Cluster

• [دستی] Cloud DataProc - ارسال Spark Job [Hands-on] Cloud DataProc - Submit Spark Job

• [دستی] Cloud DataProc - کار PySpark را ارسال کنید [Hands-on] Cloud DataProc - Submit PySpark Job

• [دستی] نمونه نوت بوک Cloud DataProc [Hands-on] Cloud DataProc Notebook Instance

Cloud Data Fusion Cloud Data Fusion

• [دستی] مقدمه ای بر Data Fusion - ایجاد نمونه [Hands-on] Introduction to Data Fusion - Create Instance

• [دستی] Data Fusion - Deploy Pipeline [Hands-on] Data Fusion - Deploy Pipeline

• [دستی] Data Fusion - اجرای خط لوله در DataProc Cluster - ناموفق [Hands-on] Data Fusion - Run Pipeline on DataProc Cluster - Failed

• [دستی] Data Fusion - اجرای Pipeline در DataProc Cluster - موفقیت آمیز [Hands-on] Data Fusion - Run Pipeline on DataProc Cluster - success

Cloud Composer - Apache Airflow Cloud Composer - Apache Airflow

• [دستی] مقدمه ای بر آهنگساز - ایجاد نمونه [Hands-on] Introduction to Composer - Create Instance

• [دستی] اولین DAG را در Cloud Composer ایجاد کنید [Hands-on] Create First DAG in Cloud Composer

DLP - API پیشگیری از از دست دادن داده DLP - Data Loss Prevention API

• مقدمه ای بر DLP API Introduction to DLP API

• نسخه ی نمایشی DLP API [Hands-on] DLP API Demo

• TEMPLATES، INFO_TYPES و MATCH TEMPLATES, INFO_TYPES & MATCH

• [دستی] ایجاد INFO_TYPE ذخیره شده [Hands-on] Create Stored INFO_TYPE

• [دستی] ایجاد الگو [Hands-on] Create Template

• [دستی] ایجاد شغل برای بازرسی [Hands-on] Create Job For Inspection

• [دستی] الگو برای شناسایی هویت [Hands-on] Template for De-Identification

کاتالوگ داده ها Data Catalog

• مقدمه ای بر کاتالوگ داده ها Introduction to Data Catalog

• [دستی] کاتالوگ داده - جستجو - الگوی برچسب [Hands-on] Data Catalog - Search - Tag Template

-------------------- بخش تجزیه و تحلیل داده ها و ML -------------------- -------------------- Data Analysis & ML Section --------------------

• معرفی ماژول Module Introduction

مبانی یادگیری ماشینی Machine learning Basics

• یادگیری ماشین چیست What is Machine Learning

• انواع مختلف سیستم ML Different Types of ML System

• گردش کار یادگیری ماشین Machine Learning Workflow

• راه حل GCP برای یادگیری ماشین GCP solution for Machine Learning

آماده سازی داده ها با DataPrep Data Preparation with DataPrep

• مقدمه ای بر DataPrep Introduction to DataPrep

• [دستی] Cloud DataPrep قسمت - I [Hands-on] Cloud DataPrep Part - I

• [دستی] Cloud DataPrep قسمت - II [Hands-on] Cloud DataPrep Part - II

• [دستی] Cloud DataPrep قسمت - III [Hands-on] Cloud DataPrep Part - III

API های ML: مدل از پیش ساخته شده ML APIs : Pre-Built Model

• مقدمه ای بر مدل از پیش ساخته شده Introduction to Pre-built Model

• نسخه ی نمایشی Vision API [Hands-on] Vision API Demo

• نسخه ی نمایشی Vision API با Gcloud [Hands-on] Vision API Demo with Gcloud

• نسخه آزمایشی Vision API - Python SDK [Hands-on] Vision API Demo - Python SDK

• نسخه آزمایشی API زبان طبیعی - gcloud قسمت اول [Hands-on] Natural Language API Demo - gcloud Part I

• [دستی] نسخه آزمایشی API زبان طبیعی - gcloud قسمت - دوم [Hands-on] Natural Language API Demo - gcloud Part - II

• نسخه آزمایشی API زبان طبیعی - Python SDK [Hands-on] Natural Language API Demo - Python SDK

• [دستی] نسخه ی نمایشی API گفتار به متن [Hands-on] Speech to Text API Demo

• قیمت گذاری API از پیش ساخته شده ML ML Prebuilt API Pricing

یادگیری ماشین خودکار Auto Machine Learning

• یادگیری ماشین خودکار چیست؟ What is Auto Machine Learning

• [دستی] طبقه بندی متن با خودکار ML بخش - I [Hands-on] Text Classification with Auto ML Part - I

• [دستی] طبقه بندی متن با خودکار ML قسمت - II [Hands-on] Text Classification with Auto ML Part - II

• [دستی] طبقه بندی متن با خودکار ML قسمت - III [Hands-on] Text Classification with Auto ML Part - III

• [دستی] تشخیص گونه‌های گل با Auto ML Part - I [Hands-on] Flower Species recognition with Auto ML Part - I

• [دستی] تشخیص گونه‌های گل با Auto ML Part - II [Hands-on] Flower Species recognition with Auto ML Part - II

• [دستی] تشخیص گونه‌های گل با Auto ML Part - III [Hands-on] Flower Species recognition with Auto ML Part - III

یادگیری ماشین سفارشی Custom machine Learning

• رویکرد آموزشی سفارشی در GCP - Notebook Custom Training Approach in GCP - Notebook

• [دستی] ایجاد مدل در Scikit-learn Framework [Hands-on] Create Model in Scikit-learn Framework

• [دستی] وارد کردن مدل در Vertex API - Deploy Endpoint [Hands-on] Import Model in Vertex API - Deploy Endpoint

• [دستی] تست EndPoint [Hands-on] Test EndPoint

BigQuery ML BigQuery ML

• مقدمه ای بر BigQuery ML Introduction to BigQuery ML

• کد برای بخش Code for section

• [دستی] BigQuery ML [Hands-on] BigQuery ML

Google Datastudio Google Datastudio

• [کاربردی] Google Cloud DataStudio - I [Hands-on] Google Cloud DataStudio - I

• [کاربردی] Google Cloud DataStudio - II [Hands-on] Google Cloud DataStudio - II

متشکرم Thank You

• سخنرانی پاداش Bonus Lecture

------ دوره Apache Beam ------- ------ Apache Beam course -------

• به Apache Beam خوش آمدید Welcome to Apache Beam

بخش مقدمه در پرتو آپاچی Introduction Section on Apache Beam

• آشنایی با پرتو آپاچی Introduction to Apache Beam

• چگونه پرتو آپاچی متولد شد How Apache Beam Born

• آیا پرتو آپاچی سریع است Is Apache Beam fast

• معماری پرتو Beam Architecture

• برنامه نویسی پرتو Beam Programming

• نصب پرتو آپاچی Apache Beam Installation

خط لوله داده با پرتو آپاچی Data Pipeline with Apache Beam

• اولین خط لوله را با استفاده از Beam - I ایجاد کنید Create first Pipeline using Beam - I

• اولین خط لوله را با استفاده از Beam - II ایجاد کنید Create first Pipeline using Beam - II

• همه کدها را در یک سلول ترکیب کنید Combine all code in single cell

تبدیل پرتوهای آپاچی و IO Different Apache Beam Transformation & IO

• ايجاد كردن Create

• صاف کردن Flatten

• نقشه/نقشه مسطح Map/FlatMap

• فیلتر کنید Filter

• ParDo ParDo

• کلیدها، مقادیر، رشته Keys, Values, String

• KwSwap KwSwap

• تقسیم بندی Partition

• عبارت منظم Regular Expression

تابع تجمع Aggregation Function

• تابع تجمع - I Aggregation Function - I

• تابع تجمع - II Aggregation Function - II

------ دوره Google Cloud BigQuery ------- ------ Google Cloud BigQuery Course -------

• به BigQuery خوش آمدید Welcome to BigQuery

• BigQuery و ویژگی ها BigQuery & Features

• پایگاه داده ستونی Columnar Database

• معماری BigQuery BigQuery Architecture

راه اندازی و گشت کنسول Setup & Console Tour

• Cloud BigQuery در Sandbox Cloud BigQuery in Sandbox

• UI Walkthrough of Cloud BigQuery UI Walkthrough of Cloud BigQuery

Bigquery - SQL Query Bigquery - SQL Query

• [دستی] شروع به کار با SQL Query [Hands-on] Getting Started with SQL Query

• پرس و جوی SQL بخش - 2 [Hands-on] SQL query Part - 2

• [دستی] پرس و جوی SQL قسمت - 3 [Hands-on] SQL query Part - 3

• پرس و جوی SQL بخش - 4 [Hands-on] SQL query Part - 4

• [دستی] پرس و جوی SQL قسمت - 5 [Hands-on] SQL query Part - 5

• [دستی] پرس و جوی SQL قسمت - 6 [Hands-on] SQL query Part - 6

• [دستی] پرس و جوی SQL قسمت - 7 [Hands-on] SQL query Part - 7

• [دستی] ذخیره و به اشتراک گذاری پرس و جو [Hands-on] Save & Share Query

کار با مجموعه داده و جداول ما Working with our Dataset and tables

• [دستی] کار با مجموعه داده - 1 [Hands-on] Working with Dataset - 1

• [دستی] کار با Dataset - 2 [Hands-on] Working with Dataset - 2

• [دستی] کار با مجموعه داده - 3 [Hands-on] Working with Dataset - 3

• [دستی] کار با مجموعه داده - 4 [Hands-on] Working with Dataset - 4

• [دستی] کار با جدول - 1 [Hands-on] Working with Table - 1

• [دستی] کار با جدول - 2 [Hands-on] Working with Table - 2

• [دستی] کار با جدول - 3 [Hands-on] Working with Table - 3

• [دستی] کار با جدول - 4 [Hands-on] Working with Table - 4

• [دستی] جدول را از مکان های مختلف ایجاد کنید [Hands-on] Create table from different location

• [دستی] جدول را از فایل Jsonl ایجاد کنید [Hands-on] create table from Jsonl file

کار با جدول پارتیشن و خوشه بندی Working with Partition Table & Clustering

• [دستی] بخش پارتیشن BigQuery - 1 [Hands-on] BigQuery Partition Part - 1

• [دستی] BigQuery Partition Part - 2 [Hands-on] BigQuery Partition Part - 2

• [دستی] BigQuery Partition Part - 3 [Hands-on] BigQuery Partition Part - 3

• [دستی] بخش پارتیشن BigQuery - 4 [Hands-on] BigQuery Partition Part - 4

• [دستی] بخش پارتیشن BigQuery - 5 [Hands-on] BigQuery Partition Part - 5

• [دستی] نسخه ی نمایشی خوشه بندی BigQuery [Hands-on] BigQuery Clustering Demo

تعامل با BigQuery از پایتون Interacting with BigQuery from Python

• ایجاد مجموعه داده از پایتون Create Dataset from Python

• داده های جدول و بارگذاری را از پایتون ایجاد کنید Create Table & Load Data from Python