آموزش GCP: راهنمای کامل مهندس داده گوگل و معمار ابری

سرفصل ها و درس ها

شما، این دوره و ما You, This Course and Us

• شما، این دوره و ما You, This Course and Us

• مواد درسی Course Materials

معرفی Introduction

• تئوری، عمل و آزمون Theory, Practice and Tests

• آزمایشگاه: راه اندازی یک حساب GCP Lab: Setting Up A GCP Account

• آزمایشگاه: با استفاده از پوسته ابری Lab: Using The Cloud Shell

• مهم! پروژه ها/نمونه های استفاده نشده GCP را حذف کنید Important! Delete unused GCP projects/instances

محاسبه کنید Compute

• در مورد این بخش About this section

• گزینه های محاسبه Compute Options

• موتور محاسباتی گوگل (GCE) Google Compute Engine (GCE)

• آزمایشگاه: ایجاد یک نمونه VM Lab: Creating a VM Instance

• GCE بیشتر More GCE

• آزمایشگاه: ویرایش نمونه VM Lab: Editing a VM Instance

• آزمایشگاه: ایجاد یک نمونه VM با استفاده از خط فرمان Lab: Creating a VM Instance Using The Command Line

• آزمایشگاه: ایجاد و پیوست کردن یک دیسک پایدار Lab: Creating And Attaching A Persistent Disk

• موتور کانتینر Google - Kubernetes (GKE) Google Container Engine - Kubernetes (GKE)

• GKE بیشتر More GKE

• آزمایشگاه: ایجاد یک خوشه Kubernetes و استقرار یک ظرف وردپرس Lab: Creating A Kubernetes Cluster And Deploying A Wordpress Container

• موتور برنامه App Engine

• موتور برنامه متضاد، موتور محاسباتی و موتور کانتینر Contrasting App Engine, Compute Engine and Container Engine

• آزمایشگاه: استقرار و اجرای برنامه موتور برنامه Lab: Deploy And Run An App Engine App

• محاسبه کنید Compute

ذخیره سازی Storage

• در مورد این بخش About this section

• گزینه های ذخیره سازی Storage Options

• سریع بگیرید Quick Take

• فضای ذخیره ابری Cloud Storage

• آزمایشگاه: کار با سطل های ذخیره سازی ابری Lab: Working With Cloud Storage Buckets

• آزمایشگاه: Bucket And Object Permissions Lab: Bucket And Object Permissions

• آزمایشگاه: مدیریت چرخه زندگی در سطل Lab: Life cycle Management On Buckets

• رفع AccessDeniedException: 403 مجوز ناکافی Fix for AccessDeniedException: 403 Insufficient Permission

• آزمایشگاه: اجرای یک برنامه در یک نمونه VM و ذخیره نتایج در فضای ذخیره سازی ابری Lab: Running A Program On a VM Instance And Storing Results on Cloud Storage

• سرویس انتقال Transfer Service

• آزمایشگاه: انتقال داده با استفاده از سرویس انتقال Lab: Migrating Data Using The Transfer Service

• gcloud init gcloud init

• آزمایشگاه: ACL های ذخیره سازی ابری و دسترسی به API با حساب سرویس Lab: Cloud Storage ACLs and API access with Service Account

• آزمایشگاه: کلیدهای رمزگذاری ارائه شده توسط مشتری و مدیریت چرخه زندگی Cloud Storage Lab: Cloud Storage Customer-Supplied Encryption Keys and Life-Cycle Management

• آزمایشگاه: نسخه‌سازی فضای ذخیره‌سازی ابری، همگام‌سازی فهرست Lab: Cloud Storage Versioning, Directory Sync

Cloud SQL، Cloud Spanner ~ OLTP ~ RDBMS Cloud SQL, Cloud Spanner ~ OLTP ~ RDBMS

• در مورد این بخش About this section

• ابر SQL Cloud SQL

• آزمایشگاه: ایجاد یک نمونه Cloud SQL Lab: Creating A Cloud SQL Instance

• آزمایشگاه: اجرای دستورات در Cloud SQL Instance Lab: Running Commands On Cloud SQL Instance

• آزمایشگاه: بارگیری انبوه داده ها در جداول Cloud SQL Lab: Bulk Loading Data Into Cloud SQL Tables

• آچار ابری Cloud Spanner

• کلود آچار بیشتر More Cloud Spanner

• آزمایشگاه: کار با Cloud Spanner Lab: Working With Cloud Spanner

• مهم! پروژه ها/نمونه های استفاده نشده GCP را حذف کنید Important! Delete unused GCP projects/instances

پیش نیازها و زمینه هادوپ Hadoop Pre-reqs and Context

• پیش نیازها و زمینه هادوپ Hadoop Pre-reqs and Context

BigTable ~ HBase = فروشگاه ستونی BigTable ~ HBase = Columnar Store

• در مورد این بخش About this section

• معرفی BigTable BigTable Intro

• فروشگاه ستونی Columnar Store

• غیرعادی شده Denormalised

• خانواده های ستونی Column Families

• عملکرد BigTable BigTable Performance

• دریافت اعلان HBase Getting the HBase Prompt

• آزمایشگاه: نسخه ی نمایشی BigTable Lab: BigTable demo

• مهم! پروژه ها/نمونه های استفاده نشده GCP را حذف کنید Important! Delete unused GCP projects/instances

Datastore ~ ​​Database Document Datastore ~ Document Database

• در مورد این بخش About this section

• فروشگاه داده Datastore

• آزمایشگاه: نسخه ی نمایشی Datastore Lab: Datastore demo

• فروشگاه داده Datastore

BigQuery ~ Hive ~ OLAP BigQuery ~ Hive ~ OLAP

• در مورد این بخش About this section

• معرفی BigQuery BigQuery Intro

• BigQuery پیشرفته BigQuery Advanced

• آزمایشگاه: بارگیری داده‌های CSV در جستجوی بزرگ Lab: Loading CSV Data Into Big Query

• آزمایشگاه: اجرای پرس و جو در پرس و جو بزرگ Lab: Running Queries On Big Query

• آزمایشگاه: بارگیری داده های JSON با جداول تودرتو Lab: Loading JSON Data With Nested Tables

• آزمایشگاه: مجموعه داده های عمومی در پرس و جو بزرگ Lab: Public Datasets In Big Query

• آزمایشگاه: استفاده از Big Query از طریق خط فرمان Lab: Using Big Query Via The Command Line

• آزمایشگاه: تجمعات و شرایط در تجمعات Lab: Aggregations And Conditionals In Aggregations

• آزمایشگاه: سوالات فرعی و پیوستن Lab: Subqueries And Joins

• آزمایشگاه: عبارات منظم در SQL قدیمی Lab: Regular Expressions In Legacy SQL

• آزمایشگاه: استفاده از عبارت With برای سوالات فرعی Lab: Using The With Statement For SubQueries

جریان داده ~ پرتو آپاچی Dataflow ~ Apache Beam

• در مورد این بخش About this section

• معرفی جریان داده Data Flow Intro

• پرتو آپاچی Apache Beam

• آزمایشگاه: اجرای برنامه جریان داده پایتون Lab: Running A Python Data flow Program

• آزمایشگاه: اجرای برنامه جریان داده جاوا Lab: Running A Java Data flow Program

• آزمایشگاه: پیاده سازی تعداد کلمات در جریان داده جاوا Lab: Implementing Word Count In Dataflow Java

• آزمایشگاه: اجرای جریان داده شمارش کلمات Lab: Executing The Word Count Dataflow

• آزمایشگاه: اجرای MapReduce در جریان داده در پایتون Lab: Executing MapReduce In Dataflow In Python

• آزمایشگاه: اجرای MapReduce در جریان داده در جاوا Lab: Executing MapReduce In Dataflow In Java

• آزمایشگاه: جریان داده با جستجوی بزرگ به عنوان منبع و ورودی جانبی Lab: Dataflow With Big Query As Source And Side Inputs

• آزمایشگاه: جریان داده با پرس و جو بزرگ به عنوان منبع و ورودی های جانبی 2 Lab: Dataflow With Big Query As Source And Side Inputs 2

Dataproc ~ مدیریت Hadoop Dataproc ~ Managed Hadoop

• در مورد این بخش About this section

• Data Proc Data Proc

• آزمایشگاه: ایجاد و مدیریت یک خوشه Dataproc Lab: Creating And Managing A Dataproc Cluster

• آزمایشگاه: ایجاد یک قانون فایروال برای دسترسی به Dataproc Lab: Creating A Firewall Rule To Access Dataproc

• آزمایشگاه: اجرای یک کار PySpark در Dataproc Lab: Running A PySpark Job On Dataproc

• آزمایشگاه: اجرای PySpark REPL Shell And Pig Scripts در Dataproc Lab: Running The PySpark REPL Shell And Pig Scripts On Dataproc

• آزمایشگاه: ارسال Spark Jar به Dataproc Lab: Submitting A Spark Jar To Dataproc

• آزمایشگاه: کار با Dataproc با استفاده از GCloud CLI Lab: Working With Dataproc Using The GCloud CLI

Pub/Sub برای پخش جریانی Pub/Sub for Streaming

• در مورد این بخش About this section

• Pub Sub Pub Sub

• آزمایشگاه: کار با Pubsub در خط فرمان Lab: Working With Pubsub On The Command Line

• آزمایشگاه: کار با PubSub با استفاده از کنسول وب Lab: Working With PubSub Using The Web Console

• آزمایشگاه: راه اندازی یک ناشر Pubsub با استفاده از کتابخانه پایتون Lab: Setting Up A Pubsub Publisher Using The Python Library

• آزمایشگاه: راه اندازی مشترک Pubsub با استفاده از کتابخانه Python Lab: Setting Up A Pubsub Subscriber Using The Python Library

• آزمایشگاه: انتشار داده های جریانی در Pubsub Lab: Publishing Streaming Data Into Pubsub

• آزمایشگاه: خواندن جریان داده‌ها از PubSub و نوشتن در BigQuery Lab: Reading Streaming Data From PubSub And Writing To BigQuery

• آزمایشگاه: اجرای خط لوله برای خواندن داده های جریانی و نوشتن در BigQuery Lab: Executing A Pipeline To Read Streaming Data And Write To BigQuery

• آزمایشگاه: منبع Pubsub BigQuery Sink Lab: Pubsub Source BigQuery Sink

Datalab ~ Jupyter Datalab ~ Jupyter

• در مورد این بخش About this section

• آزمایشگاه داده Data Lab

• آزمایشگاه: ایجاد و کار بر روی یک نمونه Datalab Lab: Creating And Working On A Datalab Instance

• آزمایشگاه: واردات و صادرات داده با استفاده از Datalab Lab: Importing And Exporting Data Using Datalab

• Lab: استفاده از Charting API در Datalab Lab: Using The Charting API In Datalab

TensorFlow و یادگیری ماشین TensorFlow and Machine Learning

• در مورد این بخش About this section

• معرفی یادگیری ماشینی Introducing Machine Learning

• آموزش بازنمایی Representation Learning

• NN معرفی شد NN Introduced

• معرفی TF Introducing TF

• آزمایشگاه: عملیات ریاضی ساده Lab: Simple Math Operations

• نمودار محاسباتی Computation Graph

• تانسورها Tensors

• آزمایشگاه: تانسور Lab: Tensors

• مقدمه رگرسیون خطی Linear Regression Intro

• متغیرها و متغیرها Placeholders and Variables

• آزمایشگاه: متغیرهایی Lab: Placeholders

• آزمایشگاه: متغیرها Lab: Variables

• آزمایشگاه: رگرسیون خطی با داده های ساخته شده Lab: Linear Regression with Made-up Data

• پردازش تصویر Image Processing

• تصاویر به عنوان تانسور Images As Tensors

• آزمایشگاه: خواندن و کار با تصاویر Lab: Reading and Working with Images

• آزمایشگاه: تبدیل تصویر Lab: Image Transformations

• معرفی MNIST Introducing MNIST

• K-نزدیکترین همسایگان K-Nearest Neigbors

• نمادگذاری یک داغ و فاصله L1 One-hot Notation and L1 Distance

• مراحل اجرای K-Nearest-Neighbours Steps in the K-Nearest-Neighbors Implementation

• آزمایشگاه: K-نزدیکترین همسایه ها Lab: K-Nearest-Neighbors

• الگوریتم یادگیری Learning Algorithm

• نورون فردی Individual Neuron

• رگرسیون یادگیری Learning Regression

• یادگیری XOR Learning XOR

• XOR آموزش دیده XOR Trained

رگرسیون در TensorFlow Regression in TensorFlow

• در مورد این بخش About this section

• آزمایشگاه: دسترسی به داده ها از Yahoo Finance Lab: Access Data from Yahoo Finance

• رگرسیون Non TensorFlow Non TensorFlow Regression

• آزمایشگاه: رگرسیون خطی - تنظیم یک خط پایه Lab: Linear Regression - Setting Up a Baseline

• گرادیان نزول Gradient Descent

• آزمایشگاه: رگرسیون خطی Lab: Linear Regression

• آزمایشگاه: رگرسیون چندگانه در TensorFlow Lab: Multiple Regression in TensorFlow

• رگرسیون لجستیک معرفی شد Logistic Regression Introduced

• طبقه بندی خطی Linear Classification

• آزمایشگاه: رگرسیون لجستیک - تنظیم یک خط مبنا Lab: Logistic Regression - Setting Up a Baseline

• لوجیت Logit

• سافت مکس Softmax

• Argmax Argmax

• آزمایشگاه: رگرسیون لجستیک Lab: Logistic Regression

• برآوردگرها Estimators

• آزمایشگاه: رگرسیون خطی با استفاده از برآوردگرها Lab: Linear Regression using Estimators

• آزمایشگاه: رگرسیون لجستیک با استفاده از برآوردگرها Lab: Logistic Regression using Estimators

Vision, Translate, NLP and Speech: Trained ML APIs Vision, Translate, NLP and Speech: Trained ML APIs

• در مورد این بخش About this section

• Lab: Taxicab Prediction - تنظیم مجموعه داده Lab: Taxicab Prediction - Setting up the dataset

• آزمایشگاه: پیش بینی تاکسی - آموزش و اجرای مدل Lab: Taxicab Prediction - Training and Running the model

• آزمایشگاه: Vision، Translate، NLP و Speech API Lab: The Vision, Translate, NLP and Speech API

• Lab: Vision API برای تشخیص برچسب و نقطه عطف Lab: The Vision API for Label and Landmark Detection

ماشین های مجازی و تصاویر Virtual Machines and Images

• در مورد این بخش About this section

• مهاجرت زنده Live Migration

• انواع ماشین و صورتحساب Machine Types and Billing

• استفاده پایدار و تخفیف استفاده متعهد Sustained Use and Committed Use Discounts

• توصیه های حقوقی Rightsizing Recommendations

• دیسک RAM RAM Disk

• تصاویر Images

• اسکریپت های راه اندازی و تصاویر پخته شده Startup Scripts And Baked Images

VPC ها و شبکه های متصل VPCs and Interconnecting Networks

• در مورد این بخش About this section

• VPC ها و زیرشبکه ها VPCs And Subnets

• VPC های جهانی، زیرشبکه های منطقه ای Global VPCs, Regional Subnets

• آدرس های IP IP Addresses

• آزمایشگاه: کار با آدرس های IP ثابت Lab: Working with Static IP Addresses

• مسیرها Routes

• قوانین فایروال Firewall Rules

• آزمایشگاه: کار با فایروال Lab: Working with Firewalls

• آزمایشگاه: کار با حالت خودکار و شبکه های حالت سفارشی Lab: Working with Auto Mode and Custom Mode Networks

• آزمایشگاه: میزبان سنگر Lab: Bastion Host

• Cloud VPN Cloud VPN

• آزمایشگاه: کار با Cloud VPN Lab: Working with Cloud VPN

• روتر ابری Cloud Router

• آزمایشگاه: استفاده از روترهای ابری برای مسیریابی پویا Lab: Using Cloud Routers for Dynamic Routing

• اتصال اختصاصی مستقیم و همتاسازی حامل Dedicated Interconnect Direct and Carrier Peering

• VPC های مشترک Shared VPCs

• آزمایشگاه: VPC های مشترک Lab: Shared VPCs

• همتاسازی شبکه VPC VPC Network Peering

• آزمایشگاه: VPC Peering Lab: VPC Peering

• Cloud DNS و شبکه های قدیمی Cloud DNS And Legacy Networks

• شبکه سازی Networking

گروه‌های نمونه مدیریت شده و تعادل بار Managed Instance Groups and Load Balancing

• در مورد این بخش About this section

• گروه های نمونه مدیریت شده و مدیریت نشده Managed and Unmanaged Instance Groups

• انواع Load Balancing Types of Load Balancing

• مروری بر تعادل بار HTTP(S). Overview of HTTP(S) Load Balancing

• قوانین حمل و نقل، نقشه های پراکسی و آدرس اینترنتی هدف Forwarding Rules Target Proxy and Url Maps

• خدمات Backend و Backends Backend Service and Backends

• قوانین توزیع بار و فایروال Load Distribution and Firewall Rules

• آزمایشگاه: تعادل بار HTTP(S). Lab: HTTP(S) Load Balancing

• آزمایشگاه: تعادل بار مبتنی بر محتوا Lab: Content Based Load Balancing

• SSL Proxy و TCP Proxy Load Balancing SSL Proxy and TCP Proxy Load Balancing

• آزمایشگاه: SSL Proxy Load Balancing Lab: SSL Proxy Load Balancing

• تعادل بار شبکه Network Load Balancing

• تعادل بار داخلی Internal Load Balancing

• مقیاس کننده های خودکار Autoscalers

• آزمایشگاه: مقیاس خودکار با گروه‌های نمونه مدیریت‌شده Lab: Autoscaling with Managed Instance Groups

عملیات و امنیت Ops and Security

• در مورد این بخش About this section

• StackDriver StackDriver

• StackDriver Logging StackDriver Logging

• آزمایشگاه: نظارت بر منابع Stackdriver Lab: Stackdriver Resource Monitoring

• Lab: Stackdriver Error Reporting and Debugging Lab: Stackdriver Error Reporting and Debugging

• مدیر استقرار ابری Cloud Deployment Manager

• آزمایشگاه: با استفاده از Deployment Manager Lab: Using Deployment Manager

• آزمایشگاه: Deployment Manager و Stackdriver Lab: Deployment Manager and Stackdriver

• نقاط پایانی ابری Cloud Endpoints

• Cloud IAM: حساب‌های کاربری، حساب‌های سرویس، اعتبارنامه‌های API Cloud IAM: User accounts, Service accounts, API Credentials

• Cloud IAM: نقش‌ها، پروکسی آگاه از هویت، بهترین روش‌ها Cloud IAM: Roles, Identity-Aware Proxy, Best Practices

• آزمایشگاه: Cloud IAM Lab: Cloud IAM

• حفاظت از داده ها Data Protection

• عملیات و امنیت Operations and Security

پیوست: اکوسیستم هادوپ Appendix: Hadoop Ecosystem

• معرفی اکوسیستم هادوپ Introducing the Hadoop Ecosystem

• هادوپ Hadoop

• HDFS HDFS

• MapReduce MapReduce

• نخ Yarn

• کندو Hive

• کندو در مقابل RDBMS Hive vs. RDBMS

• HQL در مقابل SQL HQL vs. SQL

• OLAP در Hive OLAP in Hive

• کندو پنجره Windowing Hive

• خوک Pig

• خوک بیشتر More Pig

• جرقه Spark

• جرقه بیشتر More Spark

• معرفی جریان Streams Intro

• میکروبچ Microbatches

• انواع پنجره Window Types

• اکوسیستم هادوپ Hadoop Ecosystem