GCP: راهنمای کامل مهندس داده گوگل و معمار ابر [ویدئو]

سرفصل ها و درس ها

شما، این دوره، و ما You, This Course, and Us

• شما، این دوره، و ما You, This Course, and Us

معرفی Introduction

• تئوری، عمل و آزمون Theory, Practice and Tests

• چرا ابر؟ Why Cloud?

• هادوپ و محاسبات توزیع شده Hadoop and Distributed Computing

• در محل، Colocation یا Cloud؟ On-premise, Colocation or Cloud?

• معرفی پلتفرم Google Cloud Introducing the Google Cloud Platform

• آزمایشگاه: راه اندازی یک حساب GCP Lab: Setting Up A GCP Account

• آزمایشگاه: با استفاده از پوسته ابری Lab: Using The Cloud Shell

محاسبه انتخاب ها Compute Choices

• گزینه های محاسبه Compute Options

• موتور محاسباتی گوگل (GCE) Google Compute Engine (GCE)

• GCE بیشتر More GCE

• آزمایشگاه: ایجاد یک نمونه VM Lab: Creating a VM Instance

• آزمایشگاه: ویرایش نمونه VM Lab: Editing a VM Instance

• آزمایشگاه: ایجاد یک نمونه VM با استفاده از خط فرمان Lab: Creating a VM Instance Using The Command Line

• آزمایشگاه: ایجاد و پیوست کردن یک دیسک پایدار Lab: Creating And Attaching A Persistent Disk

• موتور کانتینر Google - Kubernetes (GKE) Google Container Engine - Kubernetes (GKE)

• GKE بیشتر More GKE

• آزمایشگاه: ایجاد یک خوشه Kubernetes و استقرار یک ظرف وردپرس Lab: Creating A Kubernetes Cluster And Deploying a Wordpress Container

• موتور برنامه App Engine

• موتور برنامه متضاد، موتور محاسباتی و موتور کانتینر Contrasting App Engine, Compute Engine, and Container Engine

• آزمایشگاه: استقرار و اجرای برنامه App Engine Lab: Deploy and Run an App Engine App

ذخیره سازی Storage

• گزینه های ذخیره سازی Storage Options

• سریع بگیرید Quick Take

• فضای ذخیره ابری Cloud Storage

• آزمایشگاه: کار با سطل های ذخیره سازی ابری Lab: Working With Cloud Storage Buckets

• Lab: Bucket and Object Permissions Lab: Bucket and Object Permissions

• آزمایشگاه: مدیریت چرخه زندگی در سطل ها Lab: Life-Cycle Management on Buckets

• آزمایشگاه: اجرای یک برنامه در یک نمونه VM و ذخیره نتایج در فضای ذخیره سازی ابری Lab: Running a Program on a VM Instance and Storing Results on Cloud Storage

• سرویس انتقال Transfer Service

• آزمایشگاه: انتقال داده ها با استفاده از سرویس انتقال Lab: Migrating Data Using the Transfer Service

• آزمایشگاه: ACL های ذخیره سازی ابری و دسترسی به API با حساب سرویس Lab: Cloud Storage ACLs and API access with Service Account

• آزمایشگاه: کلیدهای رمزگذاری ارائه شده توسط مشتری و مدیریت چرخه زندگی Cloud Storage Lab: Cloud Storage Customer-Supplied Encryption Keys and Life-Cycle Management

• آزمایشگاه: نسخه‌سازی ذخیره‌سازی ابری، همگام‌سازی فهرست Lab: Cloud Storage Versioning, Directory Sync

Cloud SQL، Cloud Spanner ~ OLTP ~ RDBMS Cloud SQL, Cloud Spanner ~ OLTP ~ RDBMS

• ابر SQL Cloud SQL

• آزمایشگاه: ایجاد یک نمونه Cloud SQL Lab: Creating A Cloud SQL Instance

• آزمایشگاه: اجرای دستورات در Cloud SQL Instance Lab: Running Commands On Cloud SQL Instance

• آزمایشگاه: بارگیری انبوه داده ها در جداول Cloud SQL Lab: Bulk Loading Data Into Cloud SQL Tables

• آچار ابری Cloud Spanner

• کلود آچار بیشتر More Cloud Spanner

• آزمایشگاه: کار با Cloud Spanner Lab: Working with Cloud Spanner

BigTable ~ HBase = فروشگاه ستونی. BigTable ~ HBase = Columnar Store.

• معرفی BigTable BigTable Intro

• فروشگاه ستون Columnar Store

• غیرعادی شده Denormalised

• خانواده های ستونی Column Families

• عملکرد BigTable BigTable Performance

• آزمایشگاه: نسخه ی نمایشی BigTable Lab: BigTable demo

Datastore ~ ​​Database Document Datastore ~ Document Database

• فروشگاه داده Datastore

• آزمایشگاه: نسخه ی نمایشی Datastore Lab: Datastore demo

BigQuery ~ Hive ~ OLAP BigQuery ~ Hive ~ OLAP

• معرفی BigQuery BigQuery Intro

• BigQuery پیشرفته BigQuery Advanced

• آزمایشگاه: بارگیری داده‌های CSV در Big Query Lab: Loading CSV Data into Big Query

• آزمایشگاه: اجرای پرس و جو در پرس و جو بزرگ Lab: Running Queries On Big Query

• آزمایشگاه: بارگیری داده های JSON با جداول تودرتو Lab: Loading JSON Data With Nested Tables

• آزمایشگاه: مجموعه داده های عمومی در پرس و جو بزرگ Lab: Public Datasets in Big Query

• آزمایشگاه: استفاده از Big Query از طریق خط فرمان Lab: Using Big Query Via The Command Line

• آزمایشگاه: تجمعات و شرایط در تجمعات Lab: Aggregations And Conditionals In Aggregations

• آزمایشگاه: سوالات فرعی و پیوستن Lab: Subqueries And Joins

• آزمایشگاه: عبارات منظم در SQL قدیمی Lab: Regular Expressions In Legacy SQL

• آزمایشگاه: استفاده از عبارت With برای سوالات فرعی Lab: Using The With Statement For SubQueries

جریان داده ~ پرتو آپاچی Dataflow ~ Apache Beam

• معرفی جریان داده Dataflow Intro

• پرتو آپاچی Apache Beam

• آزمایشگاه: اجرای یک برنامه جریان داده پایتون Lab: Running a Python Dataflow Program

• آزمایشگاه: اجرای یک برنامه جریان داده جاوا Lab: Running a Java Dataflow Program

• آزمایشگاه: پیاده سازی تعداد کلمات در جریان داده جاوا Lab: Implementing Word Count In Dataflow Java

• آزمایشگاه: اجرای جریان داده شمارش کلمات Lab: Executing The Word Count Dataflow

• آزمایشگاه: اجرای MapReduce در جریان داده در پایتون Lab: Executing MapReduce In Dataflow In Python

• آزمایشگاه: اجرای MapReduce در جریان داده در جاوا Lab: Executing MapReduce In Dataflow In Java

• آزمایشگاه: جریان داده با BigQuery به عنوان منبع و ورودی جانبی Lab: Dataflow with BigQuery as Source and Side Inputs

• آزمایشگاه: جریان داده با Big Query به عنوان منبع و ورودی جانبی 2 Lab: Dataflow with Big Query as Source and Side Inputs 2

Dataproc ~ مدیریت Hadoop Dataproc ~ Managed Hadoop

• Data Proc Data Proc

• آزمایشگاه: ایجاد و مدیریت یک خوشه Dataproc Lab: Creating And Managing A Dataproc Cluster

• آزمایشگاه: ایجاد یک قانون فایروال برای دسترسی به Dataproc Lab: Creating A Firewall Rule To Access Dataproc

• آزمایشگاه: اجرای یک کار PySpark در Dataproc Lab: Running A PySpark Job on Dataproc

• آزمایشگاه: اجرای PySpark REPL Shell And Pig Scripts در Dataproc Lab: Running the PySpark REPL Shell And Pig Scripts On Dataproc

• آزمایشگاه: ارسال Spark Jar به Dataproc Lab: Submitting a Spark Jar to Dataproc

• آزمایشگاه: کار با Dataproc با استفاده از GCloud CLI Lab: Working with Dataproc using the GCloud CLI

Pub/Sub برای پخش جریانی. Pub/Sub for Streaming.

• میخانه/فرعی Pub/Sub

• آزمایشگاه: کار با Pub/Sub در خط فرمان Lab: Working with Pub/Sub on the Command Line

• آزمایشگاه: کار با Pub/Sub با استفاده از کنسول وب Lab: Working with Pub/Sub Using the Web Console

• آزمایشگاه: راه اندازی Pub/Sub Publisher با استفاده از کتابخانه Python Lab: Setting Up a Pub/Sub Publisher Using the Python Library

• آزمایشگاه: راه اندازی یک مشترک Pub/Sub با استفاده از کتابخانه Python Lab: Setting Up a Pub/Sub Subscriber Using the Python Library

• آزمایشگاه: انتشار داده های جریانی در Pub/Sub Lab: Publishing Streaming Data into Pub/Sub

• آزمایشگاه: خواندن جریان داده‌ها از Pub/Sub و نوشتن در BigQuery Lab: Reading Streaming Data from Pub/Sub and Writing to BigQuery

• آزمایشگاه: اجرای خط لوله برای خواندن داده های جریانی و نوشتن در BigQuery Lab: Executing a Pipeline to Read Streaming Data and Write to BigQuery

• آزمایشگاه: سینک BigQuery Source Pub/Sub Lab: Pub/Sub Source BigQuery Sink

Datalab ~ Jupyter Datalab ~ Jupyter

• Datalab Datalab

• آزمایشگاه: ایجاد و کار بر روی یک نمونه Datalab Lab: Creating and Working on a Datalab Instance

• آزمایشگاه: واردات و صادرات داده با استفاده از Datalab Lab: Importing and Exporting Data using Datalab

• Lab: استفاده از Charting API در Datalab Lab: Using The Charting API In Datalab

TensorFlow و یادگیری ماشین TensorFlow and Machine Learning

• معرفی یادگیری ماشینی Introducing Machine Learning

• آموزش بازنمایی Representation Learning

• شبکه های عصبی (NN) معرفی شدند Neural Networks (NN) Introduced

• معرفی TF Introducing TF

• آزمایشگاه: عملیات ریاضی ساده Lab: Simple Math Operations

• نمودار محاسباتی Computation Graph

• تانسورها Tensors

• آزمایشگاه: تانسور Lab: Tensors

• مقدمه رگرسیون خطی Linear Regression Intro

• متغیرها و متغیرها Placeholders and Variables

• آزمایشگاه: متغیرهایی Lab: Placeholders

• آزمایشگاه: متغیرها Lab: Variables

• آزمایشگاه: رگرسیون خطی با داده های ساخته شده Lab: Linear Regression with Made-up Data

• پردازش تصویر Image Processing

• تصاویر به عنوان تانسور Images As Tensors

• آزمایشگاه: خواندن و کار با تصاویر Lab: Reading and Working with Images

• آزمایشگاه: تبدیل تصویر Lab: Image Transformations

• معرفی MNIST Introducing MNIST

• K-نزدیکترین همسایه ها به عنوان یادگیری بدون نظارت K-Nearest Neighbours as Unsupervised Learning

• نمادگذاری یک داغ و فاصله L1 One-hot Notation and L1 Distance

• مراحل اجرای K-Nearest-Neighbours Steps in the K-Nearest-Neighbours Implementation

• آزمایشگاه: K-نزدیکترین همسایه ها Lab: K-Nearest-Neighbours

• الگوریتم یادگیری Learning Algorithm

• نورون فردی Individual Neuron

• رگرسیون یادگیری Learning Regression

• یادگیری XOR Learning XOR

• XOR آموزش دیده XOR Trained

رگرسیون در TensorFlow Regression in TensorFlow

• آزمایشگاه: دسترسی به داده ها از Yahoo Finance Lab: Access Data from Yahoo Finance

• رگرسیون Non-TensorFlow Non-TensorFlow Regression

• آزمایشگاه: رگرسیون خطی - تنظیم یک خط پایه Lab: Linear Regression - Setting Up a Baseline

• گرادیان نزول Gradient Descent

• آزمایشگاه: رگرسیون خطی Lab: Linear Regression

• آزمایشگاه: رگرسیون چندگانه در TensorFlow Lab: Multiple Regression in TensorFlow

• رگرسیون لجستیک معرفی شد Logistic Regression Introduced

• طبقه بندی خطی Linear Classification

• آزمایشگاه: رگرسیون لجستیک - تنظیم یک خط مبنا Lab: Logistic Regression - Setting Up a Baseline

• لوجیت Logit

• سافت مکس Softmax

• Argmax Argmax

• آزمایشگاه: رگرسیون لجستیک Lab: Logistic Regression

• برآوردگرها Estimators

• آزمایشگاه: رگرسیون خطی با استفاده از برآوردگرها Lab: Linear Regression using Estimators

• آزمایشگاه: رگرسیون لجستیک با استفاده از برآوردگرها Lab: Logistic Regression using Estimators

Vision, Translate, NLP and Speech: Trained ML APIs Vision, Translate, NLP and Speech: Trained ML APIs

• Lab: Taxicab Prediction - تنظیم مجموعه داده Lab: Taxicab Prediction - Setting up the dataset

• آزمایشگاه: پیش بینی تاکسی - آموزش و اجرای مدل Lab: Taxicab Prediction - Training and Running the model

• آزمایشگاه: Vision، Translate، NLP و Speech API Lab: The Vision, Translate, NLP, and Speech API

• Lab: Vision API برای تشخیص برچسب و نقطه عطف Lab: The Vision API for Label and Landmark Detection

ماشین های مجازی و تصاویر Virtual Machines and Images

• مهاجرت زنده Live Migration

• انواع ماشین و صورتحساب Machine Types and Billing

• استفاده پایدار و تخفیف استفاده متعهد Sustained Use and Committed Use Discounts

• توصیه های حقوقی Rightsizing Recommendations

• دیسک RAM RAM Disk

• تصاویر Images

• اسکریپت های راه اندازی و تصاویر پخته شده Startup Scripts and Baked Images

VPC ها و شبکه های متصل VPCs and Interconnecting Networks

• VPC ها و زیرشبکه ها VPCs and Subnets

• VPC های جهانی، زیرشبکه های منطقه ای Global VPCs, Regional Subnets

• آدرس های IP IP Addresses

• آزمایشگاه: کار با آدرس های IP ثابت Lab: Working with Static IP Addresses

• مسیرها Routes

• قوانین فایروال Firewall Rules

• آزمایشگاه: کار با فایروال Lab: Working with Firewalls

• آزمایشگاه: کار با حالت خودکار و شبکه های حالت سفارشی Lab: Working with Auto Mode and Custom Mode Networks

• آزمایشگاه: میزبان سنگر Lab: Bastion Host

• Cloud VPN Cloud VPN

• آزمایشگاه: کار با Cloud VPN Lab: Working with Cloud VPN

• روتر ابری Cloud Router

• این ویدئو روتر ابری را توضیح می دهد. This video explains the cloud router.

• اتصال اختصاصی مستقیم و همتاسازی حامل Dedicated Interconnect Direct and Carrier Peering

• VPC های مشترک Shared VPCs

• آزمایشگاه: VPC های مشترک Lab: Shared VPCs

• همتاسازی شبکه VPC VPC Network Peering

• آزمایشگاه: VPC Peering Lab: VPC Peering

• Cloud DNS و شبکه های قدیمی Cloud DNS and Legacy Networks

گروه‌های نمونه مدیریت شده و تعادل بار Managed Instance Groups and Load Balancing

• گروه های نمونه مدیریت شده و مدیریت نشده Managed and Unmanaged Instance Groups

• انواع Load Balancing Types of Load Balancing

• مروری بر تعادل بار HTTP(S). Overview of HTTP(S) Load Balancing

• قوانین بازارسال، پروکسی هدف و نقشه های URL Forwarding Rules, Target Proxy, and URL Maps

• خدمات Backend و Backends Backend Service and Backends

• قوانین توزیع بار و فایروال Load Distribution and Firewall Rules

• آزمایشگاه: تعادل بار HTTP(S). Lab: HTTP(S) Load Balancing

• آزمایشگاه: تعادل بار مبتنی بر محتوا Lab: Content-Based Load Balancing

• تعادل بار پروکسی SSL و TCP Proxy SSL Proxy and TCP Proxy Load Balancing

• آزمایشگاه: SSL Proxy Load Balancing Lab: SSL Proxy Load Balancing

• تعادل بار شبکه Network Load Balancing

• تعادل بار داخلی Internal Load Balancing

• مقیاس کننده های خودکار Autoscalers

• آزمایشگاه: مقیاس خودکار با گروه‌های نمونه مدیریت‌شده Lab: Autoscaling with Managed Instance Groups

عملیات و امنیت Ops and Security

• درایور پشته Stack driver

• StackDriver Logging StackDriver Logging

• آزمایشگاه: نظارت بر منابع StackDriver Lab: StackDriver Resource Monitoring

• Lab: StackDriver Error Reporting and Debugging Lab: StackDriver Error Reporting and Debugging

• مدیر استقرار ابری Cloud Deployment Manager

• آزمایشگاه: با استفاده از Deployment Manager Lab: Using Deployment Manager

• آزمایشگاه: Deployment Manager و StackDriver Lab: Deployment Manager and StackDriver

• نقاط پایانی ابری Cloud Endpoints

• Cloud IAM: حساب‌های کاربری، حساب‌های سرویس، اعتبارنامه‌های API Cloud IAM: User accounts, Service accounts, API Credentials

• Cloud IAM: نقش‌ها، پروکسی آگاه از هویت، بهترین روش‌ها Cloud IAM: Roles, Identity-Aware Proxy, Best Practices

• آزمایشگاه: Cloud IAM Lab: Cloud IAM

• حفاظت از داده ها Data Protection

پیوست: اکوسیستم هادوپ Appendix: Hadoop Ecosystem

• مقدمه ای بر اکوسیستم هادوپ Introduction to the Hadoop Ecosystem

• هادوپ Hadoop

• HDFS HDFS

• MapReduce MapReduce

• نخ Yarn

• کندو Hive

• کندو در مقابل RDBMS Hive vs. RDBMS

• HQL در مقابل SQL HQL vs. SQL

• OLAP در Hive OLAP in Hive

• کندو پنجره Windowing Hive

• خوک Pig

• خوک بیشتر More Pig

• جرقه Spark

• جرقه بیشتر More Spark

• معرفی جریان Streams Intro

• میکروبچ Microbatches

• انواع پنجره Window Types