آموزش راهنمای کامل مهندسی داده گوگل و معماری ابری گوگل (GCP) - آخرین آپدیت

دانلود GCP: Complete Google Data Engineer and Cloud Architect Guide

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:

گوگل کلود برای یادگیری ماشین با تنسورفلو و کلان‌داده با هدوپ مدیریت‌شده

پیاده‌سازی اپلیکیشن‌های هدوپ مدیریت‌شده در گوگل کلود و ساخت مدل‌های یادگیری عمیق در فضای ابری با استفاده از تنسورفلو. با تکنولوژی‌های کلان‌داده مانند BigTable، Dataflow، Apache Beam و Pub/Sub تصمیمات آگاهانه بگیرید.

پیش‌نیازها:

آشنایی اولیه با تکنولوژی. تماس سطحی با هدوپ کافی است.

این دوره یک راهنمای جامع برای پلتفرم گوگل کلود (Google Cloud Platform) است؛ شامل حدود ۲۵ ساعت محتوا و ۶۰ دموی عملی .

پلتفرم گوگل کلود در حال حاضر محبوب‌ترین سرویس ابری نیست (این عنوان متعلق به AWS است)، اما احتمالاً بهترین گزینه ابری برای برنامه‌های پیشرفته یادگیری ماشین (Machine Learning) است. دلیل این امر، توسعه تنسورفلو (TensorFlow)، فناوری محبوب یادگیری عمیق، توسط خود گوگل است.

محتوای دوره شامل:

  • محاسبات و ذخیره‌سازی: AppEngine، Container Engine (معروف به Kubernetes) و Compute Engine
  • کلان‌داده و هدوپ مدیریت‌شده: Dataproc، Dataflow، BigTable، BigQuery، Pub/Sub
  • تنسورفلو در فضای ابری: آشنایی با شبکه‌های عصبی، یادگیری عمیق، نحوه کار نورون‌ها و آموزش شبکه‌های عصبی.
  • مباحث DevOps: لاگ‌گیری StackDriver، نظارت، مدیر استقرار ابری (Cloud Deployment Manager)
  • امنیت: مدیریت هویت و دسترسی (IAM)، پراکسی تشخیص هویت (Identity-Aware Proxy)، OAuth، کلیدهای API، حساب‌های سرویس
  • شبکه: شبکه‌های خصوصی مجازی (VPCs)، VPCهای اشتراکی، متعادل‌سازی بار در لایه‌های شبکه، انتقال و HTTP؛ VPN، Cloud Interconnect و CDN Interconnect
  • مبانی هدوپ: نگاهی سریع به پروژه‌های متن‌باز مشابه (Hadoop، Spark، Pig، Hive و HBase)

سرفصل ها و درس ها

شما، این دوره و ما You, This Course and Us

  • شما، این دوره و ما You, This Course and Us

  • مطالب دوره Course Materials

مقدمه Introduction

  • تئوری، تمرین و آزمون‌ها Theory, Practice and Tests

  • آزمایشگاه: راه‌اندازی حساب GCP Lab: Setting Up A GCP Account

  • آزمایشگاه: استفاده از Cloud Shell Lab: Using The Cloud Shell

  • مهم! پروژه‌ها/نمونه‌های GCP استفاده نشده را حذف کنید Important! Delete unused GCP projects/instances

محاسبات Compute

  • درباره این بخش About this section

  • گزینه‌های محاسباتی Compute Options

  • Google Compute Engine (GCE) Google Compute Engine (GCE)

  • آزمایشگاه: ایجاد یک نمونه VM Lab: Creating a VM Instance

  • GCE بیشتر More GCE

  • آزمایشگاه: ویرایش یک نمونه VM Lab: Editing a VM Instance

  • آزمایشگاه: ایجاد یک نمونه VM با استفاده از خط فرمان Lab: Creating a VM Instance Using The Command Line

  • آزمایشگاه: ایجاد و اتصال یک دیسک پایدار Lab: Creating And Attaching A Persistent Disk

  • Google Container Engine - Kubernetes (GKE) Google Container Engine - Kubernetes (GKE)

  • GKE بیشتر More GKE

  • آزمایشگاه: ایجاد یک کلاستر Kubernetes و استقرار یک کانتینر Wordpress Lab: Creating A Kubernetes Cluster And Deploying A Wordpress Container

  • App Engine App Engine

  • مقایسه App Engine، Compute Engine و Container Engine Contrasting App Engine, Compute Engine and Container Engine

  • آزمایشگاه: استقرار و اجرای یک برنامه App Engine Lab: Deploy And Run An App Engine App

  • محاسبات Compute

ذخیره‌سازی Storage

  • درباره این بخش About this section

  • گزینه‌های ذخیره‌سازی Storage Options

  • نکته سریع Quick Take

  • Cloud Storage Cloud Storage

  • آزمایشگاه: کار با سطل‌های Cloud Storage Lab: Working With Cloud Storage Buckets

  • آزمایشگاه: مجوزهای سطل و اشیاء Lab: Bucket And Object Permissions

  • آزمایشگاه: مدیریت چرخه عمر در سطل‌ها Lab: Life cycle Management On Buckets

  • رفع خطای AccessDeniedException: 403 Insufficient Permission Fix for AccessDeniedException: 403 Insufficient Permission

  • آزمایشگاه: اجرای یک برنامه روی نمونه VM و ذخیره نتایج در Cloud Storage Lab: Running A Program On a VM Instance And Storing Results on Cloud Storage

  • Transfer Service Transfer Service

  • آزمایشگاه: مهاجرت داده‌ها با استفاده از Transfer Service Lab: Migrating Data Using The Transfer Service

  • gcloud init gcloud init

  • آزمایشگاه: ACLهای Cloud Storage و دسترسی API با حساب سرویس Lab: Cloud Storage ACLs and API access with Service Account

  • آزمایشگاه: کلیدهای رمزگذاری ارائه شده توسط مشتری Cloud Storage و مدیریت چرخه عمر Lab: Cloud Storage Customer-Supplied Encryption Keys and Life-Cycle Management

  • آزمایشگاه: نسخه‌بندی Cloud Storage، همگام‌سازی دایرکتوری Lab: Cloud Storage Versioning, Directory Sync

Cloud SQL، Cloud Spanner ~ OLTP ~ RDBMS Cloud SQL, Cloud Spanner ~ OLTP ~ RDBMS

  • درباره این بخش About this section

  • Cloud SQL Cloud SQL

  • آزمایشگاه: ایجاد یک نمونه Cloud SQL Lab: Creating A Cloud SQL Instance

  • آزمایشگاه: اجرای دستورات روی نمونه Cloud SQL Lab: Running Commands On Cloud SQL Instance

  • آزمایشگاه: بارگذاری انبوه داده‌ها در جداول Cloud SQL Lab: Bulk Loading Data Into Cloud SQL Tables

  • Cloud Spanner Cloud Spanner

  • Cloud Spanner بیشتر More Cloud Spanner

  • آزمایشگاه: کار با Cloud Spanner Lab: Working With Cloud Spanner

  • مهم! پروژه‌ها/نمونه‌های GCP استفاده نشده را حذف کنید Important! Delete unused GCP projects/instances

پیش‌نیازها و زمینه Hadoop Hadoop Pre-reqs and Context

  • پیش‌نیازها و زمینه Hadoop Hadoop Pre-reqs and Context

BigTable ~ HBase = Columnar Store BigTable ~ HBase = Columnar Store

  • درباره این بخش About this section

  • معرفی BigTable BigTable Intro

  • ذخیره‌سازی ستونی (Columnar Store) Columnar Store

  • بدون نرمال‌سازی (Denormalised) Denormalised

  • خانواده‌های ستونی (Column Families) Column Families

  • عملکرد BigTable BigTable Performance

  • دریافت پرامپت HBase Getting the HBase Prompt

  • آزمایشگاه: نمایش BigTable Lab: BigTable demo

  • مهم! پروژه‌ها/نمونه‌های GCP استفاده نشده را حذف کنید Important! Delete unused GCP projects/instances

Datastore ~ پایگاه داده اسناد Datastore ~ Document Database

  • درباره این بخش About this section

  • Datastore Datastore

  • آزمایشگاه: نمایش Datastore Lab: Datastore demo

  • Datastore Datastore

BigQuery ~ Hive ~ OLAP BigQuery ~ Hive ~ OLAP

  • درباره این بخش About this section

  • معرفی BigQuery BigQuery Intro

  • BigQuery پیشرفته BigQuery Advanced

  • آزمایشگاه: بارگذاری داده‌های CSV در BigQuery Lab: Loading CSV Data Into Big Query

  • آزمایشگاه: اجرای کوئری‌ها روی BigQuery Lab: Running Queries On Big Query

  • آزمایشگاه: بارگذاری داده‌های JSON با جداول تودرتو Lab: Loading JSON Data With Nested Tables

  • آزمایشگاه: مجموعه داده‌های عمومی در BigQuery Lab: Public Datasets In Big Query

  • آزمایشگاه: استفاده از BigQuery از طریق خط فرمان Lab: Using Big Query Via The Command Line

  • آزمایشگاه: تجمیع‌ها و شرط‌ها در تجمیع‌ها Lab: Aggregations And Conditionals In Aggregations

  • آزمایشگاه: زیرکوئری‌ها و پیوست‌ها (Joins) Lab: Subqueries And Joins

  • آزمایشگاه: عبارات منظم در SQL قدیمی (Legacy SQL) Lab: Regular Expressions In Legacy SQL

  • آزمایشگاه: استفاده از عبارت With برای زیرکوئری‌ها Lab: Using The With Statement For SubQueries

Dataflow ~ Apache Beam Dataflow ~ Apache Beam

  • درباره این بخش About this section

  • معرفی Dataflow Data Flow Intro

  • Apache Beam Apache Beam

  • آزمایشگاه: اجرای یک برنامه Dataflow پایتون Lab: Running A Python Data flow Program

  • آزمایشگاه: اجرای یک برنامه Dataflow جاوا Lab: Running A Java Data flow Program

  • آزمایشگاه: پیاده‌سازی Word Count در Dataflow جاوا Lab: Implementing Word Count In Dataflow Java

  • آزمایشگاه: اجرای Word Count Dataflow Lab: Executing The Word Count Dataflow

  • آزمایشگاه: اجرای MapReduce در Dataflow در پایتون Lab: Executing MapReduce In Dataflow In Python

  • آزمایشگاه: اجرای MapReduce در Dataflow در جاوا Lab: Executing MapReduce In Dataflow In Java

  • آزمایشگاه: Dataflow با BigQuery به عنوان منبع و ورودی‌های جانبی Lab: Dataflow With Big Query As Source And Side Inputs

  • آزمایشگاه: Dataflow با BigQuery به عنوان منبع و ورودی‌های جانبی ۲ Lab: Dataflow With Big Query As Source And Side Inputs 2

Dataproc ~ Managed Hadoop Dataproc ~ Managed Hadoop

  • درباره این بخش About this section

  • Data Proc Data Proc

  • آزمایشگاه: ایجاد و مدیریت یک کلاستر Dataproc Lab: Creating And Managing A Dataproc Cluster

  • آزمایشگاه: ایجاد یک قانون فایروال برای دسترسی به Dataproc Lab: Creating A Firewall Rule To Access Dataproc

  • آزمایشگاه: اجرای یک کار PySpark روی Dataproc Lab: Running A PySpark Job On Dataproc

  • آزمایشگاه: اجرای پوسته تعاملی PySpark REPL و اسکریپت‌های Pig روی Dataproc Lab: Running The PySpark REPL Shell And Pig Scripts On Dataproc

  • آزمایشگاه: ارسال یک فایل Jar Spark به Dataproc Lab: Submitting A Spark Jar To Dataproc

  • آزمایشگاه: کار با Dataproc با استفاده از GCloud CLI Lab: Working With Dataproc Using The GCloud CLI

Pub/Sub برای پخش جریانی Pub/Sub for Streaming

  • درباره این بخش About this section

  • Pub Sub Pub Sub

  • آزمایشگاه: کار با Pub/Sub در خط فرمان Lab: Working With Pubsub On The Command Line

  • آزمایشگاه: کار با Pub/Sub با استفاده از کنسول وب Lab: Working With PubSub Using The Web Console

  • آزمایشگاه: راه‌اندازی یک Publisher Pub/Sub با استفاده از کتابخانه پایتون Lab: Setting Up A Pubsub Publisher Using The Python Library

  • آزمایشگاه: راه‌اندازی یک Subscriber Pub/Sub با استفاده از کتابخانه پایتون Lab: Setting Up A Pubsub Subscriber Using The Python Library

  • آزمایشگاه: انتشار داده‌های جریانی به Pub/Sub Lab: Publishing Streaming Data Into Pubsub

  • آزمایشگاه: خواندن داده‌های جریانی از Pub/Sub و نوشتن در BigQuery Lab: Reading Streaming Data From PubSub And Writing To BigQuery

  • آزمایشگاه: اجرای یک پایپ‌لاین برای خواندن داده‌های جریانی و نوشتن در BigQuery Lab: Executing A Pipeline To Read Streaming Data And Write To BigQuery

  • آزمایشگاه: منبع Pub/Sub، Sink BigQuery Lab: Pubsub Source BigQuery Sink

Datalab ~ Jupyter Datalab ~ Jupyter

  • درباره این بخش About this section

  • Data Lab Data Lab

  • آزمایشگاه: ایجاد و کار بر روی یک نمونه Datalab Lab: Creating And Working On A Datalab Instance

  • آزمایشگاه: وارد کردن و خروجی گرفتن داده‌ها با استفاده از Datalab Lab: Importing And Exporting Data Using Datalab

  • آزمایشگاه: استفاده از API چارت‌سازی در Datalab Lab: Using The Charting API In Datalab

TensorFlow و یادگیری ماشین TensorFlow and Machine Learning

  • درباره این بخش About this section

  • معرفی یادگیری ماشین Introducing Machine Learning

  • یادگیری نمایش (Representation Learning) Representation Learning

  • معرفی NN (شبکه‌های عصبی) NN Introduced

  • معرفی TF (TensorFlow) Introducing TF

  • آزمایشگاه: عملیات ریاضی ساده Lab: Simple Math Operations

  • گراف محاسباتی (Computation Graph) Computation Graph

  • Tensorها Tensors

  • آزمایشگاه: Tensorها Lab: Tensors

  • معرفی رگرسیون خطی Linear Regression Intro

  • مکان‌نگهدارها و متغیرها (Placeholders and Variables) Placeholders and Variables

  • آزمایشگاه: مکان‌نگهدارها Lab: Placeholders

  • آزمایشگاه: متغیرها Lab: Variables

  • آزمایشگاه: رگرسیون خطی با داده‌های ساختگی Lab: Linear Regression with Made-up Data

  • پردازش تصویر Image Processing

  • تصاویر به عنوان Tensor Images As Tensors

  • آزمایشگاه: خواندن و کار با تصاویر Lab: Reading and Working with Images

  • آزمایشگاه: تبدیل تصاویر Lab: Image Transformations

  • معرفی MNIST Introducing MNIST

  • K-نزدیک‌ترین همسایه (K-Nearest Neighbors) K-Nearest Neigbors

  • نوشتار One-hot و فاصله L1 One-hot Notation and L1 Distance

  • مراحل در پیاده‌سازی K-نزدیک‌ترین همسایه Steps in the K-Nearest-Neighbors Implementation

  • آزمایشگاه: K-نزدیک‌ترین همسایه Lab: K-Nearest-Neighbors

  • الگوریتم یادگیری Learning Algorithm

  • نورون منفرد Individual Neuron

  • یادگیری رگرسیون Learning Regression

  • یادگیری XOR Learning XOR

  • XOR آموزش داده شده XOR Trained

رگرسیون در TensorFlow Regression in TensorFlow

  • درباره این بخش About this section

  • آزمایشگاه: دسترسی به داده‌ها از Yahoo Finance Lab: Access Data from Yahoo Finance

  • رگرسیون خارج از TensorFlow Non TensorFlow Regression

  • آزمایشگاه: رگرسیون خطی - راه‌اندازی یک خط پایه Lab: Linear Regression - Setting Up a Baseline

  • گرادیان نزولی (Gradient Descent) Gradient Descent

  • آزمایشگاه: رگرسیون خطی Lab: Linear Regression

  • آزمایشگاه: رگرسیون چندگانه در TensorFlow Lab: Multiple Regression in TensorFlow

  • معرفی رگرسیون لجستیک Logistic Regression Introduced

  • طبقه‌بندی خطی Linear Classification

  • آزمایشگاه: رگرسیون لجستیک - راه‌اندازی یک خط پایه Lab: Logistic Regression - Setting Up a Baseline

  • Logit Logit

  • Softmax Softmax

  • Argmax Argmax

  • آزمایشگاه: رگرسیون لجستیک Lab: Logistic Regression

  • Estimators Estimators

  • آزمایشگاه: رگرسیون خطی با استفاده از Estimators Lab: Linear Regression using Estimators

  • آزمایشگاه: رگرسیون لجستیک با استفاده از Estimators Lab: Logistic Regression using Estimators

بینایی، ترجمه، NLP و صدا: APIهای ML آموزش دیده Vision, Translate, NLP and Speech: Trained ML APIs

  • درباره این بخش About this section

  • آزمایشگاه: پیش‌بینی تاکسی - راه‌اندازی مجموعه داده Lab: Taxicab Prediction - Setting up the dataset

  • آزمایشگاه: پیش‌بینی تاکسی - آموزش و اجرای مدل Lab: Taxicab Prediction - Training and Running the model

  • آزمایشگاه: API بینایی، ترجمه، NLP و صدا Lab: The Vision, Translate, NLP and Speech API

  • آزمایشگاه: API بینایی برای تشخیص برچسب و نشانگر Lab: The Vision API for Label and Landmark Detection

ماشین‌های مجازی و تصاویر Virtual Machines and Images

  • درباره این بخش About this section

  • مهاجرت زنده (Live Migration) Live Migration

  • انواع ماشین و صورتحساب Machine Types and Billing

  • تخفیف‌های استفاده پایدار و متعهد شده Sustained Use and Committed Use Discounts

  • توصیه‌های تغییر اندازه (Rightsizing) Rightsizing Recommendations

  • دیسک RAM RAM Disk

  • تصاویر Images

  • اسکریپت‌های راه‌اندازی و تصاویر آماده شده Startup Scripts And Baked Images

VPCها و اتصال شبکه‌ها VPCs and Interconnecting Networks

  • درباره این بخش About this section

  • VPCها و زیرشبکه‌ها (Subnets) VPCs And Subnets

  • VPCهای جهانی، زیرشبکه‌های منطقه‌ای Global VPCs, Regional Subnets

  • آدرس‌های IP IP Addresses

  • آزمایشگاه: کار با آدرس‌های IP ثابت Lab: Working with Static IP Addresses

  • مسیرها (Routes) Routes

  • قوانین فایروال Firewall Rules

  • آزمایشگاه: کار با فایروال‌ها Lab: Working with Firewalls

  • آزمایشگاه: کار با شبکه‌های حالت خودکار و سفارشی Lab: Working with Auto Mode and Custom Mode Networks

  • آزمایشگاه: میزبان پناهگاه (Bastion Host) Lab: Bastion Host

  • Cloud VPN Cloud VPN

  • آزمایشگاه: کار با Cloud VPN Lab: Working with Cloud VPN

  • Cloud Router Cloud Router

  • آزمایشگاه: استفاده از Cloud Routerها برای مسیریابی پویا Lab: Using Cloud Routers for Dynamic Routing

  • اتصال اختصاصی مستقیم و همتای حامل (Dedicated Interconnect Direct and Carrier Peering) Dedicated Interconnect Direct and Carrier Peering

  • VPCهای اشتراکی (Shared VPCs) Shared VPCs

  • آزمایشگاه: VPCهای اشتراکی Lab: Shared VPCs

  • همتایابی شبکه VPC (VPC Network Peering) VPC Network Peering

  • آزمایشگاه: همتایابی VPC Lab: VPC Peering

  • Cloud DNS و شبکه‌های قدیمی Cloud DNS And Legacy Networks

  • شبکه سازی Networking

گروه‌های نمونه مدیریت شده و متعادل کننده بار Managed Instance Groups and Load Balancing

  • درباره این بخش About this section

  • گروه‌های نمونه مدیریت شده و مدیریت نشده Managed and Unmanaged Instance Groups

  • انواع متعادل کننده بار Types of Load Balancing

  • مرور کلی متعادل کننده بار HTTP(S) Overview of HTTP(S) Load Balancing

  • قوانین فورواردینگ، پراکسی هدف و نقشه‌های URL Forwarding Rules Target Proxy and Url Maps

  • سرویس پشتیبان و پشتیبان‌ها Backend Service and Backends

  • توزیع بار و قوانین فایروال Load Distribution and Firewall Rules

  • آزمایشگاه: متعادل کننده بار HTTP(S) Lab: HTTP(S) Load Balancing

  • آزمایشگاه: متعادل کننده بار مبتنی بر محتوا Lab: Content Based Load Balancing

  • متعادل کننده بار پراکسی SSL و پراکسی TCP SSL Proxy and TCP Proxy Load Balancing

  • آزمایشگاه: متعادل کننده بار پراکسی SSL Lab: SSL Proxy Load Balancing

  • متعادل کننده بار شبکه Network Load Balancing

  • متعادل کننده بار داخلی Internal Load Balancing

  • مقیاس‌سازهای خودکار (Autoscalers) Autoscalers

  • آزمایشگاه: مقیاس‌بندی خودکار با گروه‌های نمونه مدیریت شده Lab: Autoscaling with Managed Instance Groups

عملیات و امنیت Ops and Security

  • درباره این بخش About this section

  • StackDriver StackDriver

  • لاگ‌برداری StackDriver StackDriver Logging

  • آزمایشگاه: نظارت بر منابع Stackdriver Lab: Stackdriver Resource Monitoring

  • آزمایشگاه: گزارش خطا و اشکال‌زدایی Stackdriver Lab: Stackdriver Error Reporting and Debugging

  • Cloud Deployment Manager Cloud Deployment Manager

  • آزمایشگاه: استفاده از Deployment Manager Lab: Using Deployment Manager

  • آزمایشگاه: Deployment Manager و Stackdriver Lab: Deployment Manager and Stackdriver

  • Cloud Endpoints Cloud Endpoints

  • Cloud IAM: حساب‌های کاربری، حساب‌های سرویس، اعتبارنامه‌های API Cloud IAM: User accounts, Service accounts, API Credentials

  • Cloud IAM: نقش‌ها، پراکسی آگاه از هویت، بهترین شیوه‌ها Cloud IAM: Roles, Identity-Aware Proxy, Best Practices

  • آزمایشگاه: Cloud IAM Lab: Cloud IAM

  • حفاظت از داده‌ها Data Protection

  • عملیات و امنیت Operations and Security

ضمیمه: اکوسیستم Hadoop Appendix: Hadoop Ecosystem

  • معرفی اکوسیستم Hadoop Introducing the Hadoop Ecosystem

  • Hadoop Hadoop

  • HDFS HDFS

  • MapReduce MapReduce

  • Yarn Yarn

  • Hive Hive

  • مقایسه Hive و RDBMS Hive vs. RDBMS

  • مقایسه HQL و SQL HQL vs. SQL

  • OLAP در Hive OLAP in Hive

  • Windowing در Hive Windowing Hive

  • Pig Pig

  • Pig بیشتر More Pig

  • Spark Spark

  • Spark بیشتر More Spark

  • معرفی Streams Streams Intro

  • Microbatches Microbatches

  • انواع Window Window Types

  • اکوسیستم Hadoop Hadoop Ecosystem

نمایش نظرات

آموزش راهنمای کامل مهندسی داده گوگل و معماری ابری گوگل (GCP)
جزییات دوره
28 hours
226
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
50,281
3.9 از 5
دارد
دارد
دارد
Loony Corn
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Loony Corn Loony Corn

یک تیم سابق گوگل، استنفورد و فلیپ کارت