آموزش Google Cloud Certified Professional Data Engineer 2023

Google Cloud Certified Professional Data Engineer 2023

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: تئوری، عملی و 200 آزمون عملی QnA - همه دست‌ها به سبک کپی پیست با 1 کلیک، همه مواد در PDF قابل دانلود طراحی سیستم‌های پردازش داده‌ها ساخت و عملیاتی کردن سیستم‌های پردازش داده عملیاتی کردن مدل‌های یادگیری ماشین تضمین کیفیت راه‌حل طراحی خطوط لوله داده طراحی یک راه حل پردازش داده انتقال انبار داده و پردازش داده ها ساخت و عملیاتی کردن سیستم های ذخیره سازی ساخت و عملیاتی کردن خطوط لوله ساخت و عملیاتی کردن زیرساخت های پردازش استفاده از مدل های از پیش ساخته شده ML به عنوان یک سرویس استقرار خط لوله ML اندازه گیری، نظارت و عیب یابی مدل های یادگیری ماشین طراحی برای امنیت و انطباق تضمین مقیاس پذیری و کارایی اطمینان از قابلیت اطمینان و وفاداری اطمینان از انعطاف پذیری و قابلیت حمل

طراحی سیستم های پردازش داده

انتخاب فناوری های ذخیره سازی مناسب. ملاحظات عبارتند از:

● نقشه‌برداری سیستم‌های ذخیره‌سازی با نیازهای تجاری

● مدل‌سازی داده‌ها

● مبادلات مربوط به تأخیر، توان عملیاتی، تراکنش‌ها

● سیستم های توزیع شده

● طراحی طرحواره

طراحی خطوط لوله داده. ملاحظات عبارتند از:

● انتشار و تجسم داده ها (به عنوان مثال، BigQuery)

● داده‌های دسته‌ای و جریانی (به‌عنوان مثال، Dataflow، Dataproc، Apache Beam، Apache Spark و اکوسیستم Hadoop، Pub/Sub، Apache Kafka)

● آنلاین (تعاملی) در مقابل پیش بینی های دسته ای

● اتوماسیون و ارکستراسیون شغلی (مثلاً Cloud Composer)

طراحی یک راه حل پردازش داده. ملاحظات عبارتند از:

● انتخاب زیرساخت

● در دسترس بودن سیستم و تحمل خطا

● استفاده از سیستم های توزیع شده

● برنامه ریزی ظرفیت

● رایانش ابری و لبه ترکیبی

● گزینه‌های معماری (مانند کارگزاران پیام، صف‌های پیام، میان‌افزار، معماری سرویس‌گرا، عملکردهای بدون سرور)

● حداقل یک بار، به ترتیب، و دقیقاً یک بار، و غیره، پردازش رویداد

انتقال انبار داده و پردازش داده. ملاحظات عبارتند از:

● آگاهی از وضعیت فعلی و نحوه انتقال طرح به وضعیت آینده

● مهاجرت از داخل محل به ابر (سرویس انتقال داده، ابزار انتقال، شبکه ابری)

● در حال تأیید یک مهاجرت

ساخت و عملیاتی کردن سیستم های پردازش داده

ساخت و عملیاتی کردن سیستم های ذخیره سازی. ملاحظات عبارتند از:

● استفاده مؤثر از خدمات مدیریت شده (Cloud Bigtable، Cloud Spanner، Cloud SQL، BigQuery، Cloud Storage، Datastore، Memorystore)

● هزینه‌های ذخیره‌سازی و عملکرد

● مدیریت چرخه عمر داده ها

ساخت و عملیاتی کردن خطوط لوله. ملاحظات عبارتند از:

● پاکسازی داده ها

● دسته ای و پخش جریانی

● تحول

● جمع‌آوری و وارد کردن داده‌ها

● ادغام با منابع داده جدید

ساخت و عملیاتی کردن زیرساخت های پردازش. ملاحظات عبارتند از:

● تامین منابع

● نظارت بر خطوط لوله

● تنظیم خطوط لوله

● آزمایش و کنترل کیفیت

عملیاتی کردن مدل های یادگیری ماشین

استفاده از مدل های ML از پیش ساخته شده به عنوان یک سرویس. ملاحظات عبارتند از:

● APIهای ML (مانند Vision API، Speech API)

● سفارشی کردن APIهای ML (به عنوان مثال، AutoML Vision، AutoML text)

● تجربیات مکالمه (مانند Dialogflow)

استقرار خط لوله ML. ملاحظات عبارتند از:

● مصرف داده‌های مناسب

● بازآموزی مدل‌های یادگیری ماشین (پیش‌بینی و آموزش پلتفرم هوش مصنوعی، BigQuery ML، Kubeflow، Spark ML)

● ارزیابی مستمر

انتخاب زیرساخت آموزشی و سرویس دهی مناسب. ملاحظات عبارتند از:

● توزیع شده در مقابل دستگاه تک

● استفاده از محاسبه لبه

● شتاب‌دهنده‌های سخت‌افزاری (مانند GPU، TPU)

اندازه‌گیری، نظارت، و عیب‌یابی مدل‌های یادگیری ماشین. ملاحظات عبارتند از:

● اصطلاحات یادگیری ماشین (مانند ویژگی‌ها، برچسب‌ها، مدل‌ها، رگرسیون، طبقه‌بندی، توصیه، یادگیری تحت نظارت و بدون نظارت، معیارهای ارزیابی)

● تأثیر وابستگی‌های مدل‌های یادگیری ماشین

● منابع رایج خطا (به عنوان مثال، فرضیات مربوط به داده ها)

تضمین کیفیت راه حل

طراحی برای امنیت و انطباق. ملاحظات عبارتند از:

● مدیریت هویت و دسترسی (به عنوان مثال، Cloud IAM)

● امنیت داده (رمزگذاری، مدیریت کلید)

● اطمینان از حریم خصوصی (به عنوان مثال، API پیشگیری از از دست دادن داده)

● انطباق قانونی (به عنوان مثال، قانون قابلیت حمل و پاسخگویی بیمه سلامت (HIPAA)، قانون حفاظت از حریم خصوصی آنلاین کودکان (COPPA)، FedRAMP، مقررات حفاظت از داده های عمومی (GDPR))

اطمینان از مقیاس پذیری و کارایی. ملاحظات عبارتند از:

● ساخت و اجرای مجموعه‌های آزمایشی

● نظارت بر خط لوله (به عنوان مثال، نظارت ابری)

● ارزیابی، عیب‌یابی، و بهبود نمایش داده‌ها و زیرساخت‌های پردازش داده‌ها

● تغییر اندازه و مقیاس خودکار منابع

اطمینان از قابلیت اطمینان و وفاداری. ملاحظات عبارتند از:

● انجام آماده‌سازی داده‌ها و کنترل کیفیت (مانند Dataprep)

● تأیید و نظارت

● برنامه ریزی، اجرا، و بازیابی داده های تست استرس (تحمل خطا، اجرای مجدد کارهای ناموفق، انجام تجزیه و تحلیل مجدد گذشته نگر)

● انتخاب بین الزامات ACID، ناتوان و در نهایت سازگار

اطمینان از انعطاف پذیری و قابلیت حمل. ملاحظات عبارتند از:

● نگاشت نیازهای فعلی و آتی کسب و کار

● طراحی برای قابلیت حمل داده و برنامه (مانند چند ابری، الزامات اقامت داده)

● مرحله بندی داده ها، فهرست نویسی، و کشف


سرفصل ها و درس ها

مفاهیم مهندسی داده Data Engineering Concepts

  • استراتژی امتحان، نکات و بررسی اجمالی Exam Strategy, Tips and Overview

  • نقش ها و مسئولیت های یک مهندس داده Roles & Responsibilities of a Data Engineer

  • انواع سیستم های ذخیره سازی داده ها Types of Data Storage Systems

  • اسید در مقابل باز ACID vs BASE

  • OLTP در مقابل OLAP OLTP vs OLAP

  • 4 V از داده های بزرگ 4 V's of Big Data

  • مقیاس بندی عمودی در مقابل افقی Vertical vs Horizontal Scaling

  • داده های دسته ای و جریانی Batch & Streaming Data

  • خط لوله پردازش داده Data Processing Pipeline

  • محصولات خط لوله پردازش داده گوگل Google's Data Processing Pipeline Products

  • انتخاب محصول مناسب Choosing the Right Product

Google Cloud Storage - درایو حالت جامد در ابر Google Cloud Storage - Solid State Drive in the Cloud

  • Google Cloud Storage Google Cloud Storage

  • Google Cloud Storage Bucket - Hands On Demo Google Cloud Storage Bucket - Hands On Demo

انتقال داده - سرویس انتقال داده Google، gsutil، Transfer Appliance Migrating Data - Google Data Transfer Service, gsutil, Transfer Appliance

  • مهاجرت به Google Cloud: انتقال مجموعه داده های بزرگ شما Migration to Google Cloud: Transferring your large datasets

Cloud SQL - MySQL، PostgreSQL، Microsoft SQL Server در فضای ابری Cloud SQL - MySQL, PostgreSQL, Microsoft SQL Server in the Cloud

  • ابر SQL Cloud SQL

  • Cloud SQL - Hands On Demo Cloud SQL - Hands On Demo

Cloud Spanner - پایگاه داده SQL چند منطقه ای توزیع شده با مقیاس افقی Cloud Spanner - Horizontally Scalable Distributed Multi Region SQL Database

  • آچار ابری Cloud Spanner

  • آچار ابری - Hands On Demo Cloud Spanner - Hands On Demo

Cloud Dataflow - سرویس مدیریت پرتو آپاچی برای پردازش داده، تبدیل Cloud Dataflow - Managed Apache Beam Service for Data Processing, Transformation

  • جریان داده - قسمت 1 Dataflow - Part 1

  • جریان داده - قسمت 2 Dataflow - Part 2

  • Dataflow - Hands On Demo Dataflow - Hands On Demo

Cloud Dataproc - مدیریت Apache Hadoop، Spark in the Cloud Cloud Dataproc - Managed Apache Hadoop, Spark in the Cloud

  • Cloud Dataproc Cloud Dataproc

  • Cloud Dataproc - قسمت 2 Cloud Dataproc - Part 2

  • Cloud Dataproc - Hands On Demo Cloud Dataproc - Hands On Demo

Cloud Pub/Sub - راه حل مبتنی بر معماری مشترک ناشر برای پخش جریانی Cloud Pub/Sub - Publisher Subscriber Architecture based Solution for Streaming

  • Cloud Pub/Sub Cloud Pub/Sub

  • Cloud Pub/Sub - 2 Cloud Pub/Sub - 2

  • Cloud Pub/Sub - Hands On Demo Cloud Pub/Sub - Hands On Demo

Cloud BigQuery - Ad Hoc Analytical Query SQL Solution for Massive Datasets Cloud BigQuery - Ad Hoc Analytical SQL Query Solution for Massive Datasets

  • BigQuery - قسمت 1 BigQuery - Part 1

  • نماهای BigQuery BigQuery Views

  • BigQuery - با جزئیات BigQuery - Detailed

  • BigQuery - Hands On Demo BigQuery - Hands On Demo

BigQuery ML - ساخت مدل یادگیری ماشین مستقیماً روی BigQuery با استفاده از SQL BigQuery ML - Machine Learning Model Building Directly onto BigQuery using SQL

  • BigQuery ML BigQuery ML

  • BigQuery ML - Hands On Demo BigQuery ML - Hands On Demo

Cloud BigTable - NoSQL توزیع انبوه پایگاه داده بسیار عملکردی Cloud BigTable - NoSQL Massively Distributed Extremely Performant Database

  • BigTable - قسمت 1 BigTable - Part 1

  • Bigtable - قسمت 2 Bigtable - Part 2

  • Bigtable - Hands On Demo Bigtable - Hands On Demo

Cloud Composer - سرویس جریان هوای مدیریت شده آپاچی برای ارکستراسیون گردش کار Cloud Composer - Managed Apache Airflow Service for Workflow Orchestration

  • Cloud Composer Cloud Composer

  • Cloud Composer - مشروح Cloud Composer - Detailed

  • Cloud Composer - Hands On Demo Cloud Composer - Hands On Demo

Cloud Firestore - پایگاه داده اسناد مبتنی بر NoSQL JSON - مشابه MongoDB Cloud Firestore - NoSQL JSON Based Document Database - Similar to MongoDB

  • معرفی Introduction

  • Cloud Firestore - تفصیلی Cloud Firestore - Detailed

  • Cloud Firestore - Hands On Demo Cloud Firestore - Hands On Demo

Data Studio - تجسم، 100% مبتنی بر وب، بدون برنامه نویسی، گزارش، داشبورد Data Studio - Visualisation, 100% Web Based, No Programming, Reports, Dashboards

  • معرفی Introduction

  • Data Studio - تفصیلی Data Studio - Detailed

  • Data Studio - Hands On Demo Data Studio - Hands On Demo

Cloud DataPrep - آماده سازی داده ها با استفاده از نقطه و کلیک روی وب - بدون برنامه نویسی Cloud DataPrep - Data Preparation using point and clicks on Web - No Programming

  • معرفی Introduction

  • DataPrep - با جزئیات DataPrep - Detailed

Cloud Data Fusion - راه حل نقطه و کلیک برای ایجاد خطوط لوله داده و اتصال Cloud Data Fusion - Point & Click Solution for Creating Data Pipelines & Connect

  • Cloud Data Fusion - تفصیلی Cloud Data Fusion - Detailed

  • Cloud Data Fusion - Hands On Demo Cloud Data Fusion - Hands On Demo

کاتالوگ داده های ابری - مدیریت فراداده برای جابجایی داده، خط و نسب، کشف Cloud Data Catalog - Metadata Management for Data Movement, Lineage, Discovery

  • کاتالوگ داده های ابری - تفصیلی Cloud Data Catalog - Detailed

Cloud Memorystore - Redis مدیریت شده، سرویس Memcached در Cloud برای داده های ارزش کلیدی Cloud Memorystore - Managed Redis, Memcached Service on Cloud for Key Value Data

  • Cloud Memorystore - تفصیلی Cloud Memorystore - Detailed

  • Cloud Memorystor - Hands On Demo Cloud Memorystore - Hands On Demo

سرویس Cloud Loss Prevention (DLP) - redact, mask, tokenize & transform Cloud Data Loss Prevention (DLP) Service - redact, mask, tokenize & transform

  • Cloud DLP - تفصیلی Cloud DLP - Detailed

مفاهیم یادگیری ماشینی Machine Learning Concepts

  • انواع داده ها - کیفی، اسمی، ترتیبی، کمی، پیوسته، گسسته Types of Data - Qualitative,Nominal,Ordinal,Quantitative,Continuous,Discrete

  • انواع داده ها - ساختار یافته، بدون ساختار، نیمه ساختار یافته Types of Data - Structured,Unstructured,Semi-structured

  • ویژگی ها و برچسب ها Features and Labels

  • انواع یادگیری ماشینی Types of Machine Learning

  • مهندسی ویژگی Feature Engineering

  • دقت، دقت، فراخوان، FPR، امتیاز F1، ماتریس سردرگمی، ROC، ROC-AUC Accuracy, Precision, Recall, FPR, F1-Score, Confusion Matrix, ROC, ROC-AUC

  • بیش از حد، تعصب، واریانس، عملکرد از دست دادن، L1، L2 منظم Overfitting, Bias, Variance, Loss Function, L1, L2 Regularization

  • فراپارامترها Hyperparameters

  • 5 الگوریتم یادگیری ماشین توضیح داده شده - LR، LR، DT، RF و SVM 5 Machine Learning Algorithms Explained - LR, LR, DT, RF and SVM

  • الگوریتم K-Means K-Means Algorithm

سرویس‌ها و APIهای یادگیری ماشین ابری Google Google Cloud Machine Learning Services and APIs

  • مقدمه ای بر علم داده، یادگیری ماشین، هوش مصنوعی و یادگیری عمیق Introduction to Data Science, Machine Learning, AI and Deep Learning

  • سرویس‌ها و APIهای یادگیری ماشین ابری Google Google Cloud Machine Learning Services and APIs

  • Vertex AI Vertex AI

  • Vertex AI - Hands On Demo Vertex AI - Hands On Demo

پرسش و پاسخ را تمرین کنید Practice Questions & Answers

  • معرفی Introduction

  • بخش 1 - 10 سوال Part 1 - 10 Questions

  • بخش 2 - 10 سوال Part 2 - 10 Questions

  • بخش 3 - 10 سوال Part 3 - 10 Questions

  • بخش 4 - 10 سوال Part 4 - 10 Questions

  • بخش 5 - 10 سوال Part 5 - 10 Questions

  • بخش 6 - 10 سوال Part 6 - 10 Questions

  • بخش 7 - 10 سوال Part 7 - 10 Questions

  • بخش 8 - 10 سوال Part 8 - 10 Questions

  • بخش 9 - 10 سوال Part 9 - 10 Questions

  • بخش 10 - 10 سوال Part 10 - 10 Questions

  • قسمت 11 - 10 سوال Part 11 - 10 Questions

  • قسمت 12 - 20 سوال Part 12 - 20 Questions

  • بخش 13 - 10 سوال Part 13 - 10 Questions

  • بخش 14 - 10 سوال Part 14 - 10 Questions

  • بخش 15 - 10 سوال Part 15 - 10 Questions

  • قسمت 16 - 10 سوال Part 16 - 10 Questions

  • بخش 17 - 10 سوال Part 17 - 10 Questions

  • بخش 18 - 10 سوال Part 18 - 10 Questions

  • بخش 19 - 10 سوال Part 19 - 10 Questions

  • بخش 20 - 10 سوال Part 20 - 10 Questions

  • قسمت 21 - 10 سوال Part 21 - 10 Questions

  • قسمت 22 - 10 سوال Part 22 - 10 Questions

  • قسمت 23 - 10 سوال Part 23 - 10 Questions

نمایش نظرات

آموزش Google Cloud Certified Professional Data Engineer 2023
جزییات دوره
20 hours
91
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
3,072
4.6 از 5
دارد
دارد
دارد
Deepak Dubey
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Deepak Dubey Deepak Dubey

مربی مستقل