آموزش Google Cloud Certified Professional Data Engineer 2023

Google Cloud Certified Professional Data Engineer 2023

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
توضیحات دوره: تئوری، عملی و 200 آزمون عملی QnA - همه دست‌ها به سبک کپی پیست با 1 کلیک، همه مواد در PDF قابل دانلود طراحی سیستم‌های پردازش داده‌ها ساخت و عملیاتی کردن سیستم‌های پردازش داده عملیاتی کردن مدل‌های یادگیری ماشین تضمین کیفیت راه‌حل طراحی خطوط لوله داده طراحی یک راه حل پردازش داده انتقال انبار داده و پردازش داده ها ساخت و عملیاتی کردن سیستم های ذخیره سازی ساخت و عملیاتی کردن خطوط لوله ساخت و عملیاتی کردن زیرساخت های پردازش استفاده از مدل های از پیش ساخته شده ML به عنوان یک سرویس استقرار خط لوله ML اندازه گیری، نظارت و عیب یابی مدل های یادگیری ماشین طراحی برای امنیت و انطباق تضمین مقیاس پذیری و کارایی اطمینان از قابلیت اطمینان و وفاداری اطمینان از انعطاف پذیری و قابلیت حمل

طراحی سیستم های پردازش داده

انتخاب فناوری های ذخیره سازی مناسب. ملاحظات عبارتند از:

● نقشه‌برداری سیستم‌های ذخیره‌سازی با نیازهای تجاری

● مدل‌سازی داده‌ها

● مبادلات مربوط به تأخیر، توان عملیاتی، تراکنش‌ها

● سیستم های توزیع شده

● طراحی طرحواره

طراحی خطوط لوله داده. ملاحظات عبارتند از:

● انتشار و تجسم داده ها (به عنوان مثال، BigQuery)

● داده‌های دسته‌ای و جریانی (به‌عنوان مثال، Dataflow، Dataproc، Apache Beam، Apache Spark و اکوسیستم Hadoop، Pub/Sub، Apache Kafka)

● آنلاین (تعاملی) در مقابل پیش بینی های دسته ای

● اتوماسیون و ارکستراسیون شغلی (مثلاً Cloud Composer)

طراحی یک راه حل پردازش داده. ملاحظات عبارتند از:

● انتخاب زیرساخت

● در دسترس بودن سیستم و تحمل خطا

● استفاده از سیستم های توزیع شده

● برنامه ریزی ظرفیت

● رایانش ابری و لبه ترکیبی

● گزینه‌های معماری (مانند کارگزاران پیام، صف‌های پیام، میان‌افزار، معماری سرویس‌گرا، عملکردهای بدون سرور)

● حداقل یک بار، به ترتیب، و دقیقاً یک بار، و غیره، پردازش رویداد

انتقال انبار داده و پردازش داده. ملاحظات عبارتند از:

● آگاهی از وضعیت فعلی و نحوه انتقال طرح به وضعیت آینده

● مهاجرت از داخل محل به ابر (سرویس انتقال داده، ابزار انتقال، شبکه ابری)

● در حال تأیید یک مهاجرت

ساخت و عملیاتی کردن سیستم های پردازش داده

ساخت و عملیاتی کردن سیستم های ذخیره سازی. ملاحظات عبارتند از:

● استفاده مؤثر از خدمات مدیریت شده (Cloud Bigtable، Cloud Spanner، Cloud SQL، BigQuery، Cloud Storage، Datastore، Memorystore)

● هزینه‌های ذخیره‌سازی و عملکرد

● مدیریت چرخه عمر داده ها

ساخت و عملیاتی کردن خطوط لوله. ملاحظات عبارتند از:

● پاکسازی داده ها

● دسته ای و پخش جریانی

● تحول

● جمع‌آوری و وارد کردن داده‌ها

● ادغام با منابع داده جدید

ساخت و عملیاتی کردن زیرساخت های پردازش. ملاحظات عبارتند از:

● تامین منابع

● نظارت بر خطوط لوله

● تنظیم خطوط لوله

● آزمایش و کنترل کیفیت

عملیاتی کردن مدل های یادگیری ماشین

استفاده از مدل های ML از پیش ساخته شده به عنوان یک سرویس. ملاحظات عبارتند از:

● APIهای ML (مانند Vision API، Speech API)

● سفارشی کردن APIهای ML (به عنوان مثال، AutoML Vision، AutoML text)

● تجربیات مکالمه (مانند Dialogflow)

استقرار خط لوله ML. ملاحظات عبارتند از:

● مصرف داده‌های مناسب

● بازآموزی مدل‌های یادگیری ماشین (پیش‌بینی و آموزش پلتفرم هوش مصنوعی، BigQuery ML، Kubeflow، Spark ML)

● ارزیابی مستمر

انتخاب زیرساخت آموزشی و سرویس دهی مناسب. ملاحظات عبارتند از:

● توزیع شده در مقابل دستگاه تک

● استفاده از محاسبه لبه

● شتاب‌دهنده‌های سخت‌افزاری (مانند GPU، TPU)

اندازه‌گیری، نظارت، و عیب‌یابی مدل‌های یادگیری ماشین. ملاحظات عبارتند از:

● اصطلاحات یادگیری ماشین (مانند ویژگی‌ها، برچسب‌ها، مدل‌ها، رگرسیون، طبقه‌بندی، توصیه، یادگیری تحت نظارت و بدون نظارت، معیارهای ارزیابی)

● تأثیر وابستگی‌های مدل‌های یادگیری ماشین

● منابع رایج خطا (به عنوان مثال، فرضیات مربوط به داده ها)

تضمین کیفیت راه حل

طراحی برای امنیت و انطباق. ملاحظات عبارتند از:

● مدیریت هویت و دسترسی (به عنوان مثال، Cloud IAM)

● امنیت داده (رمزگذاری، مدیریت کلید)

● اطمینان از حریم خصوصی (به عنوان مثال، API پیشگیری از از دست دادن داده)

● انطباق قانونی (به عنوان مثال، قانون قابلیت حمل و پاسخگویی بیمه سلامت (HIPAA)، قانون حفاظت از حریم خصوصی آنلاین کودکان (COPPA)، FedRAMP، مقررات حفاظت از داده های عمومی (GDPR))

اطمینان از مقیاس پذیری و کارایی. ملاحظات عبارتند از:

● ساخت و اجرای مجموعه‌های آزمایشی

● نظارت بر خط لوله (به عنوان مثال، نظارت ابری)

● ارزیابی، عیب‌یابی، و بهبود نمایش داده‌ها و زیرساخت‌های پردازش داده‌ها

● تغییر اندازه و مقیاس خودکار منابع

اطمینان از قابلیت اطمینان و وفاداری. ملاحظات عبارتند از:

● انجام آماده‌سازی داده‌ها و کنترل کیفیت (مانند Dataprep)

● تأیید و نظارت

● برنامه ریزی، اجرا، و بازیابی داده های تست استرس (تحمل خطا، اجرای مجدد کارهای ناموفق، انجام تجزیه و تحلیل مجدد گذشته نگر)

● انتخاب بین الزامات ACID، ناتوان و در نهایت سازگار

اطمینان از انعطاف پذیری و قابلیت حمل. ملاحظات عبارتند از:

● نگاشت نیازهای فعلی و آتی کسب و کار

● طراحی برای قابلیت حمل داده و برنامه (مانند چند ابری، الزامات اقامت داده)

● مرحله بندی داده ها، فهرست نویسی، و کشف


سرفصل ها و درس ها

مفاهیم مهندسی داده Data Engineering Concepts

  • استراتژی امتحان، نکات و بررسی اجمالی Exam Strategy, Tips and Overview

  • نقش ها و مسئولیت های یک مهندس داده Roles & Responsibilities of a Data Engineer

  • انواع سیستم های ذخیره سازی داده ها Types of Data Storage Systems

  • اسید در مقابل باز ACID vs BASE

  • OLTP در مقابل OLAP OLTP vs OLAP

  • 4 V از داده های بزرگ 4 V's of Big Data

  • مقیاس بندی عمودی در مقابل افقی Vertical vs Horizontal Scaling

  • داده های دسته ای و جریانی Batch & Streaming Data

  • خط لوله پردازش داده Data Processing Pipeline

  • محصولات خط لوله پردازش داده گوگل Google's Data Processing Pipeline Products

  • انتخاب محصول مناسب Choosing the Right Product

Google Cloud Storage - درایو حالت جامد در ابر Google Cloud Storage - Solid State Drive in the Cloud

  • Google Cloud Storage Google Cloud Storage

  • Google Cloud Storage Bucket - Hands On Demo Google Cloud Storage Bucket - Hands On Demo

انتقال داده - سرویس انتقال داده Google، gsutil، Transfer Appliance Migrating Data - Google Data Transfer Service, gsutil, Transfer Appliance

  • مهاجرت به Google Cloud: انتقال مجموعه داده های بزرگ شما Migration to Google Cloud: Transferring your large datasets

Cloud SQL - MySQL، PostgreSQL، Microsoft SQL Server در فضای ابری Cloud SQL - MySQL, PostgreSQL, Microsoft SQL Server in the Cloud

  • ابر SQL Cloud SQL

  • Cloud SQL - Hands On Demo Cloud SQL - Hands On Demo

Cloud Spanner - پایگاه داده SQL چند منطقه ای توزیع شده با مقیاس افقی Cloud Spanner - Horizontally Scalable Distributed Multi Region SQL Database

  • آچار ابری Cloud Spanner

  • آچار ابری - Hands On Demo Cloud Spanner - Hands On Demo

Cloud Dataflow - سرویس مدیریت پرتو آپاچی برای پردازش داده، تبدیل Cloud Dataflow - Managed Apache Beam Service for Data Processing, Transformation

  • جریان داده - قسمت 1 Dataflow - Part 1

  • جریان داده - قسمت 2 Dataflow - Part 2

  • Dataflow - Hands On Demo Dataflow - Hands On Demo

Cloud Dataproc - مدیریت Apache Hadoop، Spark in the Cloud Cloud Dataproc - Managed Apache Hadoop, Spark in the Cloud

  • Cloud Dataproc Cloud Dataproc

  • Cloud Dataproc - قسمت 2 Cloud Dataproc - Part 2

  • Cloud Dataproc - Hands On Demo Cloud Dataproc - Hands On Demo

Cloud Pub/Sub - راه حل مبتنی بر معماری مشترک ناشر برای پخش جریانی Cloud Pub/Sub - Publisher Subscriber Architecture based Solution for Streaming

  • Cloud Pub/Sub Cloud Pub/Sub

  • Cloud Pub/Sub - 2 Cloud Pub/Sub - 2

  • Cloud Pub/Sub - Hands On Demo Cloud Pub/Sub - Hands On Demo

Cloud BigQuery - Ad Hoc Analytical Query SQL Solution for Massive Datasets Cloud BigQuery - Ad Hoc Analytical SQL Query Solution for Massive Datasets

  • BigQuery - قسمت 1 BigQuery - Part 1

  • نماهای BigQuery BigQuery Views

  • BigQuery - با جزئیات BigQuery - Detailed

  • BigQuery - Hands On Demo BigQuery - Hands On Demo

BigQuery ML - ساخت مدل یادگیری ماشین مستقیماً روی BigQuery با استفاده از SQL BigQuery ML - Machine Learning Model Building Directly onto BigQuery using SQL

  • BigQuery ML BigQuery ML

  • BigQuery ML - Hands On Demo BigQuery ML - Hands On Demo

Cloud BigTable - NoSQL توزیع انبوه پایگاه داده بسیار عملکردی Cloud BigTable - NoSQL Massively Distributed Extremely Performant Database

  • BigTable - قسمت 1 BigTable - Part 1

  • Bigtable - قسمت 2 Bigtable - Part 2

  • Bigtable - Hands On Demo Bigtable - Hands On Demo

Cloud Composer - سرویس جریان هوای مدیریت شده آپاچی برای ارکستراسیون گردش کار Cloud Composer - Managed Apache Airflow Service for Workflow Orchestration

  • Cloud Composer Cloud Composer

  • Cloud Composer - مشروح Cloud Composer - Detailed

  • Cloud Composer - Hands On Demo Cloud Composer - Hands On Demo

Cloud Firestore - پایگاه داده اسناد مبتنی بر NoSQL JSON - مشابه MongoDB Cloud Firestore - NoSQL JSON Based Document Database - Similar to MongoDB

  • معرفی Introduction

  • Cloud Firestore - تفصیلی Cloud Firestore - Detailed

  • Cloud Firestore - Hands On Demo Cloud Firestore - Hands On Demo

Data Studio - تجسم، 100% مبتنی بر وب، بدون برنامه نویسی، گزارش، داشبورد Data Studio - Visualisation, 100% Web Based, No Programming, Reports, Dashboards

  • معرفی Introduction

  • Data Studio - تفصیلی Data Studio - Detailed

  • Data Studio - Hands On Demo Data Studio - Hands On Demo

Cloud DataPrep - آماده سازی داده ها با استفاده از نقطه و کلیک روی وب - بدون برنامه نویسی Cloud DataPrep - Data Preparation using point and clicks on Web - No Programming

  • معرفی Introduction

  • DataPrep - با جزئیات DataPrep - Detailed

Cloud Data Fusion - راه حل نقطه و کلیک برای ایجاد خطوط لوله داده و اتصال Cloud Data Fusion - Point & Click Solution for Creating Data Pipelines & Connect

  • Cloud Data Fusion - تفصیلی Cloud Data Fusion - Detailed

  • Cloud Data Fusion - Hands On Demo Cloud Data Fusion - Hands On Demo

کاتالوگ داده های ابری - مدیریت فراداده برای جابجایی داده، خط و نسب، کشف Cloud Data Catalog - Metadata Management for Data Movement, Lineage, Discovery

  • کاتالوگ داده های ابری - تفصیلی Cloud Data Catalog - Detailed

Cloud Memorystore - Redis مدیریت شده، سرویس Memcached در Cloud برای داده های ارزش کلیدی Cloud Memorystore - Managed Redis, Memcached Service on Cloud for Key Value Data

  • Cloud Memorystore - تفصیلی Cloud Memorystore - Detailed

  • Cloud Memorystor - Hands On Demo Cloud Memorystore - Hands On Demo

سرویس Cloud Loss Prevention (DLP) - redact, mask, tokenize & transform Cloud Data Loss Prevention (DLP) Service - redact, mask, tokenize & transform

  • Cloud DLP - تفصیلی Cloud DLP - Detailed

مفاهیم یادگیری ماشینی Machine Learning Concepts

  • انواع داده ها - کیفی، اسمی، ترتیبی، کمی، پیوسته، گسسته Types of Data - Qualitative,Nominal,Ordinal,Quantitative,Continuous,Discrete

  • انواع داده ها - ساختار یافته، بدون ساختار، نیمه ساختار یافته Types of Data - Structured,Unstructured,Semi-structured

  • ویژگی ها و برچسب ها Features and Labels

  • انواع یادگیری ماشینی Types of Machine Learning

  • مهندسی ویژگی Feature Engineering

  • دقت، دقت، فراخوان، FPR، امتیاز F1، ماتریس سردرگمی، ROC، ROC-AUC Accuracy, Precision, Recall, FPR, F1-Score, Confusion Matrix, ROC, ROC-AUC

  • بیش از حد، تعصب، واریانس، عملکرد از دست دادن، L1، L2 منظم Overfitting, Bias, Variance, Loss Function, L1, L2 Regularization

  • فراپارامترها Hyperparameters

  • 5 الگوریتم یادگیری ماشین توضیح داده شده - LR، LR، DT، RF و SVM 5 Machine Learning Algorithms Explained - LR, LR, DT, RF and SVM

  • الگوریتم K-Means K-Means Algorithm

سرویس‌ها و APIهای یادگیری ماشین ابری Google Google Cloud Machine Learning Services and APIs

  • مقدمه ای بر علم داده، یادگیری ماشین، هوش مصنوعی و یادگیری عمیق Introduction to Data Science, Machine Learning, AI and Deep Learning

  • سرویس‌ها و APIهای یادگیری ماشین ابری Google Google Cloud Machine Learning Services and APIs

  • Vertex AI Vertex AI

  • Vertex AI - Hands On Demo Vertex AI - Hands On Demo

پرسش و پاسخ را تمرین کنید Practice Questions & Answers

  • معرفی Introduction

  • بخش 1 - 10 سوال Part 1 - 10 Questions

  • بخش 2 - 10 سوال Part 2 - 10 Questions

  • بخش 3 - 10 سوال Part 3 - 10 Questions

  • بخش 4 - 10 سوال Part 4 - 10 Questions

  • بخش 5 - 10 سوال Part 5 - 10 Questions

  • بخش 6 - 10 سوال Part 6 - 10 Questions

  • بخش 7 - 10 سوال Part 7 - 10 Questions

  • بخش 8 - 10 سوال Part 8 - 10 Questions

  • بخش 9 - 10 سوال Part 9 - 10 Questions

  • بخش 10 - 10 سوال Part 10 - 10 Questions

  • قسمت 11 - 10 سوال Part 11 - 10 Questions

  • قسمت 12 - 20 سوال Part 12 - 20 Questions

  • بخش 13 - 10 سوال Part 13 - 10 Questions

  • بخش 14 - 10 سوال Part 14 - 10 Questions

  • بخش 15 - 10 سوال Part 15 - 10 Questions

  • قسمت 16 - 10 سوال Part 16 - 10 Questions

  • بخش 17 - 10 سوال Part 17 - 10 Questions

  • بخش 18 - 10 سوال Part 18 - 10 Questions

  • بخش 19 - 10 سوال Part 19 - 10 Questions

  • بخش 20 - 10 سوال Part 20 - 10 Questions

  • قسمت 21 - 10 سوال Part 21 - 10 Questions

  • قسمت 22 - 10 سوال Part 22 - 10 Questions

  • قسمت 23 - 10 سوال Part 23 - 10 Questions

نمایش نظرات

نظری ارسال نشده است.

آموزش Google Cloud Certified Professional Data Engineer 2023
خرید اشتراک و دانلود خرید تکی و دانلود | 320,000 تومان (5 روز مهلت دانلود) در صورت خرید اشتراک، این آموزش بدلیل حجم بالا معادل 2 دوره است و 2 دوره از اشتراک شما کم می شود. زمان تقریبی آماده سازی لینک دانلود این دوره آموزشی حدود 5 تا 24 ساعت می باشد.
جزییات دوره
20 hours
91
Udemy (یودمی) udemy-small
22 اسفند 1401 (آخرین آپدیت رو دریافت می‌کنید، حتی اگر این تاریخ بروز نباشد.)
3,072
4.6 از 5
دارد
دارد
دارد
Deepak Dubey

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Deepak Dubey Deepak Dubey

مربی مستقل

Udemy (یودمی)

یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.

یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.