نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
این دوره صرفا آزمون یا تمرین می باشد و ویدیو ندارد.
نمونه ویدیویی برای نمایش وجود ندارد.
توضیحات دوره:
برای دریافت گواهینامه GCP Data Engineer با ۳۰۱ سوال واقعی آزمون و بینشهایی در مورد بهترین روشهای گوگل (Google) آماده شوید.
طراحی پلتفرمهای داده جامع (End-to-End) در گوگل کلاود — شامل جذب، ذخیرهسازی، پردازش و ارائه دادهها — مطابق با الزامات قابلیت اطمینان، تأخیر و هزینه.
انتخاب موتور ذخیرهسازی مناسب برای هر مورد کاربردی (BigQuery, Bigtable, Spanner, Cloud Storage, Firestore/Datastore, AlloyDB/Cloud SQL) بر اساس الگوهای دسترسی و هزینه.
ساخت و عملیاتیسازی خط لولههای داده دستهای (Batch) با Dataflow (Apache Beam) و Dataproc (Spark/Hadoop)، شامل بازپر کردن دادهها (Backfills)، یکتا بودن (Idempotency) و تحمل خطا.
ساخت و عملیاتیسازی خط لولههای استریمینگ با استفاده از Pub/Sub، Dataflow و Datastream (CDC) و بهکارگیری Windowing، Triggerها و مفاهیم Exactly-once/At-least-once.
مدیریت خط لولهها و جریانهای کاری با Cloud Composer (Airflow) و Workflows؛ طراحی زمانبندیهای قابل اعتماد، تلاش مجدد (Retries) و نظارت بر SLA.
ایمنسازی و حاکمیت دادهها با استفاده از IAM، حسابهای سرویس، CMEK/KMS، کنترلهای VPC Service، امنیت سطح سطر/ستون BigQuery، DLP، Dataplex و Data Catalog.
بهینهسازی BigQuery با طراحی طرحواره (Schema) موثر، Partitioning و Clustering، نماهای متریالیزه (Materialized Views)، کشینگ/BI Engine و کنترلهای هزینه.
عملیاتیسازی یادگیری ماشین با Vertex AI و BigQuery ML — آموزش/ارائه، ذخیرهساز ویژگیها (Feature Stores)، خط لولهها، نسخهبندی مدل، نظارت بر Drift و Skew و اصول هوش مصنوعی مسئولانه.
مانیتورینگ، ثبت لاگ و عیبیابی سیستمهای داده با استفاده از Cloud Monitoring، Cloud Logging، گزارش خطا، متریکهای Job در Dataflow و SLOها؛ طراحی برای مشاهدهپذیری (Observability).
برنامهریزی برای مهاجرت و مدرنسازی (از محیطهای On-prem یا ابرهای دیگر به GCP) با استفاده از Transfer Service، BigQuery Data Transfer Service، Storage Transfer و Datastream.
پیشنیازها: مفاهیم پایه ابر و آشنایی با محیط GCP (پروژهها، پوشهها، ریجنها و صورتحساب)
مهارتهای SQL (JOINها، تجمیعها، توابع Window) و تسلط بر پرسوجو در BigQuery
توانایی برنامهنویسی مقدماتی — ترجیحاً پایتون یا جاوا — برای پردازش دادهها و اسکریپتهای ساده
درک مدلسازی دادهها و انبار داده (طرحهای Star/Snowflake، پارتیشنبندی و کلاسترینگ)
آشنایی با مفاهیم Batch در مقابل Streaming (ETL/ELT, Pub/Sub, Windowing)
دانش امنیتی مقدماتی: نقشهای IAM، حسابهای سرویس، اصل حداقل دسترسی و آشنایی با CMEK/KMS
هیچ گواهینامهای پیش از این مورد نیاز نیست — مبتدیان مشتاق خوش آمدید و در طول مسیر راهنمایی خواهند شد.
آمادهسازی برای گواهینامه حرفهای مهندسی داده ابر (Cloud Professional Data Engineer)
تسلط بر مهارتهای طراحی، ساخت، ایمنسازی و مدیریت پلتفرمهای داده در Google Cloud — شامل جذب، ذخیرهسازی، پردازش، تحلیل و عملیاتیسازی ML.
چرا این گواهینامه اهمیت دارد؟
تبدیل شدن به یک مهندس داده حرفهای، توانایی شما را در موارد زیر اثبات میکند:
طراحی معماریهای داده End-to-End که نیازهای تجاری، قابلیت اطمینان، تأخیر و هزینه را برآورده میکنند.
ساخت و عملیاتیسازی خط لولههای Batch و Streaming با استفاده از Dataflow (Apache Beam)، Pub/Sub، Dataproc و Datastream.
پیادهسازی حاکمیت و امنیت قدرتمند با IAM، Cloud KMS/CMEK، کنترلهای VPC، DLP، Dataplex و کنترلهای دسترسی دقیق در BigQuery.
بهینهسازی تحلیلها با طراحی Schema در BigQuery، پارتیشنبندی/کلاسترینگ، رزرو Slotها و نماهای متریالیزه.
عملیاتیسازی و نظارت بر ML با Vertex AI و BigQuery ML، شامل خط لولههای ویژگی، نسخهبندی و شناسایی Drift.
آنچه دریافت میکنید
۲۵۱ سوال آزمونی منحصربهفرد و با کیفیت بالا.
توضیحات دقیق برای پاسخهای درست و نادرست.
بینشهایی درباره بهترین روشهای توصیه شده با ارجاع به مستندات رسمی.
۴ مجموعه سناریوی جامع (Capstone) که چالشهای واقعی مهندسی داده را شبیهسازی میکنند.
راهنمایی در مورد بهرهبرداری از سرویسهایی مانند BigQuery, Dataflow, Pub/Sub, Dataproc, Bigtable, Spanner, Datastream, Cloud Storage, Dataplex, Data Catalog, Cloud Composer, IAM, Cloud KMS, and VPC Service Controls.
نمونه سوال
شرکت شما در حال طراحی یک معماری دادهمحور است. شما باید ۹۰۰ ترابایت داده تاریخی .csv را در گوگل کلاود پردازش و تحلیل کنید و روزانه ۱۰ ترابایت داده جدید جذب خواهید کرد. لینک اینترنت فعلی شما ۱۰۰ مگابیت بر ثانیه است.
برای اطمینان از انتقال داده به صورت کارآمد و قابل اعتماد چه کاری باید انجام دهید؟
گزینهها:
الف. فشردهسازی و آپلود هر دو فایل آرشیو و روزانه با استفاده از gsutil -m.
ب. اجاره یک Transfer Appliance برای آرشیو ۹۰۰ ترابایتی، سپس ایجاد Dedicated Interconnect یا Partner Interconnect (با دسترسی خصوصی برای محیط On-prem) برای جذب روزانه ۱۰ ترابایت.
ج. استفاده از Transfer Appliance برای آرشیو و یک Cloud VPN به همراه gsutil -m برای آپلودهای روزانه.
د. استفاده از Transfer Appliance برای آرشیو و Cloud VPN برای آپلودهای روزانه.
پاسخهای نادرست:
الف. آپلود ۹۰۰ ترابایت روی لینک ۱۰۰ مگابیت ماهها زمان میبرد؛ همچنین ۱۰ ترابایت در روز (~۱ گیگابیت بر ثانیه مداوم) بسیار فراتر از پهنای باند موجود است.
ج. VPN روی اینترنت عمومی اجرا میشود و همچنان توسط لینک ۱۰۰ مگابیت محدود خواهد بود؛ gsutil موازی محدودیت پهنای باند را حل نمیکند.
د. همان محدودیت پهنای باند — VPN روی لینک ۱۰۰ مگابیت نمیتواند ۱۰ ترابایت در روز را پشتیبانی کند.
پاسخ صحیح:
ب. استفاده از Transfer Appliance برای انتقال بهینه ۹۰۰ ترابایت به Cloud Storage، سپس تامین Dedicated یا Partner Interconnect با Private Access برای محیط On-prem جهت پشتیبانی پایدار از سرعت بیش از ۱ گیگابیت بر ثانیه برای جذب روزانه ۱۰ ترابایت. این با رویکرد توصیه شده گوگل برای مهاجرتهای حجیم یکباره و انتقالهای مداوم با حجم بالا مطابقت دارد.
منابع:
آماده قبولی در آزمون هستید؟
مهارتهای خود را بسنجید، شکافهای دانشی را پر کنید و گواهینامه Professional Data Engineer خود را دریافت کنید.
تمرین ها و آزمونها
آزمونهای تمرینی
Practice Tests
-
آزمون ۱ | آزمون ۱ مهندس داده حرفهای
Test 1 | Test 1 Professional Data Engineer
-
آزمون ۲ | آزمون ۲ مهندس داده حرفهای
Test 2 | Test 2 Professional Data Engineer
-
آزمون ۳ | آزمون ۳ مهندس داده حرفهای
Test 3 | Test 3 Professional Data Engineer
-
آزمون ۴ | آزمون ۴ مهندس داده حرفهای
Test 4 | Test 4 Professional Data Engineer
-
آزمون ۵ | آزمون ۵ مهندس داده حرفهای
Test 5 | Test 5 Professional Data Engineer
-
درس جایزه
Bonus Lecture
نمایش نظرات