لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش ساخت خطوط لوله داده دسته ای در Google Cloud
Building Batch Data Pipelines on Google Cloud
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
خطوط لوله داده معمولاً تحت یکی از پارادایم های Extra-Load، Extract-Load-Transform یا Extract-Transform-Load قرار می گیرند. این دوره توضیح می دهد که کدام پارادایم و چه زمانی باید برای داده های دسته ای استفاده شود. علاوه بر این، این دوره چندین فناوری را در Google Cloud برای تبدیل داده ها از جمله BigQuery، اجرای Spark در Dataproc، نمودارهای خط لوله در Cloud Data Fusion و پردازش داده های بدون سرور با Dataflow را پوشش می دهد. یادگیرندگان تجربه عملی در ساخت اجزای خط لوله داده در Google Cloud با استفاده از Qwiklabs خواهند داشت.
سرفصل ها و درس ها
مقدمه
Introduction
معرفی دوره
Course Introduction
مقدمه ای بر ساخت خطوط لوله داده دسته ای
Introduction to Building Batch Data Pipelines
معرفی ماژول
Module introduction
EL، ELT، ETL
EL, ELT, ETL
ملاحظات کیفیت
Quality considerations
نحوه انجام عملیات در BigQuery
How to carry out operations in BigQuery
کاستی ها
Shortcomings
ETL برای حل مشکلات کیفیت داده ها
ETL to solve data quality issues
اجرای Spark در Dataproc
Executing Spark on Dataproc
معرفی ماژول
Module introduction
اکوسیستم هادوپ
The Hadoop ecosystem
اجرای Hadoop روی Dataproc
Running Hadoop on Dataproc
Cloud Storage به جای HDFS
Cloud Storage instead of HDFS
بهینه سازی Dataproc
Optimizing Dataproc
بهینه سازی ذخیره سازی Dataproc
Optimizing Dataproc storage
بهینه سازی قالب های Dataproc و مقیاس خودکار
Optimizing Dataproc templates and autoscaling
بهینه سازی نظارت بر Dataproc
Optimizing Dataproc monitoring
معرفی آزمایشگاه: اجرای کارهای Apache Spark در Dataproc
Lab Intro: Running Apache Spark jobs on Dataproc
Pluralsight: شروع به کار با GCP و Qwiklabs
Pluralsight: Getting Started with GCP and Qwiklabs
آزمایشگاه: اجرای کارهای Apache Spark در Cloud Dataproc
Lab: Running Apache Spark jobs on Cloud Dataproc
خلاصه
Summary
پردازش داده های بدون سرور با Dataflow
Serverless Data Processing with Dataflow
معرفی ماژول
Module introduction
مقدمه ای بر Dataflow
Introduction to Dataflow
چرا مشتریان برای Dataflow ارزش قائل هستند؟
Why customers value Dataflow
ساخت خطوط لوله جریان داده در کد
Building Dataflow pipelines in code
ملاحظات کلیدی در طراحی خطوط لوله
Key considerations with designing pipelines
تبدیل داده ها با PTtransforms
Transforming data with PTransforms
معرفی آزمایشگاه: ساخت یک خط لوله ساده جریان داده
Lab Intro: Building a Simple Dataflow Pipeline
آزمایشگاه: خط لوله ساده جریان داده (پایتون) 2.5
Lab: A Simple Dataflow Pipeline (Python) 2.5
با GroupByKey جمع کنید و ترکیب کنید
Aggregate with GroupByKey and Combine
معرفی آزمایشگاه: MapReduce در Beam
Lab Intro: MapReduce in Beam
آزمایشگاه: MapReduce در Beam (Python) 2.5
Lab: MapReduce in Beam (Python) 2.5
ورودی های جانبی و پنجره های داده
Side inputs and windows of data
معرفی آزمایشگاه: تمرین ورودی های جانبی خط لوله
Lab Intro: Practicing Pipeline Side Inputs
آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: ورودی های جانبی (پایتون)
Lab: Serverless Data Analysis with Dataflow: Side Inputs (Python)
ایجاد و استفاده مجدد از الگوهای خط لوله
Creating and re-using pipeline templates
خلاصه
Summary
خطوط لوله داده را با Cloud Data Fusion و Cloud Composer مدیریت کنید
Manage Data Pipelines with Cloud Data Fusion and Cloud Composer
معرفی ماژول
Module introduction
مقدمه ای بر Cloud Data Fusion
Introduction to Cloud Data Fusion
اجزای Cloud Data Fusion
Components of Cloud Data Fusion
رابط کاربری Cloud Data Fusion
Cloud Data Fusion UI
یک خط لوله بسازید
Build a pipeline
کاوش داده ها با استفاده از wrangler
Explore data using wrangler
معرفی آزمایشگاه: ساخت و اجرای یک نمودار خط لوله در Cloud Data Fusion
Lab Intro: Building and executing a pipeline graph in Cloud Data Fusion
آزمایشگاه: ساخت و اجرای نمودار خط لوله با Data Fusion 2.5
Lab: Building and Executing a Pipeline Graph with Data Fusion 2.5
با Cloud Composer کار بین سرویسهای Google Cloud را هماهنگ کنید
Orchestrate work between Google Cloud services with Cloud Composer
محیط Apache Airflow
Apache Airflow environment
DAG ها و اپراتورها
DAGs and Operators
برنامه ریزی گردش کار
Workflow scheduling
نظارت و ثبت
Monitoring and Logging
معرفی آزمایشگاه: مقدمه ای بر Cloud Composer
Lab Intro: An Introduction to Cloud Composer
Lab: An Introduction to Cloud Composer 2.5
Lab: An Introduction to Cloud Composer 2.5
خلاصه دوره
Course Summary
خلاصه دوره
Course Summary
منابع دوره
Course Resources
ساخت خطوط لوله داده دسته ای در Google Cloud
Building Batch Data Pipelines on Google Cloud
Pluralsight یکی از پرطرفدارترین پلتفرمهای آموزش آنلاین است که به میلیونها کاربر در سراسر جهان کمک میکند تا مهارتهای خود را توسعه دهند و به روز رسانی کنند. این پلتفرم دورههای آموزشی در زمینههای فناوری اطلاعات، توسعه نرمافزار، طراحی وب، مدیریت پروژه، و موضوعات مختلف دیگر را ارائه میدهد.
یکی از ویژگیهای برجسته Pluralsight، محتوای بروز و با کیفیت آموزشی آن است. این پلتفرم با همکاری با توسعهدهندگان و کارشناسان معتبر، دورههایی را ارائه میدهد که با توجه به تغییرات روزافزون در صنعت فناوری، کاربران را در جریان آخرین مفاهیم و تکنولوژیها نگه میدارد. این امر به کاربران این اطمینان را میدهد که دورههایی که در Pluralsight میپذیرند، با جدیدترین دانشها و تجارب به روز شدهاند.
Google Cloud آموزش و گواهینامه های درخواستی را در فناوری های ابری در حال ظهور ارائه می دهد.
Google Cloud با صدها آزمایشگاه، دوره و نشان مهارت، متخصصان را قادر میسازد تا مهارتهای ابری حیاتی را با سرعت خودشان ایجاد کنند. آزمایشگاههای عملی این شرکت اعتبارنامههای موقتی را به منابع واقعی ابر ارائه میدهند، بنابراین افراد میتوانند Google Cloud را با استفاده از چیز واقعی یاد بگیرند. فراگیران همچنین می توانند با کسب گواهینامه های Google Cloud و/یا نشان های مهارتی که می توانند با شبکه خود به اشتراک بگذارند، تخصص خود را تأیید کنند.
نمایش نظرات