لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش با استفاده از AWS Lake Formation یک دریاچه داده امن در AWS بسازید
Build a Secure Data Lake in AWS using AWS Lake Formation
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
راهنمای گام به گام راهاندازی دریاچه داده در AWS با استفاده از Lake formation، Glue، DataBrew، Athena، Redshift، Macie و غیره با استفاده از استودیو چسب AWS و دریافت دادهها از منابعی مانند RDS، Kinesis Firehose و DynamoDB شما یاد خواهید گرفت که چگونه دادهها را با استفاده از AWS Glue Studio و AWS Glue DataBrew تبدیل کنید. طرحها و گردشهای کاری در تشکیل دریاچه پیش نیازها: درک اولیه رایانش ابری درک اولیه از اینکه دریاچه داده و انبار داده چیست ضروری است اما لازم نیست یک حساب AWS فعال برای اینکه بتوان آن را دنبال کرد لازم است.
در این دوره، ما یک دریاچه داده با استفاده از AWS Lake Formation ایجاد میکنیم و قابلیتهای انبار داده را به دریاچه داده میآوریم تا معماری دریاچه را با استفاده از Amazon Redshift شکل دهد. با استفاده از Lake Formation، ما همچنین دادهها را از منابع داده مختلف جمعآوری و فهرستبندی میکنیم، دادهها را به دریاچه داده S3 خود منتقل میکنیم و سپس آنها را تمیز و طبقهبندی میکنیم.
این دوره یک پیشرفت منطقی از اجرای پروژه در دنیای واقعی را با تجربه عملی در راه اندازی یک دریاچه داده، ایجاد خطوط لوله داده برای جذب و تبدیل داده های شما در آماده سازی برای تجزیه و تحلیل و گزارش دنبال می کند.
فصل 1
دریاچه داده را با استفاده از تشکیل دریاچه راه اندازی کنید
منابع داده های مختلف (MySQL RDS و Kinesis) ایجاد کنید
دادهها را از منبع داده MYSQL RDS در دریاچه داده با راهاندازی کارهای طرح و گردش کار در تشکیل دریاچه وارد کنید
پایگاه داده ما را با استفاده از خزنده فهرست کنید
از جداول کنترل شده برای مدیریت کنترل دسترسی و امنیت استفاده کنید
دریاچه داده ما را با استفاده از آتنا پرس و جو کنید
فصل 2،
استفاده از AWS Gluw DataBrew را برای نمایه سازی و درک داده های ما قبل از شروع کارهای پیچیده ETL کاوش کنید.
دستورالعملهایی برای دستکاری دادهها در دریاچه داده ما با استفاده از تبدیلهای مختلف ایجاد کنید
پاک کردن و عادی سازی داده ها
کارها را اجرا کنید تا دستور العمل ها را روی همه داده های جدید یا مجموعه داده های بزرگتر اعمال کنید
فصل 3
Glue Studio را معرفی کنید
تولید و نظارت بر کارهای ETL برای تغییر شکل داده های ما و انتقال آنها بین مناطق مختلف دریاچه داده ما
یک منبع DynamoDB ایجاد کنید و داده ها را با استفاده از چسب AWS در دریاچه داده ما وارد کنید
فصل 4
معرفی و ایجاد یک خوشه انتقال به سرخ برای آوردن قابلیتهای datawarehouse به دریاچه داده ما برای شکلگیری معماری lakehouse
ایجاد مشاغل ETL برای انتقال داده ها از دریاچه ما به انبار برای تجزیه و تحلیل
از طیف انتقال به قرمز برای پرس و جو در برابر داده ها در دریاچه داده S3 خود بدون نیاز به داده های تکراری یا زیرساخت استفاده کنید
فصل 5
آمازون مکی را برای مدیریت امنیت دادهها و حریم خصوصی دادهها معرفی کنید و اطمینان حاصل کنید که میتوانیم به شناسایی دادههای حساس در مقیاس با رشد دریاچه دادههایمان ادامه دهیم
سرفصل ها و درس ها
معرفی
Introduction
معرفی دوره
Introduction to the course
معرفی
Introduction
راه اندازی دریاچه داده با تشکیل دریاچه AWS
Setting up the Data Lake with AWS Lake formation
پیکربندی تشکیل دریاچه S3
Configuring S3 lake formation
ورود فایل ساده به دریاچه داده
Simple file ingestion into the data lake
برای دریافت دادهها از MySQL RDS از طرحها و گردشهای کاری در Lake formation استفاده کنید
Use blueprints and workflows in Lake formation for ingesting data from MySQL RDS
دادههای بیدرنگ را با استفاده از کینسیس فایرهوز به دریاچه داده وارد کنید
Ingest real-time data using Kinesis firehose into the data lake
امنیت و مدیریت دریاچه داده ما با جداول کنترل شده
Security and governance of our data lake with governed tables
راه اندازی دریاچه داده با تشکیل دریاچه AWS
Setting up the Data Lake with AWS Lake formation
تهیه و تجزیه و تحلیل داده ها در دریاچه داده ما با استفاده از AWS Glue DataBrew
Preparation and analysis of data in our data lake using AWS Glue DataBrew
مقدمه ای بر AWS Glue DataBrew
Introduction to AWS Glue DataBrew
تجزیه و تحلیل و تبدیل داده ها در دریاچه داده ما با Glue DataBrew
Analysis and transformation of data in our data lake with Glue DataBrew
دستور العمل های DataBrew را ایجاد کنید و آنها را در مجموعه داده های بزرگتر اعمال کنید
Create DataBrew recipes and applying them to a larger datasets
تهیه و تجزیه و تحلیل داده ها در دریاچه داده ما با استفاده از AWS Glue DataBrew
Preparation and analysis of data in our data lake using AWS Glue DataBrew
با استفاده از AWS Glue Studio کارهای ETL را نویسنده، اجرا و نظارت کنید
Author, run and monitor ETL jobs using AWS Glue Studio
آشنایی با AWS Glue Studio
Introduction to AWS Glue Studio
کارهای ETL را برای جابجایی داده ها بین مناطق مختلف در دریاچه داده ما ایجاد می کند
Author ETL jobs for moving data between the different zones in our data lake
داده ها را از DynamoDB با استفاده از چسب AWS به دریاچه داده وارد کنید و آن را فهرست کنید
Ingest data from DynamoDB into the data lake using AWS Glue and catalog it
با استفاده از AWS Glue Studio کارهای ETL را نویسنده، اجرا و نظارت کنید
Author, run and monitor ETL jobs using AWS Glue Studio
داده های ما را برای تجزیه و تحلیل و گزارش آماده کنید
Prepare our data for analytics and reporting
معرفی آمازون Redshift و راه اندازی خوشه Amazon Redshfit ما
Introduction to Amazon Redshift and setting up our Amazon Redshfit cluster
کار نویسنده ETL برای انتقال داده ها از دریاچه داده ما به انبار Redshift
Author ETL job for moving data from our data lake into the Redshift warehouse
استفاده از Redshift Spectrum برای جستجوی دادههای واقع در دریاچه داده ما
Using Redshift Spectrum for querying data located in our data lake
داده های ما را برای تجزیه و تحلیل و گزارش آماده کنید
Prepare our data for analytics and reporting
جایزه
Bonus
معرفی آمازون Macie برای مدیریت امنیت داده ها و حریم خصوصی در دریاچه ما
Introduction to Amazon Macie for managing data security and privacy in our lake
نمایش نظرات