آموزش مهندسی داده با دیتابریکس در ابر AWS - آخرین آپدیت

سرفصل ها و درس ها

شروع کار با Databricks در AWS Getting Startted with Databricks on AWS

• مقدمه ای بر شروع کار با Databricks در AWS Introduction to Getting Started with Databricks on AWS

• ثبت نام برای حساب رایگان AWS Signing up for aws free account

• ورود به کنسول مدیریت AWS Logging in into AWS Management Console

• راه‌اندازی فضای کاری Databricks در AWS با استفاده از Quickstart Setting up Databricks workspace on AWS using Quickstart

• ورود به فضای کاری Databricks در AWS Logging in into Databricks Workspace on AWS

• پاکسازی فضای کاری و منابع Cleaning up the workspace and resources

• مرور سریع رابط کاربری Databricks در AWS Quick Walkthrough of Databricks UI on AWS

• ایجاد خوشه Databricks تک گره ای در AWS Creating Single-Node Databricks cluster on AWS

• بارگذاری داده با استفاده از رابط کاربری Databricks AWS Upload Data using AWS Databricks UI

• توسعه برنامه اسپارک با استفاده از نوت بوک Databricks AWS Develop spark Application using AWS Databricks Notebook

• نوشتن DataFrame در DBFS Writing dataframe to DBFS

• صادر کردن و وارد کردن نوت بوک های Databricks AWS Export and Import AWS Databricks Notebooks

راهکارهای ذخیره سازی AWS AWS Storage Solutions

• شروع کار با AWS S3 Getting Started with AWS S3

• مروری بر AWS S3 Glacier Overview of AWS S3 Glacier

• ایجاد سطل S3 و افزودن اشیاء Creating S3 Bucket and adding Objects

• کنترل نسخه در AWS S3 Version Control in AWS S3

• تکثیر بین منطقه ای AWS S3 برای تحمل خطا AWS S3 Cross-Region Replication for Fault Tolerance

• راه اندازی و پیکربندی AWS S3 CLI با استفاده از اعتبارنامه کاربر IAM Setup and configure AWS S3 CLI using IAM user credentials

• مدیریت اشیاء در AWS S3 با استفاده از CLI Managing Objects in AWS S3 using CLI

نقش AWS S3 و IAM AWS S3 and IAM Role

• مروری بر IAM برای Databricks در AWS Overview of IAM for Databricks on AWS

• ایجاد کاربر IAM در AWS Creating AWS IAM User

• ورود به کنسول مدیریت AWS با استفاده از کاربر IAM Logging into AWS Management Console using IAM User

• اعتبارسنجی دسترسی برنامه ای به کاربر IAM در AWS Validate Programmatic Access to AWS IAM User3

• سیاست های مبتنی بر هویت IAM در AWS AWS IAM Identity-based policies

• گروه های کاربر IAM در AWS AWS IAM User Groups

• سیاست های سفارشی IAM در AWS AWS IAM Custom Policies

ادغام S3 و Glue Catalog Integration S3 and Glue Catalog

• مقدمه ای بر ادغام AWS S3 و Glue Catalog با Databricks Introduction to Integrating AWS s3 and Glue Catalog with Databricks

• ایجاد گروه IAM در AWS برای توسعه دهندگان Databricks Create AWS IAM Group for Databricks Developers

• ایجاد کاربران IAM در AWS و اضافه کردن آنها به گروه Creating AWS IAM Users and adding to group

• ایجاد سطل AWS S3 برای توسعه دهندگان Databricks Creating AWS s3 Bucket for Databricks Developers

• اعطای مجوزها بر روی سطل AWS S3 به کاربران در گروه Grant Permissions on AWS S3 Bucket to the users in group

• پیوست کردن سیاست IAM در AWS برای اعطای دسترسی به Glue Attach AWS IAM Policy to grant access to Glue

• بارگذاری مجموعه داده JSON به S3 برای خزیدن با استفاده از AWS Glue Crawler Upload JSON Dataset to s3 to crawl using AWS Glue Crawler

• ایجاد نقش سرویس سفارشی IAM در AWS برای Glue Crawlers Create AWS IAM Custom Service Role for Glue Crawlers

• ایجاد و اجرای Glue Crawler برای ایجاد چندین جدول Glue Catalog Create and Run Glue Crawler to Create Multiple Glue Catalog Tables

• مروری بر ادغام خوشه های Databricks و نمونه های EC2 در AWS Overview of Integration of Databricks Clusters and AWS EC2 Instances

• ایجاد نقش IAM یا پروفایل نمونه در AWS Create AWS IAM Role or Instance Profile

• ثبت پروفایل نمونه IAM در AWS در حساب Databricks Registering AWS IAM Instance Profile with Databricks Account

• پیوست کردن پروفایل نمونه IAM در AWS به خوشه Databricks Attach AWS IAM Instance Profile to Databricks Cluster

• اعطای مجوزها بر روی S3 به خوشه های Databricks Grant Permissions on S3 to Databricks Clusters

• ادغام خوشه Databricks با Glue Catalog از طریق پروفایل نمونه Integrate Databricks Cluster with Glue Catalog via Instance Profile

راه اندازی محیط توسعه محلی برای Databricks Setup local development environment for databricks

• راه اندازی خوشه تک گره ای Databricks Setup single node databricks cluster

• نصب Databricks Connect Install Databricks Connect

• پیکربندی Databricks Connect Configure Databricks Connect

استفاده از Databricks CLI Using Databricks CLI

• نصب و پیکربندی Databricks CLI Install and configure databricks CLI

• تعامل با سیستم فایل با استفاده از Databricks CLI Interacting with File System using Databricks CLI

• دریافت جزئیات خوشه با استفاده از Databricks CLI Getting Cluster details using Databricks CLI

استقرار مشاغل Spark با استفاده از نوت بوک ها Spark Jobs Deployment using Notebooks

• ماژولار کردن نوت بوک ها Modularizing Notebooks

• اجرای شغل با استفاده از نوت بوک Running Job using Notebook

• بازسازی برنامه به عنوان نوت بوک های Databricks Refactor application as Databricks Notebooks

• اجرای نوت بوک ها با استفاده از خوشه توسعه Run Notebooks using Development Cluster