آموزش Databricks Essentials برای توسعه دهندگان Spark (Azure و AWS)

سرفصل ها و درس ها

شروع کار با Databricks Getting Started with Databricks

• معرفی دوره Introduction to the course

• ثبت نام برای Databricks Community Edition Signing up for Databricks Community Edition

• سرویس Azure Databricks را ایجاد کنید Create Azure Databricks Service

• برای آزمایش کامل Databricks در AWS ثبت نام کنید Signup For Databricks Full Trial on AWS

• مروری بر رابط کاربری Databricks Overview of Databricks UI

• فایل ها را در Databricks آپلود کنید Upload Files into Databricks

• ایجاد Cluster در Databricks Platform Create Cluster in Databricks Platform

• مدیریت فایل سیستم با استفاده از نوت بوک Managing File System using Notebooks

• استفاده از رابط کاربری Databricks Using Databricks UI

Notebook Databricks با استفاده از Scala with Spark Databricks Notebook using Scala with Spark

• با استفاده از Scala نوت بوک ایجاد کنید و سفارشات را بخوانید Create Notebook and read orders using Scala

• order_items و products را با استفاده از Scala در DataFrames بخوانید Read order_items and products into DataFrames using Scala

• تجسم داده ها با استفاده از Display در Scala Visualize Data using Display in Scala

• با استفاده از Scala سفارشات کامل یا بسته را دریافت کنید Get complete or closed orders using Scala

• با استفاده از Scala به داده ها بپیوندید و انتخاب کنید Join and select data using Scala

• با استفاده از Scala درآمد روزانه محصول را دریافت کنید Get Daily Product Revenue using Scala

• با استفاده از Scala درآمد روزانه محصول را مرتب کنید Get Daily Product Revenue Sorted using Scala

• خروجی را با استفاده از Scala در فایل‌های CSV ذخیره کنید Save output to CSV Files using Scala

• تمرین - با استفاده از Scala درآمد ماهانه هر مشتری را دریافت کنید Exercise - Get the monthly revenue for each Customer using Scala

Notebook Databricks با استفاده از Python (pyspark) Databricks Notebook using Python (pyspark)

• بیان مسئله را تعریف کنید Define Problem Statement

• بیان مسئله را تعریف کنید Define Problem Statement

• ایجاد نوت بوک و خواندن دستورات با استفاده از پایتون Create Notebook and read orders using Python

• order_items و products را در DataFrames با استفاده از Python بخوانید Read order_items and products into DataFrames using Python

• تجسم داده ها با استفاده از نمایش در پایتون Visualize Data using Display in Python

• با استفاده از پایتون سفارشات کامل یا بسته را دریافت کنید Get complete or closed orders using Python

• با استفاده از پایتون به داده ها بپیوندید و انتخاب کنید Join and select data using Python

• درآمد روزانه محصول را با استفاده از پایتون دریافت کنید Get Daily Product Revenue using Python

• با استفاده از پایتون درآمد روزانه محصول را مرتب کنید Get Daily Product Revenue Sorted using Python

• خروجی را با استفاده از پایتون در فایل‌های CSV ذخیره کنید Save output to CSV Files using Python

• تمرین - درآمد ماهانه هر مشتری را با استفاده از پایتون دریافت کنید Exercise - Get the monthly revenue for each Customer using Python

Notebook Databricks با استفاده از Spark SQL Databricks Notebook using Spark SQL

• ایجاد نوت بوک و خواندن سفارشات با استفاده از Spark SQL Create Notebook and read orders using Spark SQL

• order_items و محصولات را با استفاده از Spark SQL بخوانید Read order_items and products using Spark SQL

• نتایج SQL را تجسم کنید Visualize SQL results

• با استفاده از Spark SQL داده ها را بپیوندید و انتخاب کنید Join and Select data using Spark SQL

• با استفاده از Spark SQL درآمد روزانه محصول را مرتب کنید Get Daily Product Revenue Sorted using Spark SQL

• با استفاده از Spark SQL خروجی را در جدول ذخیره کنید Save output to a table using Spark SQL

• تمرین - با استفاده از Spark SQL درآمد ماهانه هر مشتری را دریافت کنید Exercise - Get the monthly revenue for each Customer using Spark SQL

Databricks Jobs and Cluster Databricks Jobs and Clusters

• مقدمه ای بر مشاغل و خوشه Introduction to Jobs and Cluster

• ایجاد Cluster در Azure Databricks Create Cluster on Azure Databricks

• درخواست افزایش سهمیه CPU در Azure Request to increase CPU Quota on Azure

• ایجاد Job on Databricks با استفاده از Notebook Creating Job on Databricks using Notebook

• ارسال مشاغل با استفاده از Job Cluster Submitting Jobs using Job Cluster

• ایجاد Pool در Databricks Create Pool in Databricks

• اجرای کار با استفاده از خوشه تعاملی متصل به Pool Running Job using Interactive Cluster attached to Pool

• اجرای کار با استفاده از Job Cluster متصل به Pool Running Job using Job Cluster attached to Pool

• تمرین - با استفاده از خوشه تعاملی، برنامه را به عنوان شغل ارسال کنید Exercise - Submit the application as job using interactive cluster

چرخه عمر توسعه و استقرار Databricks با استفاده از Scala Databricks Development and Deployment Life Cycle using Scala

• مقدمه Introduction

• راه اندازی پروژه با استفاده از IntelliJ IDE Setup Project using IntelliJ IDE

• افزودن وابستگی به پروژه Add Dependencies to the project

• توسعه برنامه با استفاده از IDE Develop application using IDE

• خارجی کردن خواص Externalize Properties

• کار را با استفاده از Jar ارسال کنید Submit job using Jar