آموزش Associate Developer Certified Databricks - Apache Spark 2022

سرفصل ها و درس ها

شروع به کار با Databricks Certified Associate Developer برای Apache Spark Getting Started with Databricks Certified Associate Developer for Apache Spark

• مقدمه ای بر دوره برنامه نویسی Databricks Certified Associate for Apache Spark Introduction to Databricks Certified Associate for Apache Spark Developer Course

• برای وب سایت Databricks Academy ثبت نام کنید Sign up for Databricks Academy Website

• جزئیات مربوط به آزمون کاردانی گواهی شده Databricks برای Spark Developer را دریافت کنید Get Details related to Databricks Certified Associate exam for Spark Developer

• بررسی اجمالی Associate Certified Databricks برای برنامه درسی Apache Spark Overview of Databricks Certified Associate for Apache Spark Curriculum

• منابع برای آماده شدن برای آزمون Associate Certified Spark Developer Exam Databricks Resources to prepare for Databricks Certified Associate Spark Developer Exam

• جزئیات آزمون برای توسعه دهنده خبره Databricks برای Apache Spark Exam Details for Databricks Certified Associate Developer for Apache Spark

• ثبت نام برای Databricks Certified Associate Developer برای Apache Spark Registering for Databricks Certified Associate Developer for Apache Spark

شروع به کار با Databricks Certified Associate Developer برای Apache Spark Getting Started with Databricks Certified Associate Developer for Apache Spark

با استفاده از Azure محیط Databricks را راه اندازی کنید Setup Databricks Environment using Azure

• برای Azure Portal ثبت نام کنید Sign up for Azure Portal

• پلتفرم Databricks را با استفاده از Azure راه اندازی کنید Setup Databricks Platform using Azure

• پیش نیازهای گواهینامه توسعه دهنده Databricks Spark Prerequisites for the Databricks Spark Developer Certification

• برای کاوش در API های Spark، خوشه Single Node ایجاد کنید Create Single Node Cluster to explore Spark APIs

• شروع کار با نوت بوک های Databricks Getting Started with Databricks Notebooks

• راه اندازی مواد دوره گواهینامه Databricks Setup Databricks Certification Course Material

• گشت سریع مواد دوره با استفاده از نوت بوک Databricks Quick Tour of Course Material using Databricks Notebooks

• Databricks CLI را نصب و پیکربندی کنید Install and Configure Databricks CLI

• تعامل با فایل سیستم با استفاده از CLI Interacting with File System using CLI

• مجموعه داده های خرده فروشی را با استفاده از Databricks CLI تنظیم کنید Setup Retail Datasets using Databricks CLI

• اعتبار سنجی مجموعه داده ها با استفاده از نوت بوک های Databricks Validate Data Sets using Databricks Notebooks

با استفاده از Azure محیط Databricks را راه اندازی کنید Setup Databricks Environment using Azure

ایجاد Spark Dataframe با استفاده از Python Collection و Pandas Dataframe Create Spark Dataframes using Python Collections and Pandas Dataframes

• ایجاد Spark Dataframe با استفاده از Python Collection و Pandas Dataframe Create Spark Dataframes using Python Collections and Pandas Dataframes

• با استفاده از List Frame Spark Single Column ایجاد کنید Create Single Column Spark Dataframe using List

• با استفاده از List Frame Multi Column Spark ایجاد کنید Create Multi Column Spark Dataframe using List

• نمای کلی Spark Row Overview of Spark Row

• لیست لیست ها را با استفاده از Row به Spark Dataframe تبدیل کنید Convert List of Lists into Spark Dataframe using Row

• لیست تاپل ها را با استفاده از Row به Spark Dataframe تبدیل کنید Convert List of Tuples into Spark Dataframe using Row

• لیست Dict ها را با استفاده از Row به Spark Dataframe تبدیل کنید Convert List of Dicts into Spark Dataframe using Row

• مروری بر انواع داده های پایه در Spark Overview of Basic Data Types in Spark

• تعیین Schema برای Spark Dataframe با استفاده از String Specifying Schema for Spark Dataframe using String

• تعیین Schema برای Spark Dataframe با استفاده از List Specifying Schema for Spark Dataframe using List

• تعیین طرحواره با استفاده از Spark Types Specifying Schema using Spark Types

• Spark Dataframe را با استفاده از Pandas Dataframe ایجاد کنید Create Spark Dataframe using Pandas Dataframe

• مروری بر انواع داده های ویژه در Spark Overview of Special Data Types in Spark

• ستون های نوع آرایه در Spark Dataframes Array Type Columns in Spark Dataframes

• ستون های نوع نقشه در Spark Dataframes Map Type Columns in Spark Dataframes

• ستون های نوع ساختار در Spark Dataframes Struct Type Columns in Spark Dataframes

ایجاد Spark Dataframe با استفاده از Python Collection و Pandas Dataframe Create Spark Dataframes using Python Collections and Pandas Dataframes

انتخاب و تغییر نام ستون ها در Spark Data Frames Selecting and Renaming Columns in Spark Data Frames

• انتخاب و تغییر نام ستون ها در Spark Data Frames - مقدمه Selecting and Renaming Columns in Spark Data Frames - Introduction

• ایجاد Spark Data Frame برای انتخاب و تغییر نام ستون ها Creating Spark Data Frame to Select and Rename Columns

• مروری بر تحولات باریک و گسترده Overview of Narrow and Wide Transformations

• نمای کلی Select در Spark Data Frame Overview of Select on Spark Data Frame

• نمای کلی selectExpr در Spark Data Frame Overview of selectExpr on Spark Data Frame

• ارجاع ستون ها با استفاده از Spark Data Frame Names Referring Columns using Spark Data Frame Names

• درک عملکرد col در Spark Understanding col function in Spark

• فراخوانی توابع با استفاده از اشیاء ستون Spark Invoking Functions using Spark Column Objects

• درک عملکرد روشن در Spark Understanding lit function in Spark

• مروری بر تغییر نام ستون‌ها یا عبارات قاب داده Spark Overview of Renaming Spark Data Frame Columns or Expressions

• نام گذاری ستون های مشتق شده با استفاده از withColumn Naming derived columns using withColumn

• تغییر نام ستون ها با استفاده از withColumnRenamed Renaming Columns using withColumnRenamed

• تغییر نام ستون ها یا عبارات Spark Data Frame با استفاده از نام مستعار Renaming Spark Data Frame columns or expressions using alias

• تغییر نام و ترتیب مجدد چندین ستون Spark Data Frame Renaming and Reordering multiple Spark Data Frame Columns

انتخاب و تغییر نام ستون ها در Spark Data Frames Selecting and Renaming Columns in Spark Data Frames

دستکاری ستون ها در Spark Data Frames Manipulating Columns in Spark Data Frames

• دستکاری ستون ها در Spark Data Frames - مقدمه Manipulating Columns in Spark Data Frames - Introduction

• توابع از پیش تعریف شده با استفاده از Spark Data Frame API Predefined Functions using Spark Data Frame APIs

• ساخت فریم داده ساختگی Create Dummy Data Frame

• دسته بندی توابع برای دستکاری ستون ها در فریم های داده اسپارک Categories Of Functions to Manipulate Columns in Spark Data Frames

• دریافت راهنمایی در مورد توابع Spark Getting Help on Spark Functions

• عملکردهای ویژه با استفاده از Spark روشن می شود Special Functions col and lit using Spark

• توابع متداول دستکاری رشته Common String Manipulation Functions

• استخراج رشته ها با استفاده از رشته فرعی از Spark Data Frame Columns Extracting Strings using substring from Spark Data Frame Columns

• استخراج رشته ها با استفاده از تقسیم از Spark Data Frame Columns Extracting Strings using split from Spark Data Frame Columns

• پر کردن کاراکترها در اطراف رشته‌ها در ستون‌های Spark Data Frame Padding Characters around strings in Spark Data Frame Columns

• برش کاراکترها از رشته ها در ستون های Spark Data Frame Trimming Characters from strings in Spark Data Frame Columns

• توابع دستکاری تاریخ و زمان با استفاده از Spark Data Frames Date and Time Manipulation Functions using Spark Data Frames

• محاسبه تاریخ و زمان با استفاده از Spark Data Frames Date and Time Arithmetic using Spark Data Frames

• استفاده از توابع کوتاه کردن تاریخ و زمان در Spark Data Frames Using date and time trunc functions on Spark Data Frames

• توابع استخراج تاریخ و زمان در Spark Data Frames Date and Time Extract Functions on Spark Data Frames

• استفاده از to_date و to_timestamp در Spark Data Frames Using to_date and to_timestamp on Spark Data Frames

• استفاده از تابع date_format در Spark Data Frames Using date_format Function on Spark Data Frames

• برخورد با زمان یونیکس در Spark Data Frames Dealing with Unix Timestamp in Spark Data Frames

• مقابله با null ها در Spark Data Frames Dealing with nulls in Spark Data Frames

• استفاده از CASE و WHEN در Spark Data Frames Using CASE and WHEN on Spark Data Frames

دستکاری ستون ها در Spark Data Frames Manipulating Columns in Spark Data Frames

فیلتر کردن داده ها از Spark Data Frames Filtering Data from Spark Data Frames

• فیلتر کردن داده ها از Spark Data Frames - مقدمه Filtering Data from Spark Data Frames - Introduction

• ایجاد Spark Data Frame برای فیلتر کردن Creating Spark Data Frame for Filtering

• نمای کلی فیلتر یا عملکرد Where در Spark Data Frame Overview of Filter or Where Function on Spark Data Frame

• مروری بر شرایط و اپراتورهای مربوط به Spark Data Frames Overview of Conditions and Operators related to Spark Data Frames

• با استفاده از شرایط برابر در Spark Data Frames فیلتر کنید Filter using Equal Condition on Spark Data Frames

• با استفاده از شرایط مساوی در فریم های داده Spark فیلتر کنید Filter using Not Equal Condition on Spark Data Frames

• با استفاده از Between Operator در Spark Data Frames فیلتر کنید Filter using Between Operator on Spark Data Frames

• برخورد با مقادیر تهی هنگام فیلتر کردن داده ها در Spark Data Frames Dealing with Null Values while Filtering Data in Spark Data Frames

• مروری بر عملیات بولی Overview of Boolean Operations

• Boolean OR در همان ستون Spark Data Frame و IN Operator Boolean OR on same column of Spark Data Frame and IN Operator

• فیلتر کردن با بزرگتر و کمتر از فریم های داده اسپارک Filtering with Greater Than and Less Than on Spark Data Frames

• Boolean AND شرط در Spark Data Frames Boolean AND Condition on Spark Data Frames

• OR بولی در ستون های مختلف یک Spark Data Frame Boolean OR on different columns of a Spark Data Frame

فیلتر کردن داده ها از Spark Data Frames Filtering Data from Spark Data Frames

رها کردن ستون ها از Spark Data Frames Dropping Columns from Spark Data Frames

• رها کردن ستون ها از Spark Data Frames - مقدمه Dropping Columns from Spark Data Frames - Introduction

• ایجاد Spark Data Frame برای رها کردن ستون ها Creating Spark Data Frame for Dropping Columns

• بررسی اجمالی عملکرد Spark Data Frame drop Overview of Spark Data Frame drop function

• رها کردن یک ستون از یک Spark Data Frame Dropping a Single Column from a Spark Data Frame

• رها کردن چندین ستون از یک Spark Data Frame Dropping Multiple Columns from a Spark Data Frame

• حذف لیست ستون ها از Spark Data Frame Dropping List of Columns from a Spark Data Frame

• حذف رکوردهای تکراری از Spark Data Frames Dropping Duplicate Records from Spark Data Frames

• حذف رکوردهای تهی از Spark Data Frames Dropping Null based Records from Spark Data Frames

رها کردن ستون ها از Spark Data Frames Dropping Columns from Spark Data Frames

مرتب سازی داده ها در Spark Data Frames Sorting Data in Spark Data Frames

• مرتب سازی داده ها در Spark Data Frames - مقدمه Sorting Data in Spark Data Frames - Introduction

• ایجاد Spark Data Frame برای مرتب سازی داده ها Creating Spark Data Frame for Sorting the Data

• مروری بر مرتب سازی یک Spark Data Frame Overview of Sorting a Spark Data Frame

• Spark Data Frame را بر اساس یک ستون مشخص به ترتیب صعودی مرتب کنید Sort Spark Data Frame in Ascending Order by a given column

• Spark Data Frame را به ترتیب نزولی بر اساس یک ستون مشخص مرتب کنید Sort Spark Data Frame in Descending Order by a given column

• هنگام مرتب سازی Spark Data Frame با Nulls مقابله کنید Dealing with Nulls while sorting Spark Data Frame

• مرتب‌سازی ترکیبی یک چارچوب داده Composite Sorting of a Data Frame

• مرتب‌سازی اولویت‌بندی شده Spark Data Frame Prioritized Sorting of a Spark Data Frame

مرتب سازی داده ها در Spark Data Frames Sorting Data in Spark Data Frames

انجام تجمیع در Spark Data Frames Performing Aggregations on Spark Data Frames

• انجام تجمیع بر روی Spark Data Frames - مقدمه Performing Aggregations on Spark Data Frames - Introduction

• با استفاده از Spark مجموعه داده‌ها را برای تجمیع اعتبارسنجی کنید Validate Data Sets for Aggregations using Spark

• توابع مشترک Spark Aggregate Common Spark Aggregate Functions

• مجموع تجمیع در یک Spark Data Frame Total Aggregations on a Spark Data Frame

• شمارش یک Spark Data Frame Getting Count of a Spark Data Frame

• نمای کلی groupBy در Spark Data Frame Overview of groupBy on Spark Data Frame

• با استفاده از توابع مستقیم در یک Spark Data Frame، تجمیع گروهی را انجام دهید Perform Grouped Aggregations using direct functions on a Spark Data Frame

• با استفاده از Agg روی Spark Data Frame، انباشته‌های گروه‌بندی شده را انجام دهید Perform Grouped Aggregations using Agg on a Spark Data Frame

انجام تجمیع در Spark Data Frames Performing Aggregations on Spark Data Frames

پیوستن به Spark Data Frames Joining Spark Data Frames

• Joining Spark Data Frames - مقدمه Joining Spark Data Frames - Introduction

• مجموعه داده ها را برای انجام اتصالات تنظیم کنید Setup Data Sets to perform joins

• نمای کلی اتصالات با استفاده از Spark Data Frames Overview of Joins using Spark Data Frames

• نام مستعار را برای Spark Data Frames تعریف کنید Define Aliases for Spark Data Frames

• اجرای Inner Join در Spark Data Frames Performing Inner Join on Spark Data Frames

• اجرای Outer Join با استفاده از سمت چپ بین Spark Data Frames Performing Outer Join using left between Spark Data Frames

• اجرای Outer Join با استفاده از سمت راست بین Spark Data Frames Performing Outer Join using right between Spark Data Frames

• تفاوت بین اتصال بیرونی چپ و اتصال بیرونی راست Difference between Left Outer Join and Right Outer Join

• انجام اتصال کامل بیرونی بین Spark Dataframe Performing Full Outer Join between Spark Dataframes

• مروری بر Broadcast Join در Spark Overview of Broadcast Join in Spark

• انجام Cross Join با استفاده از Spark Data Frames Performing Cross Join using Spark Data Frames

پیوستن به Spark Data Frames Joining Spark Data Frames

خواندن داده ها از فایل ها در Spark Data Frames Reading Data from Files into Spark Data Frames

• خواندن داده ها از Spark Data Frames در فایل ها - مقدمه Reading Data from Spark Data Frames into Files - Introduction

• اعتبارسنجی مجموعه داده‌ها برای خواندن از فایل‌ها با استفاده از Spark API Validate Data Sets for Reading from Files using Spark APIs

• با استفاده از Spark API داده های JSON را به پارکت تبدیل کنید Convert JSON Data to Parquet using Spark APIs

• با استفاده از Spark فایل های جدا شده با کاما را به فایل های جدا شده از لوله تبدیل کنید Convert Comma Separated Files to Pipe Separated Files using Spark

• مروری بر خواندن فایل های داده در فریم های داده اسپارک Overview of Reading Data Files into Spark Data Frames

• مراحلی که باید برای خواندن داده ها از فایل ها در Spark Data Frame دنبال کنید Steps to follow to read data from files into Spark Data Frame

• خواندن داده ها از فایل های CSV در Spark Data Frame Reading Data from CSV files into Spark Data Frame

• تعیین Schema هنگام خواندن داده های CSV در Data Frame Specifying Schema while reading CSV data into Data Frame

• استفاده از toDF و inferSchema با استفاده از CSV برای ایجاد Spark Data Frame Using toDF and inferSchema using CSV to create Spark Data Frame

• تعیین جداکننده هنگام استفاده از CSV برای ایجاد Spark Data Frame Specifying Delimiter while using CSV to create Spark Data Frame

• استفاده از گزینه‌ها هنگام خواندن فایل‌های CSV در Spark Data Frame Using Options while reading CSV Files into Spark Data Frame

• خواندن فایل‌های JSON در Spark Data Frame Reading JSON Files into Spark Data Frame

• تعیین Schema هنگام خواندن فایل‌های JSON در Data Frame Specifying Schema while reading JSON Files into Data Frame

• عوارض جانبی استنباط طرحواره هنگام ایجاد Spark Data Frame Side effects of inferring schema while creating Spark Data Frame

• خواندن فایل های پارکت در Spark Data Frame Reading Parquet Files into Spark Data Frame

• مشخص کردن طرحواره هنگام خواندن فایل‌های پارکت در قاب داده Specifying Schema while reading Parquet Files into Data Frame

خواندن داده ها از فایل ها در Spark Data Frames Reading Data from Files into Spark Data Frames

نوشتن داده ها از Spark Data Frames در فایل ها Writing Data from Spark Data Frames into Files

• نوشتن داده ها از Spark Data Frames در فایل ها - مقدمه Writing Data from Spark Data Frames into Files - Introduction

• مجموعه داده‌ها را برای نوشتن در فایل‌ها با استفاده از Spark API تأیید کنید Validate Data Sets for Writing into Files using Spark APIs

• مروری بر نوشتن فریم های داده Spark در فایل ها Overview of Writing Spark Data Frames into Files

• مراحلی که باید برای نوشتن Spark Data Frames در فایل ها دنبال کنید Steps to follow to write Spark Data Frames into Files

• نوشتن Spark Data Frames در فایل های CSV Writing Spark Data Frames into CSV files

• تعیین هدر هنگام نوشتن Spark Data Frame در فایل‌های CSV Specifying Header while writing Spark Data Frame into CSV files

• استفاده از فشرده سازی هنگام نوشتن Spark Data Frame در فایل های CSV Using Compression while writing Spark Data Frame into CSV Files

• تعیین جداکننده هنگام نوشتن Spark Data Frame در فایل‌های CSV Specifying Delimiter while writing Spark Data Frame into CSV Files

• استفاده از گزینه ها هنگام نوشتن Spark Data Frame در فایل های CSV Using Options while writing Spark Data Frame into CSV Files

• نوشتن Spark Data Frames در فایل های JSON Writing Spark Data Frames into JSON Files

• فشرده سازی هنگام نوشتن Spark Data Frames در فایل های JSON Compression while writing Spark Data Frames into JSON Files

• نوشتن Spark Data Frames در فایل های پارکت Writing Spark Data Frames into Parquet Files

• فشرده سازی هنگام نوشتن Spark Data Frames در فایل های پارکت Compression while writing Spark Data Frames into Parquet Files

• حالت های مختلف برای نوشتن Spark Data Frame در فایل ها Different Modes to write Spark Data Frame into Files

• ادغام و پارتیشن بندی مجدد فریم های داده Spark Coalesce and Repartitioning of Spark Data Frames

نوشتن داده ها از Spark Data Frames در فایل ها Writing Data from Spark Data Frames into Files

پارتیشن بندی Spark Data Frames Partitioning Spark Data Frames

• پارتیشن بندی Spark Data Frames - مقدمه Partitioning Spark Data Frames - Introduction

• مروری بر پارتیشن بندی فریم های داده Overview of Partitioning Data Frames

• پارتیشن Spark Data Frame By Single Column Partition Spark Data Frame By Single Column

• پارتیشن Spark Data Frame با ستون های متعدد Partition Spark Data Frame By Multiple Columns

• تنظیم مجموعه داده برای هرس پارتیشن Setup Data Set for Partition Pruning

• خواندن داده ها در Spark Data Frames با استفاده از Partition Pruning Reading Data into Spark Data Frames using Partition Pruning

پارتیشن بندی Spark Data Frames Partitioning Spark Data Frames

کار با توابع Spark SQL Working with Spark SQL Functions

• مروری بر عملکردهای تعریف شده توسط کاربر Spark Overview of Spark User Defined Functions

• ثبت توابع تعریف شده توسط کاربر Spark Registering Spark User Defined Functions

• استفاده از Spark UDF به عنوان بخشی از Data Frame API Using Spark UDFs as part of Data Frame APIs

• استفاده از Spark UDF به عنوان بخشی از Spark SQL Using Spark UDFs as part of Spark SQL

• Spark UDF را برای پاک کردن داده ها در Spark Data Frame ایجاد کنید Create Spark UDF to cleanse data in Spark Data Frame

کار با توابع Spark SQL Working with Spark SQL Functions

معماری جرقه Spark Architecture

• با استفاده از پلتفرم Databricks، Multinode Spark Cluster را راه اندازی کنید Setup Multinode Spark Cluster using Databricks Platform

• رابط های کاربری مهم Databricks Spark را مرور کنید Review important Databricks Spark User Interfaces

• بررسی اجمالی هسته ها و شکاف های Spark Overview of Spark Cores and Slots

• برای درک وظایف، برنامه اولیه را ارسال کنید Submit Basic Application to understand tasks

• برای درک چرخه عمر اجرا، برنامه Spark را اجرا کنید Run Spark Application to understand the Execution Life Cycle

• ویژگی های مربوط به Spark Adaptive Execution را مرور کنید Review Properties related to Spark Adaptive Execution

• غیرفعال کردن Adaptive Execution و اجرای Spark Application Disabling Adaptive Execution and Running Spark Application

• جزئیات برنامه Spark را بدون اجرای تطبیقی ​​مرور کنید Review Details of Spark Application with out Adaptive Execution

• اجرای Spark Application با Adaptive Execution Run Spark Application with Adaptive Execution

• ویژگی‌های اجرای کوئری تطبیقی ​​Spark را مرور کنید Review Spark Adaptive Query Execution Properties

معماری جرقه Spark Architecture

نکات و استراتژی هایی برای استفاده از برنامه نویس خبره Databricks Tips and Strategies to take the Databricks Certified Associate Developer for

• مروری بر مواد ارائه شده برای Databricks Apache Spark Exam Overview of the Material Provided for Databricks Apache Spark Exam

• دسترسی به آزمون آزمایشی Accessing the Mock Test

• درک آزمون آزمایشی برای Databricks Certified Associate Exam Spark Understanding Mock Test for Databricks Certified Associate Spark Exam

• تست های تمرین کدگذاری اسپارک برای آزمون گواهینامه Databricks Spark Coding Practice Tests for Databricks Certification Exam

نکات و استراتژی هایی برای استفاده از برنامه نویس خبره Databricks Tips and Strategies to take the Databricks Certified Associate Developer for