آموزش آپاچی اسپارک | Master Spark برای پردازش داده های بزرگ

دانلود Learning Apache Spark | Master Spark for Big Data Processing

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: سفری جامع به Master Apache Spark از دستکاری داده تا یادگیری ماشینی را آغاز کنید! درک اصول معماری Spark و قابلیت های محاسباتی توزیع شده آن یادگیری نوشتن و بهینه سازی پرس و جوهای Spark SQL برای پردازش کارآمد داده تسلط بر ایجاد و دستکاری DataFrames، جزء اصلی Spark یادگیری خواندن داده ها از فرمت های مختلف فایل مانند CSV و Parquet Develop مهارت در فیلتر کردن، مرتب‌سازی و جمع‌آوری داده‌ها برای استخراج بینش‌های معنادار یادگیری پردازش و تجزیه و تحلیل داده‌های جریانی برای بینش‌های هم‌زمان کاوش در قابلیت‌های Spark's MLlib برای یادگیری ماشینی یادگیری ایجاد و تنظیم دقیق مدل‌ها با استفاده از خطوط لوله و ترانسفورماتور برای تجزیه و تحلیل پیش‌بینی نیازها: باید بدانید که چگونه کد پایتون بنویسید و اجرا کنید درک اولیه سینتکس و مفاهیم پایتون ضروری است.

قفل قدرت داده های بزرگ را با Apache Spark باز کنید!

در این دوره آموزشی، نحوه استفاده از Apache Spark با پایتون را برای کار با داده ها خواهید آموخت.

ما با اصول اولیه شروع می‌کنیم و به پروژه‌های پیشرفته و یادگیری ماشینی می‌رویم.

چه تازه شروع کرده‌اید و چه قبلاً پایتون را می‌شناسید، این دوره به شما گام به گام نحوه پردازش و تجزیه و تحلیل کلان داده را آموزش می‌دهد.

آنچه یاد خواهید گرفت:

  • از DataFrame PySpark استفاده کنید: سازماندهی و کار با داده ها را بیاموزید.

  • ذخیره کارآمد داده ها: از قالب هایی مانند پارکت برای ذخیره سریع داده ها استفاده کنید.

  • استفاده از SQL در PySpark : مانند DataFrames با داده ها با استفاده از SQL کار کنید.

  • PySpark را با ابزار پایتون وصل کنید: با ابزارهای داده پایتون، داده‌ها را عمیق‌تر کنید.

  • یادگیری ماشینی با PySpark's MLlib: روی پروژه های بزرگ با استفاده از یادگیری ماشین کار کنید.

  • مثال‌های دنیای واقعی: با مثال‌های عملی یاد بگیرید.

  • مدیریت مجموعه داده‌های بزرگ: نحوه مدیریت آسان داده‌های بزرگ را بدانید.

  • حل مشکلات دنیای واقعی: Spark را برای چالش های داده های واقعی اعمال کنید.

  • ایجاد اعتماد در PySpark: در پردازش کلان داده بهتر شوید.

  • مدیریت و تجزیه و تحلیل داده‌ها: برای پروژه‌های کاری و شخصی مهارت کسب کنید.

  • برای مشاغل داده آماده شوید: برای مشاغل فنی، مالی و مراقبت‌های بهداشتی مهارت ایجاد کنید.

در پایان این دوره، شما پایه محکمی در Spark خواهید داشت که برای مقابله با چالش‌های داده در دنیای واقعی آماده است.


سرفصل ها و درس ها

شروع به کار Getting Started

  • چرا باید Apache Spark را یاد بگیرید؟ Why Should You Learn Apache Spark?

  • این دوره در آپاچی اسپارک چه ارائه می دهد؟ What Does This Course Offer on Apache Spark?

همه چیز درباره آپاچی اسپارک All about Apache Spark

  • بیایید WordCount را درک کنیم Let’s understand WordCount

  • بیایید Map and Reduce را درک کنیم Let’s understand Map and Reduce

  • برنامه نویسی با Map و Reduce Programming with Map and Reduce

  • بیایید هادوپ را درک کنیم Let’s understand Hadoop

  • معماری Apache Hadoop Apache Hadoop Architecture

  • آپاچی هادوپ و آپاچی اسپارک Apache Hadoop and Apache Spark

  • معماری اسپارک آپاچی Apache Spark Architecture

  • PySpark چیست؟ What is PySpark

نصب های Apache Spark Installations for Apache Spark

  • JAVA JDK را نصب کنید Install JAVA JDK

  • پایتون را نصب کنید Install Python

  • JupyterLab را نصب کنید Install JupyterLab

  • PySpark را نصب کنید Install PySpark

  • جلسه جرقه با مقداردهی اولیه Spark Session by Initialization

  • اجرای PySpark در نمونه های AWS EC2 P1 Running PySpark on AWS EC2 Instances P1

  • اجرای PySpark در AWS EC2 Instance P2 Running PySpark on AWS EC2 Instance P2

با استفاده از Databricks Community Edition Using Databricks Community Edition

  • چرا از Databricks Community Edition استفاده کنیم؟ Why Use Databricks Community Edition

  • برای Databricks Community Edition ثبت نام کنید Register for Databricks Community Edition

  • زمان استفاده از Databricks Community Edition When to use Databricks Community Edition

  • اجرای دستورات جادویی در Databricks P1 Running Magic Commands in Databricks P1

  • اجرای دستورات جادویی در Databricks P2 Running Magic Commands in Databricks P2

Spark DataFrames Spark DataFrames

  • Apache Spark DataFrame Apache Spark DataFrame

  • ایجاد DataFrame از فایل های CSV P1 Create DataFrames from CSV Files P1

  • ایجاد DataFrame از فایل های CSV P2 Create DataFrames from CSV Files P2

  • ایجاد DataFrame از فایل های پارکت Create DataFrames from Parquet Files

جرقه تبدیل داده ها Spark Data Transformations

  • با استفاده از SELECT Using SELECT

  • با استفاده از FILTER Using FILTER

  • استفاده از ORDER BY Using ORDER BY

  • استفاده از GROUP BY Using GROUP BY

  • استفاده از توابع AGGREGATE Using AGGREGATE Functions

  • با استفاده از JOIN داخلی Using INNER JOIN

کاتالوگ Spark SQL Spark SQL Catalog

  • کاتالوگ های Spark SQL Spark SQL Catalogs

  • به کاتالوگ های Spark SQL دسترسی پیدا کنید Access Spark SQL Catalogs

  • فهرست پایگاه های داده از کاتالوگ ها List Databases from Catalogs

  • فهرست جدول ها از پایگاه داده فعلی List Tables from Current Database

  • Spark Temp View را ایجاد کنید Create Spark Temp View

  • SQL Queries را روی Temp Views اجرا کنید Run SQL Queries on Temp Views

  • نماهای دمایی را رها کنید Drop Temp Views

Databricks Utility FileSystem برای Apache Spark Databricks Utility FileSystem for Apache Spark

  • استفاده از Databricks Utilities Using Databricks Utilities

  • استفاده از dbfs - Databricks Utility FileSystem Using dbfs - Databricks Utility FileSystem

  • استفاده از dbfs - ساخت دایرکتوری Using dbfs - Make Directory

  • با استفاده از dbfs - کپی فایل ها Using dbfs - Copy Files

  • استفاده از dbfs - حذف فایل ها Using dbfs - Delete Files

Pandas API در Spark Pandas API on Spark

  • آشنایی با پانداها Introduction to Pandas

  • Pandas API در Spark Pandas API on Spark

  • خواندن و نوشتن داده ها با پانداهای P1 Reading and Writing Data with Pandas P1

  • خواندن و نوشتن داده ها با پانداهای P2 Reading and Writing Data with Pandas P2

  • دستکاری داده ها با پانداهای PySpark Data Manipulation with PySpark Pandas

  • ادغام و پیوستن به پانداهای PySpark Merging and Joining in PySpark Pandas

  • گروه بندی و تجمیع با پانداهای PySpark Grouping and Aggregation with PySpark Pandas

  • تجسم داده ها در پانداهای PySpark Visualizing Data in PySpark Pandas

استریم ساختاری با استفاده از اسپارک آپاچی Structured Streaming Using Apache Spark

  • Apache Spark Structure Streaming چیست؟ What is Apache Spark Structure Streaming

  • چگونه آپاچی اسپارک جریان ساخت یافته را مدیریت می کند How Apache Spark handles Structured Streaming

  • مدیریت داده های جریانی برنامه ای Handling Programmatically Streaming Data

  • حالت های برنامه ریزی شده توسط آپاچی اسپارک Programmatic Modes by Apache Spark

  • DataFrames برای جریان DataFrames for Streaming

  • readStream API readStream API

  • writeStream API writeStream API

  • استعلام داده ها Querying Data

  • StreamingQuery - توقف StreamingQuery - stop

  • استریم ساختاری با کافکا و اسپارک پی 1 Structured Streaming with Kafka and Spark P1

  • استریم ساختاری با کافکا و اسپارک پی 2 Structured Streaming with Kafka and Spark P2

  • جریان ساخت یافته با کافکا و اسپارک P3 Structured Streaming with Kafka and Spark P3

  • محیط کافکا را خاتمه دهید Terminate the Kafka Environment

  • رسیدگی به دیر رسیدن داده ها و علامت گذاری آب P1 Handling Late Data Arrivals and Water Marking P1

  • رسیدگی به دیر رسیدن داده ها و علامت گذاری آب P2 Handling Late Data Arrivals and Water Marking P2

یادگیری ماشینی با اسپارک Machine Learning with Spark

  • در مورد این بخش About this section

  • یادگیری در مورد یادگیری ماشینی Learning about Machine Learning

  • چگونه یک مدل یادگیری ماشین بسازیم How to build a Machine Learning Model

  • نمای کلی Apache Spark MLLib Apache Spark MLLib Overview

  • آموزش در مورد خطوط لوله ML با استفاده از Spark MLlib Learning about ML Pipelines using Spark MLlib

  • منابع داده توسط Spark MLlib برای ساخت مدل های ML Data Sources by Spark MLlib to Build ML Models

  • ایجاد DataFrame از منابع داده Create DataFrames from Data Sources

  • یادگیری در مورد Featurization با استفاده از Spark MLlib Learning about Featurization using Spark MLlib

  • استفاده از Apache Spark MLlibs - Feature Transformers Using Apache Spark MLlibs - Feature Transformers

  • با استفاده از Tokenizer Using Tokenizer

  • با استفاده از StringIndexer Using StringIndexer

  • استفاده از خطوط لوله Using Pipelines

  • با استفاده از VectorAssembler Using VectorAssembler

  • با استفاده از VectorIndexer Using VectorIndexer

  • با استفاده از برآوردگر MLlib - رگرسیون خطی Using MLlib Estimator - Linear Regression

  • با استفاده از برآوردگر MLlib - رگرسیون لجستیک Using MLlib Estimator - Logisitic Regression

  • ML Effiecny را با استفاده از Spark MLlib Evaluators اندازه گیری کنید Measure ML Effiecny using Spark MLlib Evaluators

  • استفاده از ML برای حل مسئله دنیای واقعی Using ML for Solving Real World Problem

  • ساختمان ML مدل P1 - با استفاده از میزبان محلی Building ML Model P1 - Using Local Host

  • Building ML Model P2 - با استفاده از Databricks Community Edition Building ML Model P2 - Using Databricks Community Edition

  • استفاده از Apache Spark MLFlow با Databricks Community Edition Using Apache Spark MLFlow with Databricks Community Edition

نمایش نظرات

Udemy (یودمی)

یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.

یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.

آموزش آپاچی اسپارک | Master Spark برای پردازش داده های بزرگ
جزییات دوره
7 hours
88
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
1,005
5 از 5
دارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

VCloudMate Solutions VCloudMate Solutions

پلتفرم یادگیری برای همه نیازهای ابری شما