لطفا جهت پرداخت (ورود به درگاه بانک) فیلترشکن خود را خاموش نمایید.
لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش آپاچی اسپارک | Master Spark برای پردازش داده های بزرگ
دانلود Learning Apache Spark | Master Spark for Big Data Processing
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
سفری جامع به Master Apache Spark از دستکاری داده تا یادگیری ماشینی را آغاز کنید! درک اصول معماری Spark و قابلیت های محاسباتی توزیع شده آن یادگیری نوشتن و بهینه سازی پرس و جوهای Spark SQL برای پردازش کارآمد داده تسلط بر ایجاد و دستکاری DataFrames، جزء اصلی Spark یادگیری خواندن داده ها از فرمت های مختلف فایل مانند CSV و Parquet Develop مهارت در فیلتر کردن، مرتبسازی و جمعآوری دادهها برای استخراج بینشهای معنادار یادگیری پردازش و تجزیه و تحلیل دادههای جریانی برای بینشهای همزمان کاوش در قابلیتهای Spark's MLlib برای یادگیری ماشینی یادگیری ایجاد و تنظیم دقیق مدلها با استفاده از خطوط لوله و ترانسفورماتور برای تجزیه و تحلیل پیشبینی نیازها: باید بدانید که چگونه کد پایتون بنویسید و اجرا کنید درک اولیه سینتکس و مفاهیم پایتون ضروری است.
قفل قدرت داده های بزرگ را با Apache Spark باز کنید!
در این دوره آموزشی، نحوه استفاده از Apache Spark با پایتون را برای کار با داده ها خواهید آموخت.
ما با اصول اولیه شروع میکنیم و به پروژههای پیشرفته و یادگیری ماشینی میرویم.
چه تازه شروع کردهاید و چه قبلاً پایتون را میشناسید، این دوره به شما گام به گام نحوه پردازش و تجزیه و تحلیل کلان داده را آموزش میدهد.
آنچه یاد خواهید گرفت:
از DataFrame PySpark استفاده کنید: سازماندهی و کار با داده ها را بیاموزید.
ذخیره کارآمد داده ها: از قالب هایی مانند پارکت برای ذخیره سریع داده ها استفاده کنید.
استفاده از SQL در PySpark : مانند DataFrames با داده ها با استفاده از SQL کار کنید.
PySpark را با ابزار پایتون وصل کنید: با ابزارهای داده پایتون، دادهها را عمیقتر کنید.
یادگیری ماشینی با PySpark's MLlib: روی پروژه های بزرگ با استفاده از یادگیری ماشین کار کنید.
مثالهای دنیای واقعی: با مثالهای عملی یاد بگیرید.
مدیریت مجموعه دادههای بزرگ: نحوه مدیریت آسان دادههای بزرگ را بدانید.
حل مشکلات دنیای واقعی: Spark را برای چالش های داده های واقعی اعمال کنید.
ایجاد اعتماد در PySpark: در پردازش کلان داده بهتر شوید.
مدیریت و تجزیه و تحلیل دادهها: برای پروژههای کاری و شخصی مهارت کسب کنید.
برای مشاغل داده آماده شوید: برای مشاغل فنی، مالی و مراقبتهای بهداشتی مهارت ایجاد کنید.
در پایان این دوره، شما پایه محکمی در Spark خواهید داشت که برای مقابله با چالشهای داده در دنیای واقعی آماده است.
سرفصل ها و درس ها
شروع به کار
Getting Started
چرا باید Apache Spark را یاد بگیرید؟
Why Should You Learn Apache Spark?
این دوره در آپاچی اسپارک چه ارائه می دهد؟
What Does This Course Offer on Apache Spark?
همه چیز درباره آپاچی اسپارک
All about Apache Spark
بیایید WordCount را درک کنیم
Let’s understand WordCount
بیایید Map and Reduce را درک کنیم
Let’s understand Map and Reduce
برنامه نویسی با Map و Reduce
Programming with Map and Reduce
بیایید هادوپ را درک کنیم
Let’s understand Hadoop
معماری Apache Hadoop
Apache Hadoop Architecture
آپاچی هادوپ و آپاچی اسپارک
Apache Hadoop and Apache Spark
معماری اسپارک آپاچی
Apache Spark Architecture
PySpark چیست؟
What is PySpark
نصب های Apache Spark
Installations for Apache Spark
JAVA JDK را نصب کنید
Install JAVA JDK
پایتون را نصب کنید
Install Python
JupyterLab را نصب کنید
Install JupyterLab
PySpark را نصب کنید
Install PySpark
جلسه جرقه با مقداردهی اولیه
Spark Session by Initialization
اجرای PySpark در نمونه های AWS EC2 P1
Running PySpark on AWS EC2 Instances P1
اجرای PySpark در AWS EC2 Instance P2
Running PySpark on AWS EC2 Instance P2
با استفاده از Databricks Community Edition
Using Databricks Community Edition
چرا از Databricks Community Edition استفاده کنیم؟
Why Use Databricks Community Edition
برای Databricks Community Edition ثبت نام کنید
Register for Databricks Community Edition
زمان استفاده از Databricks Community Edition
When to use Databricks Community Edition
اجرای دستورات جادویی در Databricks P1
Running Magic Commands in Databricks P1
اجرای دستورات جادویی در Databricks P2
Running Magic Commands in Databricks P2
Spark DataFrames
Spark DataFrames
Apache Spark DataFrame
Apache Spark DataFrame
ایجاد DataFrame از فایل های CSV P1
Create DataFrames from CSV Files P1
ایجاد DataFrame از فایل های CSV P2
Create DataFrames from CSV Files P2
ایجاد DataFrame از فایل های پارکت
Create DataFrames from Parquet Files
جرقه تبدیل داده ها
Spark Data Transformations
با استفاده از SELECT
Using SELECT
با استفاده از FILTER
Using FILTER
استفاده از ORDER BY
Using ORDER BY
استفاده از GROUP BY
Using GROUP BY
استفاده از توابع AGGREGATE
Using AGGREGATE Functions
با استفاده از JOIN داخلی
Using INNER JOIN
کاتالوگ Spark SQL
Spark SQL Catalog
کاتالوگ های Spark SQL
Spark SQL Catalogs
به کاتالوگ های Spark SQL دسترسی پیدا کنید
Access Spark SQL Catalogs
فهرست پایگاه های داده از کاتالوگ ها
List Databases from Catalogs
فهرست جدول ها از پایگاه داده فعلی
List Tables from Current Database
Spark Temp View را ایجاد کنید
Create Spark Temp View
SQL Queries را روی Temp Views اجرا کنید
Run SQL Queries on Temp Views
نماهای دمایی را رها کنید
Drop Temp Views
Databricks Utility FileSystem برای Apache Spark
Databricks Utility FileSystem for Apache Spark
استفاده از Databricks Utilities
Using Databricks Utilities
استفاده از dbfs - Databricks Utility FileSystem
Using dbfs - Databricks Utility FileSystem
استفاده از dbfs - ساخت دایرکتوری
Using dbfs - Make Directory
با استفاده از dbfs - کپی فایل ها
Using dbfs - Copy Files
استفاده از dbfs - حذف فایل ها
Using dbfs - Delete Files
Pandas API در Spark
Pandas API on Spark
آشنایی با پانداها
Introduction to Pandas
Pandas API در Spark
Pandas API on Spark
خواندن و نوشتن داده ها با پانداهای P1
Reading and Writing Data with Pandas P1
خواندن و نوشتن داده ها با پانداهای P2
Reading and Writing Data with Pandas P2
دستکاری داده ها با پانداهای PySpark
Data Manipulation with PySpark Pandas
ادغام و پیوستن به پانداهای PySpark
Merging and Joining in PySpark Pandas
گروه بندی و تجمیع با پانداهای PySpark
Grouping and Aggregation with PySpark Pandas
تجسم داده ها در پانداهای PySpark
Visualizing Data in PySpark Pandas
استریم ساختاری با استفاده از اسپارک آپاچی
Structured Streaming Using Apache Spark
Apache Spark Structure Streaming چیست؟
What is Apache Spark Structure Streaming
چگونه آپاچی اسپارک جریان ساخت یافته را مدیریت می کند
How Apache Spark handles Structured Streaming
مدیریت داده های جریانی برنامه ای
Handling Programmatically Streaming Data
حالت های برنامه ریزی شده توسط آپاچی اسپارک
Programmatic Modes by Apache Spark
DataFrames برای جریان
DataFrames for Streaming
readStream API
readStream API
writeStream API
writeStream API
استعلام داده ها
Querying Data
StreamingQuery - توقف
StreamingQuery - stop
استریم ساختاری با کافکا و اسپارک پی 1
Structured Streaming with Kafka and Spark P1
استریم ساختاری با کافکا و اسپارک پی 2
Structured Streaming with Kafka and Spark P2
جریان ساخت یافته با کافکا و اسپارک P3
Structured Streaming with Kafka and Spark P3
محیط کافکا را خاتمه دهید
Terminate the Kafka Environment
رسیدگی به دیر رسیدن داده ها و علامت گذاری آب P1
Handling Late Data Arrivals and Water Marking P1
رسیدگی به دیر رسیدن داده ها و علامت گذاری آب P2
Handling Late Data Arrivals and Water Marking P2
یادگیری ماشینی با اسپارک
Machine Learning with Spark
در مورد این بخش
About this section
یادگیری در مورد یادگیری ماشینی
Learning about Machine Learning
چگونه یک مدل یادگیری ماشین بسازیم
How to build a Machine Learning Model
یودمی یکی از بزرگترین پلتفرمهای آموزشی آنلاین است که به میلیونها کاربر در سراسر جهان امکان دسترسی به دورههای متنوع و کاربردی را فراهم میکند. این پلتفرم امکان آموزش در زمینههای مختلف از فناوری اطلاعات و برنامهنویسی گرفته تا زبانهای خارجی، مدیریت، و هنر را به کاربران ارائه میدهد. با استفاده از یودمی، کاربران میتوانند به صورت انعطافپذیر و بهینه، مهارتهای جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.
یکی از ویژگیهای برجسته یودمی، کیفیت بالای دورهها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد میدهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و میتوانند به بهترین شکل ممکن از آموزشها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرمهای آموزشی آنلاین، به افراد امکان میدهد تا به راحتی و با کیفیت، مهارتهای مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.
نمایش نظرات