آموزش PYSPARK: PySpark عملی برای مهندسان داده

PYSPARK: PySpark Hands-on for Data Engineers

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: شما می توانید با نحوه استفاده از اسپارک پایتون یعنی PySpark برای انجام تجزیه و تحلیل داده ها آشنا شوید. مهارت های مربوط به توسعه، داده های بزرگ و اکوسیستم هادوپ و دانش Hadoop و مفهوم تجزیه و تحلیل شما همچنین خواهید آموخت که چگونه برنامه نویسی موازی و محاسبات درون حافظه انجام خواهد شد. جدای از آن، زبان پایتون متفاوتی نیز در این آموزش پوشش داده خواهد شد. پایتون یکی از پرتقاضاترین زبان های بازار امروز است. همچنین متوجه خواهید شد که استفاده از Spark با تمام زبان های ذکر شده چه مزایا و معایبی دارد. تجربه در هر یک از زبان ها مانند جاوا، پایتون یا اسکالا یا معادل آنها. سایر پیش نیازها شامل پیشینه توسعه و دانش صحیح و اساسی مفاهیم کلان داده و اکوسیستم است زیرا Spark API فقط بر اساس داده های بزرگ Hadoop است. سایر موارد شامل دانش جریان بیدرنگ و نحوه عملکرد کلان داده همراه با دانش صحیح تجزیه و تحلیل و کیفیت پیش بینی مربوط به مدل یادگیری ماشین است.

Pyspark یک راه حل کلان داده است که برای پخش بلادرنگ با استفاده از زبان برنامه نویسی Python قابل استفاده است و روشی بهتر و کارآمد برای انجام انواع محاسبات و محاسبات ارائه می دهد. همچنین احتمالاً بهترین راه حل در بازار است زیرا قابلیت همکاری دارد، یعنی Pyspark را می توان به راحتی همراه با سایر فناوری ها و سایر اجزای کل خط لوله مدیریت کرد. داده‌های بزرگ قبلی و تکنیک‌های Hadoop شامل تکنیک‌های پردازش زمان دسته‌ای بودند.

Pyspark یک برنامه منبع باز است که در آن تمام پایگاه کد به زبان Python نوشته شده است که عمدتاً برای انجام کلیه عملیات فشرده داده و یادگیری ماشین استفاده می شود. به طور گسترده ای مورد استفاده قرار گرفته است و شروع به محبوب شدن در صنعت کرده است و بنابراین Pyspark را می توان جایگزین سایر اجزای مبتنی بر اسپارک مانند مواردی که با جاوا یا اسکالا کار می کنند مشاهده کرد. یکی از ویژگی‌های منحصر به فرد Pyspark استفاده از مجموعه داده‌ها و نه فریم‌های داده است، زیرا مورد دوم توسط Pyspark ارائه نشده است. تمرین‌کنندگان به ابزارهای بیشتری نیاز دارند که اغلب در هنگام پخش داده‌های هم‌زمان قابل اعتمادتر و سریع‌تر باشند. ابزارهای قبلی مانند Map-reduce از نقشه و مفاهیم کاهش استفاده می‌کردند که شامل استفاده از نقشه‌برها، سپس به هم زدن یا مرتب‌سازی و سپس کاهش آن‌ها به یک موجودیت واحد بود. این MapReduce راهی برای محاسبات و محاسبه موازی ارائه کرد. Pyspark از تکنیک های حافظه استفاده می کند که از فضای ذخیره سازی در هارد دیسک استفاده نمی کند. این یک واحد محاسباتی همه منظوره و سریعتر ارائه می دهد.

مهارت‌های مربوط به توسعه، کلان داده، و اکوسیستم Hadoop و دانش Hadoop و مفاهیم تحلیلی، مهارت‌های ملموسی هستند که می‌توانید از این آموزش‌های PySpark بیاموزید. همچنین یاد خواهید گرفت که چگونه برنامه نویسی موازی و محاسبات درون حافظه انجام می شود. جدای از آن، زبان پایتون متفاوتی نیز در این آموزش پوشش داده خواهد شد. پایتون یکی از پرتقاضاترین زبان‌های بازار امروز است


سرفصل ها و درس ها

Pyspark مبتدی Pyspark Beginner

  • مقدمه ای بر PySpark Introduction to PySpark

  • مبانی پایتون Basics of Python

  • مبانی پایتون ادامه دارد Basics of Python Continue

  • برنامه نویسی با RDD Programming with RDD

  • نمونه های بیشتر More Examples

  • حلقه Foreach Foreach Loop

  • استفاده از Reduce Function Using Reduce Function

  • قابلیت اتصال Mysql Mysql Connectivity

  • مشاهده سوابق از Mysql Viewing Records from Mysql

  • نمونه های بیشتر قسمت 1 More Examples Part 1

  • نمونه های بیشتر قسمت 2 More Examples Part 2

  • Pyspark می پیوندد Pyspark Joins

  • Pyspark به نمونه‌ها می‌پیوندد Pyspark Joins Examples

  • نمونه های بیشتر در Mysql قسمت 1 More Examples on Mysql Part 1

  • نمونه های بیشتر در Mysql قسمت 2 More Examples on Mysql Part 2

  • تعداد کلمه Word Count

Pyspark Intermediate Pyspark Intermediate

  • مقدمه ای بر Pyspark Intermediate Introduction to Pyspark Intermediate

  • منطقه لاینر Liner Regation

  • ستون خروجی Output Column

  • داده های تست Test Data

  • پیش بینی Prediction

  • رگرسیون خطی تعمیم یافته Generalized Linear Regression

  • جنگل گردان Forest Rogation

  • رگرسیون لجستیک دو جمله ای قسمت 1 Binomial Logistic Regression Part 1

  • رگرسیون لجستیک دو جمله ای قسمت 2 Binomial Logistic Regression Part 2

  • رگرسیون لجستیک دو جمله ای قسمت 3 Binomial Logistic Regression Part 3

  • رگرسیون لجستیک دو جمله ای قسمت 4 Binomial Logistic Regression Part 4

  • رگرسیون لجستیک چند جمله ای Multinomial Logistic Regression

  • رگرسیون لجستیک چند جمله ای ادامه دهید Multinomial Logistic Regression Continue

  • درخت تصمیم Decision Tree

  • جنگل تصادفی Random Forest

  • مدل K-Means K-Means Model

Pyspark پیشرفته Pyspark Advanced

  • مقدمه ای بر Pyspark Advance Introduction to Pyspark Advance

  • تجزیه و تحلیل RFM RFM Analysis

  • آنالیز RFM ادامه دارد RFM Analysis Continue

  • K-Means Clustering K-Means Clustering

  • K-Means Clustering ادامه دهید K-Means Clustering Continue

  • تصویر به متن Image to Text

  • PDF به متن PDF to Text

  • شبیه سازی مونت کارلو قسمت 1 Monte Carlo Simulation Part 1

  • شبیه سازی مونت کارلو قسمت 2 Monte Carlo Simulation Part 2

نمایش نظرات

آموزش PYSPARK: PySpark عملی برای مهندسان داده
جزییات دوره
5.5 hours
41
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
4,019
4 از 5
ندارد
دارد
دارد
EDU CBA
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

EDU CBA EDU CBA

مهارت های دنیای واقعی را بصورت آنلاین بیاموزید EDUCBA یک ارائه دهنده جهانی آموزش مبتنی بر مهارت است که نیازهای اعضا را در بیش از 100 کشور برطرف می کند. ما بزرگترین شرکت فناوری پیشرفته در آسیا با نمونه کارهای 5498+ دوره آنلاین ، 205+ مسیر یادگیری ، 150+ برنامه شغل محور (JOPs) و 50+ بسته دوره حرفه ای شغلی هستیم که توسط متخصصان برجسته صنعت آماده شده است. برنامه های آموزشی ما برنامه های مبتنی بر مهارت شغلی است که توسط صنعت در سراسر امور مالی ، فناوری ، تجارت ، طراحی ، داده و فناوری جدید و آینده مورد نیاز صنعت است.