کانال تلگرام پشتیبانی تلگرام شماره تماس پشتیبانی: 0930 395 3766
ورود ثبت نام

آموزش آپاچی اسپارک با اسکالا – دست به کار با داده های بزرگ! [ویدئو]

Apache Spark with Scala – Hands-On with Big Data! [Video]

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: تجزیه و تحلیل "داده های بزرگ" یک مهارت داغ و بسیار ارزشمند است - و این دوره به شما داغ ترین فناوری در داده های بزرگ را آموزش می دهد: Apache Spark. کارفرمایان از جمله آمازون، eBay، NASA JPL و Yahoo همگی از Spark برای استخراج سریع معنی از مجموعه داده های عظیم در یک خوشه هدوپ مقاوم به خطا استفاده می کنند. شما همان تکنیک ها را با استفاده از سیستم ویندوز خود در خانه یاد خواهید گرفت. این ساده تر از چیزی است که فکر می کنید، و از یک مهندس سابق و مدیر ارشد از آمازون و IMDb یاد خواهید گرفت. در این دوره آموزشی، مفاهیم مجموعه داده های توزیع شده ارتجاعی، DataFrames و مجموعه داده های Spark را یاد خواهید گرفت. ما همچنین یک دوره کرش در زبان برنامه نویسی اسکالا را پوشش خواهیم داد که به شما در این دوره کمک می کند. شما یاد خواهید گرفت که چگونه با استفاده از Scala، IntelliJ و SBT کارهای Spark را به سرعت توسعه داده و اجرا کنید. شما یاد خواهید گرفت که چگونه مسائل تحلیل پیچیده را به اسکریپت های Spark تکراری یا چند مرحله ای ترجمه کنید. شما یاد خواهید گرفت که چگونه با استفاده از سرویس Elastic MapReduce آمازون، به مجموعه داده های بزرگتر مقیاس دهید و متوجه خواهید شد که Hadoop YARN چگونه Spark را در میان خوشه های محاسباتی توزیع می کند. ما همچنین با استفاده از سایر فناوری‌های Spark، مانند Spark SQL، DataFrames، DataSets، Spark Streaming، Machine Learning و GraphX ​​تمرین خواهیم کرد. در پایان این دوره، کدی را اجرا می‌کنید که در عرض چند دقیقه یک گیگابایت اطلاعات را در فضای ابری تجزیه و تحلیل می‌کند. تمامی کدها و فایل های پشتیبانی این دوره در https://github.com/PacktPublishing/Apache-Spark-with-Scala---Hands-On-with-Big-Data- مفاهیم Spark's RDD, DataFrames را بیاموزید. ، و مجموعه داده ها یک دوره کرش در زبان برنامه نویسی اسکالا دریافت کنید کارهای Spark را به سرعت با استفاده از Scala، IntelliJ و SBT توسعه و اجرا کنید مسائل تجزیه و تحلیل پیچیده را به اسکریپت های Spark تکراری یا چند مرحله ای ترجمه کنید با استفاده از سرویس Elastic MapReduce آمازون، مجموعه داده‌های بزرگ‌تر را مقیاس کنید بدانید که Hadoop YARN چگونه Spark را در میان خوشه‌های محاسباتی توزیع می‌کند این دوره برای مهندسین نرم‌افزار طراحی شده است که می‌خواهند مهارت‌های خود را در دنیای پردازش داده‌های بزرگ در یک خوشه گسترش دهند. داشتن دانش قبلی در زمینه برنامه نویسی یا اسکریپت ضروری است. اصول اسکالا و اکوسیستم اسپارک آپاچی را بدانید * کدهای توزیع شده را با استفاده از زبان برنامه نویسی اسکالا توسعه دهید * شامل مثال‌های عملی برای کمک به توسعه برنامه‌های Big Data در دنیای واقعی با Spark with Scala باشید
سرفصل ها و درس ها

شروع شدن Getting Started

  • معرفی و نصب مواد دوره، IntelliJ و Scala Introduction and Installing the Course Materials, IntelliJ, and Scala

  • مقدمه ای بر آپاچی اسپارک Introduction to Apache Spark

دوره تصادف اسکالا (اختیاری) Scala Crash Course (Optional)

  • (فعالیت) مبانی اسکالا (Activity) Scala Basics

  • (تمرین) کنترل جریان در اسکالا (Exercise) Flow Control in Scala

  • (تمرین) توابع در اسکالا (Exercise) Functions in Scala

  • (تمرین) ساختارهای داده در اسکالا (Exercise) Data Structures in Scala

استفاده از مجموعه داده های توزیع شده انعطاف پذیر (RDD) Using Resilient Distributed Datasets (RDDs)

  • مجموعه داده های توزیع شده انعطاف پذیر The Resilient Distributed Dataset

  • نمونه هیستوگرام رتبه بندی Ratings Histogram Example

  • لوازم داخلی اسپارک Spark Internals

  • RDDهای کلیدی/مقدار، و میانگین دوستان بر اساس سن مثال Key / Value RDDs, and the Average Friends by Age Example

  • (فعالیت) اجرای میانگین دوستان بر اساس سن مثال (Activity) Running the Average Friends by Age Example

  • فیلتر کردن RDD ها و حداقل دما بر اساس مکان مثال Filtering RDDs, and the Minimum Temperature by Location Example

  • (فعالیت) اجرای مثال حداقل دما و تغییر آن برای حداکثر (Activity) Running the Minimum Temperature Example, and Modifying It for Maximum

  • (فعالیت) شمارش رخدادهای کلمه با استفاده از Flatmap() (Activity) Counting Word Occurrences Using Flatmap()

  • (فعالیت) بهبود اسکریپت تعداد کلمات با عبارات منظم (Activity) Improving the Word Count Script with Regular Expressions

  • (فعالیت) مرتب سازی نتایج شمارش کلمات (Activity) Sorting the Word Count Results

  • (تمرین) کل مبلغ خرج شده توسط مشتری را بیابید (Exercise) Find the Total Amount Spent by Customer

  • (تمرین) نتایج خود را بررسی کنید و آنها را بر اساس کل مبلغ خرج شده مرتب کنید (Exercise) Check Your Results and Sort Them by Total Amount Spent

  • نتایج و اجرای خود را در مقابل من بررسی کنید Check Your Results and Implementation Against Mine

SparkSQL، DataFrames و DataSets SparkSQL, DataFrames, and DataSets

  • مقدمه ای بر SparkSQL Introduction to SparkSQL

  • مقدمه ای بر SparkSQL Introduction to SparkSQL

  • (فعالیت) با استفاده از SparkSQL (Activity) Using SparkSQL

  • (فعالیت) با استفاده از SparkSQL (Activity) Using SparkSQL

  • (فعالیت) استفاده از DataSets (Activity) Using DataSets

  • (فعالیت) استفاده از DataSets (Activity) Using DataSets

  • (تمرین) مثال دوستان بر اساس سن را با استفاده از DataSets پیاده سازی کنید (Exercise) Implement the Friends by Age Example Using DataSets

  • (تمرین) مثال دوستان بر اساس سن را با استفاده از DataSets پیاده سازی کنید (Exercise) Implement the Friends by Age Example Using DataSets

  • راه حل تمرین: دوستان بر اساس سن، با مجموعه داده ها Exercise Solution: Friends by Age, with DataSets

  • راه حل تمرین: دوستان بر اساس سن، با مجموعه داده ها Exercise Solution: Friends by Age, with DataSets

  • (فعالیت) مثال شمارش کلمات با استفاده از مجموعه داده ها (Activity) Word Count Example Using DataSets

  • (فعالیت) مثال شمارش کلمات با استفاده از مجموعه داده ها (Activity) Word Count Example Using DataSets

  • (فعالیت) مشاهده مجدد مثال دمای حداقل، با DataSets (Activity) Revisiting the Minimum Temperature Example, with DataSets

  • (فعالیت) مشاهده مجدد مثال دمای حداقل، با DataSets (Activity) Revisiting the Minimum Temperature Example, with DataSets

  • (تمرین) کل مشکل خرج شده توسط مشتری را با DataSets پیاده سازی کنید (Exercise) Implement the Total Spent by Customer Problem with DataSets

  • (تمرین) کل مشکل خرج شده توسط مشتری را با DataSets پیاده سازی کنید (Exercise) Implement the Total Spent by Customer Problem with DataSets

  • راه حل تمرین: کل هزینه شده توسط مشتری با DataSets Exercise Solution: Total Spent by Customer with DataSets

  • راه حل تمرین: کل هزینه شده توسط مشتری با DataSets Exercise Solution: Total Spent by Customer with DataSets

نمونه های پیشرفته از برنامه های Spark Advanced Examples of Spark Programs

  • (فعالیت) محبوب ترین فیلم را پیدا کنید (Activity) Find the Most Popular Movie

  • (فعالیت) محبوب ترین فیلم را پیدا کنید (Activity) Find the Most Popular Movie

  • (فعالیت) از متغیرهای پخش برای نمایش نام فیلم استفاده کنید (Activity) Use Broadcast Variables to Display Movie Names

  • (فعالیت) از متغیرهای پخش برای نمایش نام فیلم استفاده کنید (Activity) Use Broadcast Variables to Display Movie Names

  • (فعالیت) محبوب ترین ابرقهرمان را در نمودار اجتماعی پیدا کنید (Activity) Find the Most Popular Superhero in a Social Graph

  • (فعالیت) محبوب ترین ابرقهرمان را در نمودار اجتماعی پیدا کنید (Activity) Find the Most Popular Superhero in a Social Graph

  • (تمرین) مبهم ترین ابرقهرمانان را پیدا کنید (Exercise) Find the Most Obscure Superheroes

  • (تمرین) مبهم ترین ابرقهرمانان را پیدا کنید (Exercise) Find the Most Obscure Superheroes

  • راه حل تمرین: مبهم ترین ابرقهرمانان را پیدا کنید Exercise Solution: Find the Most Obscure Superheroes

  • راه حل تمرین: مبهم ترین ابرقهرمانان را پیدا کنید Exercise Solution: Find the Most Obscure Superheroes

  • درجات جدایی ابرقهرمانی: معرفی جستجوی عرض-اول Superhero Degrees of Separation: Introducing Breadth-First Search

  • درجات جدایی ابرقهرمانی: معرفی جستجوی عرض-اول Superhero Degrees of Separation: Introducing Breadth-First Search

  • درجات جدایی ابرقهرمانی: انباشته‌ها و پیاده‌سازی BFS در اسپارک Superhero Degrees of Separation: Accumulators, and Implementing BFS in Spark

  • درجات جدایی ابرقهرمانی: انباشته‌ها و پیاده‌سازی BFS در اسپارک Superhero Degrees of Separation: Accumulators, and Implementing BFS in Spark

  • (فعالیت) درجات جدایی ابرقهرمانی: کد را مرور کنید و آن را اجرا کنید! (Activity) Superhero Degrees of Separation: Review the Code and Run It!

  • (فعالیت) درجات جدایی ابرقهرمانی: کد را مرور کنید و آن را اجرا کنید! (Activity) Superhero Degrees of Separation: Review the Code and Run It!

  • فیلتر مشارکتی مبتنی بر آیتم در Spark، cache() و persist() Item-Based Collaborative Filtering in Spark, cache(), and persist()

  • فیلتر مشارکتی مبتنی بر آیتم در Spark، cache() و persist() Item-Based Collaborative Filtering in Spark, cache(), and persist()

  • (فعالیت) اجرای اسکریپت فیلم های مشابه با استفاده از Spark's Cluster Manager (Activity) Running the Similar Movies Script Using Spark's Cluster Manager

  • (فعالیت) اجرای اسکریپت فیلم های مشابه با استفاده از Spark's Cluster Manager (Activity) Running the Similar Movies Script Using Spark's Cluster Manager

  • (ورزش) بهبود کیفیت فیلم های مشابه (Exercise) Improve the Quality of Similar Movies

  • (ورزش) بهبود کیفیت فیلم های مشابه (Exercise) Improve the Quality of Similar Movies

نمونه های پیشرفته از برنامه های Spark Advanced Examples of Spark Programs

در حال اجرا جرقه در یک خوشه Running Spark on a Cluster

  • (فعالیت) استفاده از spark-submit برای اجرای Spark Driver Scripts (Activity) Using spark-submit to Run Spark Driver Scripts

  • (فعالیت) استفاده از spark-submit برای اجرای Spark Driver Scripts (Activity) Using spark-submit to Run Spark Driver Scripts

  • (فعالیت) بسته بندی اسکریپت درایور با SBT (Activity) Packaging Driver Scripts with SBT

  • (فعالیت) بسته بندی اسکریپت درایور با SBT (Activity) Packaging Driver Scripts with SBT

  • (تمرین) یک اسکریپت را با SBT بسته بندی کنید و آن را به صورت محلی با spark-submit اجرا کنید (Exercise) Package a Script with SBT and Run It Locally with spark-submit

  • (تمرین) یک اسکریپت را با SBT بسته بندی کنید و آن را به صورت محلی با spark-submit اجرا کنید (Exercise) Package a Script with SBT and Run It Locally with spark-submit

  • راه حل تمرین: با استفاده از SBT و spark-submit Exercise Solution: Using SBT and spark-submit

  • راه حل تمرین: با استفاده از SBT و spark-submit Exercise Solution: Using SBT and spark-submit

  • معرفی Amazon Elastic MapReduce Introducing Amazon Elastic MapReduce

  • معرفی Amazon Elastic MapReduce Introducing Amazon Elastic MapReduce

  • ایجاد فیلم های مشابه از یک میلیون رتبه در EMR Creating Similar Movies from One Million Ratings on EMR

  • ایجاد فیلم های مشابه از یک میلیون رتبه در EMR Creating Similar Movies from One Million Ratings on EMR

  • پارتیشن بندی Partitioning

  • پارتیشن بندی Partitioning

  • بهترین تمرین ها برای دویدن روی یک خوشه Best Practices for Running on a Cluster

  • بهترین تمرین ها برای دویدن روی یک خوشه Best Practices for Running on a Cluster

  • عیب یابی و مدیریت وابستگی ها Troubleshooting and Managing Dependencies

  • عیب یابی و مدیریت وابستگی ها Troubleshooting and Managing Dependencies

در حال اجرا جرقه در یک خوشه Running Spark on a Cluster

یادگیری ماشین با Spark ML Machine Learning with Spark ML

  • معرفی MLLib Introducing MLLib

  • معرفی MLLib Introducing MLLib

  • (فعالیت) استفاده از MLLib برای تولید توصیه های فیلم (Activity) Using MLLib to Produce Movie Recommendations

  • (فعالیت) استفاده از MLLib برای تولید توصیه های فیلم (Activity) Using MLLib to Produce Movie Recommendations

  • رگرسیون خطی با MLLib Linear Regression with MLLib

  • رگرسیون خطی با MLLib Linear Regression with MLLib

  • (فعالیت) اجرای رگرسیون خطی با اسپارک (Activity) Running a Linear Regression with Spark

  • (فعالیت) اجرای رگرسیون خطی با اسپارک (Activity) Running a Linear Regression with Spark

  • (تمرین) پیش بینی ارزش املاک و مستغلات با درختان تصمیم در اسپارک (Exercise) Predict Real Estate Values with Decision Trees in Spark

  • (تمرین) پیش بینی ارزش املاک و مستغلات با درختان تصمیم در اسپارک (Exercise) Predict Real Estate Values with Decision Trees in Spark

  • راه حل تمرین: پیش بینی املاک و مستغلات با درختان تصمیم در اسپارک Exercise Solution: Predicting Real Estate with Decision Trees in Spark

  • راه حل تمرین: پیش بینی املاک و مستغلات با درختان تصمیم در اسپارک Exercise Solution: Predicting Real Estate with Decision Trees in Spark

یادگیری ماشین با Spark ML Machine Learning with Spark ML

مقدمه ای بر جریان اسپارک Introduction to Spark Streaming

  • DStream API برای Spark Streaming The DStream API for Spark Streaming

  • DStream API برای Spark Streaming The DStream API for Spark Streaming

  • (فعالیت) نظارت در زمان واقعی بر محبوب ترین هشتگ ها در توییتر (Activity) Real-Time Monitoring of the Most Popular Hashtags on Twitter

  • (فعالیت) نظارت در زمان واقعی بر محبوب ترین هشتگ ها در توییتر (Activity) Real-Time Monitoring of the Most Popular Hashtags on Twitter

  • جریان ساخت یافته Structured Streaming

  • جریان ساخت یافته Structured Streaming

  • (فعالیت) استفاده از جریان ساخت یافته برای تجزیه و تحلیل گزارش بلادرنگ (Activity) Using Structured Streaming for Real-Time Log Analysis

  • (فعالیت) استفاده از جریان ساخت یافته برای تجزیه و تحلیل گزارش بلادرنگ (Activity) Using Structured Streaming for Real-Time Log Analysis

  • (تمرین) عملیات پنجره ای با جریان ساخت یافته (Exercise) Windowed Operations with Structured Streaming

  • (تمرین) عملیات پنجره ای با جریان ساخت یافته (Exercise) Windowed Operations with Structured Streaming

  • راه حل تمرین: URL های برتر در یک پنجره 30 ثانیه ای Exercise Solution: Top URLs in a 30-Second Window

  • راه حل تمرین: URL های برتر در یک پنجره 30 ثانیه ای Exercise Solution: Top URLs in a 30-Second Window

مقدمه ای بر جریان اسپارک Introduction to Spark Streaming

مقدمه ای بر GraphX Introduction to GraphX

  • GraphX، Pregel، و Breadth-First Search با Pregel GraphX, Pregel, and Breadth-First Search with Pregel

  • GraphX، Pregel، و Breadth-First Search با Pregel GraphX, Pregel, and Breadth-First Search with Pregel

  • استفاده از Pregel API با Spark GraphX Using the Pregel API with Spark GraphX

  • استفاده از Pregel API با Spark GraphX Using the Pregel API with Spark GraphX

  • (فعالیت) درجات جدایی ابرقهرمانی با استفاده از GraphX (Activity) Superhero Degrees of Separation Using GraphX

  • (فعالیت) درجات جدایی ابرقهرمانی با استفاده از GraphX (Activity) Superhero Degrees of Separation Using GraphX

مقدمه ای بر GraphX Introduction to GraphX

تو موفق شدی! از اینجا کجا برویم You Made It! Where to Go from Here

  • یادگیری بیشتر و نکات شغلی Learning More, and Career Tips

  • یادگیری بیشتر و نکات شغلی Learning More, and Career Tips

تو موفق شدی! از اینجا کجا برویم You Made It! Where to Go from Here

نمایش نظرات

Packtpub یک ناشر دیجیتالی کتاب‌ها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرم‌افزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتاب‌ها، ویدیوها و دوره‌های آموزشی می‌پردازد که به توسعه‌دهندگان و متخصصان فناوری اطلاعات کمک می‌کند تا مهارت‌های خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامه‌نویسی، توسعه وب، داده‌کاوی، امنیت سایبری و هوش مصنوعی را پوشش می‌دهد. محتوای این منابع به صورت کاربردی و به‌روز ارائه می‌شود تا کاربران بتوانند دانش و توانایی‌های لازم برای موفقیت در پروژه‌های عملی و حرفه‌ای خود را کسب کنند.

آموزش آپاچی اسپارک با اسکالا – دست به کار با داده های بزرگ! [ویدئو]
جزییات دوره
8 h 55 m
64
Packtpub Packtpub
(آخرین آپدیت)
1
5 از 5
ندارد
دارد
دارد
Frank Kane

https://donyad.com/d/e6625c

جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Frank Kane Frank Kane

یادگیری ماشین و داده های بزرگ، آمازون سابق

فرانک 9 سال را در آمازون و IMDb گذراند و فناوری را توسعه و مدیریت کرد که به طور خودکار توصیه های محصول و فیلم را به صدها میلیون مشتری ارائه می دهد. زمان. فرانک دارای 17 حق ثبت اختراع صادر شده در زمینه های محاسبات توزیع شده ، داده کاوی و یادگیری ماشین است. در سال 2012، فرانک شرکت موفق خود را به نام Sundog Software راه اندازی کرد که بر فناوری محیط واقعیت مجازی تمرکز دارد و به دیگران در مورد تجزیه و تحلیل داده های بزرگ آموزش می دهد.

Scala IntelliJ Idea Apache Spark Data Data Processing داده پردازش داده