کانال تلگرام پشتیبانی تلگرام شماره تماس پشتیبانی: 0930 395 3766
ورود ثبت نام

آپاچی اسپارک با اسکالا - Spark را از استاد بزرگ داده بیاموزید [ویدئو]

Apache Spark with Scala - Learn Spark from a Big Data Guru [Video]

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: همه کدها و فایل های پشتیبانی این دوره در GitHub در https://github.com/PacktPublishing/Apache-Spark-with-Scala---Learn-Spark-from-a-Big-Data-Guru موجود است. این دوره تمام اصول Apache Spark با Scala را پوشش می دهد و هر آنچه را که باید در مورد توسعه برنامه های Spark با Scala بدانید را به شما آموزش می دهد. در پایان این دوره، دانش عمیقی در مورد Apache Spark و مهارت های تجزیه و تحلیل و دستکاری کلان داده ها به دست خواهید آورد تا به شرکت خود کمک کنید تا Apache Spark را برای ایجاد خط لوله پردازش داده های بزرگ و برنامه های کاربردی تجزیه و تحلیل داده ها تطبیق دهد. این دوره بیش از 10 نمونه داده های بزرگ را پوشش می دهد. شما دانش ارزشمندی در مورد نحوه قالب بندی مسائل تجزیه و تحلیل داده ها به عنوان مسائل Spark خواهید آموخت. با هم نمونه هایی مانند جمع آوری لاگ های وب آپاچی ناسا از منابع مختلف را یاد خواهیم گرفت. ما روند قیمت را با نگاهی به داده های املاک در کالیفرنیا بررسی خواهیم کرد. ما برنامه‌های Spark را می‌نویسیم تا از طریق داده‌های نظرسنجی Stack Overflow، میانگین دستمزد توسعه‌دهندگان در کشورهای مختلف را بفهمیم. ما سیستمی را برای تجزیه و تحلیل نحوه توزیع فضاهای سازنده در مناطق مختلف بریتانیا و بسیاری موارد دیگر توسعه خواهیم داد. این دوره در اسکالا تدریس می شود. اسکالا زبان برنامه نویسی نسل بعدی برای برنامه نویسی تابعی است که محبوبیت روزافزونی دارد و یکی از پرکاربردترین زبان ها در صنعت برای نوشتن برنامه های Spark است. بیایید یاد بگیریم که چگونه برنامه های Spark را با اسکالا بنویسیم تا مشکلات کلان داده را مدل سازی کنیم! - مروری بر معماری آپاچی اسپارک. - برای پردازش و تجزیه و تحلیل مجموعه داده های بزرگ، با مجموعه داده های توزیع شده (RDD) انتزاعی اولیه Apache Spark کار کنید. - برنامه های Apache Spark 2.0 را با استفاده از تبدیل ها و اقدامات RDD و Spark SQL توسعه دهید. - برنامه های Spark را در یک خوشه Hadoop YARN از طریق سرویس Elastic MapReduce آمازون افزایش دهید. - داده های ساختار یافته و نیمه ساختار یافته را با استفاده از Datasets و DataFrames تجزیه و تحلیل کنید و درک کاملی در مورد Spark SQL ایجاد کنید. - اطلاعات را در میان گره های مختلف در یک خوشه اسپارک آپاچی توسط متغیرهای پخش و انباشته ها به اشتراک بگذارید. - تکنیک های پیشرفته برای بهینه سازی و تنظیم کارهای Apache Spark با پارتیشن بندی، کش کردن و ماندگاری RDD ها. - بهترین شیوه های کار با آپاچی اسپارک در این زمینه. هر کسی که می خواهد به طور کامل نحوه عملکرد فناوری Apache Spark را درک کند و یاد بگیرد که چگونه Apache Spark در این زمینه استفاده می شود. مهندسان نرم‌افزاری که می‌خواهند برنامه‌های Apache Spark 2.0 را با استفاده از دانشمندان Spark Core و Spark SQL.Data توسعه دهند یا مهندسان داده‌ای که می‌خواهند با بهبود مهارت‌های پردازش داده‌های بزرگ، شغل خود را ارتقا دهند. - Apache Spark به ما توانایی نامحدودی برای ساخت برنامه های کاربردی پیشرفته می دهد. همچنین یکی از قانع‌کننده‌ترین فناوری‌های دهه گذشته از نظر اختلال در دنیای کلان داده است. * - Spark محاسبات خوشه ای در حافظه را فراهم می کند که سرعت الگوریتم های تکراری و وظایف داده کاوی تعاملی را تا حد زیادی افزایش می دهد. Apache Spark نسل بعدی موتور پردازش داده های بزرگ است. * - هزاران شرکت از Apache Spark برای استخراج معنی از مجموعه داده های عظیم استفاده می کنند، امروز شما به همان فناوری کلان داده مستقیماً روی دسکتاپ خود دسترسی دارید. Apache Spark در حال تبدیل شدن به یک ابزار ضروری برای مهندسان کلان داده و دانشمندان داده است.
سرفصل ها و درس ها

با آپاچی اسپارک شروع کنید Get Started with Apache Spark

  • بررسی اجمالی دوره Course Overview

  • مقدمه ای بر اسپارک Introduction to Spark

  • جاوا و گیت را نصب کنید Install Java and Git

  • پروژه Spark را با IntelliJ IDEA راه اندازی کنید Set up Spark project with IntelliJ IDEA

  • اولین کار Apache Spark ما را اجرا کنید Run our first Apache Spark job

  • عیب‌یابی: اولین کار Apache Spark ما را اجرا کنید Trouble Shooting: Run our first Apache Spark job

RDD RDD

  • مبانی RDD در آپاچی اسپارک RDD Basics in Apache Spark

  • RDD ها را ایجاد کنید Create RDDs

  • تبدیل نقشه و فیلتر در آپاچی اسپارک Map and Filter Transformation in Apache Spark

  • راه حل مسئله فرودگاه ها بر اساس عرض جغرافیایی Solution to Airports by Latitude Problem

  • تبدیل FlatMap در آپاچی اسپارک FlatMap Transformation in Apache Spark

  • عملیات را در آپاچی اسپارک تنظیم کنید Set Operation in Apache Spark

  • راه حل برای مشکل همان هاست Solution for the Same Hosts Problem

  • اقدامات در آپاچی اسپارک Actions in Apache Spark

  • حل مسئله جمع اعداد Solution to Sum of Numbers Problem

  • جنبه های مهم در مورد RDD Important Aspects about RDD

  • خلاصه ای از عملیات RDD در آپاچی اسپارک Summary of RDD Operations in Apache Spark

  • ذخیره سازی و ماندگاری در آپاچی اسپارک Caching and Persistence in Apache Spark

معماری اسپارک و اجزای سازنده Spark Architecture and Components

  • معماری جرقه Spark Architecture

  • اجزای جرقه Spark Components

RDD را در آپاچی اسپارک جفت کنید Pair RDD in Apache Spark

  • مقدمه ای بر جفت RDD در Spark Introduction to Pair RDD in Spark

  • ایجاد جفت RDD در Spark Create Pair RDDs in Spark

  • تبدیل‌های فیلتر و MapValue در جفت RDD Filter and MapValue Transformations on Pair RDD

  • کاهش با تجمع کلید در آپاچی اسپارک Reduce By Key Aggregation in Apache Spark

  • نمونه راه حل برای مشکل خانه متوسط Sample solution for the Average House problem

  • تبدیل کلید GroupBy در Spark GroupBy Key Transformation in Spark

  • SortBy Transformation Key در Spark SortBy Key Transformation in Spark

  • نمونه راه حل برای مسئله شمارش کلمات مرتب شده Sample Solution for the Sorted Word Count Problem

  • پارتیشن بندی داده ها در آپاچی اسپارک Data Partitioning in Apache Spark

  • به عملیات در Spark بپیوندید Join Operations in Spark

موضوع جرقه پیشرفته Advanced Spark Topic

  • آکومولاتورها Accumulators

  • راه حل مشکل پیگیری StackOverflow Survey Solution to StackOverflow Survey Follow-up Problem

  • متغیرهای پخش Broadcast Variables

Apache Spark SQL Apache Spark SQL

  • مقدمه ای بر Apache Spark SQL Introduction to Apache Spark SQL

  • Spark SQL در عمل Spark SQL in Action

  • عمل Spark SQL: مشکل قیمت خانه Spark SQL practice: House Price Problem

  • Spark SQL Joins Spark SQL Joins

  • مجموعه داده با تایپ قوی Strongly Typed Dataset

  • از Dataset یا RDD استفاده کنید Use Dataset or RDD

  • تبدیل مجموعه داده و RDD Dataset and RDD Conversion

  • تنظیم عملکرد Spark SQL Performance Tuning of Spark SQL

در حال اجرا جرقه در یک خوشه Running Spark in a Cluster

  • مقدمه ای بر Running Spark in a Cluster Introduction to Running Spark in a Cluster

  • Package Spark Application and Use Spark-submit Package Spark Application and Use spark-submit

  • برنامه Spark را در خوشه آمازون EMR (Elastic MapReduce) اجرا کنید Run Spark Application on Amazon EMR (Elastic MapReduce) cluster

آموزش SharePoint Advanced: کار با PowerPivot

آموزش SharePoint Advanced: کار با PowerPivot

SharePoint Advanced: Working with PowerPivot

Apache Kafka Series - Kafka Cluster Setup and Administration [ویدئو]

Apache Kafka Series - Kafka Cluster Setup and Administration [ویدئو]

Apache Kafka Series - Kafka Cluster Setup and Administration [Video]

آموزش Apache Flink: مهندسی داده در زمان واقعی

آموزش Apache Flink: مهندسی داده در زمان واقعی

Apache Flink: Real-Time Data Engineering

نمایش نظرات

آپاچی اسپارک با اسکالا - Spark را از استاد بزرگ داده بیاموزید [ویدئو]
جزییات دوره
3 h 16 m
44
Packtpub Packtpub
(آخرین آپدیت)
از 5
ندارد
دارد
دارد
James Lee

https://donyad.com/d/645d3a

جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

James Lee James Lee

مهندس نرم افزار سیلیکون ولی

Scala Apache Spark اسکالا آپاچی اسپارک Data Data Processing داده پردازش داده