آموزش آپاچی اسپارک 2.0 با جاوا - Spark را از یک استاد بزرگ داده بیاموزید

Apache Spark 2.0 with Java -Learn Spark from a Big Data Guru

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: با بیش از 10 مثال عملی، تجزیه و تحلیل مجموعه داده های بزرگ را با Apache Spark بیاموزید. مهارت های کلان داده خود را به سطح بعدی ببرید. مروری بر معماری آپاچی اسپارک. برای پردازش و تجزیه و تحلیل مجموعه داده های بزرگ، با مجموعه داده های توزیع شده انعطاف پذیر (RDDs) انتزاعی اولیه Apache Spark کار کنید. برنامه های Apache Spark 2.0 را با استفاده از تبدیل ها و اقدامات RDD و Spark SQL توسعه دهید. از طریق سرویس Elastic MapReduce آمازون، برنامه های Spark را در یک خوشه Hadoop YARN افزایش دهید. داده های ساختار یافته و نیمه ساختار یافته را با استفاده از Datasets و DataFrames تجزیه و تحلیل کنید و درک کاملی در مورد Spark SQL ایجاد کنید. اطلاعات را در گره های مختلف در یک خوشه اسپارک آپاچی توسط متغیرهای پخش و انباشته ها به اشتراک بگذارید. تکنیک‌های پیشرفته برای بهینه‌سازی و تنظیم کارهای Apache Spark با پارتیشن‌بندی، کش کردن و ماندگاری RDD‌ها. بهترین شیوه های کار با آپاچی اسپارک در این زمینه. پیش نیازها: کامپیوتری که ویندوز، OSX یا لینوکس دارد.

این دوره در مورد چیست:

این دوره تمام اصول اولیه Apache Spark با جاوا را پوشش می‌دهد و هر آنچه را که باید در مورد توسعه برنامه‌های Spark با جاوا بدانید را به شما آموزش می‌دهد. در پایان این دوره، دانش عمیقی در مورد Apache Spark و مهارت‌های کلی تجزیه و تحلیل کلان داده و مهارت‌های دستکاری کسب خواهید کرد تا به شرکت خود کمک کنید تا Apache Spark را برای ساخت خط لوله پردازش داده‌های بزرگ و برنامه‌های تجزیه و تحلیل داده تطبیق دهد.

این دوره بیش از 10 نمونه داده های بزرگ را پوشش می دهد. شما دانش ارزشمندی در مورد نحوه قالب بندی مسائل تجزیه و تحلیل داده ها به عنوان مسائل Spark خواهید آموخت. با هم نمونه‌هایی مانند جمع‌آوری گزارش‌های وب آپاچی ناسا از منابع مختلف را یاد خواهیم گرفت. با نگاهی به داده‌های املاک و مستغلات در کالیفرنیا، روند قیمت را بررسی خواهیم کرد. ما برنامه‌های Spark را می‌نویسیم تا از طریق داده‌های نظرسنجی Stack Overflow، میانگین دستمزد توسعه‌دهندگان در کشورهای مختلف را بفهمیم. ما سیستمی را برای تجزیه و تحلیل نحوه توزیع فضاهای سازنده در مناطق مختلف در بریتانیا ایجاد خواهیم کرد. و خیلی خیلی بیشتر.

از این سخنرانی چه چیزی یاد خواهید گرفت:

به ویژه، یاد خواهید گرفت:

  • مروری از معماری Apache Spark.

  • برنامه‌های Apache Spark 2.0 را با جاوا با استفاده از تبدیل‌ها و اقدامات RDD و Spark SQL توسعه دهید.

  • برای پردازش و تجزیه و تحلیل مجموعه داده‌های بزرگ، با مجموعه داده‌های توزیع‌شده (RDD) انتزاعی اولیه Apache Spark کار کنید.

  • در تکنیک‌های پیشرفته برای بهینه‌سازی و تنظیم کارهای Apache Spark با پارتیشن‌بندی، ذخیره‌سازی حافظه پنهان و ماندگاری RDD‌ها، عمیقاً جستجو کنید.

  • برنامه‌های Spark را در یک خوشه Hadoop YARN از طریق سرویس Elastic MapReduce آمازون افزایش دهید.

  • داده های ساختاریافته و نیمه ساختار یافته را با استفاده از Datasets و DataFrames تجزیه و تحلیل کنید و درک کاملی از Spark SQL ایجاد کنید.

  • با متغیرهای پخش و انباشته‌ها اطلاعات را در گره‌های مختلف در یک خوشه اسپارک آپاچی به اشتراک بگذارید.
  • بهترین شیوه کار با Apache Spark در این زمینه.

  • نمای کلی اکوسیستم کلان داده.

چرا باید Apache Spark را یاد بگیریم:

Apache Spark به ما توانایی نامحدودی برای ساخت برنامه های کاربردی پیشرفته می دهد. همچنین یکی از قانع‌کننده‌ترین فناوری‌های دهه گذشته از نظر اختلال در دنیای کلان داده است.

Spark محاسبات خوشه‌ای درون حافظه را فراهم می‌کند که سرعت الگوریتم‌های تکراری و وظایف داده‌کاوی تعاملی را تا حد زیادی افزایش می‌دهد.

Apache Spark موتور پردازشی نسل بعدی برای داده‌های بزرگ است.

انبوه شرکت‌ها در حال تطبیق Apache Spark برای استخراج معنی از مجموعه‌های داده عظیم هستند، امروز شما به همان فناوری کلان داده مستقیماً روی دسک‌تاپ خود دسترسی دارید.

Apache Spark در حال تبدیل شدن به یک ابزار ضروری برای مهندسان کلان داده و دانشمندان داده است.

درباره نویسنده:

از سال 2015، جیمز به شرکت خود کمک می‌کند تا Apache Spark را برای ساخت خط لوله پردازش داده‌های بزرگ و برنامه‌های کاربردی تجزیه و تحلیل داده تطبیق دهد.

شرکت جیمز با تطبیق اسپارک آپاچی در تولید، مزایای زیادی به دست آورده است. در این دوره، او قرار است سال ها دانش و بهترین تجربیات خود را در کار با Spark در زمینه واقعی با شما به اشتراک بگذارد.

چرا این دوره را انتخاب کنید؟

این دوره بسیار کاربردی است، جیمز تلاش زیادی کرده است تا نه تنها تئوری، بلکه نمونه‌های واقعی توسعه برنامه‌های Spark را در اختیار شما قرار دهد که می‌توانید آنها را روی لپ‌تاپ خود امتحان کنید.

جیمز همه کد منبع را در Github آپلود کرده است و شما می‌توانید با Windows، MAC OS یا Linux آن را دنبال کنید.

در پایان این دوره، جیمز مطمئن است که دانش عمیقی در مورد Spark و مهارت‌های تجزیه و تحلیل کلان داده و مهارت‌های دستکاری داده‌ها کسب خواهید کرد. شما می توانید برنامه Spark را توسعه دهید که مقیاس گیگابایت داده را هم در لپ تاپ شما و هم در فضای ابری با استفاده از سرویس Elastic MapReduce آمازون تجزیه و تحلیل می کند!

30 روز ضمانت بازگشت وجه!

برای این دوره 30 روز ضمانت بازگشت وجه از Udemy دریافت خواهید کرد.

 اگر راضی نیستید، فقط ظرف 30 روز درخواست بازپرداخت کنید. بازپرداخت کامل دریافت خواهید کرد. هیچ سوالی پرسیده نمی شود.

آیا آماده‌اید مهارت‌ها و حرفه‌ای تجزیه و تحلیل کلان داده‌های خود را به سطح بعدی ارتقا دهید، اکنون این دوره را بگذرانید!

در عرض 4 ساعت از صفر به Spark hero خواهید رسید.


سرفصل ها و درس ها

با آپاچی اسپارک شروع کنید Get Started with Apache Spark

  • بررسی اجمالی دوره Course Overview

  • نحوه شرکت در این دوره و نحوه دریافت پشتیبانی How to Take this Course and How to Get Support

  • سخنرانی متنی: نحوه شرکت در این دوره و نحوه دریافت پشتیبانی Text Lecture: How to Take this Course and How to Get Support

  • مقدمه ای بر اسپارک Introduction to Spark

  • طرفین Sides

  • هشدار جاوا 9 Java 9 Warning

  • جاوا و گیت را نصب کنید Install Java and Git

  • کد منبع Source Code

  • پروژه Spark را با IntelliJ IDEA راه اندازی کنید Set up Spark project with IntelliJ IDEA

  • پروژه Spark را با Eclipse راه اندازی کنید Set up Spark project with Eclipse

  • سخنرانی متنی: پروژه Spark را با Eclipse تنظیم کنید Text lecture: Set up Spark project with Eclipse

  • اولین کار Spark ما را اجرا کنید Run our first Spark job

  • عیب یابی: اجرای Hadoop در ویندوز Trouble shooting: running Hadoop on Windows

با آپاچی اسپارک شروع کنید Get Started with Apache Spark

  • بررسی اجمالی دوره Course Overview

  • نحوه شرکت در این دوره و نحوه دریافت پشتیبانی How to Take this Course and How to Get Support

  • سخنرانی متنی: نحوه شرکت در این دوره و نحوه دریافت پشتیبانی Text Lecture: How to Take this Course and How to Get Support

  • مقدمه ای بر اسپارک Introduction to Spark

  • طرفین Sides

  • هشدار جاوا 9 Java 9 Warning

  • جاوا و گیت را نصب کنید Install Java and Git

  • کد منبع Source Code

  • پروژه Spark را با IntelliJ IDEA راه اندازی کنید Set up Spark project with IntelliJ IDEA

  • پروژه Spark را با Eclipse راه اندازی کنید Set up Spark project with Eclipse

  • سخنرانی متنی: پروژه Spark را با Eclipse تنظیم کنید Text lecture: Set up Spark project with Eclipse

  • اولین کار Spark ما را اجرا کنید Run our first Spark job

  • عیب یابی: اجرای Hadoop در ویندوز Trouble shooting: running Hadoop on Windows

RDD RDD

  • مبانی RDD RDD Basics

  • RDD ها را ایجاد کنید Create RDDs

  • سخنرانی متنی: ایجاد RDD Text Lecture: Create RDDs

  • تبدیل نقشه و فیلتر Map and Filter Transformation

  • راه حل مسئله فرودگاه ها بر اساس عرض جغرافیایی Solution to Airports by Latitude Problem

  • تبدیل FlatMap FlatMap Transformation

  • سخنرانی های متن: تبدیل نقشه مسطح Text Lectures: flatMap Transformation

  • تنظیم عملیات Set Operation

  • نمونه برداری با جایگزینی و نمونه برداری بدون جایگزینی Sampling With Replacement and Sampling Without Replacement

  • راه حل برای مشکل همان هاست Solution for the Same Hosts Problem

  • اقدامات Actions

  • حل مسئله مجموع اعداد Solution to Sum of Numbers Problem

  • جنبه های مهم در مورد RDD Important Aspects about RDD

  • خلاصه ای از عملیات RDD Summary of RDD Operations

  • ذخیره سازی و ماندگاری Caching and Persistence

RDD RDD

  • مبانی RDD RDD Basics

  • RDD ها را ایجاد کنید Create RDDs

  • سخنرانی متنی: ایجاد RDD Text Lecture: Create RDDs

  • تبدیل نقشه و فیلتر Map and Filter Transformation

  • راه حل مسئله فرودگاه ها بر اساس عرض جغرافیایی Solution to Airports by Latitude Problem

  • تبدیل FlatMap FlatMap Transformation

  • سخنرانی های متن: تبدیل نقشه مسطح Text Lectures: flatMap Transformation

  • تنظیم عملیات Set Operation

  • نمونه برداری با جایگزینی و نمونه برداری بدون جایگزینی Sampling With Replacement and Sampling Without Replacement

  • راه حل برای مشکل همان هاست Solution for the Same Hosts Problem

  • اقدامات Actions

  • حل مسئله مجموع اعداد Solution to Sum of Numbers Problem

  • جنبه های مهم در مورد RDD Important Aspects about RDD

  • خلاصه ای از عملیات RDD Summary of RDD Operations

  • ذخیره سازی و ماندگاری Caching and Persistence

معماری اسپارک و اجزای سازنده Spark Architecture and Components

  • معماری جرقه Spark Architecture

  • اجزای جرقه Spark Components

معماری اسپارک و اجزای سازنده Spark Architecture and Components

  • معماری جرقه Spark Architecture

  • اجزای جرقه Spark Components

RDD را جفت کنید Pair RDD

  • مقدمه ای بر جفت RDD Introduction to Pair RDD

  • ایجاد جفت RDD Create Pair RDDs

  • تبدیل‌های فیلتر و MapValue در جفت RDD Filter and MapValue Transformations on Pair RDD

  • کاهش با تجمع کلید Reduce By Key Aggregation

  • نمونه راه حل برای مشکل خانه متوسط Sample solution for the Average House problem

  • گروه با تبدیل کلید Group By Key Transformation

  • مرتب سازی بر اساس تبدیل کلید Sort By Key Transformation

  • نمونه راه حل برای مسئله شمارش کلمات مرتب شده Sample Solution for the Sorted Word Count Problem

  • پارتیشن بندی داده ها Data Partitioning

  • به عملیات بپیوندید Join Operations

  • مواد آموزشی اضافی: شرکت های بزرگ چگونه از اسپارک آپاچی استفاده می کنند؟ Extra Learning Material: How are Big Companies using Apache Spark

RDD را جفت کنید Pair RDD

  • مقدمه ای بر جفت RDD Introduction to Pair RDD

  • ایجاد جفت RDD Create Pair RDDs

  • تبدیل‌های فیلتر و MapValue در جفت RDD Filter and MapValue Transformations on Pair RDD

  • کاهش با تجمع کلید Reduce By Key Aggregation

  • نمونه راه حل برای مشکل خانه متوسط Sample solution for the Average House problem

  • گروه با تبدیل کلید Group By Key Transformation

  • مرتب سازی بر اساس تبدیل کلید Sort By Key Transformation

  • نمونه راه حل برای مسئله شمارش کلمات مرتب شده Sample Solution for the Sorted Word Count Problem

  • پارتیشن بندی داده ها Data Partitioning

  • به عملیات بپیوندید Join Operations

  • مواد آموزشی اضافی: شرکت های بزرگ چگونه از اسپارک آپاچی استفاده می کنند؟ Extra Learning Material: How are Big Companies using Apache Spark

موضوع جرقه پیشرفته Advanced Spark Topic

  • آکومولاتورها Accumulators

  • متن سخنرانی: انباشته کننده ها Text Lecture: Accumulators

  • راه حل مشکل پیگیری StackOverflow Survey Solution to StackOverflow Survey Follow-up Problem

  • متغیرهای پخش Broadcast Variables

موضوع جرقه پیشرفته Advanced Spark Topic

  • آکومولاتورها Accumulators

  • متن سخنرانی: انباشته کننده ها Text Lecture: Accumulators

  • راه حل مشکل پیگیری StackOverflow Survey Solution to StackOverflow Survey Follow-up Problem

  • متغیرهای پخش Broadcast Variables

Spark SQL Spark SQL

  • مقدمه ای بر Spark SQL Introduction to Spark SQL

  • Spark SQL در عمل Spark SQL in Action

  • عمل Spark SQL: مشکل قیمت خانه Spark SQL practice: House Price Problem

  • Spark SQL Joins Spark SQL Joins

  • مجموعه داده با تایپ قوی Strongly Typed Dataset

  • از Dataset یا RDD استفاده کنید Use Dataset or RDD

  • تبدیل مجموعه داده و RDD Dataset and RDD Conversion

  • تنظیم عملکرد Spark SQL Performance Tuning of Spark SQL

  • مواد آموزشی اضافی: از این اشتباهات در هنگام نوشتن برنامه Apache Spark اجتناب کنید Extra Learning Material: Avoid These Mistakes While Writing Apache Spark Program

Spark SQL Spark SQL

  • مقدمه ای بر Spark SQL Introduction to Spark SQL

  • Spark SQL در عمل Spark SQL in Action

  • عمل Spark SQL: مشکل قیمت خانه Spark SQL practice: House Price Problem

  • Spark SQL Joins Spark SQL Joins

  • مجموعه داده با تایپ قوی Strongly Typed Dataset

  • از Dataset یا RDD استفاده کنید Use Dataset or RDD

  • تبدیل مجموعه داده و RDD Dataset and RDD Conversion

  • تنظیم عملکرد Spark SQL Performance Tuning of Spark SQL

  • مواد آموزشی اضافی: از این اشتباهات در هنگام نوشتن برنامه Apache Spark اجتناب کنید Extra Learning Material: Avoid These Mistakes While Writing Apache Spark Program

جرقه در حال اجرا در یک خوشه Running Spark in a Cluster

  • مقدمه ای بر Running Spark in a Cluster Introduction to Running Spark in a Cluster

  • Package Spark Application and Use Spark-submit Package Spark Application and Use spark-submit

  • برنامه Spark را در خوشه آمازون EMR (Elastic MapReduce) اجرا کنید Run Spark Application on Amazon EMR (Elastic MapReduce) cluster

جرقه در حال اجرا در یک خوشه Running Spark in a Cluster

  • مقدمه ای بر Running Spark in a Cluster Introduction to Running Spark in a Cluster

  • Package Spark Application and Use Spark-submit Package Spark Application and Use spark-submit

  • برنامه Spark را در خوشه آمازون EMR (Elastic MapReduce) اجرا کنید Run Spark Application on Amazon EMR (Elastic MapReduce) cluster

مواد آموزشی اضافی Additional Learning Materials

  • یادگیری آینده Future Learning

  • متن سخنرانی: یادگیری آینده Text Lecture: Future Learning

  • کوپن به دوره های دیگر ما Coupons to Our Other Courses

مواد آموزشی اضافی Additional Learning Materials

  • یادگیری آینده Future Learning

  • متن سخنرانی: یادگیری آینده Text Lecture: Future Learning

  • کوپن به دوره های دیگر ما Coupons to Our Other Courses

نمایش نظرات

Udemy (یودمی)

یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.

یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.

آموزش آپاچی اسپارک 2.0 با جاوا - Spark را از یک استاد بزرگ داده بیاموزید
جزییات دوره
3.5 hours
60
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
21,294
4.6 از 5
دارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Tao W Tao W

مهندس نرم افزار

Level Up Level Up

شریک یادگیری حرفه ای شما

James Lee James Lee

مهندس نرم افزار سیلیکون ولی