کانال تلگرام پشتیبانی تلگرام شماره تماس پشتیبانی: 0930 395 3766
ورود ثبت نام

آموزش رام کردن داده های بزرگ با MapReduce و Hadoop - دست در دست!

Taming Big Data with MapReduce and Hadoop - Hands On!

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
توضیحات دوره: با ساخت بیش از 10 نمونه واقعی، با استفاده از Python، MRJob و سرویس MapReduce الاستیک آمازون، MapReduce را سریع بیاموزید. بدانید که چگونه می توان از MapReduce برای تجزیه و تحلیل مجموعه داده های بزرگ استفاده کرد کارهای MapReduce خود را با استفاده از Python و MRJob Run MapReduce در خوشه های Hadoop با استفاده از آمازون Elastic MapReduce Chain MapReduce مشاغل با هم برای تجزیه و تحلیل مشکلات پیچیده تر تجزیه و تحلیل داده های شبکه اجتماعی با استفاده از MapReduce Analyze داده های رتبه بندی فیلم با استفاده از MapReduce و توصیه های فیلم را با آن تولید کنید. آشنایی با سایر فناوری‌های مبتنی بر Hadoop، از جمله Hive، Pig، و Spark. درک اینکه Hadoop برای چیست و چگونه کار می‌کند. ابزارهایی که به عنوان بخشی از دوره نیاز دارید. اگر از لینوکس استفاده می کنید و قبلاً یک محیط توسعه پایتون را دارید که با آن آشنا هستید، این نیز مشکلی ندارد. باز هم، مطمئن شوید که حداقل تجربه برنامه نویسی یا اسکریپت نویسی را دارید. برای موفقیت در این دوره نیازی نیست که متخصص پایتون باشید، اما برای اینکه بتوانید کاری که ما انجام می دهیم به مفاهیم اساسی برنامه نویسی نیاز دارید.

تجزیه و تحلیل «داده‌های بزرگ» یک مهارت داغ و بسیار ارزشمند است – و این دوره دو فناوری اساسی برای داده‌های بزرگ را به سرعت به شما آموزش می‌دهد: MapReduce و Hadoop. تا به حال از خود پرسیده‌اید که چگونه Google می‌تواند کل اینترنت را به‌طور مستمر تجزیه و تحلیل کند؟ همان تکنیک ها را با استفاده از سیستم ویندوز خود در خانه یاد خواهید گرفت.

در بیش از 10 مثال عملی، هنر چارچوب بندی مسائل تجزیه و تحلیل داده ها را به عنوان مشکلات MapReduce بیاموزید و به آنها مسلط شوید و سپس آنها را برای اجرای سرویس های رایانش ابری در این دوره، مقیاس دهید. شما از یک مهندس سابق و مدیر ارشد از آمازون و IMDb یاد خواهید گرفت.

  • مفاهیم MapReduce را بیاموزید
  • کارهای MapReduce را به سرعت با استفاده از Python و MRJob اجرا کنید
  • مسائل تجزیه و تحلیل پیچیده را به مشاغل MapReduce چند مرحله ای ترجمه کنید
  • با استفاده از سرویس Elastic MapReduce آمازون، به مجموعه داده های بزرگتر مقیاس دهید
  • درک کنید که Hadoop چگونه MapReduce را در میان خوشه‌های محاسباتی توزیع می‌کند
  • درباره سایر فناوری‌های Hadoop، مانند Hive، Pig، و Spark اطلاعات کسب کنید.

در پایان این دوره، کدی را اجرا می‌کنید که اطلاعات گیگابایت را - در فضای ابری - در عرض چند دقیقه تجزیه و تحلیل می‌کند.

در طول راه کمی سرگرم خواهیم شد. با چند مثال ساده از استفاده از MapReduce برای تجزیه و تحلیل داده‌های رتبه‌بندی فیلم و متن در یک کتاب، گرم می‌شوید. زمانی که اصول اولیه را در دست گرفتید، به سراغ کارهای پیچیده و جالب تر می رویم. ما از یک میلیون رتبه‌بندی فیلم برای یافتن فیلم‌هایی که شبیه یکدیگر هستند استفاده می‌کنیم، و حتی ممکن است در این فرآیند فیلم‌های جدیدی را که ممکن است دوست داشته باشید کشف کنید! ما یک نمودار اجتماعی از ابرقهرمانان را تجزیه و تحلیل خواهیم کرد و خواهیم فهمید که "محبوب ترین" ابرقهرمان کیست - و سیستمی برای یافتن "درجات جدایی" بین ابرقهرمانان ایجاد می کنیم. آیا همه ابرقهرمانان مارول در فاصله چند درجه ای از اتصال به هالک شگفت انگیز هستند؟ پاسخ را خواهید یافت.

این دوره بسیار کاربردی است. شما بیشتر وقت خود را صرف دنبال کردن با مربی خواهید کرد، زیرا ما با هم کد واقعی را می نویسیم، تجزیه و تحلیل می کنیم و اجرا می کنیم - هم در سیستم خود و هم در فضای ابری با استفاده از سرویس Elastic MapReduce آمازون. بیش از 5 ساعت محتوای ویدیویی گنجانده شده است، با بیش از 10 مثال واقعی از افزایش پیچیدگی که می توانید خودتان بسازید، اجرا کنید و مطالعه کنید. با سرعت خود و بر اساس برنامه زمانی خود از آنها عبور کنید. این دوره با مروری بر سایر فناوری‌های مبتنی بر Hadoop، از جمله Hive، Pig، و چارچوب بسیار داغ Spark به پایان می‌رسد - با یک مثال کاربردی در Spark.

حرف من را قبول نکنید - برخی از نظرات ناخواسته ما را از دانش آموزان واقعی بررسی کنید:

"من دوره های زیادی را در زمینه کاهش نقشه گذرانده ام؛ بدون شک این بهترین راه است."

"این یکی از بهترین دوره هایی است که من از 4 سال گذشته که از Udemy برای دوره ها استفاده می کنم دیده ام."

"بهترین دوره آموزشی در MapReduce و Python. من واقعاً رویکرد اجرای خود را در این دوره دوست دارم. همه چیز به خوبی سازماندهی شده است و مدرس درجه یک است."

سرفصل ها و درس ها

مقدمه و شروع Introduction, and Getting Started

  • معرفی Introduction

  • Udemy 101: بیشترین بهره را از این دوره ببرید Udemy 101: Getting the Most From This Course

  • توجه: پیوند دانلود جایگزین برای مجموعه داده MovieLens Note: Alternate download link for the MovieLens data set

  • شروع به کار - اولین برنامه MapReduce خود را اجرا کنید! Getting Started - Run your First MapReduce Program!

آشنایی با MapReduce Understanding MapReduce

  • مفاهیم اساسی MapReduce MapReduce Basic Concepts

  • یک یادداشت سریع در مورد نام فایل ها. A quick note on file names.

  • مروری بر کد هیستوگرام رتبه بندی Walkthrough of Rating Histogram Code

  • درک چگونگی کاهش مقیاس نقشه/محاسبات توزیع شده Understanding How MapReduce Scales / Distributed Computing

  • میانگین دوستان بر اساس سن مثال: قسمت 1 Average Friends by Age Example: Part 1

  • میانگین دوستان بر اساس سن مثال: قسمت 2 Average Friends by Age Example: Part 2

  • حداقل دما بر اساس مکان مثال Minimum Temperature By Location Example

  • حداکثر دما بر اساس مکان مثال Maximum Temperature By Location Example

  • فراوانی کلمه در یک مثال کتاب Word Frequency in a Book Example

  • بهتر کردن نگاشت فرکانس کلمه با عبارات منظم Making the Word Frequency Mapper Better with Regular Expressions

  • مرتب سازی نتایج فرکانس کلمه با استفاده از چند مرحله MapReduce Jobs Sorting the Word Frequency Results Using Multi-Stage MapReduce Jobs

  • فعالیت: طراحی نقشه کش و کاهش دهنده برای کل هزینه شده توسط مشتری Activity: Design a Mapper and Reducer for Total Spent by Customer

  • فعالیت: برای کل هزینه شده توسط مشتری کد بنویسید Activity: Write Code for Total Spent by Customer

  • کد خود را با کد من مقایسه کنید. فعالیت: مرتب سازی نتایج بر اساس مقدار مصرف شده Compare Your Code to Mine. Activity: Sort Results by Amount Spent

  • برای نتایج مرتب شده کد خود را با کد من مقایسه کنید. Compare your Code to Mine for Sorted Results.

  • ترکیب کننده ها Combiners

نمونه های پیشرفته MapReduce Advanced MapReduce Examples

  • مثال: محبوب ترین فیلم Example: Most Popular Movie

  • از جمله داده های جستجوی جانبی در مثال Including Ancillary Lookup Data in the Example

  • مثال: محبوب ترین ابرقهرمان، قسمت 1 Example: Most Popular Superhero, Part 1

  • مثال: محبوب ترین ابرقهرمان، قسمت 2 Example: Most Popular Superhero, Part 2

  • مثال: درجات جدایی: مفاهیم Example: Degrees of Separation: Concepts

  • درجات جداسازی: پیش پردازش داده ها Degrees of Separation: Preprocessing the Data

  • درجات جداسازی: مرور کد Degrees of Separation: Code Walkthrough

  • درجات جدایی: اجرا و تجزیه و تحلیل نتایج Degrees of Separation: Running and Analyzing the Results

  • مثال: فیلم های مشابه بر اساس رتبه بندی: مفاهیم Example: Similar Movies Based on Ratings: Concepts

  • فیلم های مشابه: Code Walkthrough Similar Movies: Code Walkthrough

  • فیلم های مشابه: اجرا و تجزیه و تحلیل نتایج Similar Movies: Running and Analyzing the Results

  • فعالیت آموزشی: بهبود شباهت های فیلم ما MapReduce Job Learning Activity: Improving our Movie Similarities MapReduce Job

با استفاده از Hadoop و Elastic MapReduce Using Hadoop and Elastic MapReduce

  • مفاهیم اساسی Hadoop Fundamental Concepts of Hadoop

  • سیستم فایل توزیع شده هادوپ (HDFS) The Hadoop Distributed File System (HDFS)

  • نخ آپاچی Apache YARN

  • Hadoop Streaming: Hadoop چگونه کد پایتون شما را اجرا می کند Hadoop Streaming: How Hadoop Runs your Python Code

  • راه اندازی حساب کاربری Amazon Elastic MapReduce Setting Up Your Amazon Elastic MapReduce Account

  • پیوند دادن حساب EMR خود با MRJob Linking Your EMR Account with MRJob

  • تمرین: توصیه‌های فیلم را روی Elastic MapReduce اجرا کنید Exercise: Run Movie Recommendations on Elastic MapReduce

  • نتایج کار EMR خود را تجزیه و تحلیل کنید Analyze the Results of Your EMR Job

Hadoop و EMR پیشرفته Advanced Hadoop and EMR

  • مبانی محاسباتی توزیع شده Distributed Computing Fundamentals

  • فعالیت: اجرای شباهت های فیلم در چهار ماشین Activity: Running Movie Similarities on Four Machines

  • تجزیه و تحلیل نتایج کار 4 ماشین Analyzing the Results of the 4-Machine Job

  • عیب یابی Hadoop Jobs با EMR و MRJob، قسمت 1 Troubleshooting Hadoop Jobs with EMR and MRJob, Part 1

  • عیب یابی Hadoop Jobs، قسمت 2 Troubleshooting Hadoop Jobs, Part 2

  • ml-1m Dataset: لینک دانلود جایگزین ml-1m Dataset: Alternate Download Link

  • تجزیه و تحلیل رتبه بندی یک میلیون فیلم در 16 ماشین، قسمت 1 Analyzing One Million Movie Ratings Across 16 Machines, Part 1

  • تجزیه و تحلیل رتبه بندی یک میلیون فیلم در 16 ماشین، قسمت 2 Analyzing One Million Movie Ratings Across 16 Machines, Part 2

سایر فناوری های Hadoop Other Hadoop Technologies

  • معرفی آپاچی Hive Introducing Apache Hive

  • معرفی آپاچی پیگ Introducing Apache Pig

  • آپاچی اسپارک: مفاهیم Apache Spark: Concepts

  • مثال اسپارک: قسمت 1 Spark Example: Part 1

  • مثال اسپارک: قسمت 2 Spark Example: Part 2

  • تبریک می گویم! Congratulations!

از اینجا کجا برویم Where to Go from Here

  • سخنرانی جایزه: دوره های بیشتری برای کشف! Bonus Lecture: More courses to explore!

نمایش نظرات

نظری ارسال نشده است.

آموزش رام کردن داده های بزرگ با MapReduce و Hadoop - دست در دست!
خرید اشتراک و دانلود خرید تکی و دانلود | 160,000 تومان (5 روز مهلت دانلود) زمان تقریبی آماده سازی لینک دانلود این دوره آموزشی حدود 5 تا 24 ساعت می باشد.
جزییات دوره
5 hours
55
Udemy (یودمی) udemy-small
01 مرداد 1401 (آخرین آپدیت رو دریافت می‌کنید، حتی اگر این تاریخ بروز نباشد.)
23,717
4.2 از 5
دارد
دارد
دارد

https://donyad.com/d/b37eff

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

آموزش مقدمه ای بر SPSS

آموزش مقدمه ای بر SPSS

Introduction to SPSS

مقدمه ای بر برنامه نرم افزار SPSS و آمار توصیفی و استنباطی اولیه

آموزش نمودارهای فرآیند و نقشه برداری فرآیند - راهنمای مبتدیان

آموزش نمودارهای فرآیند و نقشه برداری فرآیند - راهنمای مبتدیان

Process Flowcharts & Process Mapping - The Beginner's Guide

از تجزیه و تحلیل کسب و کار برای مدل‌سازی جریان‌های فرآیند با مثال‌های واقعی و فعالیت‌های عملی مبتنی بر پروژه استفاده کنید -IIBA

آموزش مهارت های اکسل برای حرفه ای های بیمه

آموزش مهارت های اکسل برای حرفه ای های بیمه

Excel Skills for Insurance Professionals

از Vlookups تا Pivot Tables: اصول اولیه اکسل را بیاموزید که هر کسی که در صنعت بیمه کار می کند باید بداند!

آموزش مقدمه ای بر مدل سازی فرآیندهای کسب و کار

آموزش مقدمه ای بر مدل سازی فرآیندهای کسب و کار

Introduction to Business Process Modeling

یاد بگیرید که چگونه فرآیندهای تجاری سازمان خود را تجزیه و تحلیل، مدل سازی و بهبود بخشید.

Sundog Education by Frank Kane Sundog Education by Frank Kane

بنیانگذار ، آموزش Sundog. یادگیری ماشینی ماموریت ProSundog Education این است که مهارتهای شغلی بسیار ارزشمندی را در داده های بزرگ ، علوم داده و یادگیری ماشینی در دسترس همه افراد در جهان قرار دهد. کنسرسیوم مربیان متخصص ما ، دانش ما را در این زمینه های نوظهور با قیمت هایی که هرکس می تواند تحمل کند ، در اختیار شما قرار می دهد. Sundog Education توسط فرانک کین هدایت می شود و متعلق به شرکت فرانک ، Sundog Software LLC است. فرانک 9 سال را در آمازون و IMDb سپری کرد و فناوری را توسعه داد و به طور مداوم توصیه های محصول و فیلم را به صدها میلیون مشتری ارائه داد. فرانک دارای 17 اختراع ثبت شده در زمینه محاسبات توزیع شده ، داده کاوی و یادگیری ماشین است. در سال 2012 ، فرانك رفت و شركت موفق خود ، Sundog Software را كه متمركز بر فناوري محيط واقعيت مجازي است و به ديگران در مورد تجزيه و تحليل داده هاي بزرگ مي پردازد ، راه اندازي كرد. با توجه به تعداد دانشجویان ما قادر به پاسخگویی به پیامهای خصوصی نیستیم. لطفا سوالات خود را در پرسش و پاسخ دوره خود ارسال کنید. ممنون از اینکه میفهمی.

Frank Kane Frank Kane

یادگیری ماشین و داده های بزرگ، آمازون سابق

فرانک 9 سال را در آمازون و IMDb گذراند و فناوری را توسعه و مدیریت کرد که به طور خودکار توصیه های محصول و فیلم را به صدها میلیون مشتری ارائه می دهد. زمان. فرانک دارای 17 حق ثبت اختراع صادر شده در زمینه های محاسبات توزیع شده ، داده کاوی و یادگیری ماشین است. در سال 2012، فرانک شرکت موفق خود را به نام Sundog Software راه اندازی کرد که بر فناوری محیط واقعیت مجازی تمرکز دارد و به دیگران در مورد تجزیه و تحلیل داده های بزرگ آموزش می دهد.

Sundog Education Team Sundog Education Team

تیم آموزشی Sundog

Udemy (یودمی)

یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.

یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.