آموزش MAPREDUCE - داده های بزرگ با MapReduce عملی
MAPREDUCE - Big Data with Hands-on MapReduce
MapReduce را می‌توان به‌عنوان زیرماژول Hadoop تعریف کرد که مقیاس‌پذیری عظیمی از داده‌ها را در میان بسیاری از خوشه‌های کالا ارائه می‌دهد. MapReduce شامل دو چیز است که به طور متوالی برای پردازش تجزیه و تحلیل کار می کنند. فرآیند در هر دو بخش مختلف به صورت موازی انجام می شود که به صرفه جویی در زمان زیادی در حین کار با داده های قابل توجه کمک می کند. در روش سنتی تجزیه و تحلیل داده ها، داده ها به صورت سریالی تجزیه و تحلیل شدند و MapReduce بر این مشکل غلبه کرد.
همانطور که صدا نام دارد، شامل نقشه برداری و فرآیند کاهش است که توسط نقشه برداران و کاهش دهنده ها انجام می شود. مجموعه داده به طور مساوی بین نقشه‌برداران مختلف تقسیم می‌شود و همه فرآیندها یا داده‌ها را به صورت موازی تجزیه و تحلیل می‌کنند. هنگامی که نقشه‌بردار نتیجه را تولید کرد، کاهش‌دهنده‌ها برای ایجاد نتیجه وارد می‌شوند. نقش کاهنده جمع‌آوری داده‌ها از همه نقشه‌برداران و پردازش نتایج آنها برای دریافت نتیجه نهایی است.
به عنوان مثال، اگر Flipkart باید کل فروش سال 2018 در بمبئی را دریابد. کل فرآیند در زیر جریان خواهد داشت.
کل مجموعه داده به ماه ها تقسیم می شود، به این معنی که داده های فروش یک سال به 12 ماه تقسیم می شود، مانند میزان درآمد آنها در هر ماه از کدام مکان.
سپس مجموعه داده به 12 نقشه‌بردار اختصاص داده می‌شود.
هر نقشه‌بردار متوجه می‌شود که کالاها در کدام شهر و چقدر فروخته شده است.
بعد از اینکه نقشه‌برداران گزارش را تولید کردند، اکنون نوبت به کاهنده‌ها می‌رسد.
کاهش‌دهنده‌ها ارزش فروش را از هر ماه برای مکان بمبئی دریافت می‌کنند.
در نهایت، همه آنها ارزش می فروشند تا نتیجه را ایجاد کنند.
در این دوره آموزشی MapReduce، چیزی را خواهید آموخت که به زودی اتفاق بزرگ بعدی خواهد بود و فرصت های زیادی در آینده جدید ایجاد می کند. شما یاد خواهید گرفت که چگونه با داده های انبوه، داده های بدون ساختار کار کنید. کار با انواع مختلف داده ها و تلاش برای به دست آوردن همه آنها در یک صفحه چیزی است که در اینجا مطالعه خواهید کرد. از نظر فنی، شما بینشی عملی در مورد کار دانشمندان داده خواهید داشت. علاوه بر پردازش داده ها، شما همچنین یاد خواهید گرفت که یک برنامه در HIVE، PIG، MapReduce و Sqoop توسعه دهید.
هر سازمانی نیازمندی های خود را برای تجزیه و تحلیل داده ها دارد، بنابراین بسیار مهم است که یک برنامه سفارشی سازی شده ایجاد کنید که بتواند خروجی مورد نظر را تولید کند. خواهید دید و خواهید آموخت که چگونه می توان از ماژول های فرعی Hadoop مانند PIG یا HIVE برای کاهش پیچیدگی برنامه استفاده کرد. علاوه بر تمام آن چیزهای حیاتی، یاد خواهید گرفت که از چه چارچوبی و در چه موردی استفاده کنید. زمانی که به پایان گواهینامه MapReduce برسید، به اندازه کافی آگاه خواهید بود که با داده های فراوان بازی کنید.
MapReduce Fundamentals MapReduce Fundamentals
-
مرتب سازی ثانویه Hadoop Secondary Sort Hadoop
-
ایجاد کلید ترکیبی Creating Composite Key
-
روی Composite Key ادامه دهید Continue on Composite Key
-
گروه شمارش کلمات Word Count Group
-
اهمیت پارتیشن Importance of Partition
-
Hadoop FS - LS Hadoop FS - LS
-
به Hadoop می پیوندد Joins in Hadoop
-
ایجاد آبجکت پیکربندی Creating Configuration Object
-
روش راه اندازی Setup Method
-
Map Side Join Mapper Map Side Join Mapper
-
دستورات هدوپ Hadoop Commands
-
کمباین در هادوپ Combiner in Hadoop
-
به Combiner در Hadoop ادامه دهید Continue on Combiner in Hadoop
-
بارگذاری Combiner Jar Uploading Combiner Jar
-
مقدمه ای بر دنیای واقعی Introduction to Real World
-
نقشه‌بردار رتبه‌بندی Ratings Mapper
-
فیلم و رتبه بندی دونده Movie and Ratings Runner
-
فیلم و رتبه بندی Calc Jar Movie and Rating Calc Jar
-
مجموع امتیازات توسط یک کاربر Total Ratings By A User
-
کاهش دهنده امتیاز کاربران User Rating Reducer
-
کلاس رتبه بندی کاربران User Rating Class
-
آموزش پایه نخ Yarn Basic Tutorial
-
مدیر گره Node Manager
![آموزش تداوم کسب و کار و بازیابی فاجعه [ویدئو]](https://donyad.com/course/getimg/3bd33ac6-a187-4716-b565-f4e161c1fe00.jpg "آموزش تداوم کسب و کار و بازیابی فاجعه [ویدئو]")
https://donyad.com/d/3847df
EDU CBA
مهارت های دنیای واقعی را بصورت آنلاین بیاموزید EDUCBA یک ارائه دهنده جهانی آموزش مبتنی بر مهارت است که نیازهای اعضا را در بیش از 100 کشور برطرف می کند. ما بزرگترین شرکت فناوری پیشرفته در آسیا با نمونه کارهای 5498+ دوره آنلاین ، 205+ مسیر یادگیری ، 150+ برنامه شغل محور (JOPs) و 50+ بسته دوره حرفه ای شغلی هستیم که توسط متخصصان برجسته صنعت آماده شده است. برنامه های آموزشی ما برنامه های مبتنی بر مهارت شغلی است که توسط صنعت در سراسر امور مالی ، فناوری ، تجارت ، طراحی ، داده و فناوری جدید و آینده مورد نیاز صنعت است.
نمایش نظرات