لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش تحلیل دادههای بزرگ (Big Data) با Hive، Pig و MapReduce
- آخرین آپدیت
دانلود Big Data Analytics with Hive, Pig & MapReduce
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
در پایان این دوره، فراگیران قادر خواهند بود دیتابیسهای Hive را طراحی کنند، جداول پیچیده را مدیریت نمایند، دادههای XML را با Pig پردازش کنند، عملیات MapReduce را اجرا کرده و مجموعهدادههای بزرگ شبکههای اجتماعی را برای استخراج بینشهای ارزشمند تحلیل کنند. این دوره با مفاهیم بنیادی Hive از جمله دیتابیسها، پارتیشنها و Bucketing آغاز شده و سپس به بهینهسازی جداول و محدودیتهای طراحی اسکیما میپردازد. دانشجویان تجربه عملی در وارد کردن دادهها با Sqoop، پردازش آنها با MapReduce و اعمال تحلیلهای مبتنی بر مکان و نویسنده روی دادههای واقعی را کسب خواهند کرد. در نهایت، دوره به بررسی اسکریپتنویسی Pig برای پردازش XML و انواع دادههای پیچیده Hive برای تحلیل پیشرفته مجموعهدادههای Bookmarking میپردازد.
ویژگی منحصر به فرد این دوره، ترکیب دو مورد مطالعاتی عملی است: یکی از صنعت مخابرات و دیگری از تحلیل شبکههای اجتماعی که ترکیبی از دانش بنیادی Hive و ابزارهای پیشرفته اکوسیستم Hadoop را ارائه میدهد. این دوره که برای متخصصان، دانشجویان و علاقهمندان به دادهها طراحی شده است، بر کاربرد عملی به جای تئوری تأکید دارد تا اطمینان حاصل شود که فراگیران میتوانند با اعتماد به نفس کامل از فناوریهای Big Data برای حل مشکلات واقعی کسبوکار استفاده کنند.
سرفصل ها و درس ها
مبانی Hive و دادههای بزرگ
Foundations of Hive and Big Data
آشنایی با Hive
Introduction of Hive
انواع دادههای ساده و پیچیده در Hive
Simple and Complex Datatype in Hive
کلاسترها
Clusters
دستورات دیتابیس در Hive
Database Command in Hive
دستورات جداول در Hive
Tables Commands in Hive
مدیریت جداول
Manage Tables
جداول خارجی (External Tables)
External Tables
آشنایی با پارتیشنبندی (Partitioning)
Introduction to Partitioning
دستور پارتیشن
Partition Command
باکتبندی (Bucketing)
Bucketing
بهینهسازی دادهها با Hive
Optimizing Data with Hive
سرویسهای کنترل جدول در Hive
Table Contr Services in Hive
مثالی از سرویسهای کنترل
Example of Contr Services
ادامه مثال سرویسهای کنترل
Example of Contr Services Continues
ایجاد جدول کنترل کلی
Creating Contract All Table
یکپارچهسازی و پردازش دادههای شبکههای اجتماعی
Social Media Data Integration and Processing
آشنایی با صنعت شبکههای اجتماعی
Introduction to Social Media Industry
وبسایت بوکمارکینگ
Book Marking Website
ادامه بحث وبسایت بوکمارکینگ
Book Marking Website Continues
درک ابزار Sqoop
Understanding Sqoop
انتقال دادهها از RDMS به HDFS
Get Data from RDMS to HDFS
اجرای برنامه MapReduce برای پردازش فایل XML
Execute Map Reduce Program in order to Process XML File
تحلیل عملکرد کتاب بر اساس نظرات با استفاده از کد
Analyze Book Performance By Reviews Using Code
ادامه تحلیل عملکرد کتاب بر اساس نظرات
Analyze Book Performance By Reviews Using Code Continues
تحلیل کتاب بر اساس مکان
Analyse Book By Location
مثالی از تحلیل کتاب بر اساس مکان
Example of Analyse Book By Location
تحلیل خوانندگان کتاب در مقابل نویسنده
Analyse Book Reader Against Author
تحلیل بینشهای شبکههای اجتماعی با Pig و Hive
Social Media Insights with Pig and Hive
نحوه پردازش فایل XML در PIG
How to process XML File in PIG
ادامه نحوه پردازش فایل XML در PIG
How to process XML File in PIG Continues
تحلیل عملکرد کتاب در فایل XML با PIG
Analyze Book Performance in XML File in PIG
جزئیات بیشتر تحلیل عملکرد کتاب در PIG
More on Analyze Book Performance in XML File in PIG
خروجی فایل XML در Pig بر اساس کتاب
Pig XML File Output Using Book
خروجی فایل XML در Pig بر اساس مکان
Pig XML File Output Using Location
ادامه خروجی فایل XML در Pig بر اساس مکان
Pig XML File Output Using Location Continues
درک مجموعهدادههای پیچیده با استفاده از Hive
Understanding Complex Data Set Using Hive
ادامه درک مجموعهدادههای پیچیده در Hive
Understanding Complex Data Set Using Hive Continues
ایجاد آرایه در MapReduce با استفاده از Hive
Create Array in Map Reduce Using Hive
مجموعهداده نوع بوکمارکینگ با استفاده از انواع پیچیده
Book Marking Type Data Set Using Complex Type
خروجی مجموعهداده نوع بوکمارکینگ
Output of Book Marking Type Data Set
نمایش نظرات