لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش پروژههای هادوپ: تحلیل دادههای حجیم با Hive و Pig
- آخرین آپدیت
دانلود Hadoop Projects: Analyze Big Data with Hive & Pig
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
در پایان این دوره، فراگیران قادر خواهند بود پروژههای واقعی دادههای حجیم (Big Data) را با استفاده از اجزای اصلی هادوپ شامل HDFS، Hive، Pig و MapReduce طراحی، پیادهسازی و تحلیل کنند. آنها تکنیکهای پردازش داده را بر روی مجموعهدادههای مربوط به شکایات مشتریان، نظرسنجیهای بهداشتی، تخلفات رانندگی و دادههای وام اعمال میکنند تا بینشهای تجاری ارزشمندی را استخراج نمایند.
این دوره عملی و پروژه-محور، دانشجویان را در تمامی مراحل تحلیل دادههای حجیم هدایت میکند؛ از وارد کردن و تبدیل دادهها گرفته تا اجرای محاسبات توزیع شده و خروجی گرفتن در پایگاههای داده رابطهای. فراگیران بر جریانهای کاری ضروری هادوپ مانند نوشتن برنامههای MapReduce، توسعه کوئریهای Hive، یکپارچهسازی اسکریپتهای Pig و استفاده از Sqoop برای انتقال یکپارچه دادههای SQL مسلط خواهند شد.
آنچه این دوره را متمایز میکند، رویکرد پروژه-محور واقعی است که چهار مورد مطالعاتی کامل هادوپ را در یک تجربه یادگیری جامع ترکیب کرده است. هر ماژول تمرینات پیادهسازی گامبهگام را برای ایجاد اعتمادبهنفس و مهارت فنی فراهم میکند. پس از اتمام دوره، فراگیران تجهیز به مدیریت مجموعهدادههای بزرگ، بهینهسازی عملکرد و بهکارگیری راهکارهای مبتنی بر هادوپ در محیطهای سازمانی خواهند بود.
سرفصل ها و درس ها
شروع پروژههای هادوپ
Getting Started with Hadoop Projects
مقدمهای بر پروژه شکایات مشتریان در دادههای حجیم
Introduction to Customer Complaint Project in Big Data
بررسی شکایات ثبت شده در هر فایل
Complaint Filed Under Each File
ایجاد فایلهای درایور و Jar Manifest
Creating Driver Files and Jar Manifest
ادامه ایجاد فایلهای درایور و Jar Manifest
Creating Driver Files and Jar Manifest Continues
بررسی شکایات ثبت شده از یک مکان خاص
Complaint Filed from Particular Location
تعیین مکان توسط کاربر
User Defined Location
لیست شکایات گروهبندی شده بر اساس مکان
List of Complaint Grouped By Location
مدیریت دادههای نظرسنجی بهداشتی با استفاده از HDFS
Managing Health Survey Data using HDFS
مقدمهای بر تحلیل دادههای بهداشتی
Introduction to Health Analysis
نمایش ردیفهای داده از جدول دادههای بهداشتی
Show Rows Data From Health Data Table
افزودن دادههای جدید به جدول دادههای بهداشتی
Adding New Data in Health Data Table
دریافت دادهها از پایگاه داده SQL به HDFS
Get Data From HDFS Database from SQL Database
انتقال دادهها از SQL به دایرکتوری جدید HDFS
Getting Data in New HDFS Directory from SQL
صادر کردن جدول دادهها از HDFS به SQL
Export Data Table From HDFS to SQL
دریافت جزئیات جمعیت شهر در مجموعهداده بهداشتی
Get Details of City Population in Health Dataset
تحلیل دادههای تخلفات رانندگی
Traffic Violation Data Analysis
مقدمهای بر تحلیل تخلفات رانندگی
Introduction to Traffic Violation Analysis
ادامه مقدمه تحلیل تخلفات رانندگی
Introduction to Traffic Violation Analysis Continues
انتقال جدول از SQL به دایرکتوری HDFS
Get Table From SQL to HDFS Directory
خروجی جدول از SQL به دایرکتوری HDFS
Output of Table From SQL to HDFS Directory
لیست پایگاههای داده و جداول SQL در HDFS
List Databases and Tables of SQl in HDFS
ایجاد و اجرای جابها در تحلیل تخلفات رانندگی
Create and Execute jobs in Traffic Violation
وارد کردن دادههای مربوط به جراحات شخصی از SQL
Import Data for Personal Injuries from SQL
دریافت دادههای ایالت مریلند
Get Data For State Maryland
استخراج دادههای تخلفات رانندگی از HDFS به MySQL
Extract Data of Traffic Violation from HDFS to My SQL
تحلیل مجموعهداده وام با استفاده از Pig و MapReduce
Loan Dataset Analysis using Pig and MapReduce
مقدمهای بر تحلیل مجموعهداده وام
Introduction to Analyze the Loan Data Set
ادامه مقدمه تحلیل مجموعهداده وام
Introduction to Analyze the Loan Data Set Continues
محاسبه میانگین ریسک کلی
Overall Average Risk
کدنویسی برای میانگین ریسک
Coding Average Risk
ادامه کدنویسی برای میانگین ریسک
Coding Average Risk Continues
بررسی بیشتر میانگین ریسک
More on Average Risk
میانگین ریسک به تفکیک مکان
Average Risk Per Location
میانگین ریسک به تفکیک نوع وام
Average Risk per Loan Type
محاسبه میانگین ریسک به تفکیک دستهبندی
Calculate Average Risk Per Category
ادامه محاسبه میانگین ریسک به تفکیک دستهبندی
Calculate Average Risk Per category Continues
یکپارچهسازی پیشرفته و تحلیل در هادوپ
Advanced Hadoop Integrations and Analysis
رابط Comparable در MapReduce
Comparable Interface in MapReduce
پیادهسازی و اجرای MapReduce
Implementation and Execution MapReduce
محاسبه میانگین ریسک به تفکیک دستهبندی در PIG
Average Risk Per Category in PIG
میانگین ریسک به تفکیک دستهبندی و مکان در PIG
Average Risk Per Category and Location in PIG
ادامه میانگین ریسک به تفکیک دستهبندی و مکان در PIG
Average Risk Per Category and Location in PIG Continues
میانگین ریسک به تفکیک دستهبندی در Hive
Average Risk Per Category in Hive
تحلیل مجموعهداده وامهای بانکی در HIVE
Analysis Bank Loan Dataset in HIVE
ادامه تحلیل مجموعهداده وامهای بانکی در HIVE
Analysis Bank Loan Dataset in HIVE Continues
درک Sqoop و دریافت دادههای RDBMS در HDFS
Understand of Sqoop and Get RDBMS Data in HDFS
نمایش نظرات