لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش یکپارچهسازی و پردازش دادههای حجیم (Big Data)
- آخرین آپدیت
دانلود Big Data Integration and Processing
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
در پایان این دوره، شما قادر خواهید بود:
* بازیابی دادهها از پایگاههای داده نمونه و سیستمهای مدیریت دادههای حجیم
* تشریح ارتباط بین عملیات مدیریت داده و الگوهای پردازش Big Data مورد نیاز برای استفاده در برنامههای تحلیلی مقیاس بزرگ
* شناسایی زمانهایی که یک مسئله دادههای حجیم نیاز به یکپارچهسازی دادهها (Data Integration) دارد
* اجرای عملیات ساده یکپارچهسازی و پردازش دادههای حجیم در پلتفرمهای Hadoop و Spark
این دوره برای افرادی است که در حوزه علم داده (Data Science) تازهکار هستند. گذراندن دوره مقدماتی Big Data توصیه میشود. هیچ تجربه برنامهنویسی قبلی مورد نیاز نیست، اگرچه توانایی نصب برنامهها و استفاده از ماشین مجازی (Virtual Machine) برای تکمیل تکالیف عملی ضروری است. برای جزئیات کامل سختافزاری و نرمافزاری به الزامات فنی تخصص مراجعه کنید.
الزامات سختافزاری:
(الف) پردازنده چهار هستهای (پشتیبانی از VT-x یا AMD-V توصیه میشود)، ۶۴ بیتی؛ (ب) ۸ گیگابایت رم؛ (ج) ۲۰ گیگابایت فضای خالی دیسک. نحوه یافتن اطلاعات سختافزاری: (ویندوز): باز کردن System با کلیک روی دکمه Start، راستکلیک روی Computer و سپس کلیک روی Properties؛ (مک): باز کردن Overview با کلیک روی منوی Apple و سپس کلیک روی About This Mac. اکثر کامپیوترهایی با ۸ گیگابایت رم که در ۳ سال اخیر خریداری شدهاند، حداقل شرایط را دارند. شما به یک اتصال اینترنت پرسرعت نیاز دارید زیرا فایلهایی تا حجم ۴ گیگابایت را دانلود خواهید کرد.
الزامات نرمافزاری:
این دوره بر چندین ابزار نرمافزاری متنباز از جمله Apache Hadoop متکی است. تمام نرمافزارهای مورد نیاز را میتوان به صورت رایگان دانلود و نصب کرد. الزامات نرمافزاری عبارتند از: ویندوز ۷ به بالا، مک OS X 10.10 به بالا، اوبونتو 14.04 به بالا یا CentOS 6 به بالا و VirtualBox 5 به بالا.
سرفصل ها و درس ها
خوشآمدگویی به دوره یکپارچهسازی و پردازش دادههای حجیم
Welcome to Big Data Integration and Processing
محتوای این دوره چیست؟
What is in this Course?
خلاصهای از مدلسازی و مدیریت دادههای حجیم
Summary of Big Data Modeling and Management
چرا پردازش دادههای حجیم متفاوت است؟
Why is Big Data Processing Different?
بازیابی دادههای حجیم (بخش اول)
Retrieving Big Data (Part 1)
بازیابی داده چیست؟ بخش اول
What is Data Retrieval? Part 1
بازیابی داده چیست؟ بخش دوم
What is Data Retrieval? Part 2
پرسوجو (Query) از دو رابطه
Querying Two Relations
زیرپرسوجوها (Subqueries)
Subqueries
پرسوجوی دادههای رابطهای با Postgres
Querying Relational Data with Postgres
بازیابی دادههای حجیم (بخش دوم)
Retrieving Big Data (Part 2)
پرسوجوی دادههای JSON با MongoDB
Querying JSON Data with MongoDB
توابع تجمیعی (Aggregation Functions)
Aggregation Functions
پرسوجوی Aerospike
Querying Aerospike
پرسوجوی اسناد در MongoDB
Querying Documents in MongoDB
بررسی دیتافریمهای Pandas
Exploring Pandas DataFrames
یکپارچهسازی دادههای حجیم
Big Data Integration
نمای کلی یکپارچهسازی اطلاعات
Overview of Information Integration
سناریوی یکپارچهسازی دادهها
A Data Integration Scenario
یکپارچهسازی برای تحلیل مشتریان چندکاناله
Integration for Multichannel Customer Analytics
مدیریت و پردازش دادههای حجیم با Splunk و Datameer
Big Data Management and Processing Using Splunk and Datameer
چرا Splunk؟
Why Splunk?
اتصال خودروها با OpenXC فورد و Splunk
Connected Cars with Ford's OpenXC and Splunk
مدیریت و پردازش دادههای حجیم با استفاده از Datameer
Big Data Management and Processing using Datameer
نصب Splunk Enterprise روی ویندوز
Installing Splunk Enterprise on Windows
نصب Splunk Enterprise روی لینوکس
Installing Splunk Enterprise on Linux
بررسی پرسوجوهای Splunk
Exploring Splunk Queries
اختیاری: ایجاد گزارشهای Pivot در Splunk
Optional: Creating Pivot Reports in Splunk
پردازش دادههای حجیم
Processing Big Data
خط لولههای پردازش دادههای حجیم (Processing Pipelines)
Big Data Processing Pipelines
برخی عملیات پردازشی سطح بالا در خط لولههای داده
Some High-Level Processing Operations in Big Data Pipelines
عملیات تجمیعی در خط لولههای دادههای حجیم
Aggregation Operations in Big Data Pipelines
عملیات تحلیلی رایج در خط لولههای دادههای حجیم
Typical Analytical Operations in Big Data Pipelines
نمای کلی سیستمهای پردازش دادههای حجیم
Overview of Big Data Processing Systems
لایه یکپارچهسازی و پردازش
The Integration and Processing Layer
آشنایی با Apache Spark
Introduction to Apache Spark
شروع کار با Spark
Getting Started with Spark
شمارش کلمات (WordCount) در Spark
WordCount in Spark
تحلیل دادههای حجیم با استفاده از Spark
Big Data Analytics using Spark
هسته Spark: برنامهنویسی در Spark با استفاده از RDDها در خط لوله
Spark Core: Programming In Spark using RDDs in Pipelines
نمایش نظرات