آموزش علوم داده و گردش کار Hadoop در مقیاس با Scalding

سرفصل ها و درس ها

مقدمه ای بر Scalding Introduction to Scalding

• مقدمه Introduction

• چرا پیش نمایش دوره Scalding Why Scalding & Course Preview

• تمرکز اصلی دوره Course Outline & Focus

• فناوری های تحت پوشش Technologies Covered

• آبشار Cascading

• Scalding در مقابل Pig and Hive Scalding vs. Pig and Hive

• API های Scalding Scalding APIs

• اسکالا (نقشه) Scala (map)

• سوزاندن (نقشه) Scalding (map)

• برنامه های توزیع شده Distributed Applications

• خط لوله ساده Simple Pipeline

• تحولات لوله Pipe Transformations

• عبور از استدلال ها Passing Arguments

• منابع سوزاندن Scalding Sources

• نصب Scala IDE Installing the Scala IDE

• پیکربندی Eclipse Maven Configuring Eclipse & Maven

• خلاصه Summary

ساخت برنامه های کاربردی با Scalding Building Applications With Scalding

• مقدمه Introduction

• سوزاندن REPL Scalding REPL

• کاربرگ Eclipse Scala With Scalding Eclipse Scala Worksheet With Scalding

• تعداد کلمه Word Count

• FlatMap FlatMap

• اتحاد. اتصال Union

• مجموعه داده RITA - کاوش داده ها RITA Dataset - Exploring Data

• عملیات گروهی Group Operations

• به عملیات بپیوندید Join Operations

• Skew می پیوندد Skew Joins

• پیوستن به لوله ها Joining Pipes

• عملیات کاهش Reduction Operations

• Fold و FoldLeft Fold and FoldLeft

• FoldLeft در عمل FoldLeft in Practice

• خلاصه Summary

سوزاندن در Hadoop Scalding on Hadoop

• مقدمه Introduction

• در حال اجرا در Hadoop Running on Hadoop

• منابع ورودی چندگانه Multiple Input Sources

• تعیین توالی مشاغل Sequencing Jobs

• منابع ورودی به موقع Timed Input Sources

• تجسم گردش کار برنامه با فایلهای نقطه ای Visualizing Application Workflow With Dot Files

• Driven - مدیریت نظارت بر عملکرد برنامه Driven - Application Performance Monitoring & Management

• خلاصه Summary

علم داده با مقیاس گذاری Data Science With Scalding

• مقدمه و طرح کلی Introduction and Outline

• مونوئیدها Monoids

• صف های اولویت دار Priority Queues

• فیلترهای بلوم Bloom Filters

• فیلتر بلوم می پیوندد Bloom Filter Joins

• BF با Scalding می پیوندد BF Joins With Scalding

• لوله های پارتیشن بندی Partitioning Pipes

• HyperLogLog HyperLogLog

• HyperLogLog با Scalding HyperLogLog With Scalding

• منابع References

• خلاصه Summary