آموزش Apache Hive: طراحی، کوئری و بهینه‌سازی داده‌های عظیم (Big Data) - آخرین آپدیت

دانلود Apache Hive: Design, Query & Optimize Big Data

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: فراگیران در این دوره قادر خواهند بود دیتابیس‌ها و جداول Hive را طراحی کنند، پارتیشن‌بندی (Partitioning) و باکتیینگ (Bucketing) را پیاده‌سازی نمایند، عملیات Join را اجرا کنند، SerDe را پیکربندی کرده، UDFهای سفارشی بسازند و کوئری‌ها را برای پردازش بهینه داده‌های عظیم بهینه‌سازی کنند. در پایان دوره، شرکت‌کنندگان نه تنها مفاهیم بنیادی Hive را درک می‌کنند، بلکه عملیات پیشرفته‌ای مانند ایندکس‌گذاری، ایجاد Viewها، ابعاد با تغییرات کند (SCDs)، مدیریت داده‌های XML، جایگزینی متغیرها و تنظیمات مربوط به بهبود عملکرد (Performance Tuning) را به کار می‌گیرند. این دوره یک مسیر گام‌به‌گام از سطح مبتدی تا پیشرفته را ارائه می‌دهد و تضمین می‌کند که دانشجو زیربنای محکمی در HiveQL کسب کرده و با سناریوهای واقعی که بازتاب‌دهنده چالش‌های داده‌های عظیم در سازمان‌هاست، آشنا شود. برخلاف دوره‌های عمومی SQL، این برنامه به‌طور خاص برای Hive در اکوسیستم Hadoop طراحی شده و بر مدل schema-on-read، اجرای توزیع‌شده کوئری‌ها و یکپارچگی با قابلیت مقیاس‌پذیری هادوپ تأکید دارد. کارآموزان تجربه عملی در بهینه‌سازی کوئری‌ها، فشرده‌سازی و معماری Hive را کسب خواهند کرد که آن‌ها را در مدیریت مجموعه‌داده‌های در مقیاس بزرگ توانمند می‌سازد. پس از اتمام دوره، آن‌ها قادر خواهند بود داده‌های عظیم را به‌طور موثر تحلیل، تبدیل و بهینه‌سازی کنند و برای مسیرهای شغلی در مهندسی داده، تحلیلگری و مدیریت اکوسیستم Hadoop آماده شوند.

سرفصل ها و درس ها

مبانی Hive Hive Fundamentals

  • آشنایی با HIVE Introduction to HIVE

  • دیتابیس HIVE HIVE Data Base

  • دستور بارگذاری داده‌ها (Load Data) Load Data Command

  • نحوه جایگزینی ستون‌ها How to Replace Column

  • جداول خارجی (External Table) External Table

  • متااستور HIVE (Metastore) HIVE Metastore

  • پارتیشن در Hive چیست؟ What is Hive Partition

  • ایجاد جدول پارتیشن‌بندی شده Creating Partition Table

  • دستور Insert Overwrite Table Insert Overwrite Table

  • فعال‌سازی پارتیشن پویا (Dynamic Partition True) Dynamic Partition True

  • باکت‌بندی در Hive (Bucketing) Hive Bucketing

  • تجزیه مجموعه‌داده‌ها Decomposing Data Sets

  • اتصالات در Hive (Joins) Hive Joins

اتصالات (Joins)، SerDe و UDFها Joins, SerDe, and UDFs

  • ادامه مبحث اتصالات Hive Hive Joins Continue

  • اتصال نامتقارن (Skew Join) Skew Join

  • Serde چیست؟ What is Serde

  • کاربرد Serde در Hive Serde in Hive

  • توابع کاربر سفارشی (Hive UDF) Hive UDF

  • ادامه مبحث Hive UDF Hive UDF Continues

  • سایر توابع Hive UDF More Hive UDF

  • تابع Maxcale Maxcale Function

  • مثال‌های کاربردی Hive Hive Example Use Case

  • مقدمه‌ای بر مفاهیم Hive و نمایش عملی Introduction to Hive Concepts and Hands-on Demonstration

  • جداول داخلی در مقابل جداول خارجی Internal Table and External Table

  • وارد کردن داده‌ها به جداول Inserting Data Into Tables

عملیات Hive و پارتیشن‌بندی Hive Operations and Partitioning

  • توابع تاریخ و ریاضی Date and Mathematical Functions

  • دستورات شرطی Conditional Statements

  • Explode و Lateral View Explode and Lateral View

  • مرتب‌سازی (Sorting) Sorting

  • اتصال (Join) Join

  • اتصال Map (Map Join) Map Join

  • پارتیشن‌بندی استاتیک و پویا Static and Dynamic Partitioning

  • توضیحات بیشتر درباره پارتیشن‌بندی پویا More on Dynamic Partitioning

  • دستور Alter Alter Command

  • دستور MSCK MSCK Command

  • باکت‌بندی (Bucketing) Bucketing

  • نمونه‌برداری از جدول (Table Sampling) Table Sampling

ویوها (Views)، ایندکس‌گذاری و متغیرها Views, Indexing, and Variables

  • آرشیو کردن Archiving

  • رتبه‌بندی‌ها (Ranks) Ranks

  • ایجاد ویوها (Views) Creating Views

  • مزایای ویوها و تغییر آن‌ها Advantages of views and Altering Views

  • ایندکس‌گذاری چیست؟ What is Indexing

  • زمان اجرای ایندکس‌های Compact و Bitmap Compact and Bitmap Index Running Time

  • اجرای دستورات Hive در Bash Shell Hive Commands in Bash Shell

  • متغیرهای Hive و Hiveconf Hive Variables - Hiveconf

  • استفاده از Hiveconf در Bash Shell Hive Variables -Hiveconf in Bash Shell

  • پیکربندی متغیر Hive Var Configuring a Hive Var Variable

  • جایگزینی متغیرها (Variable Substitution) Variable Substitution

  • شمارش کلمات (Word Count) Word Count

معماری Hive و ویژگی‌های پیشرفته Hive Architecture and Advanced Features

  • معماری Hive Hive Architecture

  • موازاة (Parallelism) در Hive Parallelism in Hive

  • ویژگی‌های جدول در Hive Table Properties in Hive

  • ویژگی‌های فرمت Null Null Format Properties

  • ادامه ویژگی‌های فرمت Null Null Format Properties Continues

  • دستورات Purge در Hive Purge Commands in Hives

  • ابعاد با تغییرات کند (SCD) Slowing Changing Dimension

  • پیاده‌سازی SCD Implement the SCD

  • مثالی از SCD Example of the SCD

  • نحوه بارگذاری داده‌های XML در Hive How to Load XML Data in Hive

  • ادامه بارگذاری داده‌های XML در Hive How to Load XML Data in Hive Continue

  • گزینه‌های No Drop و Offline در Hive No Drop and Offline in Hive

  • جداول تغییرناپذیر (Immutable Table) Immutable Table

  • نحوه ایجاد فایل RC در Hive How to Create Hive RC File

  • مدیریت جداول متعدد Multiple Tables

  • ادغام فایل‌های ایجاد شده و تابع rLike Merging Hive Created Files and Function rLike

  • تنظیمات مختلف پیکربندی در Hive Various Configuration Settings in Hive

  • ادامه تنظیمات پیکربندی Hive Various Configuration Settings in Hive Continues

  • فشرده‌سازی فایل‌های مختلف در Hive Compressing Various Files in Hive

  • حالت‌های (Modes) مختلف در Hive Different Modes in Hive

  • فشرده‌سازی فایل در Hive File Compression in Hive

  • انواع مودها در Hive Type of Mode in Hive

  • مقایسه جداول داخلی و خارجی Comparison of Internal and External Table

نمایش نظرات

آموزش Apache Hive: طراحی، کوئری و بهینه‌سازی داده‌های عظیم (Big Data)
جزییات دوره
14h 4m
72
(آخرین آپدیت)
76
- از 5
دارد
دارد
دارد
Chris Croft
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Chris Croft Chris Croft

مربی مدیریت، سخنران، نویسنده