آموزش Apache Hive برای مهندسان داده (کاربردی) با ۲ پروژه - آخرین آپدیت

هدیو آپاچی: مخزن داده مدرن برای مهندسان داده

چرا هدیو آپاچی برای مهندسان داده ضروری است؟

هدف این دوره آشنایی شما با اصول و جزئیات هدیو آپاچی است.

از صفر تا صد هدیو آپاچی را بیاموزید (از سطح مقدماتی تا پیشرفته).

تجربه عملی با هدیو آپاچی و موارد استفاده واقعی

نرم‌افزار انبار داده Apache Hive، خواندن، نوشتن و مدیریت مجموعه داده‌های بزرگ که در ذخیره‌سازی توزیع‌شده قرار دارند را با استفاده از SQL تسهیل می‌کند. ساختار را می‌توان بر روی داده‌هایی که از قبل در حافظه وجود دارند، اعمال کرد. ابزار خط فرمان و درایور JDBC برای اتصال کاربران به Hive ارائه شده است.

آیا می‌خواهید پتانسیل کامل کلان داده را آزاد کنید و در دنیای امروز که داده محور است، مزیت رقابتی کسب کنید؟ با Apache Hive، می‌توانید مجموعه داده‌های عظیم را با استفاده از پرس‌وجوهای ساده شبیه SQL بدون نیاز به کدنویسی پیشرفته، به بینش‌های تجاری عملی تبدیل کنید. Hive به عنوان یکی از قدرتمندترین ابزارها در اکوسیستم Hadoop، کلید مدیریت، تجزیه و تحلیل و بهینه‌سازی انبارهای داده در مقیاس بزرگ است.

این دوره طراحی شده است تا شما را از یک مبتدی به یک کارشناس Apache Hive تبدیل کند و شما را با مهارت‌های لازم برای بهره‌برداری از کلان داده برای تصمیم‌گیری بهتر و رشد استراتژیک مجهز کند. از طریق پروژه‌های عملی و دنیای واقعی، همه چیز را از راه‌اندازی محیط‌های Hive تا نوشتن پرس‌وجوهای با عملکرد بالا، ساخت انبار داده و تولید گزارش‌های بصیرت‌بخش که می‌تواند استراتژی کسب و کار شما را تقویت کند، خواهید آموخت.

یکی از با ارزش‌ترین مهارت‌های فناوری، توانایی تجزیه و تحلیل مجموعه‌های عظیم داده است و این دوره به طور خاص برای آشنا کردن شما با یکی از بهترین فناوری‌ها برای این کار، یعنی Apache Hive طراحی شده است! شرکت‌های برتر فناوری مانند Google، Facebook، Netflix، Airbnb، Amazon، NASA و بسیاری دیگر از Apache Hive استفاده می‌کنند!

Hive که بر پایه Apache Hadoop ساخته شده است، ویژگی‌های زیر را ارائه می‌دهد:

• ابزارهایی برای دسترسی آسان به داده‌ها از طریق SQL، که وظایف انبار داده مانند استخراج/تبدیل/بارگذاری (ETL)، گزارش‌دهی و تجزیه و تحلیل داده‌ها را امکان‌پذیر می‌سازد.
• مکانیزمی برای اعمال ساختار بر انواع فرمت‌های داده
• دسترسی به فایل‌های ذخیره شده مستقیماً در Apache HDFS™ یا در سایر سیستم‌های ذخیره‌سازی داده مانند Apache HBase™
• اجرای پرس‌وجو از طریق Apache Tez™، Apache Spark™ یا MapReduce
• زبان رویه‌ای با HPL-SQL
• بازیابی پرس‌وجو در کمتر از یک ثانیه از طریق Hive LLAP، Apache YARN و Apache Slider.

Hive عملکرد استاندارد SQL را فراهم می‌کند، از جمله بسیاری از ویژگی‌های بعدی SQL:2003، SQL:2011 و SQL:2016 برای تجزیه و تحلیل. SQL Hive همچنین می‌تواند با کد کاربر از طریق توابع تعریف شده توسط کاربر (UDF)، تجمعات تعریف شده توسط کاربر (UDAF) و توابع جدول تعریف شده توسط کاربر (UDTF) گسترش یابد.

هیچ "فرمت Hive" واحدی وجود ندارد که داده‌ها باید در آن ذخیره شوند. Hive با کانکتورهای داخلی برای فایل‌های متنی مقادیر جدا شده با کاما و تب (CSV/TSV)، Apache Parquet™، Apache ORC™ و سایر فرمت‌ها عرضه می‌شود. کاربران می‌توانند Hive را با کانکتورهایی برای فرمت‌های دیگر گسترش دهند. لطفاً برای جزئیات بیشتر به File Formats و Hive SerDe در Developer Guide مراجعه کنید.

Hive برای بارهای کاری پردازش تراکنش آنلاین (OLTP) طراحی نشده است. بهترین استفاده از آن برای وظایف سنتی انبارداری داده است.

Hive برای حداکثر کردن مقیاس‌پذیری (مقیاس‌بندی با افزودن دینامیک ماشین‌های بیشتر به کلاستر Hadoop)، عملکرد، افزونگی، تحمل خطا و کوپلینگ ضعیف با فرمت‌های ورودی خود طراحی شده است.

آنچه خواهیم آموخت:

1. مروری بر Apache Hive
2. معماری Apache Hive
3. نصب و پیکربندی
4. نحوه جریان پرس‌وجوی Hive در سیستم.
5. ویژگی‌ها، محدودیت‌ها و مدل داده Hive
6. انواع داده، زبان تعریف داده (DDL) و زبان دستکاری داده (DML)
7. نما (View)، پارتیشن (Partition) و باکت (Bucketing) در Hive
8. توابع و عملگرهای داخلی
9. Join در Apache Hive
10. سوالات و پاسخ‌های پرتکرار مصاحبه
11. 2 پروژه واقعی

هدف من ارائه ابزارهای عملی است که در آینده برای شما مفید خواهد بود. در ضمن، با یک فرصت استفاده واقعی.

من واقعاً از حضور شما خوشحالم، امیدوارم تا پایان دوره با من همراه باشید. دنبال کردن دوره بسیار ساده و آسان است. من مرحله به مرحله هر خط کد را به شما نشان خواهم داد و توضیح خواهم داد که چه کاری انجام می‌دهد و چرا آن را انجام می‌دهیم. بنابراین لطفا من از شما دعوت می‌کنم که این دوره را دنبال کنید و تمام سخنرانی‌ها را مشاهده کنید. بسیار خب، شما را به زودی در دوره خواهم دید.

آنچه به دست خواهید آورد:

• تسلط بر انبار داده: بیاموزید چگونه با استفاده از Hive، مجموعه داده‌های بزرگ را به راحتی ذخیره، مدیریت و تجزیه و تحلیل کنید و قابلیت‌های هوش تجاری خود را متحول سازید.

• تحلیل داده مقیاس‌پذیر: کشف کنید چگونه پرس‌وجوهای خود را بهینه کرده و عملکرد را بهبود بخشید، و داده‌های خام را به سرعت و به طور مؤثر به بینش‌های استراتژیک تبدیل کنید.

• پروژه‌های دنیای واقعی: مهارت‌های خود را در پروژه‌های عملی به کار بگیرید و تکنیک‌های لازم برای حل چالش‌های پیچیده داده و هدایت رشد کسب و کار را بیاموزید.

چه کسانی باید ثبت نام کنند:

این دوره برای موارد زیر عالی است:

• تحلیلگران داده و متخصصان هوش تجاری که به دنبال ارتقاء مهارت‌ها و ساده‌سازی گردش کار تجزیه و تحلیل داده‌های خود هستند.

• مهندسان و توسعه‌دهندگان داده که مشتاقند تخصص خود را در کلان داده با استفاده از Apache Hive افزایش دهند.

• کارآفرینان و استارتاپ‌های آگاه به فناوری که می‌خواهند از کلان داده برای اصلاح استراتژی‌ها و افزایش سودآوری خود استفاده کنند.

این فرصت را برای تبدیل شدن به یک کارشناس Apache Hive و تحول در نحوه استفاده سازمان شما از داده‌ها از دست ندهید. همین حالا ثبت نام کنید و مهارت‌های تجزیه و تحلیل کلان داده خود را به سطوح بالاتری ارتقا دهید!