آپاچی آیسبرگ: دوره جامع و عملی (آموزش گام به گام) - آخرین آپدیت
دانلود Apache Iceberg: The Complete Masterclass (Hands-On)
کد تخفیف: ICEBERG2
به دوره جامع و عملی "Apache Iceberg: دوره جامع عملیاتی شما" خوش آمدید! این جامعترین دوره عملی است که برای کمک به شما در تسلط بر Apache Iceberg و ساخت کارآمد و مؤثر دریاچههای داده مدرن طراحی شده است!
Apache Iceberg چیست؟ آموزش جامع و عملی
Apache Iceberg یک فرمت جدولی باز و انقلابی است که نحوه مدیریت مجموعه داده های عظیم را در سازمان ها متحول می کند. این فرمت برای حل چالشهای کلان داده، از جمله تکامل اسکیما، پارتیشنبندی پنهان و سفر در زمان، بدون محدودیتها و پیچیدگیهای سیستمهای سنتی مانند Hive و حتی Delta Lake طراحی شده است. Iceberg به شما این امکان را می دهد که داده های در مقیاس پتابایت را به روشی ساده و با عملکرد بالا مدیریت کنید - و این یک مهارت حیاتی برای هر کسی است که در مهندسی داده و تجزیه و تحلیل مدرن کار می کند.
یادگیری Apache Iceberg از صفر تا صد
در این دوره، شما از ابتدا شروع خواهید کرد و هر آنچه را که برای حرفه ای شدن در Apache Iceberg نیاز دارید، خواهید آموخت، چه یک مبتدی باشید و چه یک مهندس داده با تجربه که به دنبال ارتقای مهارت های خود هستید. از طریق نمایشهای عملی گام به گام، نحوه ایجاد جداول Iceberg، انجام تکامل اسکیما بدون بازنویسی دادهها، استفاده از پارتیشنبندی پنهان برای پرسوجوهای سریعتر، استفاده از سفر در زمان برای دسترسی به عکسهای فوری دادههای تاریخی و مدیریت کارآمد دادهها با ویژگیهایی مانند فشردگی و انقضای عکس فوری را خواهید آموخت.
کاربردهای عملی Apache Iceberg
ما بر روی کاربردهای عملی دنیای واقعی تمرکز می کنیم و به شما نشان می دهیم که چگونه Iceberg با Spark، SQL و سیستم های ذخیره سازی ابری مانند S3 یا MinIO یکپارچه می شود. در پایان این دوره، شما اطمینان خواهید داشت که از Apache Iceberg برای ساخت دریاچه های داده قوی، مقیاس پذیر و مقاوم در برابر آینده استفاده کنید.
آموزش جامع Apache Iceberg برای ساخت Data Lakehouse
اگر آماده تسلط بر یکی از قدرتمندترین فناوریهای دریاچه داده موجود هستید - این دوره برای شماست!
آنچه در این دوره Apache Iceberg خواهید آموخت:
- آشنایی با معماری Apache Iceberg و نحوه مدیریت داده ها در پشت صحنه با استفاده از اسنپ شات ها و فراداده ها.
- نحوه ساخت دریاچه های داده مقیاس پذیر با استفاده از ویژگی هایی مانند تکامل اسکیما، پارتیشن بندی پنهان و سفر در زمان.
- انجام سفر در زمان و بازگشت به حالت های قبلی با استفاده از سیستم نسخه برداری مبتنی بر اسنپ شات Iceberg - یادگیری نحوه پرس و جو از داده های تاریخی، بازگشت به حالت های قبلی.
- انجام تمام عملیات جدول Iceberg از طریق SQL - از جمله ایجاد، درج، به روز رسانی داده ها و پرس و جو از جداول Iceberg به طور مستقیم از Spark SQL.
- مقایسه Iceberg با Delta Lake و Hive - درک اینکه Iceberg در کجا برجسته می شود و چگونه انتخاب درستی برای نیازهای data lakehouse خود داشته باشید.
پیش نیازهای این دوره:
آشنایی با نوشتن پرس و جوهای SQL ساده مانند SELECT، INSERT و UPDATE. نیازی به دانش SQL پیشرفته نیست.
توجه: شما نیازی به تجربه قبلی با Apache Iceberg، Delta Lake یا Hive ندارید. این دوره به گونه ای طراحی شده است که شما را از صفر به یک متخصص تبدیل کند - حتی اگر در فناوری های دریاچه داده تازه کار هستید!
مقدمه Introduction
-
مقدمه Introduction
-
مروری بر Apache Iceberg - تئوری Apache Iceberg Overview - Theory
✅ نصب - ایمیج داکر ✅ Installation - Docker Image
-
نصب - ایمیج داکر شامل Spark، Iceberg، فضای ذخیره سازی S3، Jupyter Notebook Installation - Docker Image ft. Spark,Iceberg, S3 Storage, Jupyter Notebook
معماری فنی ICEBERG ICEBERG's Technical Architecture
-
بخش 1: معماری فنی - یک بررسی عملی Part 1: Technical Architecture - A Practical Walkthrough
-
بخش 2: معماری فنی - یک بررسی عملی Part 2: Technical Architecture - A Practical Walkthrough
PySpark - دریافت داده با Spark PySpark - Data Ingestion with Spark
-
بارگیری JSON - نحوه پارتیشن بندی مستقیم فیلدهای JSON تودرتو Load JSON - How to Partition Nested JSON Fields Directly
پارتیشن بندی پنهان Hidden Partitioning
-
پارتیشن بندی پنهان - یک بررسی عمیق عملی Hidden Partitioning - A Practical Deep Dive
بهینه سازی جداول Iceberg Optimizing Iceberg Tables
-
حذف فایل های غیرضروری - روش Iceberg File Pruning - Iceberg Way
-
نحوه بازنویسی و فشرده سازی فایل ها در Apache Iceberg How to Rewrite and Compact Files in Apache Iceberg
⏳ سفر در زمان در Iceberg ⏳ Time Travel in Iceberg
-
سفر در زمان - درک اهمیت Snapshots Time Travel - Understanding the importance of Snapshots
تکامل طرحواره در Iceberg Schema Evolution in Iceberg
-
تکامل طرحواره - یک رویکرد مبتنی بر پرس و جو Schema Evolution - A Query-Driven Approach
پروژه Nessie - کنترل نسخه برای Data Lakes Project Nessie - Version Control for Data Lakes
-
Nessie چیست؟ What is Nessie?
-
راه اندازی داکر: Spark-Iceberg-MinIO-Nessie Docker Setup: Spark-Iceberg -MinIO-Nessie
پروژه Nessie - PyNessie Project Nessie - PyNessie
-
PyNessie - ایجاد و تعویض شاخه ها PyNessie - Create and Switch Branches
-
مسائل و راه حل های PyNessie PyNessie Issues and Workarounds
-
PyNessie - ادغام و حذف شاخه ها و تگ ها PyNessie - Merge and Drop Branches & Tags
پروژه Nessie - SQL Project Nessie - SQL
-
SQL - ایجاد و تعویض شاخه ها SQL - Create and Switch Branches
-
SQL - ادغام و حذف شاخه ها در Nessie SQL - Merge and Drop Branches in Nessie
-
SQL - ایجاد و حذف تگ ها در Nessie SQL - Create and Drop Tags in Nessie
https://donyad.com/d/a2532f
Freeflow Code
آموزش مهندسی داده و آموزش CRM
نمایش نظرات