آموزش ذخیره‌سازی ستونی و بهینه‌سازی کوئری‌ها - آخرین آپدیت

دانلود Columnar Storage and Query Optimization

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: هر متخصص داده‌ای کوئری‌های SQL می‌نویسد، اما تعداد کمی درک می‌کنند که چرا برخی کوئری‌ها در داده‌های یکسان، چند ثانیه و برخی دیگر چندین دقیقه زمان می‌برند. پاسخ در لایه‌های زیرین نهفته است: در نحوه ذخیره‌سازی داده‌ها، نحوه خواندن این داده‌ها توسط موتورهای کوئری و اینکه چگونه فرمت‌های ستونی مانند Parquet بازی را برای عملکرد تحلیل داده‌ها تغییر می‌دهند. این دوره این درک عمیق را به شما می‌دهد. شما از مفاهیم بنیادی شروع خواهید کرد؛ اینکه کامپیوترها چگونه داده‌ها را ذخیره و بازخوانی می‌کنند، عملیات SQL چگونه به صورت داخلی به داده‌ها دسترسی دارند و چه چیزی ذخیره‌سازی ردیف-محور را از ذخیره‌سازی ستون-محور متمایز می‌کند. از آنجا، فرمت‌های ستونی مدرن (Parquet, ORC) را بررسی کرده، با DuckDB به عنوان موتور اصلی کوئری‌های تحلیلی کار می‌کنید و یاد می‌گیرید که طرح‌های اجرا (Execution Plans) را بخوانید تا دقیقاً تشخیص دهید کوئری‌ها در کجا کند می‌شوند. هر مفهوم از طریق دموهای عملی تقویت می‌شود که می‌توانید آن‌ها را روی سیستم خود پیاده‌سازی کنید. در پایان این دوره، شما قادر خواهید بود: - نحوه ذخیره داده‌ها توسط کامپیوتر را توضیح دهید، تفاوت بین ذخیره‌سازی ردیف-محور و ستون-محور را تشخیص دهید و شناسایی کنید که چه زمانی فرمت‌های ستونی مزیت عملکردی ایجاد می‌کنند. - با فرمت‌های فایل Parquet و ORC کار کنید، آن‌ها را با CSV مقایسه کنید و داده‌های ستونی را با استفاده از DuckDB کوئری بزنید. - طرح‌های اجرای کوئری‌های SQL را با استفاده از دستور EXPLAIN بخوانید و تفسیر کنید و گلوگاه‌های عملکردی در حجم‌های کاری تحلیلی را عیب‌یابی کنید. - تکنیک‌های بهینه‌سازی کوئری در دنیای واقعی، از جمله Column Pruning، Filter Pushdown، پارتیشن‌بندی، Data Skipping و مقایسه عملکرد قبل و بعد از بهینه‌سازی را به کار بگیرید. این دوره برای مخاطبان متنوعی طراحی شده است: تحلیلگران داده‌ای که می‌خواهند بدانند چرا کوئری‌هایشان کند است، مهندسان داده تازه‌کار که به دنبال کسب دانش بنیادی ذخیره‌سازی هستند، متخصصان BI که به سمت مهندسی عملکرد یا نقش‌های پلتفرم حرکت می‌کنند و توسعه‌دهندگان SQL که می‌خواهند فراتر از نوشتن کوئری، نحوه اجرای داخلی آن‌ها را درک کنند. آشنایی ابتدایی با کامپیوتر مفید است. هیچ تجربه قبلی در SQL مورد نیاز نیست، اگرچه آشنایی با دستورات پایه به شما کمک می‌کند سریع‌تر پیش بروید. حدس زدن درباره علت کندی کوئری‌ها را متوقف کنید. درک ذخیره‌سازی، اجرا و بهینه‌سازی را آغاز کنید و مهارت‌های بنیادی را که هر تیم داده مدرن به آن نیاز دارد، بسازید.

سرفصل ها و درس ها

مبانی ذخیره‌سازی داده‌ها و SQL برای تحلیل داده‌ها Foundations of Data Storage and SQL for Analytics

  • معرفی دوره Course Introduction

  • بررسی کلی داده‌های هسته و ساختار جدولی Core Data and Tabular Structure Overview

  • مبانی ذخیره‌سازی و سازماندهی داده‌ها Foundations of Data Storage and Organization

  • کار عملی: مشاهده داده‌های CSV با استفاده از ابزارهای صفحه‌گسترده Hands-On: Viewing CSV Data Using Spreadsheet Tools

  • بررسی هدف و کاربردهای SQL Exploring the Purpose and use of SQL

  • مکانیزم‌های داخلی بازیابی داده‌های SQL Internal Mechanisms of SQL Data Retrieval

  • کار عملی: اجرای کوئری‌های پایه SQL Hands-On: Running Basic SQL Queries

  • دستورات SQL برای ایجاد، خواندن، به‌روزرسانی و حذف داده‌ها (CRUD) SQL Commands for Creating, Reading, Updating and Deleting Data

  • مقایسه حجم‌های کاری Read-Heavy و Write-Heavy Comparing Read Heavy and Write Heavy Workloads

  • کار عملی: عملیات CRUD در SQL Hands-On : SQL CRUD Operation

  • درک ذخیره‌سازی ردیف-محور در مقابل ستون-محور Understanding Row Based and Column Based Storage

  • کار عملی: ارزیابی رویکردهای ذخیره‌سازی ردیفی و ستونی Hands-On: Evaluating Row and Column Storage Approaches

  • کار عملی: تاثیر مدل‌های ذخیره‌سازی بر اجرای کوئری Hands-On: How Storage Models Affect Query Execution

ذخیره‌سازی ستونی در سیستم‌های صنعتی مدرن Columnar Storage in Modern Industry Systems

  • ذخیره‌سازی ستونی در سیستم‌های داده مدرن Columnar storage in Modern Data Systems

  • فرمت‌های ذخیره‌سازی ستونی: Parquet و ORC Columnar Storage Formats: Parquet and ORC

  • سیستم‌های ستونی در مقابل معماری‌های ذخیره‌سازی فایل-محور Columnar Systems vs. File Based Storage Architectures

  • کار عملی: بررسی فایل‌های ستونی Parquet با استفاده از موتور کوئری Hands-On : Exploring Columnar Parquet Files Using Query Engine

  • کار عملی: مقایسه اندازه فایل CSV در مقابل فایل ستونی Hands-On : Comparing CSV vs. Columnar File Size

  • نقش ذخیره‌سازی ستونی در انبارهای داده مدرن (Data Warehouses) Role of Columnar Storage in Modern Data Warehouses

  • سیستم‌های ستونی مدرن در متن-باز و ابری Modern Columnar Systems in Open Source and Cloud

  • کار عملی: کوئری زدن داده‌ها در سیستم‌های ذخیره‌سازی ستونی Hands-On: Querying Data in Columnar Storage Systems

  • تاثیر فشرده‌سازی بر عملکرد کوئری Impact of Compression on Query Performance

  • تکنیک‌های Data Skipping، متاداده و پارتیشن‌بندی Data Skipping , Metadata, and Partitioning Techniques

  • کار عملی: نقش فیلترها در دسترسی بهینه به داده‌ها Hands-On: The Role of Filters in Efficient Data Access

  • کار عملی: مقایسه کوئری‌های پارتیشن‌بندی شده و نشده Hands-On: Partitioned vs. Non-Partitioned Queries

موتورهای کوئری و سیستم‌های پردازش SQL Query Engines and SQL Processing Systems

  • نقش موتور کوئری Role of Query Engine

  • کار عملی: اجرای کوئری‌های SQL در DuckDB Hands-On: Running SQL Queries in DuckDB

  • چرخه حیات اجرای کوئری‌های SQL Execution Lifecycle of SQL Queries

  • طرح‌های اجرای کوئری (Query Plans) Query Plans

  • کار عملی: تحلیل جریان اجرای کوئری Hands-On: Analyzing Query Execution Flow

  • کار عملی: تفسیر طرح‌های اجرای کوئری Hands-On: Interpreting Query Execution Plans

  • تفاوت‌های عملکردی در موتورهای مختلف کوئری Performance Differences Across Query Engines

  • کار عملی: تحلیل فرمت ذخیره‌سازی و عملکرد کوئری Hands-On: Storage Format and Query Performance Analysis

  • کار عملی: مقایسه کوئری‌های SQL در موتورهای مختلف Hands-On: Cross-Engine SQL Query Comparison

مفاهیم بهینه‌سازی کوئری و بهترین روش‌ها Query Optimization Concepts and Best Practices

  • بهینه‌سازی عملکرد کوئری‌های SQL Optimizing SQL Query Performance

  • تاثیر عملکرد کوئری بر عملیات تجاری Impact of Query Performance on Business Operations

  • کار عملی: ارزیابی ناکارآمدی‌های کوئری Hands-On: Evaluating Query Inefficiencies

  • استراتژی‌های بهینه‌سازی عملکرد برای دیتابیس‌های SQL ستونی Performance Optimization Strategies for Columnar SQL Databases

  • کار عملی: مقایسه کوئری‌های SQL بد در مقابل کوئری‌های بهینه Hands-On: Bad SQL vs Optimized SQL Queries

  • کار عملی: نقش فیلترها در دسترسی بهینه به داده‌ها Hands-On: The Role of Filters in Efficient Data Acces

  • خط لوله بهینه‌سازی کوئری: یک نگاه جامع از ابتدا تا انتها Query Optimization Pipeline: An End to End Perspective

  • کاربرد واقعی تکنیک‌های بهینه‌سازی تحلیلی Real World Application of Analytics Optimization Techniques

  • کار عملی: مقایسه عملکرد کوئری قبل و بعد از بهینه‌سازی Hands-On: Comparing Query Performance Before and After Optimization

ارزیابی نهایی و جمع‌بندی دوره Course Wrap-Up Assessment

  • جمع‌بندی و خلاصه دوره Course Summary

نمایش نظرات

آموزش ذخیره‌سازی ستونی و بهینه‌سازی کوئری‌ها
جزییات دوره
10h 38m
44
(آخرین آپدیت)
16
- از 5
دارد
دارد
دارد
Chris Croft
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Chris Croft Chris Croft

مربی مدیریت، سخنران، نویسنده