راهنمای جامع DuckDB: آموزش عملی و کاربردی - آخرین آپدیت

دانلود Mastering DuckDB: The Hands on Guide

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:

دوره آموزش SQL با DuckDB: تحلیل سریع، محلی، ابری و کارآمد

این دوره به شما کمک می‌کند تا با DuckDB، یک سیستم مدیریت پایگاه داده SQL با کارایی بالا، به تحلیل سریع و کارآمد داده‌ها بپردازید. DuckDB برای تحلیل داده‌ها در محیط‌های مختلف از جمله محلی، ابری و حتی در مرورگر طراحی شده است.

آنچه در این دوره خواهید آموخت:

  • پیاده‌سازی DuckLake برای مدیریت نسخه داده‌ها و سفر در زمان داده‌ها در سطح سازمانی.
  • اتصال یکپارچه به AWS S3، Azure و Google Cloud Storage.
  • نوشتن کوئری‌های SQL زیبا با استفاده از نام‌های مستعار و توابع لامبدا.
  • مدیریت انواع داده‌های پیچیده از جمله ساختارها، آرایه‌ها و اشیاء JSON.
  • استراتژی‌های بهینه‌سازی مصرف حافظه و سرعت پردازش هنگام کار با مجموعه‌داده‌های بزرگ.
  • پیاده‌سازی تراکنش‌های ACID برای عملیات چند جدولی قابل اعتماد.
  • تسلط بر استراتژی‌های Commit و Rollback برای پردازش داده بدون خطا.
  • پیکربندی محدودیت‌های حافظه و Threading برای عملکرد بهینه.
  • مدیریت مجموعه‌داده‌های بزرگتر از RAM با استفاده از تکنیک‌های Streaming کارآمد.
  • کار با MotherDuck: یک محیط Cloud-native (SaaS) برای DuckDB (تمرین عملی).

پیش‌نیازها:

هیچ تجربه قبلی لازم نیست! این دوره برای مبتدیان طراحی شده است. داشتن دانش اولیه از Python مفید است و من شما را گام به گام راهنمایی خواهم کرد. تنها چیزی که نیاز دارید یک کامپیوتر با اتصال به اینترنت و تمایل به یادگیری است.

توضیحات:

تسلط بر DuckDB – تحلیل سریع و سبک وزن برای گردش کار داده‌های مدرن

DuckDB یک پایگاه داده SQL OLAP مدرن و با کارایی بالا است که برای تحلیل‌های بسیار سریع طراحی شده است، در عین حال به اندازه‌ای سبک است که به طور کامل در داخل برنامه، نوت‌بوک Jupyter یا اسکریپت Python شما اجرا شود. DuckDB با تنظیمات صفر، سرورهای صفر و عملکرد نزدیک به لحظه، نحوه تعامل ما با داده‌های محلی را متحول می‌کند.

خواه یک تحلیلگر داده باشید که در حال بررسی فایل‌های CSV است، یک مهندس داده که در حال ساخت خطوط لوله ETL است، یا یک دانشمند داده که در حال اجرای آزمایش‌ها بر روی داده‌های ساختاریافته است، DuckDB در وقت، تلاش و ناامیدی شما صرفه‌جویی می‌کند. این دوره راهنمای کامل شما برای تسلط بر DuckDB از ابتدا، با تمرین‌های عملی، پروژه‌های واقعی و بینش‌های متخصص است.

آنچه خواهید آموخت

این دوره به گونه‌ای طراحی شده است که شما را از مبانی به موارد استفاده پیشرفته با DuckDB برساند. در اینجا یک نمای کلی دقیق از آنچه به دست خواهید آورد آورده شده است:

مقدمه‌ای بر DuckDB

  • DuckDB چیست و چرا محبوبیت پیدا می‌کند؟
  • OLAP در مقابل OLTP – و DuckDB در کجا قرار می‌گیرد
  • DuckDB در مقایسه با SQLite، Pandas، Postgres و ابزارهای کلان‌داده چگونه است
  • نصب DuckDB در پلتفرم‌های مختلف (Windows، Mac، Linux)
  • استفاده از DuckDB از طریق CLI، Python، Jupyter و SQL

شروع کار با SQL در DuckDB

  • ایجاد پایگاه‌های داده و اجرای کوئری‌ها
  • فیلتر کردن، تجمیع، Group By، Join و Subqueries
  • توابع پنجره، CTEها (عبارات جدول مشترک) و توابع تاریخ/زمان
  • ایجاد Viewها و جدول‌های موقت
  • استفاده از SQL برای کاوش داده‌ها، پروفایلینگ و گزارش‌گیری

پرس‌وجو مستقیم فایل‌های داده (بدون نیاز به Import!)

  • پرس‌وجو مستقیم فایل‌های CSV از دیسک با SQL
  • کار با فایل‌های بزرگ Parquet – به طور کارآمد و سریع
  • ادغام با Apache Arrow
  • استفاده از DuckDB برای خواندن/نوشتن JSON، Excel و فرمت‌های دیگر
  • ترکیب چند فایل در یک جدول مجازی با استفاده از Wildcards

ادغام DuckDB + Python

  • تنظیم DuckDB در یک محیط Python
  • اجرای کوئری‌های SQL بر روی DataFrames بدون تبدیل
  • نوشتن کوئری‌های SQL به عنوان بخشی از خط لوله داده Python خود
  • تبدیل داده‌های کارآمد بدون حلقه‌ها یا apply()

DuckDB در نوت‌بوک‌های Jupyter

  • دستورات Magic برای SQL سریع در نوت‌بوک‌ها
  • کاوش مجموعه‌داده‌ها به طور مستقیم در نوت‌بوک‌ها با استفاده از SQL + Python به طور همزمان
  • گردش کار ایده‌آل برای پروژه‌های علم داده

عملکرد، بهترین شیوه‌ها و بهینه‌سازی

  • اجرای برداری و ذخیره‌سازی ستونی توضیح داده شده
  • چه زمانی از DuckDB در مقابل Pandas یا پایگاه‌های داده SQL استفاده کنیم
  • تنظیم عملکرد: دسته‌بندی، ارزیابی تنبل، دسترسی کارآمد به فایل
  • مدیریت حافظه و رسیدگی به مجموعه‌داده‌های بزرگ

قابلیت‌های پیشرفته:

  • پیاده‌سازی DuckLake برای مدیریت داده‌های سازمانی
  • انجام پرس‌وجوهای سفر در زمان برای تجزیه و تحلیل تاریخی
  • ایجاد هندلینگ خطای قوی با عبارات TRY
  • استفاده از توابع لامبدا برای تبدیل داده‌های پیچیده
  • بهینه‌سازی استفاده از حافظه و عملکرد پرس‌وجو

ویژگی‌های سازمانی:

  • تنظیم Data Lakes مبتنی بر ابر با ادغام AWS S3
  • مدیریت نسخه‌بندی داده و Snapshotها
  • پیاده‌سازی تراکنش‌های ACID در سراسر چند جدول
  • نظارت و اشکال‌زدایی با استفاده از جدول‌های فراداده
  • طراحی معماری‌های داده مقیاس‌پذیر

این دوره برای چه کسانی مناسب است

این دوره برای هر کسی است که با داده‌ها کار می‌کند و به دنبال ابزاری بهتر، سریع‌تر و ساده‌تر برای تجزیه و تحلیل است:

  • تحلیلگران داده: از بارگیری کند CSV یا قابلیت‌های محدود اکسل خسته شده‌اید؟ DuckDB نحوه کاوش و تجزیه و تحلیل داده‌ها را متحول می‌کند.
  • دانشمندان داده: به سرعت داده‌ها را کاوش، پاکسازی و پردازش کنید با SQL مستقیماً در نوت‌بوک خود.
  • توسعه‌دهندگان Python: از SQL بدون یک Backend پایگاه داده کامل، درست در داخل اسکریپت یا برنامه خود استفاده کنید.
  • مهندسان داده: خطوط لوله خود را با حذف وابستگی‌های غیرضروری پایگاه داده و استفاده از DuckDB برای پردازش فایل‌های خام ساده کنید.
  • دانشجویان/فراگیران: اگر در پایگاه‌های داده یا SQL تازه کار هستید، این یک نقطه ورود عالی با ابزارهای مدرن و پروژه‌های عملی است.

هیچ تجربه‌ی قبلی با DuckDB لازم نیست. آشنایی اولیه با SQL یا Python مفید خواهد بود، اما ما از ابتدا شروع می‌کنیم.

ابزارها و فناوری‌های پوشش داده شده

  • CLI و استفاده تعبیه‌شده DuckDB
  • DuckDB با Python و Pandas
  • DuckDB در نوت‌بوک Jupyter
  • مدیریت CSV، Parquet، Arrow، JSON
  • SQL (از پایه تا پیشرفته)
  • اختیاری: ادغام با Streamlit برای داشبوردها

چرا DuckDB را یاد بگیریم؟

DuckDB به سرعت در حال تبدیل شدن به یک ابزار ضروری در پشته داده مدرن است. دلیلش این است:

  • تنظیمات صفر: بدون سرور، بدون استقرار، فقط آن را اجرا کنید و ادامه دهید.
  • عملکرد بالا: به راحتی میلیون‌ها ردیف را به صورت محلی مدیریت کنید.
  • تعبیه‌شده و قابل حمل: در داخل نوت‌بوک‌ها، اسکریپت‌ها یا حتی برنامه‌های دسکتاپ اجرا کنید.
  • SQL-Powered: ایده‌آل برای تحلیلگران و هر کسی که SQL را دوست دارد.
  • File-Native: مستقیماً با Parquet، CSV و موارد دیگر کار کنید – نیازی به پایگاه داده نیست.
  • متن‌باز و در حال تکامل: دائماً در حال بهبود و رشد با جامعه.

یادگیری DuckDB اکنون شما را از منحنی جلو می‌اندازد، زیرا شرکت‌ها و تیم‌های بیشتری شروع به پذیرش آن برای تجزیه و تحلیل مقیاس‌پذیر و محلی می‌کنند.

آنچه به دست خواهید آورد

  • بیش از 6 ساعت سخنرانی ویدیویی
  • نوت‌بوک‌ها و مجموعه‌داده‌های قابل دانلود
  • پروژه‌ها و تمرین‌های عملی
  • آزمون‌ها برای آزمایش درک شما
  • گواهی اتمام دوره

آماده تسلط بر DuckDB هستید؟

در پایان این دوره، شما با اطمینان از DuckDB در پروژه‌های داده خود استفاده خواهید کرد - چه در حال کاوش فایل‌های داده، ساخت خطوط لوله ETL یا ترکیب SQL با Python برای تجزیه و تحلیل سریع باشید.

به ما بپیوندید و یاد بگیرید که چگونه DuckDB می‌تواند کار داده شما را سریع‌تر، آسان‌تر و سرگرم‌کننده‌تر کند.

بیایید شیرجه بزنیم و دوباره تجزیه و تحلیل را لذت‌بخش کنیم – با DuckDB!


سرفصل ها و درس ها

معرفی DuckDB Introduction to DuckDB

  • معرفی DuckDB Introduction to DuckDB

  • چرا DuckDB را به سایر پایگاه داده‌ها ترجیح دهیم؟ Why use DuckDB over other Databases?

  • ویژگی‌ها و مزایای کلیدی Key Features and Benefits

نصب و راه اندازی Installation and Setup

  • نصب: سیستم عامل مک Installation: Mac OS

  • نصب DBeaver: سیستم عامل مک Installation DBeaver: Mac OS

  • نصب: ویندوز Installation: Windows

  • نصب DBeaver: ویندوز Installation DBeaver: Windows

شروع کار با DuckDB Getting Started with DuckDB

  • درک فرمت‌های فایل DuckDB (.db) Understanding DuckDB file formats (.db)

  • کار با پایگاه داده‌های درون حافظه در مقابل پایگاه داده‌های پایدار Working with in-memory vs. persistent databases

  • چه زمانی DuckDB را انتخاب کنیم و چه زمانی نه When to choose DuckDB and When NOT

جداول Tables

  • مواد آموزشی دوره Course Materials

  • جداول پایه Base Tables

  • درج در جداول Insert into Tables

  • ایجاد و حذف جدول Create & Drop Table

Mother Duck Mother Duck

  • معرفی: Mother Duck Introduction: Mother Duck

  • معرفی: رابط کاربری محلی DuckDB Introduction: DuckDB Local UI

  • ایجاد جدول، درج و محدود کردن Create Table, Insert & Limit

  • مقادیر پیش فرض Default Values

  • اتصال پایگاه داده محلی به Mother Duck Attaching Local to Mother Duck Database

  • جدا کردن از پایگاه داده Mother Duck Detach from Mother Duck Database

مبانی SQL در DuckDB SQL Fundamentals in DuckDB

  • پرس و جوهای Select Select Queries

  • توابع رشته ای String Functions

  • Distinct Distinct

  • توابع تجمعی Aggregate Functions

  • نام مستعار (Alias) Alias

  • Concat (ادغام) Concat

  • Cast (تبدیل نوع) Cast

فیلترها Filters

  • اعداد صحیح Integers

  • رشته‌ها Strings

  • تاریخ‌ها Dates

  • مقادیر بولی Booleans

  • Between (بین) Between

  • آزمایش‌ها: Between Experiments: Between

  • مثال‌های IN IN Examples

  • Like (مانند) Like

  • شرط Nulls Nulls Clause

مرتب سازی Sorting

  • مرتب سازی Sorting

Group By & Having Group By & Having

  • Group By Group By

  • Group By با Having Group By with Having

  • Group By با شرط Where Group By with Where Clause

  • آزمایش‌ها: Group By Experiments: Group By

توابع شرطی Conditional Functions

  • Coalesce Coalesce

  • Null IF Null IF

Joins و زیرپرس و جوها Joins and subqueries

  • Inner Join Inner Join

  • Left Join Left Join

  • Right Join Right Join

  • Inner Queries (زیرپرس و جوها) Inner Queries (sub-queries)

محدودیت ها (Constraints) Constraints

  • محدودیت Unique Unique Constraint

  • محدودیت Check Check Constraint

Union & Intersect Union & Intersect

  • Union Union

  • Union All Union All

  • Intersect Intersect

عملیات DML DML Operations

  • ایجاد و حذف جداول Create and Drop Tables

  • ایجاد و درج در جداول Create and Insert into Tables

  • آزمایش درج در جداول Insert into Tables Experiments

  • به روز رسانی رکوردها Update Records

  • حذف رکوردها Delete Records

  • تغییر جدول (Alter Table) Alter Table

  • ایجاد جدول با استفاده از فایل های Parquet Create Table using Parquet Files

ویژگی‌های پیشرفته SQL Advanced SQL Features

  • جداول موقت Temp Tables

  • نماها (Views) Views

  • CATS CATS

  • متغیرها Variables

  • تغییر نام ستون ها بدون AS Rename Columns without AS

آرایه‌ها Arrays

  • معرفی آرایه ها Introduction of Arrays

  • تابع تجمعی با آرایه ها Aggregate function with Arrays

  • فیلترها با آرایه ها Filters with Arrays

عبارات جدول مشترک (CTEs) Common Table Expressions (CTEs)

  • CTEs: Select CTEs: Select

  • CTEs: Filters CTEs: Filters

  • CTEs: Union All CTEs: Union All

  • CTEs Recursive: Generate Numbers CTEs Recursive: Generate Numbers

  • CTEs Recursive: Even Numbers CTEs Recursive: Even Numbers

  • CTEs Recursive: Fibonacci Number CTEs Recursive: Fibonacci Number

  • CTEs Recursive: Hierarchical CTEs Recursive: Hierarchical

توابع پنجره ای (Window Functions) Window Functions

  • معرفی و شماره ردیف Introduction and Row Number

  • یافتن موارد تکراری Finding Duplicates

  • توابع Rank & Dense Rank Rank & Dense Rank Functions

  • توابع تجمعی Aggregate Functions

فقط در DuckDB Only In DuckDB

  • انتخاب ستون پویا Dynamic Column Selection

  • توصیف داده ها با فرمت های مختلف Describe Data of different formats

  • نوشتن و صادر کردن داده ها به فرمت های مختلف Writing and exporting data to different formats

  • Explain & Analyze (توضیح و تحلیل) Explain & Analyze

  • PRAGMA & Memory Configs (تنظیمات PRAGMA و حافظه) PRAGMA & Memory Configs

به روز رسانی های نسخه 1.2 و 1.3 Version 1.2 & 1.3 Updates

  • نام مستعار SQL کاربرپسند Friendly SQL Alias

  • رشته‌ها در لیست و Escapes Strings in List & Escapes

  • تابع Lambda Lambda Function

  • پشتیبانی از UUID v7 UUID v7 Support

  • Structs (ساختارها) Structs

  • Secrets (اسرار) Secrets

  • بازی با جداکننده Playing with delimiter

  • پشتیبانی از نوع داده Map Map Data Type Support

پشتیبانی از تراکنش‌ها: ACID Transactions Support: ACID

  • ایجاد جدول برای تراکنش‌ها Create Table for Transactions

  • Commit (تأیید) Commit

  • Rollback (بازگردانی) Rollback

خط فرمان (CLI) DuckDB DuckDB Command Line (CLI)

  • معرفی خط فرمان (CLI) Introduction to Command Line (CLI)

  • مثال های خط فرمان - 1 Command Line Examples - 1

  • مثال های خط فرمان - 2 Command Line Examples - 2

  • مثال های خط فرمان - 3 Command Line Examples - 3

بهینه سازی عملکرد Performance Optimization

  • مزایای ذخیره سازی ستونی Columnar storage advantages

DuckDB با AWS S3 DuckDB with AWS S3

  • ایجاد کاربر AWS AWS User Creation

  • خواندن DuckDB از S3 DuckDB Read from S3

تست 1+ میلیارد رکورد 1+ Billion Records Test

  • راه اندازی DuckDB در پایتون، Jupyter Notebook Setting up DuckDB in Python, Jupyter Notebook

  • خواندن فایل ها با استفاده از Python Duck DB Read Files using Python Duck DB

  • خواندن Json با استفاده از Python Duck DB Read Json using Python Duck DB

  • 1.5 میلیارد رکورد در داده های تاکسی نیویورک 1.5 BILLION Records in New York Taxi Data

  • میلیاردها رکورد؟ DuckDB SELECT & COUNT ساده شده! BILLION Records? DuckDB SELECT & COUNT Made Simple!

  • تجمع داده های میلیارد ردیفی | تجزیه و تحلیل سریع و مقیاس پذیر Billion Row Data Aggregation | Fast & Scalable Analytics

  • پرس و جوهای DISTINCT با مدیریت کارآمد میلیاردها رکورد DISTINCT Queries Efficiently Handling Billion Record

  • فیلتر کردن میلیاردها رکورد با DuckDB؟ Billion Record Filtering with DuckDB?

  • مثال های Group By روی مجموعه داده های میلیارد ردیفی Group By Examples on Billion Datasets

  • برش زدن مجموعه داده های میلیارد ردیفی Slicing on Billion Datasets

  • شرایط Case روی مجموعه داده های میلیارد ردیفی Case Conditions on Billion Datasets

  • مدیریت مقادیر از دست رفته در مجموعه داده های میلیارد ردیفی Handling Missing Value on Billion Row Datasets

  • 3 روش بهتر در Python Duck DB 3 Better Ways in Python Duck DB

Apache Superset: داشبورد BI مدرن با DuckDB Apache Superset: Modern BI Dashboard with DuckDB

  • معرفی Apache Superset Introduction to Apache Superset

  • Apache Superset چیست؟ What is Apache Superset?

  • ویژگی ها و قابلیت های کلیدی Key Features and Capabilities

  • نصب Superset با استفاده از Docker (توصیه می شود) Installing Superset using Docker (Recommended)

  • نصب Superset با استفاده از پایتون Installing Superset using Python

  • پیمایش رابط کاربری Superset Navigating the Superset Interface

  • اتصال به پایگاه داده ها (DuckDB) Connecting to Databases (DuckDB)

  • ایجاد مجموعه داده جدول محصول Create Product Table Dataset

  • معماری نمودارها Charts Architecture

  • بررسی رابط کاربری گرافیکی نمودارها Charts GUI walk through

  • ایجاد جدول با استفاده از نمودارها Create Table using Charts

Duck Lake: Lake house آپاچی آیسبرگ Duck Lake: Apache Iceberg Lake house

  • آیسبرگ و تکامل صنعت Iceberg & Industry Evolution

  • Apache Iceberg چیست؟ What is Apache Iceberg?

  • محدودیت های فرمت های جدول سنتی (Hive، فقط Parquet و غیره) Limitations of traditional table formats (Hive, Parquet-only, etc.)

  • ویژگی های کلیدی Iceberg (تکامل طرحواره، ACID، پارتیشن بندی و غیره) Key Features of Iceberg (schema evolution, ACID, partitioning, etc.)

  • پیش زمینه Iceberg Iceberg Background

  • فایل های Manifest و Snapshots (عکس فوری) Manifest Files and Snapshots

  • ایجاد کاربر AWS AWS User Creation

  • ارتقاء نسخه DuckDB: 1.3 DuckDB Upgrade Version: 1.3

  • اتصال Ducklake AWS S3 Ducklake AWS S3 Connection

  • فراداده Duck-lake Duck-lake Metadata

  • پیگیری تغییرات عکس فوری فراداده Duck-lake Duck-lake Track Metadata Snapshot Changes

  • خواندن فایل Parquet از S3 توسط Duck-lake Duck-lake Read Parquet File from S 3

  • ویژگی Time Travel (سفر در زمان) Duck-lake Duck-lake Time Travel Feature

  • پیگیری Time Travel توسط Duck-lake با استفاده از Time (زمان) Duck-lake track Time Travel using Time

  • تراکنش های ACID چند جدولی Duck-lake Duck-lake Multiple Table ACID Transactions

نمایش نظرات

راهنمای جامع DuckDB: آموزش عملی و کاربردی
جزییات دوره
13 hours
140
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
92
4.6 از 5
دارد
دارد
دارد
Neetu Bhushan
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Neetu Bhushan Neetu Bhushan

مهندس حرفه‌ای داده