آموزش DuckDB - راهنمای نهایی

DuckDB - The Ultimate Guide

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: Master DuckDB: Analytics Database of Future. 7 تمرین پروژه + تئوری برای ace DuckDB Python، Streamlit، CLI و Docker Architect و پیاده سازی راه حل های تجزیه و تحلیل که از DuckDB به عنوان پایگاه داده استفاده می کنند. از محیط پایتون (تمرین) کار با DuckDB را از محیط CLI (خط فرمان) یاد خواهید گرفت (تمرین) از DuckDB به عنوان یک پایگاه داده پشتیبان برای برنامه های تحلیلی Python Streamlit خود استفاده کنید (تمرین) DuckDB را با dbt (ابزار ساخت داده) ترکیب کنید تا تجزیه و تحلیل را ساده کنید. توسعه انبار داده (تمرین) شما یاد خواهید گرفت که در MotherDuck کار کنید: یک محیط Cloud-native (SaaS) برای DuckDB (تمرین) متوجه خواهید شد که چگونه DuckDB با سایر پایگاه های داده متفاوت است: هم تحلیلی (Clickhouse, Redshift, Cassandra) و هم OLTP (PostgreSQL، SQLITE) پیش نیازها: Basic SQL مفید است اما ضروری نیست (ما از راهنماهای ارائه شده استفاده خواهیم کرد) Basic Python Laptop یا PC

چرا باید DuckDB را یاد بگیرم؟


  1. + 1200٪ از جستجوها در 2 سال گذشته
    محبوبیت آن به سرعت در حال افزایش است!


  2. دریاچه‌های داده و زیرساخت داده‌های بزرگ (مانند Apache Hadoop Spark) راه‌حل بهینه برای هر مشکل داده نیستند

    DuckDB یک راه حل عالی برای اجرای یک پایگاه داده بسیار شبیه به PostgreSQL است، اما با قابلیت های تحلیلی عظیم، به صورت محلی بدون هیچ سر و صدایی


  3. 100% رایگان از ده ها ادغام مختلف پشتیبانی می کند

    duckdb Python، duckdb dbt، duckdb Streamlit، duckdb s3 wasm Docker + بسیاری موارد دیگر: تقریباً با آن می توانید هر چیزی را داشته باشید. علاوه بر این، می‌توانید به راحتی داده‌ها را صادر کنید: duckdb csv، duckdb parket، duckdb json همه راه‌هایی برای به اشتراک گذاشتن نتایج تجزیه و تحلیل شما در کمترین زمان هستند! ادغام پایتون به آسانی انجام "pip install duckdb" است که آماده انجام آن هستید! ما در یکی از موارد به ادغام duckdb پایتون خواهیم پرداخت.


  4. سهولت استفاده
    به‌جای داشتن PostgreSQL/Mariadb برای هر توسعه‌دهنده در تیم، می‌توانید پیکربندی را برای ایجاد یک نمونه در حافظه از DuckDB تنظیم کنید. اگر نیاز به واکشی داده‌ها از اینترنت دارید، مشکلی هم نیست: Duckdb Httpfs بسته‌ای است که ما نیز آن را مطالعه خواهیم کرد.

  5. تجزیه و تحلیل محلی BigData
    اگر می خواهید یک پایگاه داده ستونی را به صورت محلی روی داده های بسیار بزرگ اجرا کنید، واقعاً هیچ چیز دیگری مانند آن وجود ندارد. در عوض می‌توانید PySpark را به صورت محلی اجرا کنید، اما این یک سردرد بیشتر خواهد بود. Duckdb Pivot حتی می تواند به شما در ایجاد جداول صفحه گسترده کمک کند.

  6. یادگیری آسان پس از SQLite
    این یک گام به جلو به سمت فیلد Analytics از SQLite است. DuckDB هنگام اجرای پرس‌و‌جوهای انبوه روی ستون‌های محدود عالی عمل می‌کند در حالی که SQLite هنگام واکشی یک یا چند ردیف با استفاده از فیلترها عالی عمل می‌کند. در این دوره، duckdb را در مقابل Sqlite و duckdb در مقابل کلیک‌هاوس مقایسه و مقایسه خواهیم کرد.

  7. 300%+ سریعتر از پانداها
    پانداها همه داده‌ها را در حافظه بارگیری می‌کنند و روی یک رشته واحد اجرا می‌شوند. از این رو نمی تواند روی مجموعه داده های حافظه بزرگتر کار کند و همچنین از تمام هسته های CPU شما استفاده نمی کند. در حالی که DuckDB می تواند روی مجموعه داده های بزرگتر از حافظه کار کند. علاوه بر این، می تواند بار را در تمام هسته های CPU توزیع کند. همه اینها به طور پیش فرض از زبان SQL استفاده می کنند!


این دوره فقط یک آموزش duckdb نیست: این یک راه حل بسته بندی شده برای تسلط بر این فناوری جدید به سرعت در حال رشد است.


نتایج مورد انتظار

بعد از این دوره:

  • شما یاد خواهید گرفت که چگونه Architect راه حل های تحلیلی را که از duck db به عنوان پایگاه داده استفاده می کند، پیاده سازی کنید

  • اصول اساسی که DuckDB را در هر ماشینی بسیار سریع می کند (تئوری) را یاد خواهید گرفت

  • می‌دانید که DuckDB چگونه با پایگاه‌های داده دیگر متفاوت است: هم Analytical ( Clickhouse , Redshift , Cassandra ) و هم OLTP ( PostgreSQL , SQLite )

  • کار با DuckDB را از محیط Python (تمرین) یاد خواهید گرفت

  • کار با DuckDB را از محیط CLI (خط فرمان) (تمرین) خواهید آموخت

  • از DuckDB به‌عنوان پایگاه داده پشتیبان برای برنامه‌های Streamlit Python Analytics خود (تمرین) استفاده کنید

  • از ترکیب DuckDB dbt (ابزار ساخت داده) برای ساده‌سازی توسعه انبار داده Analytics (تمرین) استفاده کنید

  • می‌آموزید که در MotherDuck کار کنید: یک محیط Cloud-native (SaaS) برای duck db (تمرین). می توانید آن را به عنوان DuckDB GUI در نظر بگیرید که ممکن است در CLI

    از دست بدهید
  • تعامل با DuckDB در محیط Docker را بیاموزید

  • درک نحوه تطبیق DuckDB در معماری میکرو سرویس سرویس های تحلیلی

  • از Rill : یک پلتفرم BI-as-Code "last-mile ETL" مجهز به DuckDB برای داشبوردهای سریع و بی نظیر


چه چیزی داخل

است


  • سخنرانی های ویدئویی (با حاشیه نویسی های تعاملی)

  • PDF با طرح کلی موارد تمرین

  • منابع نمایشی

  • پایه کد کاملاً بسته بندی شده برای پروژه های تمرینی

  • دسترسی مادام العمر با همه به‌روزرسانی‌های آینده

  • گواهی پایان دوره

  • 30 روز ضمانت بازگشت وجه

دوره ثابت نیست! من بازخورد دانش آموزان را جمع آوری می کنم و روی بهبود آن کار می کنم


[به‌روزرسانی‌های دوره]:

01.2024: + بخش پاداش: بیایید یک Micro-service Recommender مجهز به DuckDB بسازیم

02.2024: + بخش "Rill Data": پلت فرم BI-as-Code "last-mile ETL" مبتنی بر DuckDB

05.2024: + به‌روزرسانی‌ها در بخش MotherDuck: ویژگی‌های جدید مبتنی بر هوش مصنوعی را در پلتفرم کاوش کنید

06.2024: + بخش "DuckDB در خطوط انتقال داده": از case استفاده کنید تا یاد بگیرید چگونه DuckDB می تواند نقش "تبدیل کننده داده" را ایفا کند


دارایی های دیجیتال استفاده شده:

-تصویر از freepik با مجوز رایگان از freepik dot com "پس‌زمینه خطوط آبی پویا با گرادیان برداری رایگان"


سرفصل ها و درس ها

معرفی دوره Course Introduction

  • خوش آمدی! Welcome!

  • در این دوره چه چیزی یاد خواهید گرفت؟ What will You Learn in this Course?

  • DuckDB چیست و چرا خیلی جالب است؟ What is DuckDB & Why is it SO COOL?

مقدمه DuckDB DuckDB Introduction

  • DuckDB چیست؟ (جزئیات) What is DuckDB? (detailed)

  • چرا از DuckBD استفاده کنیم؟ Why use DuckBD?

  • DuckDB چه نقشی در دنیای مدرن آنالیتیکس ایفا می کند؟ What role does DuckDB play in modern Analytics World?

  • جایگاه رقابت و بازار DuckDB DuckDB's competition & market niche

  • چه زمانی باید از DuckDB استفاده کنید؟ (موارد استفاده معمولی) When should you use DuckDB? (typical use cases)

  • چه کسی باید از DuckDB استفاده کند؟ Who Should Use DuckDB?

راه اندازی و نمایش محیطی Environment Setup & Demo

  • نصب DuckDB DuckDB Installation

  • پیکربندی محیط Environment configuration

  • شروع کار با DuckDB's SQL Getting started with DuckDB's SQL

  • خروجی نتایج SQL در فایل ها Outputting SQL's results into files

استفاده از CLI: نوآوری های DuckDB در SQL CLI usage: DuckDB's Innovations in SQL

  • شرح مورد تمرین Practice Case Description

  • وارد کردن داده ها Importing Data

  • نوآوری های DuckDB SQL: SUMMARIZE & REPLACE DuckDB SQL Innovations: SUMMARIZE & REPLACE

  • نوآوری های DuckDB SQL: EXCLUDE & COLUMNS & GROUP BY ALL DuckDB SQL Innovations: EXCLUDE & COLUMNS & GROUP BY ALL

  • توابع پنجره: راه DuckDB Window Functions: the DuckDB way

  • PIVOTing در DuckDB PIVOTing in DuckDB

  • توابع TABLE در DuckDB TABLE Functions in DuckDB

Duckdb Python Duckdb Python

  • شرح مورد تمرین Practice Case Description

  • دانلود داده ها Downloading Data

  • Duckdb و Python: گردش کار تجزیه و تحلیل - part1 Duckdb and Python: Analytics workflow - part1

  • Duckdb و Python: گردش کار تجزیه و تحلیل - قسمت 2 Duckdb and Python: Analytics workflow - part2

  • Duckdb و Python: گردش کار تجزیه و تحلیل - part3 Duckdb and Python: Analytics workflow - part3

Streamlit + Duckdb Streamlit + Duckdb

  • Streamlit مقدمه Streamlit Introduction

  • شرح مورد تمرین Practice Case Description

  • واکشی داده ها - قسمت 1 Fetching Data - part1

  • واکشی داده ها - قسمت 2 Fetching Data - part2

  • راه اندازی برنامه Launching the App

Duckdb + DBT Duckdb + DBT

  • ابزار ساخت داده (dbt) مقدمه Data Build Tool (dbt) Introduction

  • شرح مورد تمرین Practice Case Description

  • بررسی داده ها Data Walkthrough

  • واکشی داده ها - قسمت 1 Fetching Data - part1

  • واکشی داده ها - قسمت 2 Fetching Data - part2

  • در حال اجرا خط لوله dbt Running dbt Pipeline

  • DBeaver: ابزار مدیریت پایگاه داده شگفت انگیز DBeaver: Amazing Database Management Tool

  • DuckDB Backward Compatibility مشکل: حل شد DuckDB Backward Compatibility Issue: SOLVED

  • کاوش در نتیجه نهایی: duckdb DataWarehouse Exploring End Result: duckdb DataWarehouse

MotherDuck: ارائه ابر DuckDB به عنوان SaaS MotherDuck: Cloud offering of DuckDB as a SaaS

  • MotherDuck چیست؟ What is MotherDuck?

  • ویژگی های MotherDuck MotherDuck's Features

  • پیوست کردن پایگاه داده از راه دور Attaching a Remote Database

  • جدا کردن یک پایگاه داده از راه دور Detaching a Remote Database

  • خودکارسازی احراز هویت در پلتفرم MotherDuck Automating Authentication to MotherDuck Platform

  • به روز رسانی اردک مادر: تابستان 2024 Mother Duck Updates: Summer 2024

  • به اشتراک گذاری پایگاه های داده Sharing Databases

  • هوش مصنوعی در MotherDuck: Intro AI in MotherDuck: Intro

  • جستجوی داده با ویژگی زبان طبیعی Querying Data with Natural Language feature

  • پرس و جوی چالش برانگیزتر برای هوش مصنوعی A More Challenging Query for AI

Rill: یک پلتفرم BI-as-Code مبتنی بر DuckDB Rill: a DuckDB-powered BI-as-Code platform

  • معرفی ریل Rill Intro

  • نسخه ی نمایشی محصول نهایی Case End Product DEMO

  • ریل چیست؟ What is Rill?

  • داده های موردی Case Data

  • منابع اطلاعات Data Sources

  • مدل های داده Data Models

  • طرح داشبورد Dashboard Outlining

  • UI: قسمت 1 UI: Part 1

  • UI: قسمت 2 UI: Part 2

  • راه اندازی یک مخزن Github Setting up a Github repo

  • اتصال Rill Cloud به Github Connecting Rill Cloud to Github

  • اشتراک گذاری دسترسی به داشبورد Sharing access to Dashboard

  • زمان بندی به روز رسانی داده ها Scheduling Data Refresh

  • حذف پروژه ریل Deleting Rill Project

DuckDB در خطوط لوله داده پیچیده DuckDB in Complex Data Pipelines

  • DuckDB در خطوط لوله داده DuckDB in Data Pipelines

  • نتیجه نهایی: آنچه که ما به سمت آن کار خواهیم کرد End Result: What We'll be Working Towards

  • داگستر: مقدمه Dagster: Intro

  • راه اندازی محیط Setting up Environment

  • بررسی خط لوله داده: قسمت 1 Data Pipeline Walkthrough: part 1

  • بررسی خط لوله داده: قسمت 2 Data Pipeline Walkthrough: part 2

  • راه اندازی خط لوله و بسته بندی کیس Launching Pipeline & Case wrapping up

امتیاز: چرخاندن یک میکروسرویس Recommender مجهز به DuckDB Bonus: Spinning up a DuckDB-powered Recommender Microservice

  • معرفی مورد Case Intro

  • معماری موردی تجاری Business Case Architecture

  • سلب مسئولیت: در صورت نیاز فوروارد کنید Disclaimer: Fast Forward if needed

  • API پایگاه داده فیلم Movies Data base API

  • Dockerfile: بسته بندی پروژه Dockerfile: Packaging the Project

  • مدیریت وابستگی های پایتون با شعر Managing Python Dependencies with Poetry

  • واکشی داده ها از API Fetching Data from API

  • درک داده ها Understanding Data

  • Recommender System Codebase Recommender System Codebase

  • میکروسرویس FastAPI FastAPI Microservice

  • ساختن تصویر داکر Building Docker Image

  • کاوش داده ها در داخل DuckDB Exploring Data inside DuckDB

  • دریافت توصیه ها Getting Recommendations

  • جمع بندی پرونده Wrapping Up the Case

نمایش نظرات

آموزش DuckDB - راهنمای نهایی
جزییات دوره
6 hours
84
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
358
4.4 از 5
دارد
دارد
دارد
Max Migutin
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Max Migutin Max Migutin

مربی داده، دیجیتال و ابر | 10+ سال تجربه