آموزش Databricks تا مدل‌های زبانی بزرگ محلی (Local LLMs) - آخرین آپدیت

مبانی پلتفرم Databricks Lakehouse Databricks Lakehouse Platform Fundamentals

• آشنایی با مدرس دوره: Noah Gift Meet your Course Instructor:Noah Gift

• مقدمه‌ای بر پلتفرم Databricks Lakehouse Introduction to the Databricks Lakehouse Platform

• مروری بر معماری Databricks Overview of the Databricks Architecture

• ایجاد و مدیریت کلاسترهای محاسباتی Creating and Managing Clusters

• پیکربندی محیط‌های اجرای کلاستر Configuring Cluster Runtimes

• متوقف کردن کلاسترها Terminating Clusters

• راه‌اندازی مجدد کلاسترها Restarting Clusters

• فیلتر کردن لیست کلاسترها Filtering the Clusters List

• مقایسه کلاسترهای چندمنظوره در برابر کلاسترهای شغلی All-Purpose vs Job Clusters

• راه‌اندازی IntelliJ برای Databricks با Go Setup IntelliJ for Databricks with Go

• نصب و استفاده از Databricks CLI Installing and using Databricks CLI

• نصب و استفاده از Databricks برای RStudio Installing and using Databricks for RStudio

• مقدمه‌ای بر نوت‌بوک‌ها Introduction to Notebooks

• اجرای نوت‌بوک‌ها Executing Notebooks

• اشتراک‌گذاری نوت‌بوک‌ها Sharing Notebooks

• پشتیبانی از چندین زبان برنامه‌نویسی Multi-Language Support

• مروری بر Databricks Repos Databricks Repos Overview

• تبدیل بهینه داده‌ها با Spark SQL Efficient Data Transformation with Spark SQL

• استفاده از Catalog Explorer Using Catalog Explorer

• ایجاد جداول از فایل‌ها Creating Tables from Files

• پرس‌وجو از منابع داده خارجی Querying External Data Sources

• بررسی و تحلیل جداول Inspecting Tables

• خط لوله‌های داده قابل اعتماد با Delta Lake Reliable Data Pipelines with Delta Lake

• تراکنش‌های ACID ACID Transactions

• بهینه‌سازی Z Ordering Z-Ordering Optimization

تبدیل داده‌ها و خط لوله‌ها Data Transformation and Pipelines

• مستندسازی جداول Table Documentation

• خط لوله‌های خودکار با Delta Live Tables Automated Pipelines with Delta Live Tables

• اجزای Delta Live Tables Delta Live Tables Components

• مقایسه خط لوله‌های مستمر در برابر Triggered Continuous vs Triggered Pipelines

• پیکربندی Auto Loader Configuring Auto Loader

• پرس‌وجو از رویدادهای خط لوله Querying Pipeline Events

• مثال جامع و کامل Delta Live End-to-End Example Delta Live

• عملیات Vacuum و جمع‌آوری زباله‌ها (Garbage Collect) Vacuum and Garbage Collect

• مدیریت حجم‌های کاری با Jobs Orchestrating Workloads with Jobs

• دموی Databricks Jobs Databricks Jobs Demo

• گردش‌کارهای چندوظیفه‌ای (Multi Task) Multi-Task Workflows

• وابستگی‌های وظایف Task Dependencies

• مشاهده تاریخچه Jobها Viewing Job History

• استفاده از داشبوردها Using Dashboards

• مدیریت خطاها Handling Failures

• پیکربندی تلاش‌های مجدد (Retries) Configuring Retries

• دسترسی یکپارچه به داده‌ها با Unity Catalog Unified Data Access with Unity Catalog

• مقایسه Catalogها در برابر Metastoreها Catalogs vs Metastores

• شروع سریع Unity Catalog با پایتون Unity Catalog Quickstart Python

• اعمال امنیت روی اشیاء Applying Object Security

• بهترین روش‌ها برای Catalogها Best Practices for Catalogs

• بهترین روش‌ها برای اتصالات Best Practices for Connections

• بهترین روش‌ها برای واحدهای تجاری Best Practices for Business Units

هوش مصنوعی مولد مسئولانه Responsible Generative AI

• مفاهیم اشتراک سود Profit Sharing Concepts

• تراژدی مشترکات در هوش مصنوعی مولد Tragedy of the GenAI commons

• نظریه بازی‌ها در GenAI Game Theory of GenAI

• رقابت کامل Perfect Competition

• پیامدهای خارجی منفی Negative Externalities

• کارآفرینی نظارتی Regulatory Entrepreneurship

• ایجاد یا تقویت سوگیری‌ها Creating or Reinforcing Bias

• کدنویسی Elo در پایتون Coding Elo in Python

• کدنویسی Elo در Rust Coding Elo in Rust

• کدنویسی Elo در R Coding Elo in R

• کدنویسی Elo در Julia Coding Elo in Julia

• شروع کار با lorax و skypilot Getting started lorax and skypilot

• لودویگ: Fine Tune مدل Mistral 7b Ludwig: Fine-Tune Mistral-7b

عملیات مدل‌های زبانی محلی (Local LLMOps) Local LLMOps

• شروع کار با llamafile Getting Started llamafile

• متریک‌های سیستم محلی در llamfile Local System Metrics llamfile

• برنامه Hello World با Candle Candle Hello World

• کاوش در Starcoder Rust Exploring Starcoder Rust

• تبدیل گفتار به متن با Whisper Candle Whisper Candle Transcribe

• کاوش در توسعه از راه دور با AWS Exploring Remote Development AWS

• زبان Rust برای LLMها Rust for LLMs

• استنتاج بدون سرور (Serverless Inference) Serverless Inference

• استنتاج از طریق Rust CLI Rust CLI Inference

• استنتاج چت با Rust Rust Chat Inference

• حلقه چت Star Coder Chat loop Star Coder

• اجرای Rust Candle روی GPU در AWS (بخش اول) Invoke Rust Candle on AWS GPU-Part One

• اجرای Rust Candle روی GPU در AWS (بخش دوم) Invoke Rust Candle on AWS GPU-Part Two