آموزش مهندسی داده‌های غیرساختاریافته برای هوش مصنوعی - آخرین آپدیت

خوش‌آمدگویی به دوره Welcome to the Course

• ویدیو خوش‌آمدگویی Welcome Video

معماری جذب داده‌های غیرساختاریافته و ذخیره‌سازی اشیاء Unstructured Ingestion and Object Storage Architecture

• چرا معماری جذب داده برای مجموعه‌داده‌های آماده هوش مصنوعی اهمیت دارد Why Ingestion Architecture Matters for AI-Ready Corpora

• طراحی چیدمان اشیاء، پیشوندها و قراردادهای نام‌گذاری Designing Object Layouts, Prefixes, and Naming Conventions

• ساخت گردش کارهای جذب داده مبتنی بر مانیفست Building Manifest-Driven Ingestion Workflows

• شناسایی فایل‌های خراب، تکراری و با کیفیت پایین Detecting Corrupted, Duplicate, and Low-Quality Files

استخراج محتوا: اسناد، HTML، OCR و ساختار Content Extraction: Documents, HTML, OCR, and Structure

• چرا کیفیت استخراج، تعیین‌کننده کیفیت مجموعه‌داده هوش مصنوعی است Why Extraction Quality Determines AI Corpus Quality

• استخراج متن بومی و ساختار از PDF، Word، HTML و Markdown Extracting Native Text and Structure from PDFs, Word, HTML, and Markdown

• پردازش OCR-aware برای اسناد اسکن شده و کیفیت پایین OCR-Aware Processing for Scanned and Low-Quality Documents

• بسته‌بندی خروجی‌های استخراج برای پاک‌سازی، تکه‌بندی و حاکمیت Packaging Extraction Outputs for Cleaning, Chunking, and Governance

پاک‌سازی متن، نرمال‌سازی و مدیریت داده‌های حساس Text Cleaning, Normalization, and Sensitive Data Handling

• چرا پاک‌سازی و مدیریت داده‌های حساس برای مجموعه‌داده‌های هوش مصنوعی حیاتی است Why Cleaning and Sensitive Data Handling Matter for AI Corpora

• بررسی مشکلات کیفیت متن پس از استخراج Inspecting Text Quality Issues After Extraction

• حذف متون تکراری و زائد (Boilerplate) بدون تخریب معنا Boilerplate Removal Without Destroying Meaning

• شناسایی PII، سانسور و قابلیت حسابرسی داده‌های حساس PII Detection, Redaction, and Sensitive Data Auditability

تکه‌بندی (Chunking) و غنی‌سازی متاداده Chunking and Metadata Enrichment

• چرا تکه‌بندی و متاداده تعیین‌کننده آمادگی مجموعه‌داده هوش مصنوعی است Why Chunking and Metadata Determine AI Corpus Readiness

• الگوهای تکه‌بندی ثابت، معنایی و ترکیبی (Hybrid) Fixed, Semantic, and Hybrid Chunking Patterns

• طراحی شمای تکه‌بندی برای ردیابی происхождение و قابلیت ارجاع Designing Chunk Schemas for Lineage and Citation Readiness

• ارزیابی کیفیت تکه‌ها قبل از Embedding یا بازیابی Evaluating Chunk Quality Before Embedding or Retrieval

حاشیه‌نویسی، برچسب‌گذاری و حاکمیت مجموعه‌داده Annotation, Labeling, and Corpus Governance

• چرا حاکمیت حاشیه‌نویسی برای مجموعه‌داده‌های هوش مصنوعی اهمیت دارد Why Annotation Governance Matters for AI Corpora

• طراحی تاکسونومی برای داده‌های غیرساختاریافته Designing Taxonomies for Unstructured Data

• بازبینی انسانی، توافق و کیفیت برچسب‌گذاری Human Review, Agreement, and Label Quality

• برچسب‌های کمکی هوش مصنوعی، نسخه‌بندی و متادیتای حاکمیتی AI-Assisted Labels, Versioning, and Governance Metadata

گیت‌های ایمنی، گیت‌های کیفی و پروژه دوره Safety Gates, Quality Gates, and Course Project

• از مجموعه‌داده آماده تا انتشار مدیریت‌شده From Prepared Corpus to Governed Release

• طراحی گیت‌های ایمنی و کیفی برای مجموعه‌داده‌های غیرساختاریافته Designing Safety and Quality Gates for Unstructured Corpora

• لایسنس، اعتماد به منبع و شواهد حسابرسی Licensing, Source Trust, and Audit Evidence

• بسته‌بندی پروژه نهایی مجموعه‌داده مدیریت‌شده Packaging the Final Governed Corpus Project

جمع‌بندی دوره Course Summary

• جمع‌بندی نهایی Wrap up

آزمون نهایی Final Exam