آموزش مهندسی داده پیشرفته - آخرین آپدیت

صف‌ها و پایگاه‌های داده: RabbitMQ و MySQL Queues and Databases-RabbitMQ and MySQL

• آشنایی با مدرس شما: Alfredo Deza Meet your instructor: Alfredo Deza

• درباره این دوره About this course

• مقدمه Introduction

• مروری بر صف‌ها (Queues) Overview of Queues

• Celery چیست؟ What is Celery?

• موارد استفاده از RabbitMQ Use cases for RabbitMQ

• مرور کلی یک اپلیکیشن Flask و Celery Overview of a Flask and Celery application

• خلاصه Summary

• مقدمه Introduction

• پیکربندی Celery با Flask Configuring Celery with Flask

• اتصال Celery به RabbitMQ Connecting Celery with RabbitMQ

• تعریف یک تسک Celery در Flask Defining a Celery task in Flask

• تسک Fire and forget در Flask Fire and forget task in Flask

• بازیابی مقادیر از تسک‌های ناهمگام (Asynchronous) Retrieve values from asynchronous tasks

• خلاصه Summary

• مرور کلی MySQL MySQL Overview

• کار با MySQL از طریق ترمینال MySQL from Terminal

• آرشیو و حذف پایگاه داده Archive and Drop Database

• وارد کردن پایگاه داده خارجی Sakila Import external database Sakila

• اصلاح پایگاه داده Sakila Modify database Sakila

• خط لوله‌های Bash با MySQL Bash pipelines with MySQL

• اتصال MySQL به وب سرور کتابخانه استاندارد پایتون MySQL to Python Standard Library Web Server

بهینه‌سازی مدیریت جریان کار در مقیاس بزرگ با Apache Airflow Optimizing Workflow Management at Scale with Apache Airflow

• مقدمه Introduction

• Apache Airflow چیست؟ What is Apache Airflow?

• نصب Apache Airflow از طریق PyPI Installing Apache Airflow from PyPI

• استفاده از Apache Airflow با Docker Using Apache Airflow with Docker

• کاوش در رابط کاربری Airflow Exploring the Airflow UI

• مقدمه Introduction

• بررسی گراف‌های جهت‌دار بدون دور (DAG) Exploring directed acyclic graphs (DAG)

• ایجاد یک DAG Creating a DAG

• اجرای عملیات Backfill Running a backfill

• تست و اعتبارسنجی Testing and validation

• خلاصه Summary

• مقدمه Introduction

• شناسایی تسک برای ساخت یک DAG Identifying a task to build a DAG

• بازیابی داده‌های از راه دور Retrieving remote data

• پاکسازی و نرمال‌سازی داده‌ها Cleaning and normalizing data

• بازرسی رابط کاربری برای مشاهده نتایج Inspecting the UI for results

• خلاصه Summary

دستیابی به مقیاس‌پذیری با پایگاه‌های داده برداری، گراف و کلید/مقدار Achieving Scalability with Vector, Graph, and Key/Value Databases

• انتخاب پایگاه داده مناسب Picking the proper database

• پایگاه‌های داده برداری چیستند و چگونه کار می‌کنند؟ What are vector databases and how they work

• پیاده‌سازی جستجوی معنایی (Semantic Search) Implementing Semantic search

• شروع سریع با Qdrant Quickstart Qdrant

• کلاینت Rust برای Qdrant Qdrant Rust Client

• معماری‌های پایگاه داده برداری Vector Database Architectures

• آزمایش عملی: ارتقای جستجوی معنایی Hands-on lab: Enhance Semantic Search

• مدل‌های داده گراف و مفاهیم پایگاه داده Graph data models and database concepts

• آشنایی با Amazon Neptune Introduction to Amazon Neptune

• الگوریتم‌های گراف: مرکزیت گراف UFC در Rust Graph algorithms: UFC graph centrality in Rust

• تشخیص اجتماع Kosaraju در گراف‌ها Kosaraju Community Detection in Graphs

• کوتاه‌ترین مسیر با استفاده از گراف‌ها Shortest Path with Graphs

• اجزای کلیدی ابزار خط فرمان (CLI) در Rust Key Components of Rust CLI Tool

• آموزش گام‌به‌گام: ساخت ابزار CLI گراف با Rust Lab Walkthrough: Building a Rust Graph CLI Tool

پروژه‌های واقعی مهندسی داده پیشرفته Real-world Advanced Data Engineering Projects

• آموزش AWS CloudShell برای توسعه Dynamo Learn AWS CloudShell for Dynamo Development

• آموزش AWS CodeCatalyst برای توسعه Dynamo Learn AWS CodeCatalyst for Dynamo Development

• بهره‌گیری از AWS CodeWhisperer برای توسعه Dynamo Leveraging AWS CodeWhisperer for Dynamo Development

• ایجاد جدول با استفاده از CLI Create a Table with CLI

• پر کردن جدول با استفاده از دسته‌ای از رکوردها (Batching) Populate a Table With Batching Records

• پرس‌وجو (Query) از جدول با رکوردها Query a Table with Records

• مرور پروژه Project Walkthrough

• مقدمه Introduction

• مرور نیازمندی‌های خط لوله (Pipeline) Overview of a pipeline requirements

• استفاده از SqlAlchemy با Pandas Using SqlAlchemy with Pandas

• ذخیره ماندگاری داده‌ها در یک تسک Persisting data in a task

• بازبینی نتایج Reviewing the results

• خلاصه Summary