آموزش زنگ برای مهندسی داده

Rust for Data Engineering

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
در این دوره آموزشی، نحوه استفاده از Rust را برای ساخت خطوط لوله داده با کارایی بالا که می توانید در مهندسی داده، ML Ops و مهندسی نرم افزار سنتی استفاده کنید، یاد بگیرید. Rust ایمنی، سرعت و کنترل سطح پایین را برای برنامه نویسی سیستم ها فراهم می کند و مربی نوح گیفت این جنبه ها را در چهار بخش این دوره به تصویر می کشد. نوح شروع به بررسی ویژگی های کلیدی Rust، از جمله HashMaps و وکتورها می کند. سپس نگاهی به ایمنی، امنیت و همزمانی با Rust می اندازد. در بخش سوم، نوح کتابخانه‌ها و ابزارهای مهندسی داده معروف Rust را پوشش می‌دهد و دوره را با نگاهی به طراحی سیستم‌های پردازش داده در Rust به پایان می‌رساند.

سرفصل ها و درس ها

1. شروع به کار با اکوسیستم توسعه زنگ مدرن 1. Getting Started with the Modern Rust Development Ecosystem

  • با مدرس و مروری بر دوره آشنا شوید Meet the instructor and course overview

  • مقدمه ای بر تغییر پارادایم کدگذاری هوش مصنوعی Introduction to the AI coding paradigm shift

  • مقدمه ای بر محیط های توسعه مبتنی بر ابر Introduction to cloud-based development environments

  • معرفی اکوسیستم GitHub Copilot برای Rust Introduction to GitHub Copilot ecosystem for Rust

  • مهندسی سریع با GCP BigQuery SQL Prompt engineering with GCP BigQuery SQL

  • مقدمه ای بر AWS CodeWhisperer برای Rust Introduction to AWS CodeWhisperer for Rust

  • استفاده از Google Bard برای افزایش بهره وری Using Google Bard to enhance productivity

  • ادغام مداوم با اقدامات Rust و GitHub Continuous integration with Rust and GitHub actions

2. توالی ها و نقشه های زنگ زده 2. Rust Sequences and Maps

  • معرفی توالی ها و نقشه های Rust Introducing Rust sequences and maps

  • نسخه ی نمایشی: چاپ ساختارهای داده Rust Demo: Print Rust data structures

  • نسخه ی نمایشی: وکتور سالاد میوه Demo: Vector fruit salad

  • نسخه ی نمایشی: سالاد میوه VecDeque Demo: VecDeque fruit salad

  • نسخه ی نمایشی: سالاد میوه لیست لینکدین Demo: LinkedIn list fruit salad

  • نسخه ی نمایشی: سالاد میوه CLI Demo: Fruit salad CLI

  • نسخه ی نمایشی: شمارشگر فرکانس HashMap Demo: HashMap frequency counter

  • مقایسه زبان هش مپ HashMap language comparison

3. مجموعه های زنگ زده، نمودارها و ساختارهای داده متفرقه 3. Rust Sets, Graphs, and Miscellaneous Data Structures

  • تجزیه و تحلیل شبکه جنگنده UFC با استفاده از مرکزیت گراف در Rust Analyzing UFC fighter network using graph centrality in Rust

  • ذخیره میوه های منحصر به فرد با استفاده از HashSet در Rust Storing unique fruits using HashSet in Rust

  • نگهداری از میوه های مرتب شده و منحصر به فرد با استفاده از BTreeSet در Rust Maintaining sorted and unique fruits using BTreeSet in Rust

  • ایجاد سالاد میوه با اولویت انجیر با استفاده از BinaryHeap در Rust Creating a fig-priority fruit salad using BinaryHeap in Rust

  • الگوریتم PageRank برای داده های ورزشی PageRank algorithm for sports data

  • نمایش کوتاه ترین مسیر با Dijkstra Showing shortest path with Dijkstra

  • تشخیص مؤلفه‌های به‌شدت متصل: یک فرو رفتن عمیق در الگوریتم کوساراجو Detecting strongly connected components: A deep dive into Kosaraju's algorithm

  • نمودار ساده ساختارهای داده در Rust Simple charting of data structures in Rust

4. زنگ زدگی و ویژگی های امنیتی 4. Rust Safety and Security Features

  • احراز هویت چند عاملی Multifactor authentication

  • تقسیم بندی شبکه Network segmentation

  • حداقل دسترسی به امتیاز Least privilege access

  • رمزگذاری Encryption

  • سالاد میوه قابل تغییر Mutable fruit salad

  • سالاد میوه را با CLI سفارشی کنید Customize fruit salad with a CLI

  • نمونه مسابقه داده Data race example

5. برنامه نویسی امنیتی با Rust 5. Security Programming with Rust

  • در دسترس بودن بالا High availability

  • درک رمز همفونیک: یک تکنیک رمزنگاری Understanding the Homophonic cipher: A cryptographic technique

  • رمزگشایی اسرار رمز سزار Decoding the secrets of the Caesar cipher

  • ساخت یک رابط خط فرمان رمز سزار Building a Caesar cipher command-line interface

  • ایجاد حلقه رمزگشا: راهنمای عملی Creating a decoder ring: A practical guide

  • تشخیص موارد تکراری با SHA-3: ابزار یکپارچگی داده Detecting duplicates with SHA-3: A data integrity tool

  • پاسخ حادثه Incident response

  • انطباق Compliance

6. همزمانی با Rust 6. Concurrency with Rust

  • مفاهیم اصلی به صورت همزمان Core concepts in concurrency

  • فیلسوفان غذاخوری Dining philosophers

  • خزیدن وب ویکی پدیا با Rayon Web crawl Wikipedia with Rayon

  • چت بات هوشمند با توکیو Intelligent chatbot with Tokio

  • حذف چند رشته ای با Rust Multi-threaded deduplication with Rust

  • بهره وری انرژی پایتون در مقابل زنگ Energy efficiency Python vs. Rust

  • تست استرس همزمان با GPU Concurrency stress test with a GPU

  • مشکل بهینه سازی بدون سرور با کارایی هاست Host efficiency serverless optimization problem

7. استفاده از Rust برای مدیریت داده ها، فایل ها و ذخیره سازی شبکه 7. Using Rust to Manage Data, Files, and Network Storage

  • فایل های CSV را در Rust پردازش کنید Process CSV files in Rust

  • استفاده از Cargo Lambda with Rust Using Cargo Lambda with Rust

  • فایل‌های موجود در AWS EFS را با Rust فهرست کنید List files on AWS EFS with Rust

  • از فضای ذخیره سازی AWS S3 استفاده کنید Use AWS S3 storage

  • از فضای ذخیره سازی AWS S3 از Rust استفاده کنید Use AWS S3 storage from Rust

  • داده های رمزگذاری شده را روی جداول یا فایل های پارکت بنویسید Write encrypted data to tables or Parquet files

8. DataFrame با Rust، Python و Notebook 8. DataFrames with Rust, Python, and Notebooks

  • کولب چیست؟ What is Colab?

  • استفاده از Bard برای بهبود توسعه نوت بوک Using Bard to enhance notebook development

  • بررسی امید به زندگی در یک دفترچه یادداشت Exploring life expectancy in a notebook

  • یک DataFrame را با داده های حساس بارگیری کنید Load a DataFrame with sensitive data

  • استفاده از MLFlow با نوت بوک های Databricks Using MLFlow with Databricks Notebooks

  • End to End ML با MLFlow و Databricks End to End ML with MLFlow and Databricks

  • بررسی امید به زندگی جهانی با قطبی Exploring global life expectancy with Polars

9. استفاده از Rust با Cloud SDK و CLI برای مهندسی داده 9. Using Rust with Cloud SDKs and CLIs for Data Engineering

  • مزیت فضای کاری توسعه دهندگان ابری Cloud developer workspace advantage

  • ورود به GCP با پایتون و Rust Onboarding to GCP with Python and Rust

  • استفاده از GCP Cloud Shell با Rust Using GCP Cloud Shell with Rust

  • AWS CloudShell را یاد بگیرید Learn AWS CloudShell

  • نمونه سازی API های هوش مصنوعی با AWS CloudShell Prototyping AI APIs with AWS CloudShell

  • Cloud9 با CodeWhisperer Cloud9 with CodeWhisperer

  • نسخه ی نمایشی: GCP App Engine Rust Deploy Demo: GCP App Engine Rust Deploy

  • Microservice Rust Actix Containerized در AWS Containerized Rust Actix Microservice on AWS

10. شروع به کار با Rust Data Pipelines (شامل ETL) 10. Getting Started with Rust Data Pipelines (Including ETL)

  • خطوط لوله داده جک و Beanstalk Jack and the Beanstalk data pipelines

  • مهندسی داده منبع باز: مزایا و معایب Open source data engineering: Pros and cons

  • اجزای اصلی خطوط لوله مهندسی داده Core components of data engineering pipelines

  • خط لوله توابع مرحله Rust AWS Rust AWS step functions pipeline

  • ماشین حساب سایز Rust AWS Lambda Async S3 Rust AWS Lambda Async S3 size calculator

  • Distroless چیست؟ What is Distroless?

  • نسخه ی نمایشی: استقرار میکروسرویس های Rust در GCP Demo: Deploying Rust microservices on GCP

11. استفاده از Rust و Python برای LLM ها، ONNX، Hugging Face و PyTorch Pipelines 11. Using Rust and Python for LLMs, ONNX, Hugging Face, and PyTorch Pipelines

  • مقدمه ای بر Hugging Face Hub Introduction to Hugging Face Hub

  • اکوسیستم مدل از پیش آموزش دیده Rust PyTorch Rust PyTorch pre-trained model ecosystem

  • مترجم Rust GPU Hugging Face Rust GPU Hugging Face translator

  • گزینه های Rust PyTorch با عملکرد بالا Rust PyTorch high-performance options

  • استنتاج EFS ONNX Rust با AWS Lambda EFS ONNX Rust inference with AWS Lambda

  • تئوری پشت تنظیم دقیق مدل Theory behind model fine-tuning

  • انجام تنظیم دقیق Doing fine-tuning

12. ساخت راه‌حل‌های SQL با Rust، AI Generative و Cloud 12. Building SQL Solutions with Rust, Generative AI, and Cloud

  • انتخاب پایگاه داده صحیح در GCP Selecting the correct database on GCP

  • طبقه بندی Rust SQLite Hugging Face صفر شات Rust SQLite Hugging Face zero-shot classification

  • مهندسی سریع برای BigQuery Prompt engineering for BigQuery

  • خط لوله BigQuery به Colab BigQuery to Colab pipeline

  • کاوش داده ها با BigQuery Exploring data with BigQuery

  • استفاده از مجموعه داده های عمومی برای علم داده Using public data sets for data science

  • پرس و جو فایل های گزارش با BigQuery Querying log files with BigQuery

  • هیچ پایگاه داده تک اندازه ای وجود ندارد There is no one-size database

  • نتیجه گیری دوره Course conclusion

نمایش نظرات

آموزش زنگ برای مهندسی داده
جزییات دوره
7h 43m
91
Linkedin (لینکدین) Linkedin (لینکدین)
(آخرین آپدیت)
-
- از 5
ندارد
دارد
دارد
Noah Gift
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Noah Gift Noah Gift

کارشناس MLOps | انفرادی | نویسنده | استادیار | CTO

Noah Gift بنیانگذار Pragmatic A.I است. آزمایشگاه ها و یکی از همکاران بنیاد نرم افزار پایتون.

نوح به طور گسترده با AWS کار می کند و یک قهرمان یادگیری ماشین AWS است. او دارای چندین گواهینامه صنعتی برای AWS است. نوح آموزش و طراحی دوره های آموزشی ماشین فارغ التحصیل، MLOps، A.I.، علم داده و مشاوره در زمینه یادگیری ماشین و معماری ابری را انجام می دهد. مسئولیت های او شامل رهبری ابتکار صدور گواهینامه چند ابری برای دانش آموزان است. نوح نقش های مختلفی را به صورت حرفه ای ایفا کرده است، از جمله CTO، مدیر کل، مشاور مدیر ارشد فناوری، مشاور ارشد دانشمند داده و معمار ابر. او همچنین دارای چندین تیتراژ فیلم در فیلم‌های اصلی برای کارهای فنی از جمله آواتار، مرد عنکبوتی 3 و بازگشت سوپرمن است.