آموزش مبانی مهندسی داده با SQL و پایتون - آخرین آپدیت

دانلود Data Engineering Foundations with SQL and Python

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: یک بنیاد عملی و قوی در مهندسی داده مدرن با استفاده از Python، PostgreSQL، SQL، Git، GitHub و فرمت‌های رایج داده‌های مهندسی ایجاد کنید. شما خواهید آموخت که مهندسان داده چگونه محیط‌های توسعه را سازماندهی می‌کنند، با داده‌های ساختاریافته کار می‌کنند، مدل‌های رابطه‌ای را طراحی می‌کنند، جریان‌های کاری قابل اعتماد از فایل به پایگاه داده می‌سازند و مجموعه‌داده‌های قابل اعتمادی را برای تحلیل آماده می‌کنند. شما با بررسی نقش مهندسی داده در سیستم‌های داده مدرن، چرخه حیات مهندسی داده و تفاوت‌های بین پردازش دسته‌ای (Batch) و پردازش آنی (Real-time) شروع خواهید کرد. همچنین ملاحظات مهم طراحی مانند تأخیر (Latency)، نرخ انتقال (Throughput)، مقیاس‌پذیری و مرزهای سیستم را بررسی خواهید کرد. از طریق دموهای هدایت شده، یک فضای کاری مهندسی داده را راه‌اندازی کرده، با خط فرمان کار می‌کنید، فایل‌های پروژه را سازماندهی کرده و کدها را با استفاده از Git و GitHub مدیریت خواهید کرد. سپس با مجموعه‌داده‌های CSV، JSON و Parquet کار کرده و مفاهیمی مانند شمای داده (Schema)، قراردادهای داده (Data Contracts)، تغییرات پویا در شما (Schema Drift)، انتخاب‌های ذخیره‌سازی، پایگاه‌های داده رابطه‌ای و مدل‌سازی داده‌ها را بررسی خواهید کرد. با استفاده از PostgreSQL و SQL، جداول را ایجاد کرده، داده‌ها را کاوش می‌کنید، عملیات Join را انجام می‌دهید، معیارها را محاسبه کرده و از Common Table Expressions (CTE) و توابع پنجره‌ای (Window Functions) برای تحلیل‌های پیشرفته‌تر استفاده خواهید کرد. همچنین متدهای SQL تدافعی را برای مدیریت مقادیر NULL، انواع داده‌ها و رکوردهای ناسازگار به کار می‌گیرید. در نهایت، با بارگذاری داده‌های فایل-محور در PostgreSQL، اعتبارسنجی کیفیت داده‌ها، پاک‌سازی و آماده‌سازی مجموعه‌داده‌ها و به‌کارگیری اصولی مانند Idempotency (یکسان‌سازی)، بارگذاری افزایشی، پردازش مجدد ایمن و عیب‌یابی، جریان‌های کاری داده‌ای قابل اعتمادی خواهید ساخت. این دوره با یک پروژه پردازش داده‌های ساختاریافته به پایان می‌رسد که تمامی مراحل جذب، ذخیره‌سازی، تبدیل، اعتبارسنجی و قابلیت اطمینان جریان کاری را در بر می‌گیرد. در پایان این دوره، شما قادر خواهید بود: - نقش مهندسی داده در سیستم‌های داده مدرن را توضیح دهید. - مراحل چرخه حیات مهندسی داده را شرح دهید. - تفاوت بین پردازش دسته‌ای و پردازش آنی را تشخیص دهید. - یک فضای کاری مهندسی داده بازتولیدپذیر را راه‌اندازی و مدیریت کنید. - با فرمت‌های داده CSV، JSON و Parquet کار کنید. - مفاهیم Schema، قراردادهای داده، Schema Drift و گزینه‌های ذخیره‌سازی را درک کنید. - داده‌های رابطه‌ای را با استفاده از PostgreSQL و SQL طراحی و کوئری کنید. - از Joinها، تجمیع‌ها، CTEها و توابع پنجره‌ای برای تحلیل داده‌ها استفاده کنید. - تکنیک‌های SQL تدافعی را برای مقادیر NULL و انواع داده‌ها به کار ببرید. - جریان‌های کاری قابل اعتماد از فایل به پایگاه داده بسازید. - داده‌ها را برای تحلیل‌های پایین‌دستی اعتبارسنجی، پاک‌سازی و آماده کنید. - متدهای Idempotency، بارگذاری افزایشی، پردازش مجدد ایمن و عیب‌یابی را پیاده‌سازی کنید. این دوره برای مهندسان داده آینده، تحلیلگران داده، توسعه‌دهندگان نرم‌افزار، متخصصان پایگاه داده و دانشجویانی که وارد حوزه داده می‌شوند طراحی شده است و شما را برای ساخت جریان‌های کاری داده‌ای ساختاریافته، قابل اعتماد و قابل نگهداری با استفاده از فناوری‌های متن‌باز رایج آماده می‌کند.

سرفصل ها و درس ها

مبانی مهندسی داده مدرن Foundations of Modern Data Engineering

  • معرفی تخصص Specialization Introduction

  • معرفی دوره Course Introduction

  • مهندسی داده و سیستم‌های داده مدرن چیست What is Data Engineering and Modern Data Systems

  • چرخه حیات مهندسی داده The Data Engineering Lifecycle

  • اصول پردازش دسته‌ای و آنی Batch and Real-Time Processing Fundamentals

  • راه‌اندازی فضای کاری مهندسی داده Setting Up the Data Engineering Workspace

  • کار با خط فرمان و فایل‌های پروژه Working with the Command Line and Project Files

  • مدیریت پروژه با Git و GitHub Managing a Project with Git and GitHub

ذخیره‌سازی داده‌ها، مدل‌سازی و اصول SQL Data Storage, Modeling, and SQL Fundamentals

  • فرمت‌های داده برای بارهای کاری مهندسی Data Formats for Engineering Workloads

  • پایگاه‌های داده رابطه‌ای و مدل‌سازی داده‌ها Relational Databases and Data Modelling

  • بررسی فایل‌های CSV، JSON و Parquet Inspecting CSV, JSON, and Parquet Files

  • راه‌اندازی PostgreSQL و ایجاد جداول Setting Up PostgreSQL and Creating Tables

  • نوشتن کوئری‌های SQL برای کاوش داده‌ها Writing SQL Queries for Data Exploration

  • اتصال جداول و محاسبه معیارها Joining Tables and Calculating Metrics

  • استفاده از CTEها و توابع پنجره‌ای Using CTEs and Window Functions

خط لوله‌های داده قابل اعتماد و مهندسی کیفیت Reliable Data Pipelines and Quality Engineering

  • کیفیت داده‌ها و جریان‌های کاری قابل اعتماد Data Quality and Reliable Data Workflows

  • طراحی جریان کاری از فایل به پایگاه داده Designing a File-to-Database Workflow

  • بارگذاری داده‌های فایل در PostgreSQL Loading File Data into PostgreSQL

  • اعتبارسنجی کیفیت داده‌ها در PostgreSQL Validating Data Quality in PostgreSQL

  • پاک‌سازی و آماده‌سازی داده‌ها برای تحلیل Cleaning and Preparing Data for Analysis

  • ساخت جریان کاری پردازش داده‌های ساختاریافته Building a Structured Data Processing Workflow

  • جمع‌بندی دوره Course Summary

نمایش نظرات

آموزش مبانی مهندسی داده با SQL و پایتون
جزییات دوره
5h 23m
22
(آخرین آپدیت)
53
- از 5
دارد
دارد
دارد
Chris Croft
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Chris Croft Chris Croft

مربی مدیریت، سخنران، نویسنده