مشکل زیرساخت شبکه و افت سرعت کاملاً برطرف شده است. در حال حاضر فعالسازی و آمادهسازی دورهها در حال انجام است. از صبر و شکیبایی شما سپاسگزاریم.
لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش مبانی مهندسی داده با SQL و پایتون
- آخرین آپدیت
دانلود Data Engineering Foundations with SQL and Python
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
یک بنیاد عملی و قوی در مهندسی داده مدرن با استفاده از Python، PostgreSQL، SQL، Git، GitHub و فرمتهای رایج دادههای مهندسی ایجاد کنید. شما خواهید آموخت که مهندسان داده چگونه محیطهای توسعه را سازماندهی میکنند، با دادههای ساختاریافته کار میکنند، مدلهای رابطهای را طراحی میکنند، جریانهای کاری قابل اعتماد از فایل به پایگاه داده میسازند و مجموعهدادههای قابل اعتمادی را برای تحلیل آماده میکنند.
شما با بررسی نقش مهندسی داده در سیستمهای داده مدرن، چرخه حیات مهندسی داده و تفاوتهای بین پردازش دستهای (Batch) و پردازش آنی (Real-time) شروع خواهید کرد. همچنین ملاحظات مهم طراحی مانند تأخیر (Latency)، نرخ انتقال (Throughput)، مقیاسپذیری و مرزهای سیستم را بررسی خواهید کرد. از طریق دموهای هدایت شده، یک فضای کاری مهندسی داده را راهاندازی کرده، با خط فرمان کار میکنید، فایلهای پروژه را سازماندهی کرده و کدها را با استفاده از Git و GitHub مدیریت خواهید کرد.
سپس با مجموعهدادههای CSV، JSON و Parquet کار کرده و مفاهیمی مانند شمای داده (Schema)، قراردادهای داده (Data Contracts)، تغییرات پویا در شما (Schema Drift)، انتخابهای ذخیرهسازی، پایگاههای داده رابطهای و مدلسازی دادهها را بررسی خواهید کرد. با استفاده از PostgreSQL و SQL، جداول را ایجاد کرده، دادهها را کاوش میکنید، عملیات Join را انجام میدهید، معیارها را محاسبه کرده و از Common Table Expressions (CTE) و توابع پنجرهای (Window Functions) برای تحلیلهای پیشرفتهتر استفاده خواهید کرد. همچنین متدهای SQL تدافعی را برای مدیریت مقادیر NULL، انواع دادهها و رکوردهای ناسازگار به کار میگیرید.
در نهایت، با بارگذاری دادههای فایل-محور در PostgreSQL، اعتبارسنجی کیفیت دادهها، پاکسازی و آمادهسازی مجموعهدادهها و بهکارگیری اصولی مانند Idempotency (یکسانسازی)، بارگذاری افزایشی، پردازش مجدد ایمن و عیبیابی، جریانهای کاری دادهای قابل اعتمادی خواهید ساخت. این دوره با یک پروژه پردازش دادههای ساختاریافته به پایان میرسد که تمامی مراحل جذب، ذخیرهسازی، تبدیل، اعتبارسنجی و قابلیت اطمینان جریان کاری را در بر میگیرد.
در پایان این دوره، شما قادر خواهید بود:
- نقش مهندسی داده در سیستمهای داده مدرن را توضیح دهید.
- مراحل چرخه حیات مهندسی داده را شرح دهید.
- تفاوت بین پردازش دستهای و پردازش آنی را تشخیص دهید.
- یک فضای کاری مهندسی داده بازتولیدپذیر را راهاندازی و مدیریت کنید.
- با فرمتهای داده CSV، JSON و Parquet کار کنید.
- مفاهیم Schema، قراردادهای داده، Schema Drift و گزینههای ذخیرهسازی را درک کنید.
- دادههای رابطهای را با استفاده از PostgreSQL و SQL طراحی و کوئری کنید.
- از Joinها، تجمیعها، CTEها و توابع پنجرهای برای تحلیل دادهها استفاده کنید.
- تکنیکهای SQL تدافعی را برای مقادیر NULL و انواع دادهها به کار ببرید.
- جریانهای کاری قابل اعتماد از فایل به پایگاه داده بسازید.
- دادهها را برای تحلیلهای پاییندستی اعتبارسنجی، پاکسازی و آماده کنید.
- متدهای Idempotency، بارگذاری افزایشی، پردازش مجدد ایمن و عیبیابی را پیادهسازی کنید.
این دوره برای مهندسان داده آینده، تحلیلگران داده، توسعهدهندگان نرمافزار، متخصصان پایگاه داده و دانشجویانی که وارد حوزه داده میشوند طراحی شده است و شما را برای ساخت جریانهای کاری دادهای ساختاریافته، قابل اعتماد و قابل نگهداری با استفاده از فناوریهای متنباز رایج آماده میکند.
سرفصل ها و درس ها
مبانی مهندسی داده مدرن
Foundations of Modern Data Engineering
معرفی تخصص
Specialization Introduction
معرفی دوره
Course Introduction
مهندسی داده و سیستمهای داده مدرن چیست
What is Data Engineering and Modern Data Systems
چرخه حیات مهندسی داده
The Data Engineering Lifecycle
اصول پردازش دستهای و آنی
Batch and Real-Time Processing Fundamentals
راهاندازی فضای کاری مهندسی داده
Setting Up the Data Engineering Workspace
کار با خط فرمان و فایلهای پروژه
Working with the Command Line and Project Files
مدیریت پروژه با Git و GitHub
Managing a Project with Git and GitHub
ذخیرهسازی دادهها، مدلسازی و اصول SQL
Data Storage, Modeling, and SQL Fundamentals
فرمتهای داده برای بارهای کاری مهندسی
Data Formats for Engineering Workloads
پایگاههای داده رابطهای و مدلسازی دادهها
Relational Databases and Data Modelling
بررسی فایلهای CSV، JSON و Parquet
Inspecting CSV, JSON, and Parquet Files
راهاندازی PostgreSQL و ایجاد جداول
Setting Up PostgreSQL and Creating Tables
نوشتن کوئریهای SQL برای کاوش دادهها
Writing SQL Queries for Data Exploration
اتصال جداول و محاسبه معیارها
Joining Tables and Calculating Metrics
استفاده از CTEها و توابع پنجرهای
Using CTEs and Window Functions
خط لولههای داده قابل اعتماد و مهندسی کیفیت
Reliable Data Pipelines and Quality Engineering
کیفیت دادهها و جریانهای کاری قابل اعتماد
Data Quality and Reliable Data Workflows
طراحی جریان کاری از فایل به پایگاه داده
Designing a File-to-Database Workflow
بارگذاری دادههای فایل در PostgreSQL
Loading File Data into PostgreSQL
اعتبارسنجی کیفیت دادهها در PostgreSQL
Validating Data Quality in PostgreSQL
پاکسازی و آمادهسازی دادهها برای تحلیل
Cleaning and Preparing Data for Analysis
ساخت جریان کاری پردازش دادههای ساختاریافته
Building a Structured Data Processing Workflow
نمایش نظرات