آموزش آماده‌سازی برای مصاحبه مهندسی داده: SQL، اسپارک و طراحی سیستم - آخرین آپدیت

سرفصل ها و درس ها

نقشه راه مصاحبه مهندسی داده Inside the DE Interview: The Map

• شرکت‌ها واقعاً چه چیزهایی را تست می‌کنند What Companies Actually Test

• خواندن شرح شغلی از دید یک مصاحبه‌کننده Reading the Job Description Like an Interviewer

• برنامه آماده‌سازی ۴ هفته‌ای و نحوه استفاده از این دوره The 4-Week Prep Plan + How to Use This Course

مرحله اول SQL: Joinها، تجمیع‌ها و سوالات تله SQL Round I: Joins, Aggregations & the Trap Questions

• خانواده Joinها و تله NULL در LEFT JOIN The Join Family and the LEFT-JOIN-NULL Trap

• نکات مهم GROUP BY، HAVING و تجمیع‌ها GROUP BY, HAVING and Aggregation Gotchas

• عملیات مجموعه‌ای و منطق سه مقدار Having NULL Set Operations and Three-Valued NULL Logic

مرحله دوم SQL: توابع پنجره‌ای (مهم‌ترین فیلتر) SQL Round II: Window Functions (the #1 Filter)

• مقایسه ROW_NUMBER در مقابل RANK و DENSE_RANK ROW_NUMBER vs RANK vs DENSE_RANK

• مجموع‌های جاری و میانگین‌های متحرک: ROWS در مقابل RANGE Running Totals and Moving Averages: ROWS vs RANGE

• توابع LAG، LEAD و تحلیل دوره‌ای LAG, LEAD and Period-over-Period Analysis

• بیشترین N مورد در هر گروه: حل سوال کلاسیک به سه روش Top-N-per-Group: the Classic Question, Solved Three Ways

مرحله سوم SQL: الگوهای پیشرفته محبوب مصاحبه‌کنندگان SQL Round III: Advanced Patterns Interviewers Love

• مقایسه CTEها در مقابل Subqueryها و جداول موقت (و CTEهای بازگشتی) CTEs vs Subqueries vs Temp Tables (and Recursive CTEs)

• الگوی Gaps and Islands: یک الگو، بیست سوال Gaps and Islands: One Pattern, Twenty Questions

• Pivoting، Unpivoting و تجمیع شرطی Pivoting, Unpivoting and Conditional Aggregation

• کار با تاریخ و زمان و Sessionization Date-Time Gymnastics and Sessionization

مرحله چهارم SQL: بهینه‌سازی و بررسی علت کندی SQL Round IV: Why Is This Slow? Optimization

• خواندن پلان اجرای کوئری (Execution Plan) Reading an Execution Plan

• حذف پارتیشن (Partition Pruning) و Predicate Pushdown Partition Pruning and Predicate Pushdown

• ضد-الگوهایی که عملکرد را تخریب می‌کنند The Anti-Patterns That Tank Performance

مدل‌سازی داده‌ها: طراحی ابعادی روی تخته سفید Data Modeling: Dimensional Design at the Whiteboard

• مقایسه OLTP در مقابل OLAP و دلیل تفاوت مدل‌ها OLTP vs OLAP and Why Models Differ

• اسکیم Star در مقابل Snowflake: نحوه تصمیم‌گیری Star vs Snowflake Schema: the Decision

• فکت‌ها، ابعاد و انتخاب Grain Facts, Dimensions and Choosing the Grain

• ابعاد با تغییر کند (SCD نوع ۱، ۲، ۳ و ۶) Slowly Changing Dimensions (Type 1/2/3/6)

مفاهیم انبارش داده که مورد پرسش قرار می‌گیرید Warehousing Concepts They Quiz You On

• موازنه بین نرمال‌سازی و دنورمال‌سازی Normalization vs Denormalization Trade-offs

• ذخیره‌سازی ستونی و MPP: نحوه مقیاس‌پذیری انبارها MPP and Columnar Storage: How Warehouses Scale

• مقایسه متدهای Kimball در مقابل Inmon و Data Vault Kimball vs Inmon vs Data Vault

مرحله پایتون: اصطلاحات و پردازش داده‌ها Python Round: Idioms and Data Wrangling

• سوالات ساختارهای داده (dict / set / list) The Data-Structures Questions (dict / set / list)

• اصطلاحات پایتونیکی که مصاحبه‌کنندگان به دنبال آن هستند Pythonic Idioms Interviewers Watch For

• استفاده از Pandas برای مصاحبه (و تله‌های آن) Pandas for the Interview (and Its Traps)

• پردازش فایل‌ها و API تحت فشار زمانی File and API Processing Under Time Pressure

مرحله اول PySpark: مدل ذهنی توزیع‌شده PySpark Round I: The Distributed Mental Model

• چرا Spark وجود دارد: پارتیشن‌ها، کلاستر و Lazy Evaluation Why Spark Exists: Partitions, Cluster, Lazy Eval

• تفاوت Transformations و Actions و مفهوم DAG Transformations vs Actions and the DAG

• API مربوط به DataFrame که باید کاملاً بر آن مسلط باشید The DataFrame API You Must Know Cold

مرحله دوم PySpark: Shuffle، Skew و عملکرد PySpark Round II: Shuffles, Skew and Performance

• Shuffle: ریشه تمام سوالات Spark The Shuffle: Root of All Spark Questions

• Broadcast Joins، پارتیشن‌بندی و Bucketing Broadcast Joins, Partitioning and Bucketing

• انحراف داده‌ها (Data Skew)، AQE و Catalyst Data Skew, AQE and Catalyst

• Caching و Persistence: چه زمانی نتیجه عکس می‌دهند Caching and Persistence: When They Backfire

طراحی خط لوله: ETL/ELT مناسب برای محیط عملیاتی Pipeline Design: ETL/ELT That Survives Production

• مقایسه ETL در مقابل ELT و نقاط قوت هر کدام ETL vs ELT and Where Each Wins

• Idempotency، بارگذاری‌های افزایشی و Backfills Idempotency, Incremental Loads and Backfills

• ارکستراسیون و طراحی وابستگی‌ها (Airflow) Orchestration and Dependency Design (Airflow)

• مدیریت داده‌های دیرهنگام و تکراری Handling Late and Duplicate Data

استریمینگ و زمان واقعی: بحث‌های مربوط به Kafka Streaming and Real-Time: The Kafka Conversation

• مقایسه Batch در مقابل Streaming و اهمیت زمان واقعی Batch vs Streaming and When Real-Time Matters

• مدل ذهنی Kafka: Topicها، Partitionها و Offsetها Kafka Mental Model: Topics, Partitions, Offsets

• تضمین Exactly Once، Windowing و Watermarks Exactly-Once, Windowing and Watermarks

• الگوهای Change Data Capture (CDC) Change Data Capture (CDC) Patterns

فرمت‌های فایل و ذخیره‌سازی: Parquet، Delta و Iceberg File Formats and Storage: Parquet, Delta and Iceberg

• ذخیره‌سازی سطری در مقابل ستونی و دلیل برتری Parquet Row vs Columnar and Why Parquet Wins

• فشرده‌سازی، پارتیشن‌بندی و مشکل فایل‌های کوچک Compression, Partitioning and the Small-Files Problem

• Delta و Iceberg: فرمت‌های جدول در مصاحبه‌ها Delta and Iceberg: Table Formats in Interviews

مبانی سیستم‌های توزیع‌شده برای مهندسان داده Distributed Systems Fundamentals for Data Engineers

• پارتیشن‌بندی، Replication و Sharding Partitioning, Replication and Sharding

• قضیه CAP، مدل‌های سازگاری و موازنه آن‌ها CAP, Consistency Models and Trade-offs

• MapReduce، Shuffle و پیشینه پیدایش Spark MapReduce, Shuffle and the Lineage of Spark

کیفیت داده، تست و قابلیت اطمینان Data Quality, Testing and Reliability

• ابعاد کیفیت داده (DQ) و چک‌های حیاتی DQ Dimensions and the Checks That Matter

• قراردادهای داده (Data Contracts)، SLAها و Observability Data Contracts, SLAs and Observability

• تست خط لوله‌ها (Unit / Integration / Data) Testing Pipelines (Unit / Integration / Data)

پلتفرم‌های ابری: سوالات Snowflake و Databricks Cloud Platforms: Snowflake and Databricks Questions

• پاسخ‌های مصاحبه درباره معماری Snowflake Snowflake Architecture Interview Answers

• توضیح Databricks و مفهوم Lakehouse Databricks and the Lakehouse Explained

• اهرم‌های هزینه و عملکرد که درباره آن‌ها می‌پرسند Cost and Performance Levers They Ask About

طراحی سیستم برای مهندسان داده ۱: چارچوب کلی System Design for DEs I: The Framework

• چارچوب طراحی سیستم‌های داده The Data-System-Design Framework

• طراحی یک خط لوله تحلیل Batch Designing a Batch Analytics Pipeline

• تخمین مقیاس، نرخ تراکنش (Throughput) و ذخیره‌سازی Estimating Scale, Throughput and Storage

طراحی سیستم ۲: حل سناریوهای واقعی System Design II: Real Prompts, Solved

• طراحی انبار داده برای یک شرکت تجارت الکترونیک Design a Warehouse for an E-commerce Company

• طراحی خط لوله معیارهای زمان واقعی (Real-time Metrics) Design a Real-Time Metrics Pipeline

• طراحی لایه ورود داده‌های Lakehouse Design a Lakehouse Ingestion Layer

مرحله کدنویسی/DSA که مهندسان داده با آن روبرو می‌شوند The Coding/DSA Round Data Engineers Still Face

• مراحل کدنویسی مهندسی داده واقعاً چگونه است What DE Coding Rounds Actually Look Like

• آرایه‌ها، Hashmapها و رشته‌ها (۸۰٪ سوالات) Arrays, Hashmaps and Strings (the 80%)

• تحلیل پیچیدگی و نحوه توضیح کد در حین نوشتن Complexity and Talking Through Your Code

تکالیف خانگی و تست‌های SQL زنده Take-Homes and Live SQL Tests

• کالبدشکافی تکالیف خانگی و نحوه تعیین محدوده پروژه Anatomy of a Take-Home and How to Scope It

• استراتژی تست SQL زنده (تفکر بلند و بررسی حالت‌های خاص) Live SQL Test Strategy (Think Aloud, Edge Cases)

• ارائه راهکار مانند یک مهندس ارشد Presenting Your Solution Like a Senior

مرحله رفتاری و بررسی عمیق پروژه‌ها The Behavioral and Project Deep-Dive Round

• متد STAR و ساختاردهی به داستان‌های تجربی STAR Method and Structuring Your Stories

• بررسی عمیق پروژه: دفاع از تصمیمات اتخاذ شده The Project Deep-Dive: Defending Decisions

• مدیریت تضاد، مالکیت و سیگنال‌های سطح ارشد Conflict, Ownership and Senior Signals

• سوالاتی که باید از آن‌ها بپرسید (و نشانه‌های هشداردهنده) Questions to Ask Them (and Red Flags)

پروژه نهایی: شبیه‌ساز کامل مصاحبه Capstone: The Full Mock Interview Gauntlet

• تست زمان‌دار SQL و توابع پنجره‌ای (حل شده) The SQL + Window Screen (Timed, Solved)

• چرخه طراحی خط لوله و Spark The Spark + Pipeline-Design Loop

کوییزهای ماژول‌ها (مرور اختیاری) Module Quizzes (Optional Review)

• بررسی ماژول ۱ Module 1 Check

• بررسی ماژول ۲ Module 2 Check

• بررسی ماژول ۳ Module 3 Check

• بررسی ماژول ۴ Module 4 Check

• بررسی ماژول ۵ Module 5 Check

• بررسی ماژول ۶ Module 6 Check

• بررسی ماژول ۷ Module 7 Check

• بررسی ماژول ۸ Module 8 Check

• بررسی ماژول ۹ Module 9 Check

• بررسی ماژول ۱۰ Module 10 Check

• بررسی ماژول ۱۱ Module 11 Check

• بررسی ماژول ۱۲ Module 12 Check

• بررسی ماژول ۱۳ Module 13 Check

• بررسی ماژول ۱۴ Module 14 Check

• بررسی ماژول ۱۵ Module 15 Check

• بررسی ماژول ۱۶ Module 16 Check

• بررسی ماژول ۱۷ Module 17 Check

• بررسی ماژول ۱۸ Module 18 Check

• بررسی ماژول ۱۹ Module 19 Check

• بررسی ماژول ۲۰ Module 20 Check

• بررسی ماژول ۲۱ Module 21 Check

• بررسی ماژول ۲۲ Module 22 Check