آموزش پاسخ به بیش از ۱۰۰ سوال و آمادگی برای مصاحبه مهندس داده Snowflake - آخرین آپدیت

سرفصل ها و درس ها

Introduction

• درباره این دوره و مدرس About this course and the Instructor

بارگذاری داده در Snowflake Loading Data in Snowflake

• آیا هنگام بارگذاری داده با استفاده از دستور COPY از تبدیل (transformation) استفاده می‌کنید؟ Do you use transformation when loading data using the COPY command?

• برای برقراری اتصال بین Snowflake و فضای ذخیره‌سازی ابری چه چیزی لازم است؟ What is needed to establish connectivity between snowflake and cloud storage ?

• چگونه می‌توانیم بدون استفاده از Snowpipe، COPY یا ابزارهای ETL شخص ثالث مانند DBT، داده را دریافت کنیم؟ How can we ingest data without using snowpipe, COPY or 3rd party ETL like DBT ?

• شما فایل‌هایی را از فروشنده جدید خود دریافت کرده‌اید، از ساختار ... آگاه هستید؟ You received files from your new vendor, you are aware of the layout of ..?

• چگونه فرآیند اعتبارسنجی خودکار و کنترل کیفیت ... را راه‌اندازی می‌کنید؟ How will you setup a process of automatic validation and quality control of ..?

• پس از بارگذاری یک فایل با دستور COPY، آیا می‌توانید آن را مجدداً بارگذاری کنید؟ Once a file is loaded with the COPY command can you reload the file again ?

• استراتژی بارگذاری داده در پروژه شما چیست؟ What is the data loading strategy in your project ?

• هنگام دریافت داده از data lake، آیا بیشتر فایل‌های شما در قالب Parquet هستند؟ When ingesting data from data lake, are most of your files in parquet format ..?

UDF و Stored Procedure UDF and Stored Procedure.

• می‌خواهید یک جدول را در Snowflake خالی (truncate) کنید، آیا می‌توانید از UDF برای این کار استفاده کنید؟ You want to truncate a table in snowflake, can you use a UDF to do so ?

• مزایای استفاده از stored procedure و UDF چیست؟ What are the benefit of using stored procedure and UDF ?

• آیا در پروژه خود stored procedure ایجاد کرده‌اید، از آنها برای چه کاری استفاده کردید؟ Have you created stored procedures in your project, what dd you use them for ?

• UDFهای Snowflake از چه زبانی پشتیبانی می‌کنند؟ What language does snowflake UDF support ?

زمان‌بندی وظایف (Job Scheduling) Job Scheduling

• آیا می‌توانیم از Snowflake ایمیل ارسال کنیم؟ Can we send emails from Snowflake ?

• در پروژه خود آیا از Snowflake برای ارسال ایمیل استفاده می‌کنید؟ In your project do you use snowflake to send emails ?

• چرا به جای استفاده از Taskها برای زمان‌بندی وظایف در Snowflake، از Airflow استفاده می‌کنید؟ Why do you use airflow instead of using tasks to schedule jobs in snowflake ?

Snowpipe Snowpipe

• در چه سناریویی استفاده از Snowpipe در Snowflake توصیه نمی‌شود؟ In which scenario is using snowpipe not recommended in snowflake ?

• چرا در بارگذاری داده پروژه خود از Snowpipe به جای batch job استفاده می‌کنید؟ Why would you use snowpipe instead of batch job in your project data load?

• چندین فایل در فضای ذخیره‌سازی ابری وجود دارد که ۱۱ روز پیش دریافت شده‌اند، شما ...؟ There are several files in cloud storage that was received 11 days ago, you ..?

• Snowpipe چیست؟ مزایای آن کدامند؟ What is snowpipe.What are its advantages ?

• چگونه می‌توان اجرای یک pipe را که به دلیل مشکلات داده، فایل‌ها را رد می‌کند، متوقف کرد؟ How do we pause execution of a pipe which is skipping files due to data issues ?

• مراحل راه‌اندازی Snowpipe چیست؟ What are the steps for setting up Snowpipe ?

• یک سناریو در پروژه خود که در آن از Snowpipe استفاده کرده‌اید، را برایم توضیح دهید. Provide me a scenario in your project where you used snowpipe?

• چگونه می‌توانید خطاهای Snowpipe را نظارت و عیب‌یابی کنید؟ How can you monitor and troubleshoot snowpipe errors?

• به دلیل وجود چند سطر نامعتبر در فایل، بارگذاری Snowpipe شما فایل‌ها را رد می‌کند. چگونه ...؟ Due to a few bad rows in the file your snowpipe load is skipping files. How ..?

Task (وظیفه) Task

• Task چیست؟ مزایای آن کدامند؟ What is a task , What are its advantages ?

• چگونه می‌توانید Taskها را در Snowflake نظارت کنید؟ How can you monitor tasks in snowflake ?

• هنگامی که یک Task ایجاد می‌شود، آیا به طور پیش‌فرض فعال است یا غیرفعال؟ When a task is created is it Active or inactive by Default ?

• اگر یک Task را بدون Warehouse ایجاد کنیم، چه اتفاقی می‌افتد؟ What would happen if we created a task without a warehouse ?

• حداکثر تعداد Taskهایی که یک DAG می‌تواند داشته باشد +۱ چیست؟ What is the maximum Number of tasks that a DAG can have +1 ?

• شما ستون یک جدول را تغییر دادید که باعث خرابی Task شد، چگونه آن را مدیریت می‌کنید؟ You changed a table column causing a task to fail, how will you handle it ?

• یک سناریو در پروژه خود که در آن از Taskها استفاده کرده‌اید، را توضیح دهید؟ ۳ مورد کاربرد Explain a scenario in your project where you have used tasks ? 3 Use Cases

• چگونه اطلاعات وابستگی بین Taskها را در یک درخت Task پیدا می‌کنید؟ How will you find dependency information between tasks on a tree of tasks?

نظارت‌گر منابع (Resource Monitor) Resource Monitor

• Resource Monitor چیست؟ چگونه مطمئن می‌شوید که یک Query بد نوشته شده ...؟ What is a resource monitor? How would you ensure that a badly written query ..?

• چند Resource Monitor می‌توانید در حساب خود داشته باشید؟ How many Resource monitors can you have in your account ?

• چه اقداماتی را می‌توان در یک Resource Monitor انجام داد؟ What actions can be taken inside a resource monitor ?

انبار داده (Data Warehousing) Data Warehousing

• اندازه انبار داده Snowflake شما چقدر است؟ How big is your snowflake data warehouse

• چگونه برای جداول در Snowflake، PK (کلید اصلی) تولید می‌کنید؟ How do you generate PK for tables in snowflake ?

• ما یک جدول به نام customer در QA داریم و باید داده‌های آن را با ... مقایسه کنیم؟ We have a table called customer in QA and we need to compare data in it with ..?

• برای جداول staging که روزانه خالی (truncated) می‌شوند، چه نوع جدولی را ترجیح می‌دهید؟ For staging tables being truncated daily what table type do you prefer ?

• آیا می‌توانم جداول دائمی (permanent) را در یک شمای گذرا (transient schema) ایجاد کنم؟ Can I create permanent tables in a transient schema ?

• آیا Snowflake از محدودیت‌ها (constraints) پشتیبانی می‌کند؟ Does snowflake support constraints ?

Stages و SnowSQL Stages & SnowSQL

• Stage در Snowflake چیست؟ What is a stage in snowflake ?

• در چه سناریویی نیاز پروژه به استفاده از internal stage را می‌بینید؟ In what scenario do you see the need for project to use internal stage ?

• چگونه می‌توانید تعداد فایل‌های موجود در یک stage را مشخص کنید؟ How can you determine how many files are there in a stage ?

• انواع مختلف internal stageها در Snowflake کدامند؟ What are the different type of internal stages in snowflake ?

• چگونه می‌توانید فایل‌ها را به یک Internal Stage اضافه، دانلود و حذف کنید؟ How can you add, download and remove files from an Internal Stage ?

• شما ۱۰۰ فایل روی یک سرور داخلی (on premises) دارید که می‌خواهید آنها را آپلود کنید به ...؟ You have 100 files on a server which is on premises that you want to upload to ?

Streamها Streams

• یک stream چگونه خالی می‌شود؟ چگونه می‌توانید یک stream را پاکسازی (purge) کنید؟ How does a stream become empty ? How can you purge a stream ?

• آیا می‌توانید یک stream و یک table را join کنید؟ Can you join a stream and table ?

• در چه سناریویی از streamها در پروژه خود استفاده کردید؟ مورد کاربرد ۱ In what scenario did you use streams in your project ? Use Case 1

• در چه سناریویی از streamها در پروژه خود استفاده کردید؟ مورد کاربرد ۲ In what scenario did you use streams in your project ? Use Case 2

• Change tracking در یک table چیست؟ چرا به جای streamها از آن استفاده می‌شود؟ What is change tracking on a table ? Why is it used instead of streams ?

• Stream چیست؟ What is a stream ?

• انواع مختلف streamها کدامند؟ What are the different type of streams ?

Time Travel (سفر در زمان) Time Travel

• Time travel چیست؟ مزایای آن کدامند؟ What is time travel ? What are its advantages ?

• گزینه‌های مختلفی که می‌توانید برای بازیابی داده با Time Travel استفاده کنید، کدامند؟ What are the different options you can use to recover data with time travel ?

• یک جدول خالی (truncated) شده است و شما نمی‌توانید آن را با استفاده از Time Travel بازیابی کنید ...؟ A table has been truncated and you are not able to recover it using time ..?

• یک توسعه‌دهنده تازه‌کار یک جدول را حذف (drop) کرده است، از شما خواسته شده که آن را بازیابی کنید، چگونه ...؟ A junior developer dropped a table, you have been asked to recover it how ..?

• چگونه پارامتر حفظ داده (data retention) یک جدول را پیدا می‌کنید؟ How will you find the data retention parameter of a table ?

• حداکثر Time Travel موجود در هر نسخه از Snowflake چقدر است؟ What is the max time travel available on any edition of snowflake ?

• آیا دستور undrop با Schema و databases کار می‌کند؟ Does the undrop command work with Schema and databases ?

Fail-Safe Fail-Safe

• Fail-Safe چیست؟ مزایای آن کدامند؟ What is fail-safe ? What are its advantages ?

• چگونه میزان داده از جداول خود را که در Fail-Safe هستند، اندازه‌گیری می‌کنید و ...؟ How will you measure how much of data from your tables is in fail-safe and ...?

• آیا جداول transient و temporary دارای Time Travel هستند؟ Do transient and temporary tables have time-travel ?

Zero-Copy Cloning ZeroCopy Cloning

• Zero-Copy Cloning چیست؟ مزایای آن نسبت به `CREATE TABLE AS SELECT` کدامند؟ What is zero Copy Cloning ,What are its advantages over create table as select ?

• هنگام کلون کردن یک جدول، آیا grantها نیز کپی می‌شوند؟ When cloning a table do the grants get copied over ?

• هنگام کلون کردن یک جدول، آیا کلیدهای خوشه‌ای (cluster keys) نیز کپی می‌شوند؟ When cloning a table do the cluster Keys get copied over ?

• آیا در پروژه خود از Zero-Copy Cloning استفاده کردید؟ سؤال سناریویی In your project did you use Zero Copy cloning ,Scenario Question ?

• فرض کنید داده در جدول تولید (production) شما به طور تصادفی به‌روزرسانی شده است، چگونه ...؟ Lets us say that data in your production table was accidentally updated how ..?

• شما یک جدول در حساب تولید (prod account) Snowflake دارید و می‌خواهید آن را کلون کرده و بیاورید ...؟ You have a table in a snowflake prod account and want to clone it and bring ..?

• اگر یک جدول را کلون کنم و کلون را به‌روزرسانی کنم، آیا جدول اصلی نیز به‌روزرسانی می‌شود؟ If I clone a table and update the clone will the original table get updated ?

Warehouse (انبار) Warehouse

• حداکثر تعداد کلاسترهایی که یک انبار (warehouse) می‌تواند داشته باشد چقدر است؟ What is the maximum number of clusters you can have in a cluster ?

• چه نوع سیاست مقیاس‌بندی (scaling policy) را در پروژه خود استفاده می‌کنید؟ What kind of scaling policy do you use on your project ?

• تفاوت Scaling up و Scaling out چیست؟ What is scaling up vs scaling out

• مدت زمان تعلیق خودکار (auto suspension) که برای Warehouse مورد استفاده در ... تنظیم کرده‌اید، چقدر است؟ What is the auto suspension time period you use on the warehouse used in ..?

تخلیه داده از Snowflake Unloading Data from Snowflake

• تخلیه داده (data unloading) چیست؟ What is data unloading ?

• هنگام تخلیه داده در فضای ذخیره‌سازی ابری، از چه بهترین روش‌هایی استفاده می‌کنید؟ When unloading data into cloud storage what best practices do you use ?

• آیا در پروژه شما سناریویی وجود داشت که مجبور به تخلیه داده به ... باشید؟ Was there a scenario in your project where you had to unload the data to ..?

• آیا تخلیه داده به چندین فایل یا یک فایل واحد از Snowflake را ترجیح می‌دهید؟ Do you prefer unloading data into multiple files or single file from snowflake ?

• آیا می‌توانید داده را از چندین جدول در یک دستور COPY تخلیه کنید؟ Can you unload data from multiple tables in a COPY command ?

• فایل‌های Parquet هنگام تخلیه چگونه فشرده می‌شوند؟ How are parquet files zipped when being unloaded ?

• چگونه نوع داده ستون‌ها را هنگام تخلیه داده تغییر می‌دهیم؟ How do we modify column data types when unloading data ?

• هنگام تخلیه داده با چه مشکلاتی مواجه شده‌اید؟ What problems have you encountered when unloading data ?

• چگونه می‌توانید حجم یک فایل تولید شده از تخلیه داده از Snowflake را محدود کنید؟ How can you limit the size of a file generated by unloading data from snowflake

به اشتراک‌گذاری داده و Secure View Data Sharing and Secure view

• Secure View چیست؟ چرا یک Secure View ایجاد می‌کنید؟ What is a secure view. Why would you create a secure view ?

• آیا در پروژه خود یک Data Share ایجاد کرده و داده به اشتراک گذاشته‌اید؟ Have you created a data share and shared data in your project ?

• Reader Accountها چیستند؟ آیا در پروژه خود reader account ایجاد کرده‌اید؟ What are reader Accounts? Have you created reader accounts in your project ?

• چه اشیایی را می‌توانیم در Snowflake به اشتراک بگذاریم؟ What objects can we share in snowflake ?

کاهش هزینه‌ها Cost Savings

• چگونه می‌توانید هزینه ذخیره‌سازی را در پروژه خود کاهش دهید؟ How can you reduce storage cost on your project ?

• بهترین روش‌هایی که می‌توانیم برای کاهش مصرف Credit دنبال کنیم کدامند؟ What are the best practices that we can follow to reduce credit consumption ?

معماری Architecture

• حداکثر ظرفیت ذخیره‌سازی داده Snowflake چقدر است؟ What is the max data storage capacity of snowflake ?

پوشاندن پویای داده و سیاست دسترسی به سطر Dynamic Data Masking & Row Access Policy

• چگونه داده‌های حساس مانند تاریخ تولد و شماره SSN را از ... محافظت می‌کنید؟ How do you protect sensitive data like Date of Birth and SSN# from being ...?

• Dynamic Data Masking چیست؟ What is Dynamic Data Masking ?

• Row Access Policy در Snowflake چیست؟ What is ROW ACCESS Policy In Snowflake ?

داده‌های بدون ساختار Unstructured Data

• آیا می‌توانید داده را از یک جدول رابطه‌ای به یک JSON stage با دستور COPY ... تخلیه کنید؟ Can you unload data from a relational table to a JSON stage with the COPY ..?

• برای ذخیره‌سازی داده‌های JSON و XML چه نوع داده‌ای را توصیه می‌کنید؟ What data type do you recommend to store JSON and XML data ?

• آیا می‌توانید سناریویی را در پروژه خود توضیح دهید که در آن نیاز به استفاده از Variant ... داشتید؟ Can you explain a scenario in your project where you needed to use variant ..?

• انواع داده‌های نیمه‌ساختاریافته که Snowflake پشتیبانی می‌کند، کدامند؟ What are the semi-structured data types supported by snowflake ?

• دستور flatten چه کاری انجام می‌دهد؟ What does the flatten command do ?

بهینه‌سازی عملکرد (Performance Tuning) Performance Tuning

• Query acceleration چیست؟ چگونه می‌توانید Query acceleration را فعال کنید؟ What is query acceleration? How can you enable query acceleration ?

• QUERY_ACCLERATION_MAX_SCALE_FACTOR چیست؟ What is QUERY_ACCLERATION_MAX_SCALE_FACTOR ?

• Memory spillage چیست؟ What is memory spillage ?

• چگونه مشکلات Memory spillage را برطرف می‌کنید؟ How will you fix memory spillage issues ?

• Partition pruning یا Query pruning در Snowflake چیست؟ What is partition pruning or query pruning in snowflake ?

• Metadata cache چیست؟ What is metadata cache ?

• تفاوت بین خوشه‌بندی خودکار (automatic clustering) و خوشه‌بندی دستی (manually clustering) ... چیست؟ What is the difference between automatic clustering and manually clustering ..?

• شما مشکوک هستید که Queryها منتظر هستند تا توسط یک Warehouse برای ... انتخاب شوند؟ You suspect that queries are waiting to get picked up by a warehouse to be ..?

جداول خارجی (External Tables) External Tables

• External Table در Snowflake چیست؟ چرا از آن در پروژه خود استفاده می‌کنید؟ What is an External Table in Snowflake ? Why would you use it in your project ?

• دستور "ALTER EXTERNAL TABLE <tablename> REFRESH" چه کاری انجام می‌دهد؟ What does the "alter external table <tablename> refresh " do ?

نماهای مادی شده (Materialized Views) Materialized Views

• Materialized View چیست؟ What is a materialized view ?

• چگونه تشخیص می‌دهید که یک Materialized View به طور کامل Refresh شده است؟ How will you determine if a materialized view is fully refreshed ?

• آیا یک Materialized View می‌تواند داده‌های منسوخ (stale data) را برگرداند؟ Can a materialized view return stale data ?

• شما باید استفاده از یک mat view را معلق کنید زیرا قصد دارید داده‌های پایه را به صورت انبوه بارگذاری کنید ...؟ You need to suspend use of a mat view as you plan to bulk load the base ....?

• محدودیت‌های Materialized View چیست؟ What are the limitations of materialized view ?

• آیا می‌توانید یک Materialized View را Insert/Update کنید؟ Can you Insert/update a materialized view ?

• از شما خواسته شده است که یک mat view بر روی جدولی ایجاد کنید که تغییرات ...؟ You have been requested to create a mat view on a table which changes ...?

• اگر ستون‌هایی را به جدولی که دارای یک material... است اضافه یا حذف کنید، چه اتفاقی می‌افتد؟ What would happen if you add or drop columns on a table that has a material...?

• آیا Materialized Viewها می‌توانند خوشه‌بندی شوند؟ Can materialized views be clustered ?

• در چه سناریویی یک Materialized View ایجاد می‌کنید؟ In what scenario will you create a materialized view ?

جداول پویا (Dynamic Tables) Dynamic Tables

• Dynamic Tables چیستند؟ What are Dynamic Tables ?

• چه پارامتری فرکانس Refresh شدن یک Dynamic Table را کنترل می‌کند؟ What parameter controls how frequently a dynamic table is refreshed ?

• انواع Refreshهایی که Dynamic Tableها پشتیبانی می‌کنند، کدامند؟ What are the refresh types supported by Dynamic tables

• تفاوت بین Dynamic Table و View چیست؟ چرا از View استفاده نکنیم ...؟ What is the difference between a Dynamic table and view. Why not use a view..?

• تفاوت بین Dynamic Table و Materialized View چیست؟ چرا از ... استفاده نکنیم؟ What is the difference between a Dynamic table and Materialized view. Why not..?

• آیا می‌توانید یک Dynamic Table را با استفاده از DML به‌روزرسانی کنید؟ Can you update a Dynamic table using DML ?

• آیا می‌توانید سناریویی را در پروژه خود توضیح دهید که در آن از Dynamic Tableها استفاده کردید؟ Can you explain a scenario in your project where you used Dynamic tables ?

• محدودیت‌های Dynamic Tableها چیست؟ What are the limitations of Dynamic tables ?

• چگونه می‌توانید Dynamic Tableها را نظارت کنید؟ How can you monitor Dynamic tables ?

Snowflake SQL Snowflake SQL

• آیا می‌توانید توضیح دهید که کلمه کلیدی QUALIFY در Snowflake SQL چه کاری انجام می‌دهد؟ Can you explain what the Qualify Keyword does in Snowflake SQL ?

• چگونه می‌توانید سطرها را به ستون‌ها در Snowflake تبدیل کنید؟ How can you change rows to columns in Snowflake ?

• چگونه می‌توانید ستون‌ها را به سطرها در Snowflake تبدیل کنید؟ How can you change columns to rows in Snowflake ?

• تابع DATE_PART چه کاری انجام می‌دهد؟ What does the DATE_PART function do ?

• تابع DATE_FROM_PARTS چه کاری انجام می‌دهد؟ What does the DATE_FROM_PARTS function do ?

• تابع SPLIT_PART را توضیح دهید. Explain the SPLIT_PART function ?

• SELECT GREATEST(2,13,NULL)، پاسخ مورد انتظار برای این چیست؟ SELECT GREATEST(2,13,NULL) , what is the expected answer for this ?

• SELECT O_CUSTKEY, COUNT(*) FROM ORDERS GROUP BY ALL، آیا این یک Query معتبر است؟ SELECT O_CUSTKEY, COUNT(*) FROM ORDERS GROUP BY ALL, is this a valid query ?

• تابع ARRAY_AGG چه کاری انجام می‌دهد؟ What does the function ARRAY_AGG do ?

• تابع LAST_QUERY_ID() را توضیح دهید. Explain the LAST_QUERY_ID() function ?

جداول هیبریدی (Hybrid Tables) Hybrid Tables

• Hybrid Table چیست؟ انواع رویدادهای پشتیبانی شده کدامند؟ What is a Hybrid Table ? What are the Event types supported

• Unistore چیست و Hybrid Tableها چه ارتباطی با Unistore دارند؟ What is Unistore and what does Hybrid tables have to do with Unistore ?

• Hybrid Tableها چگونه با سایر انواع جدول مانند permanent table متفاوت هستند؟ How are Hybrid tables different from other table types like permanent table ?

• آیا معماری Snowflake برای Hybrid Tableها متفاوت است؟ Is Snowflake Architecture different for Hybrid Tables ?

• تمرین آزمایشگاهی - ایجاد Hybrid Tableها و درج سطرها در آنها Lab Exercise-Create Hybrid Tables and Insert Rows in them ?

جداول رویداد (Event Tables) Event Tables

• Event Table چیست؟ What is an Event Table ?

• انواع رویدادهای پشتیبانی شده توسط Snowflake کدامند؟ What are the Event types supported by Snowflake ?

• چگونه می‌توان ثبت Log Event را فعال کرد؟ How can Log Event logging be enabled ?

• چگونه می‌توان ثبت Trace Event را فعال کرد؟ How can Trace Event logging be enabled ?

• محدودیت‌های Event Tableها چیست؟ What are the limitations of Event tables ?

• هزینه‌های Event Tableها چیست؟ چگونه می‌توانید آنها را کاهش دهید؟ What are the costs of EVENT tables ? How can you reduce them ?

جداول Iceberg Iceberg Tables

• Apache Iceberg چیست؟ What is Apache Iceberg ?

مدیریت نقش‌ها و دسترسی Roles and Access Management

• Secondary Roleها چیستند؟ What are Secondary Roles ?

هوش مصنوعی Snowflake Snowflake AI

• Vectorها در Snowflake چیستند؟ VECTOR_COSINE_SIMILARITY را توضیح دهید؟ What is Vectors in Snowflake ? Explain VECTOR_COSINE_SIMILARITY ?

مصاحبه آزمایشی (Mock Interview) Mock Interview

• مصاحبه آزمایشی: راوی (مصاحبه‌کننده) در مقابل سوجیت (مهندس داده) Mock Interview Ravi(Interviewer) Vs Sujith(Data Engineer)

مدیریت مصاحبه Interview Management

• چگونه با سؤالاتی که نمی‌دانید برخورد کنید؟ How to handle questions you dont know ?

• چگونه اعتماد به نفس مصاحبه‌کننده را نسبت به خود افزایش دهید؟ How to increase the interviewers confidence in you ?

درس جایزه و کوپن تخفیف Bonus Lecture & Discount Coupon

• جایزه و کوپن تخفیف Bonus & Discount Coupon