آموزش 100 تکنیک بهینه سازی هزینه دانه های برف

سرفصل ها و درس ها

معرفی Introduction

• ساختار و محتوای دوره Course Structure and Content

• بهترین راه ها برای بهره مندی از این دوره Best Ways to Benefit from this Course

• یک حساب آزمایشی رایگان Snowflake ایجاد کنید Create a Free Trial Snowflake Account

• راه اندازی پروژه بصورت رایگان Free Hands-On Project Setup

انبارهای مجازی Virtual Warehouses

• آشنایی با انبارهای مجازی Introduction to Virtual Warehouses

• نکته شماره 1: انبارهای مجازی بزرگتر ممکن است در واقع هزینه کمتری برای شما داشته باشند Tip #1: Larger Virtual Warehouses May Actually Cost You Less

• نکته شماره 2: به طور خودکار هر انباری را پس از یک دقیقه تعلیق کنید Tip #2: Auto-Suspend Any Warehouse After One Minute

• نکته شماره 3: هر انباری که از سر گرفته شود حداقل یک دقیقه برای شما هزینه دارد Tip #3: Any Resumed Warehouse Will Cost You at Least One Minute

• نکته 4: هرگز پس از کمتر از یک دقیقه، هیچ انباری را بطور خودکار معلق نکنید Tip #4: Never Auto-Suspend Any Warehouse After Less Than One Minute

• نکته شماره 5: انبارهای X-Small می توانند به اندازه کافی قدرتمند باشند Tip #5: X-Small Warehouses Could Be Powerful Enough

• نکته شماره 6: انبارهای تغییر اندازه برای پرس و جوهای پیچیده تر هستند Tip #6: Resized Warehouses are for More Complex Queries

• نکته شماره 7: انبارهای چند خوشه ای برای چندین کاربر و همزمان هستند Tip #7: Multi-Cluster Warehouses are for Multiple Users and Concurrency

• نکته 8: انبارهای چند خوشه ای همیشه باید حداقل خوشه 1 داشته باشند Tip #8: Multi-Cluster Warehouses Should Always Have Min Clusters 1

• نکته 9: از سیاست مقیاس بندی اقتصادی برای صرفه جویی در هزینه استفاده کنید Tip #9: Use Economy Scaling Policy To Save Money

• نکته شماره 10: چه زمانی از انبارهای بهینه شده در پارک برفی استفاده کنید Tip #10: When to Use Snowpark-Optimized Warehouses

• دانشتان را امتحان کنید Test Your Knowledge

محاسبه حجم کار Compute Workloads

• مقدمه ای بر محاسبه بارهای کاری Introduction to Compute Workloads

• نکته 11: از مانیتورهای منابع استفاده کنید Tip #11: Use Resource Monitors

• نکته 12: از بودجه های سطح حساب استفاده کنید Tip #12: Use Account-Level Budgets

• نکته 13: از پرس و جوهای بی پایان جلوگیری کنید Tip #13: Prevent Never-Ending Queries

• نکته 14: پرس و جوهای در حال اجرا را به صورت دستی بکشید Tip #14: Manually Kill Running Queries

• نکته 15: اندازه انبار را کاهش دهید Tip #15: Reduce Warehouse Sizes

• نکته 16: همه انبارها را ادغام کنید Tip #16: Consolidate All Warehouses

• نکته 17: از مشاغل موازی برای تبدیل دسته ای استفاده کنید Tip #17: Use Parallel Jobs for Batch Transformations

• نکته 18: از بررسی بیش از حد متادیتا خودداری کنید Tip #18: Avoid Checking Too Much on Metadata

• نکته 19: نمودارها برای نظارت بر انبار Tip #19: Charts for Warehouse Monitoring

• نکته 20: تله‌های اصلی را با انبارها بازبینی کنید Tip #20: Revisit the Main Traps with Warehouses

• دانشتان را امتحان کنید Test Your Knowledge

حساب های برف ریزه Snowflake Accounts

• مقدمه ای بر حساب های Snowflake Introduction to Snowflake Accounts

• نکته شماره 21: برای یک حساب آزمایشی رایگان چه چیزی را انتخاب کنید Tip #21: What to Choose for a Free Trial Account

• نکته ۲۲: چه زمانی از یک حساب آزمایشی رایگان استفاده کنید Tip #22: When to Use a Free Trial Account

• نکته شماره 23: جداول قیمت خدمات محاسباتی انبار مجازی را بدانید Tip #23: Understand Price Tables for Virtual Warehouse Compute Services

• نکته 24: جدول قیمت خدمات ابری و بدون سرور را بدانید Tip #24: Understand Price Tables for Cloud and Serverless Services

• نکته 25: جداول قیمت برای ذخیره سازی و انتقال داده را بدانید Tip #25: Understand Price Tables for Storage and Data Transfer

• نکته 26: از رابط نمای کلی حساب در Snowsight استفاده کنید Tip #26: Use the Account Overview Interface in Snowsight

• نکته 27: از حساب های سازمانی استفاده کنید Tip #27: Use Organization Accounts

• نکته 28: با کنترل دسترسی، تغییرات انبار را محدود کنید Tip #28: Limit Warehouse Changes with Access Control

• نکته 29: مقادیر پیش‌فرض پارامترهای سطح حساب را تنظیم کنید Tip #29: Adjust Default Values of Account-Level Parameters

• نکته 30: مراقب حساب‌های Reader باشید Tip #30: Careful with Reader Accounts

• دانشتان را امتحان کنید Test Your Knowledge

نسخه های برف ریزه Snowflake Editions

• مقدمه ای بر نسخه های برف ریزه Introduction to Snowflake Editions

• نکته شماره 31: چه زمانی باید Enterprise را نسبت به نسخه استاندارد انتخاب کرد Tip #31: When to Choose Enterprise over Standard Edition

• نکته 32: چگونه از انبارهای چند خوشه ای اجتناب کنیم Tip #32: How to Avoid Multi-Cluster Warehouses

• نکته 33: چه زمانی از مادی‌سازی‌های افزایشی استفاده کنیم Tip #33: When to Use Incremental Materializations

• نکته 34: چگونه نماهای مادی شده را شبیه سازی کنیم Tip #34: How to Emulate Materialized Views

• نکته شماره 35: موردی برای سفر طولانی مدت Tip #35: The Case for Extended Time Travel

• نکته شماره 36: از حساب نسخه استاندارد برای تجزیه و تحلیل استفاده کنید Tip #36: Use Standard Edition Account for Analytics

• نکته شماره 37: از حساب نسخه استاندارد جداگانه برای پرس و جوهای رایج استفاده کنید Tip #37: Use Separate Standard Edition Account for Common Queries

• نکته شماره 38: چگونه هزینه ها را برای یک حساب غیرفعال غیرفعال به صفر برسانیم Tip #38: How to Reduce Costs to Zero for an Inactive Paid Account

• نکته شماره 39: چه زمانی باید نسخه انتقادی Business را انتخاب کنید Tip #39: When to Choose the Business Critical Edition

• نکته 40: چه زمانی نسخه برف ریزه خصوصی مجازی (VPS) را انتخاب کنید Tip #40: When to Choose the Virtual Private Snowflake (VPS) Edition

• دانشتان را امتحان کنید Test Your Knowledge

نظارت بر پرس و جو Query Monitoring

• مقدمه ای بر نظارت بر پرس و جو Introduction to Query Monitoring

• نکته شماره 41: طولانی ترین پرس و جوهای در حال اجرا را نظارت کنید Tip #41: Monitor Longest Running Queries

• نکته 42: تاریخچه پرس و جو را تفسیر کنید Tip #42: Interpret Query History

• نکته 43: نمودارهای بیشتر برای نظارت بر پرس و جو Tip #43: More Charts for Query Monitoring

• نکته 44: از برچسب های پرس و جو استفاده کنید Tip #44: Use Query Tags

• نکته 45: فرکانس پرس و جوهای ساده را کاهش دهید Tip #45: Reduce Frequency of Simple Queries

• نکته 46: فرکانس پرس و جوهای فراداده را کاهش دهید Tip #46: Reduce Frequency of Metadata Queries

• نکته 47: فرکانس دستورات SHOW را کاهش دهید Tip #47: Reduce Frequency of SHOW Commands

• نکته 48: کمتر کلون کنید Tip #48: Clone Less Frequently

• نکته 49: برنامه‌های درخواست را تغییر دهید Tip #49: Change Query Schedules

• نکته 50: انتقال و پردازش متوالی به موازات Tip #50: Parallel over Sequential Transfer and Processing

• دانشتان را امتحان کنید Test Your Knowledge

بهینه سازی پرس و جو Query Optimization

• مقدمه ای بر بهینه سازی پرس و جو Introduction to Query Optimization

• نکته 51: از نمایه پرس و جو استفاده کنید Tip #51: Use the Query Profile

• نکته 52: از بیانیه توضیح استفاده کنید Tip #52: Use the Explain Statement

• نکته 53: از Data Caching استفاده کنید Tip #53: Use Data Caching

• نکته شماره 54: پرس و جو در مورد دریاچه های داده Tip #54: Queries on Data Lakes

• نکته 55: از UDF های پایتون برداری شده استفاده کنید Tip #55: Use Vectorized Python UDFs

• نکته 56: از دستورات دسته ای برای جلوگیری از قفل شدن تراکنش ها استفاده کنید Tip #56: Use Batch Commands to Prevent Transaction Locks

• نکته 57: پیچیدگی پرس و جو و زمان کامپایل را کاهش دهید Tip #57: Reduce Query Complexity and Compilation Time

• نکته 58: اتصالات متقاطع و اتصالات انفجاری را بررسی کنید Tip #58: Check for Cross Joins and Exploding Joins

• نکته 59: فقط داده های جدید یا به روز شده را پردازش کنید Tip #59: Process Only New or Updated Data

• نکته 60: بهینه سازی نشت از راه دور Tip #60: Remote Spillage Optimization

• دانشتان را امتحان کنید Test Your Knowledge

ویژگی های بدون سرور Serverless Features

• مقدمه ای بر ویژگی های بدون سرور Introduction to Serverless Features

• نکته شماره 61: نظارت بر هزینه مشاغل خودکار Tip #61: Monitor the Cost of Automated Jobs

• نکته شماره 62: برآورد هزینه کارهای برنامه ریزی شده Tip #62: Estimate Cost of Scheduled Tasks

• نکته شماره 63: چه زمانی از وظایف بدون سرور استفاده کنید Tip #63: When to Use Serverless Tasks

• نکته شماره 64: Snowpipe را با Snowpipe Streaming جایگزین کنید Tip #64: Replace Snowpipe with Snowpipe Streaming

• نکته شماره 65: برآورد هزینه خوشه بندی خودکار روی جداول Tip #65: Estimate Cost of Automatic Clustering on Tables

• نکته شماره 66: برآورد هزینه سرویس شتاب پرس و جو (QAS) Tip #66: Estimate Cost of the Query Acceleration Service (QAS)

• نکته شماره 67: برآورد هزینه سرویس بهینه سازی جستجو (SOS) Tip #67: Estimate Cost of the Search Optimization Service (SOS)

• نکته شماره 68: هزینه نگهداری نماهای مادی شده را کاهش دهید Tip #68: Reduce Materialized Views Maintenance Cost

• نکته شماره 69: هزینه تکرار پایگاه داده را کاهش دهید Tip #69: Reduce Database Replication Cost

• نکته 70: برآورد هزینه جداول ترکیبی Tip #70: Estimate Cost of Hybrid Tables

• دانشتان را امتحان کنید Test Your Knowledge

ذخیره سازی داده ها Data Storage

• مقدمه ای بر ذخیره سازی داده ها Introduction to Data Storage

• نکته شماره 71: زمانی که الگوی خرج خود را نمی‌دانید از فضای ذخیره‌سازی درخواستی استفاده کنید Tip #71: Use On-Demand Storage When You Don’t Know Your Spending Pattern

• نکته 72: کپی کنید و داده های کمتری را نگه دارید Tip #72: Copy and Keep Less Data

• نکته شماره 73: حفظ اطلاعات کمتر بدون سفر در زمان Tip #73: Lower Data Retention with No Time Travel

• نکته شماره 74: برآورد هزینه ذخیره سازی Fail-Safe Tip #74: Estimate Storage Cost of the Fail-Safe

• نکته 75: از جداول گذرا یا موقت استفاده کنید Tip #75: Use Transient or Temporary Tables

• نکته 76: از شبیه سازی صفر کپی استفاده کنید Tip #76: Use Zero-Copy Cloning

• نکته 77: داده های کمتر را کلون کنید Tip #77: Clone Less Data

• نکته شماره 78: اطمینان حاصل کنید که جداول به درستی خوشه بندی شده اند Tip #78: Ensure Tables Are Clustered Correctly

• نکته 79: جداول استفاده نشده و سایر اشیاء را رها کنید Tip #79: Drop Unused Tables and Other Objects

• نکته 80: فایل‌های قدیمی را از قسمت‌های مرحله حذف کنید Tip #80: Remove Old Files from Stage Areas

• دانشتان را امتحان کنید Test Your Knowledge

انتقال اطلاعات Data Transfer

• مقدمه ای بر انتقال داده ها Introduction to Data Transfer

• نکته 81: ورود داده رایگان است، داده خروجی گران است Tip #81: Data In is Free, Data Out is Expensive

• نکته 82: همان ارائه دهنده و منطقه ای را انتخاب کنید که داده های شما در آن قرار دارند Tip #82: Choose the same Provider and Region Where Your Data Is

• نکته 83: ادغام دسترسی خارجی در مقابل توابع خارجی Tip #83: External Access Integrations vs External Functions

• نکته 84: از فشرده سازی داده استفاده کنید Tip #84: Use Data Compression

• نکته 85: از انتقال دسته ای با پارتیشن بندی مسیر استفاده کنید Tip #85: Use Batch Transfer with Path Partitioning

• نکته 86: به جای درج های تک ردیفی از بارهای حجیم استفاده کنید Tip #86: Use Bulk Loads instead of Single-Row Inserts

• نکته 87: از آپلود موازی داده استفاده کنید Tip #87: Use Parallel Data Uploading

• نکته 88: خطوط لوله داده مقرون به صرفه طراحی کنید Tip #88: Design Cost-Effective Data Pipelines

• نکته 89: از جداول خارجی در دریاچه داده استفاده کنید Tip #89: Use External Tables in a Data Lake

• نکته 90: به جای CSV فایل های پارکت را جستجو کنید Tip #90: Query Parquet Files instead of CSV

• دانشتان را امتحان کنید Test Your Knowledge

برنامه های برف ریزه Snowflake Apps

• مقدمه ای بر برنامه های Snowflake Introduction to Snowflake Apps

• نکته 91: تأثیر هزینه اشتراک گذاری داده در Snowflake را تخمین بزنید Tip #91: Estimate Cost Impact of Data Sharing in Snowflake

• نکته 92: برآورد تأثیر هزینه برنامه های کاربردی مشتری و سرور (Snowpark) Tip #92: Estimate Cost Impact of Client and Server (Snowpark) Applications

• نکته 93: تأثیر هزینه Streamlit در برنامه‌های Snowflake و Native را برآورد کنید Tip #93: Estimate Cost Impact of Streamlit in Snowflake and Native Applications

• نکته 94: تأثیر هزینه برنامه های کاربردی علم داده را برآورد کنید Tip #94: Estimate Cost Impact of Data Science Applications

• نکته 95: همه برنامه های متصل را بررسی کنید Tip #95: Check All Connected Applications

• نکته 96: برنامه های شخص ثالث صرفه جویی در پول باعث خرج کردن پول می شود Tip #96: Third-Party Apps Saving Money Will Spend Money

• نکته 97: برنامه‌های بومی بازار رایگان هزینه‌ای دارند Tip #97: Free Marketplace Native Apps Will Cost Money

• نکته 98: نسخه های برنامه را به روز نگه دارید Tip #98: Keep App Versions Updated

• نکته 99: داده های کش در ابزارهای شخص ثالث Tip #99: Cache Data in Third-Party Tools

• نکته 100: پرس‌وجوها را از برنامه‌های قطع‌شده به‌طور خودکار لغو کنید Tip #100: Auto-Abort Running Queries from Disconnected Apps

• دانشتان را امتحان کنید Test Your Knowledge

بسته بندی Wrapping Up

• تبریک می گویم، شما موفق شدید! Congratulations, You Made It!

• سخنرانی پاداش Bonus Lecture