آموزش دوره جامع تست A/B با کدنویسی پایتون - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• آغاز کار Getting Started

درک مسئله کسب و کار Understand the Business Problem

• درک مسئله کسب و کار Understand the Business Problem

• اهداف آزمایش Experiment Goals

• اعضای کلیدی Key Members

• شاخص‌های کلیدی عملکرد محصول Product KPI

• معیار ستاره شمالی The North Star Metric

• معیار محرک Driver Metric

• معیارهای نگهبان Guardrail Metrics

• معیارهای ثانویه Secondary Metrics

• معیارهای بخش‌بندی Segmentation Metrics

• معیارهای راه‌اندازی Launch Criteria

• داده‌های آزمایش Experiment Data

• تمرین - تست A/B آمازون (سؤال) Exercise - Amazon AB Testing (Question)

• تمرین - تست A/B آمازون (راه‌حل) Exercise - Amazon AB Testing (Solution)

• مرور کد Code Walkthrough

بیان فرضیه آزمایش State the Experiment Hypothesis

• بیان فرضیه آزمایش State the Experiment Hypothesis

• بیانیه فرضیه Hypothesis Statement

• بیانیه فرضیه - سؤال 1 Hypothesis Statement - Question 1

• بیانیه فرضیه - راه‌حل 1 Hypothesis Statement - Solution 1

• بیانیه فرضیه - سؤال 2 Hypothesis Statement - Question 2

• بیانیه فرضیه - راه‌حل 2 Hypothesis Statement - Solution 2

• سطح معناداری Significance Level

• سطح معناداری - سؤال Significance Level - Question

• سطح معناداری - راه‌حل Significance Level - Solution

• توان آماری Statistical Power

• توان آماری - سؤال 1 Statistical Power - Question 1

• توان آماری - راه‌حل 1 Statistical Power - Solution 1

• توان آماری - سؤال 2 Statistical Power - Question 2

• توان آماری - راه‌حل 2 Statistical Power - Solution 2

• حداقل اثر قابل تشخیص (MDE) Minimum Detectable Effect (MDE)

• حداقل اثر قابل تشخیص - سؤال 1 Minimum Detectable Effect - Question 1

• حداقل اثر قابل تشخیص - راه‌حل 1 Minimum Detectable Effect - Solution 1

• مرور کد Code Walkthrough

طراحی آزمایش Design the Experiment

• طراحی آزمایش Design the Experiment

• واحد تصادفی‌سازی Randomization Unit

• محاسبه اندازه نمونه Sample Size Calculation

• محاسبه اندازه نمونه - سؤال 1 Sample Size Calculation - Question 1

• محاسبه اندازه نمونه - راه‌حل 1 Sample Size Calculation - Solution 1

• مدت زمان آزمایش Experiment Duration

• مدت زمان آزمایش - سؤال 1 Experiment Duration - Question 1

• مدت زمان آزمایش - راه‌حل 1 Experiment Duration - Solution 1

• مرور کد Code Walkthrough

اجرای آزمایش Run the Experiment

• اجرای آزمایش Run the Experiment

• پلتفرم آزمایش Experiment Platform

• بررسی زودهنگام مقادیر P Peeking at P-Values

• مرور کد Code Walkthrough

ارزیابی تهدیدات اعتبار Assess Validity Threats

• ارزیابی تهدیدات اعتبار Assess Validity Threats

• فرض مقدار ثابت واحد درمان Stable Unit Treatment Value Assumption

• سوگیری بقا Survivorship Bias

• عدم تطابق نسبت نمونه Sample Ratio Mismatch

• اثر تقدم Primacy Effect

• اثر نوآوری Novelty Effect

• اثر تعطیلات Holiday Effect

• اثرات دیگر قابل بررسی Other Effects to Consider

• تست AA AA Test

• مرور کد Code Walkthrough

انجام استنتاج آماری Conduct Statistical Inference

• انجام استنتاج آماری Conduct Statistical Inference

• آزمون خی‌دو استقلال Chi-Squared Test of Independence

• آزمون خی‌دو استقلال - سؤال Chi-Squared Test of Independence - Question

• آزمون خی‌دو استقلال - راه‌حل Chi-Squared Test of Independence - Solution

• آزمون Z برای نسبت‌ها Z-Test for Proportions

• آزمون Z برای نسبت‌ها - سؤال Z-Test for Proportions - Question

• آزمون Z برای نسبت‌ها - راه‌حل Z-Test for Proportions - Solution

• آزمون T برای میانگین‌ها T-Test for Means

• آزمون T برای میانگین‌ها - سؤال T-Test for Means - Question

• آزمون T برای میانگین‌ها - راه‌حل T-Test for Means - Solution

• مرور کد Code Walkthrough

تصمیم راه‌اندازی Launch Decision

• تصمیم‌گیری برای راه‌اندازی Decide Whether to Launch

• تفاوت مطلق در مقابل تفاوت نسبی Absolute Difference vs Relative Difference

• تصمیمات راه‌اندازی Launch Decisions

• قانون تصمیم Decision Rule

• بازه اطمینان Confidence Interval

• مجموعه نگه‌داشته شده Holdout Set

• مرور کد Code Walkthrough