Indicador
Desajuste del ratio de muestra (SRM)
Antes de leer un experimento, compruebe que sus grupos tienen el tamaño previsto.
Para un test 50/50 con n usuarios, chi_square = 2 × (control − n/2)² / (n/2); por encima de 3,84, es muy improbable que el reparto se deba
al azar. Un desajuste significa que la asignación o el registro están rotos, y ningún resultado del experimento es fiable. Compruébelo
en cada experimento y luego por segmento (dispositivo, país, semana).
WITH split(experiment, control, treatment) AS (VALUES
('pricing_page_v2', 22026, 21881), ('checkout_v3', 10400, 9600))
SELECT experiment, control, treatment,
ROUND(2 * POWER(control - (control + treatment) / 2.0, 2) / ((control + treatment) / 2.0), 2) AS chi_square
FROM split
ORDER BY experiment;
| experiment | control | treatment | chi_square |
|---|---|---|---|
| checkout_v3 | 10400 | 9600 | 32.0 |
| pricing_page_v2 | 22026 | 21881 | 0.48 |