Indicatore
Sample ratio mismatch
Prima di leggere un esperimento, verifica che i suoi gruppi abbiano le dimensioni previste.
Per un test 50/50 con n utenti, chi_square = 2 × (control − n/2)² / (n/2); sopra 3,84, è molto improbabile che la
ripartizione sia dovuta al caso. Uno squilibrio significa che l'assegnazione o il tracciamento sono rotti, e nessun
risultato dell'esperimento è affidabile. Controllalo per ogni esperimento, poi per segmento (dispositivo, paese, settimana).
WITH split(experiment, control, treatment) AS (VALUES
('pricing_page_v2', 22026, 21881), ('checkout_v3', 10400, 9600))
SELECT experiment, control, treatment,
ROUND(2 * POWER(control - (control + treatment) / 2.0, 2) / ((control + treatment) / 2.0), 2) AS chi_square
FROM split
ORDER BY experiment;
| experiment | control | treatment | chi_square |
|---|---|---|---|
| checkout_v3 | 10400 | 9600 | 32.0 |
| pricing_page_v2 | 22026 | 21881 | 0.48 |