Indicateur
Déséquilibre de répartition
Avant de lire une expérience, vérifiez que ses groupes ont la taille prévue.
Pour un test 50/50 à n utilisateurs, khi_deux = 2 × (contrôle − n/2)² / (n/2) ; au-dessus de 3,84, la répartition a
très peu de chances d'être due au hasard. Un déséquilibre veut dire que l'affectation ou la collecte est cassée, et aucun
résultat de l'expérience n'est fiable. Vérifiez-le pour chaque expérience, puis par segment (appareil, pays, semaine).
WITH split(experiment, control, treatment) AS (VALUES
('pricing_page_v2', 22026, 21881), ('checkout_v3', 10400, 9600))
SELECT experiment, control, treatment,
ROUND(2 * POWER(control - (control + treatment) / 2.0, 2) / ((control + treatment) / 2.0), 2) AS chi_square
FROM split
ORDER BY experiment;
| experiment | control | treatment | chi_square |
|---|---|---|---|
| checkout_v3 | 10400 | 9600 | 32.0 |
| pricing_page_v2 | 22026 | 21881 | 0.48 |