Kennzahl
Sample Ratio Mismatch
Prüfen Sie vor dem Auswerten eines Experiments, dass seine Gruppen die vorgesehenen Größen haben.
Für einen 50/50-Test mit n Nutzern gilt chi_square = 2 × (control − n/2)² / (n/2); über 3,84 ist die Aufteilung sehr
wahrscheinlich kein Zufall. Ein Mismatch bedeutet, dass die Zuweisung oder das Logging defekt ist, und keinem Ergebnis des
Experiments kann man trauen. Prüfen Sie es bei jedem Experiment, dann pro Segment (Gerät, Land, Woche).
WITH split(experiment, control, treatment) AS (VALUES
('pricing_page_v2', 22026, 21881), ('checkout_v3', 10400, 9600))
SELECT experiment, control, treatment,
ROUND(2 * POWER(control - (control + treatment) / 2.0, 2) / ((control + treatment) / 2.0), 2) AS chi_square
FROM split
ORDER BY experiment;
| experiment | control | treatment | chi_square |
|---|---|---|---|
| checkout_v3 | 10400 | 9600 | 32.0 |
| pricing_page_v2 | 22026 | 21881 | 0.48 |