Falle
Das Simpson-Paradoxon
Eine Gruppe kann in jedem Segment besser und insgesamt schlechter sein, wenn die Segmente unterschiedlich gewichtet sind.
Eine Gesamtquote vermischt die Quote innerhalb jedes Segments mit dem Gewicht jedes Segments. Hat eine Gruppe die meisten
ihrer Mitglieder in einem schwachen Segment (Mobil, eine günstige Kategorie), sinkt ihre Gesamtquote, selbst wenn sie
überall gewinnt. Zeigen Sie die Quote pro Segment und insgesamt (GROUPING SETS), und sehen Sie sich die Gewichte an,
bevor Sie der Gesamtzahl trauen.
WITH results(device, variant, users, converted) AS (VALUES
('mobile', 'control', 2000, 80), ('mobile', 'treatment', 8000, 400),
('desktop', 'control', 8000, 960), ('desktop', 'treatment', 2000, 260))
SELECT COALESCE(device, 'all') AS device, variant,
ROUND(100.0 * SUM(converted) / SUM(users), 1) AS conversion_pct
FROM results
GROUP BY GROUPING SETS ((device, variant), (variant))
ORDER BY device, variant;
| device | variant | conversion_pct |
|---|---|---|
| all | control | 10.4 |
| all | treatment | 6.6 |
| desktop | control | 12.0 |
| desktop | treatment | 13.0 |
| mobile | control | 4.0 |
| mobile | treatment | 5.0 |