Trappola
Paradosso di Simpson
Un gruppo può essere migliore in ogni segmento e peggiore nel complesso, quando i segmenti pesano in modo diverso.
Un rapporto totale mescola il tasso all'interno di ogni segmento con il peso di ogni segmento. Se un gruppo ha la maggior
parte dei suoi membri in un segmento basso (mobile, una categoria economica), il suo totale scende anche quando vince
ovunque. Mostra il rapporto per segmento e complessivo (GROUPING SETS), e guarda i pesi prima di fidarti del totale.
WITH results(device, variant, users, converted) AS (VALUES
('mobile', 'control', 2000, 80), ('mobile', 'treatment', 8000, 400),
('desktop', 'control', 8000, 960), ('desktop', 'treatment', 2000, 260))
SELECT COALESCE(device, 'all') AS device, variant,
ROUND(100.0 * SUM(converted) / SUM(users), 1) AS conversion_pct
FROM results
GROUP BY GROUPING SETS ((device, variant), (variant))
ORDER BY device, variant;
| device | variant | conversion_pct |
|---|---|---|
| all | control | 10.4 |
| all | treatment | 6.6 |
| desktop | control | 12.0 |
| desktop | treatment | 13.0 |
| mobile | control | 4.0 |
| mobile | treatment | 5.0 |