Du hast den Verdacht, dass deine Markenanzeigen bei Google vor allem Leute abfangen, die dich ohnehin gefunden hätten. Die Zuordnung hilft da nicht weiter. Sie gibt diesen Anzeigen viele Bestellungen, weil sie kurz vor dem Kauf liegen. Ob es diese Bestellungen ohne die Anzeigen auch gegeben hätte, kann sie nicht sagen.
Die Idee
Ein Wechselversuch schaltet die Werbung abwechselnd ein und aus, in Zeiträumen gleichen Umfangs, und vergleicht die Bestellungen oder Anfragen je Besuch. Gewechselt wird mindestens zweimal, etwa eine Woche an, eine aus, eine an, eine aus. Stünden nur eine Woche mit und eine ohne Werbung gegeneinander, ginge jeder Unterschied zwischen diesen beiden Wochen ins Ergebnis ein, auch der zwischen Monatsanfang und Monatsende.
Ein Rechenbeispiel
Angenommen, in den Wochen mit Werbung zählst du 4.000 Besuche und 120 Bestellungen, in den Wochen ohne ebenfalls 4.000 Besuche und 100 Bestellungen. Das sind 3,0 gegen 2,5 Prozent, ein Unterschied von 0,5 Prozentpunkten. Sieht nach einem Ergebnis aus.
| Besuche je Seite | Mit Werbung | Ohne Werbung | Unterschied in Prozentpunkten | 95-Prozent-Intervall |
|---|---|---|---|---|
| 4.000 | 3,0 % (120) | 2,5 % (100) | +0,5 | −0,2 bis +1,2 |
| 16.000 | 3,0 % (480) | 2,5 % (400) | +0,5 | +0,1 bis +0,9 |
Das Intervall zeigt, wie genau der Unterschied gemessen ist. Metrunio rechnet es mit 95 Prozent, nach dem üblichen Vergleich zweier Anteile. Bei 4.000 Besuchen je Seite reicht es von minus 0,2 bis plus 1,2 Prozentpunkten und schließt die Null ein. Dann lautet das Ergebnis „kein messbarer Unterschied“: Der Abstand lässt sich nicht vom üblichen Schwanken trennen. Erst bei viermal so vielen Besuchen liegt das ganze Intervall über null.
„Kein messbarer Unterschied“ ist ein vollwertiges Ergebnis. Metrunio rechnet dann nichts hoch und nennt keine zusätzlichen Bestellungen. Liegt das Intervall ganz über null, nennt das Ergebnis sie: im Beispiel 0,5 Prozent von 16.000 Besuchen, also 80 Bestellungen in den Wochen mit Werbung. Unter 100 Besuchen je Seite oder bei zusammen weniger als zehn Conversions rechnet Metrunio gar nicht und sagt, dass die Grundlage fehlt.
Was keine Rechnung prüfen kann
Der Versuch setzt voraus, dass sich die Zeiträume nur in der Werbung unterscheiden. Eine Rabattaktion, ein Feiertag, ein Newsletter in einer der Wochen mit Werbung: All das landet mit im Ergebnis. Plan die Wechsel deshalb um solche Tage herum. Und schreib auf, was du erwartest, bevor du das Ergebnis liest; Metrunio fragt beim Anlegen nach dieser Hypothese, und der Vorbehalt steht an jedem Ergebnis.
Für zwei Aussteuerungen im selben Zeitraum gibt es eine zweite Bauform, den Vergleich zweier Kampagnengruppen. Er sagt, welche der beiden besser lief. Was ohne Werbung geschehen wäre, sagt er nicht, denn beide Gruppen sind beworben.
Den Wechselversuch gibt es ab dem Tarif Growth, den Vergleich zweier Kampagnengruppen ab Scale und im Agenturtarif. In Start und Pro steht „Experimente“ mit einem Schloss in der Navigation, und die Seite sagt, was sie kann.
Kernsatz
120 gegen 100 Bestellungen sieht nach einem Ergebnis aus. Bei 4.000 Besuchen je Seite ist es keines.