MixMaxerJedes Dashboard einer Bundle-App zeigt eine große Zahl: erzeugter Umsatz, Steigerung des Bestellwerts, beeinflusste Bestellungen. Die Zahl entsteht meist, indem jede Bestellung, die ein Bundle enthält, als „App-Umsatz" gezählt wird. Kunden, die ohnehin zwei Einheiten gekauft hätten, werden mitgezählt. Bestellungen aus der Anzeigenkampagne, die am Dienstag startete, werden mitgezählt. Die Zahl ist nicht falsch, sie ist nur keine Antwort auf die Frage, die Sie gestellt haben, nämlich: Was hätte ich ohne die Angebote verdient?
Es gibt eine Methode, die diese Frage beantwortet, und sie ist im bezahlten Marketing seit einem Jahrzehnt Standard: ein Holdout.
Was eine Holdout-Gruppe ist
Ein Holdout ist ein kleiner, zufälliger Anteil der Besucher, dem gar keine Angebote gezeigt werden: keine Staffeln, kein Bundle-Widget, kein Warenkorb-Balken. Alle anderen sehen die Angebote wie gewohnt. Über dieselben Tage, mit demselben Traffic und denselben Kampagnen, vergleichen Sie den durchschnittlichen Bestellwert beider Gruppen. Die Differenz ist das, was die Angebote beitragen. Nichts anderes unterscheidet sich, also kann nichts anderes die Lücke erklären.
Saison, ein virales Produkt, ein E-Mail-Versand, der Ausfall eines Wettbewerbers: All das trifft beide Gruppen gleich. Genau darum geht es.
Warum „dieser Monat gegen letzten Monat" nicht funktioniert
Angenommen, Sie schalten am 1. Oktober Bundles ein, und der Bestellwert steigt von 48 € im September auf 55 € im Oktober. Haben die Bundles 7 € beigetragen?
- Im Oktober gab es einen Produktlaunch.
- Sie haben am 10. die Anzeigenausgaben erhöht.
- Wiederkehrende Kunden aus einem September-Sale kamen zurück.
- Eine Versandkostenschwelle wurde geändert.
Sie können den Bundle-Effekt nicht vom Rest trennen. Ein Vorher-Nachher-Vergleich ist eine Geschichte, keine Messung. Ein Holdout ist eine Messung.
Wie groß das Holdout sein sollte
Groß genug, um lesbar zu sein, klein genug, um wenig zu kosten.
| Bestellungen pro Monat | Empfohlenes Holdout | Holdout-Bestellungen pro Monat | Zeit bis zu einem lesbaren Ergebnis |
|---|---|---|---|
| 300 | 10 % | 30 | 6–8 Wochen |
| 1.000 | 10 % | 100 | 3–4 Wochen |
| 3.000 | 5 % | 150 | 2–3 Wochen |
| 10.000+ | 5 % | 500+ | 1–2 Wochen |
Faustregel: Sie wollen mindestens 100 Holdout-Bestellungen, bevor Sie der Zahl trauen, und mindestens 200, bevor Sie daraus eine Preisentscheidung ableiten. Unter 300 Bestellungen im Monat dauert ein Holdout lange; ein direkter A/B-Test eines Angebots gegen eine Variante ist dann praktischer.
Die Kosten sind real, aber klein. Wenn Ihre Angebote 6 € Bestellwert beitragen und 5 % der Besucher sie verpassen, verzichten Sie auf rund 0,3 % des Umsatzes, um zu erfahren, ob die anderen 99,7 % funktionieren.
Einrichtung in Shopify
Ihre Bundle-App muss das unterstützen; ein Holdout lässt sich nicht mit Rabattcodes oder Theme-Einstellungen bauen. Die App muss:
- Jeden Besucher zufällig „Angebote" oder „Holdout" zuweisen und die Zuweisung merken, damit dieselbe Person nie bei einem Besuch Angebote sieht und beim nächsten nicht.
- Jede Oberfläche für das Holdout unterdrücken: Produkt-Widget, Warenkorb-Balken, Badges, Post-Purchase-Angebot. Ein halbes Holdout ist kein Holdout.
- Die Bestellungen und den Bestellwert der Holdout-Gruppe trotzdem erfassen und den Vergleich in der Analyse zeigen.
In MixMaxer ist das eine einzige Einstellung im Pro-Plan (Einstellungen › Holdout-Anteil). Die Analyse zeigt dann „Bestellwert mit Angeboten", „Bestellwert Holdout" und die Steigerung über den Zeitraum, den Sie wählen.
Wie Sie das Ergebnis lesen
- Steigerung ist positiv und über zwei aufeinanderfolgende Zeiträume stabil: Ihre Angebote funktionieren. Berichten Sie diese Zahl, nicht die Dashboard-Zahl.
- Steigerung ist im ersten Zeitraum positiv und schrumpft dann: anfänglicher Neuheitseffekt, oder ein Sale hat sich überschnitten. Lassen Sie das Holdout weiterlaufen.
- Steigerung ist nahe null: Die Angebote belohnen Verhalten, das ohnehin stattgefunden hat. Schauen Sie, welche Staffeln die Leute nehmen; wenn 90 % der „2 kaufen"-Kunden vorher schon 2 gekauft haben, verschieben Sie die Staffel auf 3.
- Steigerung ist negativ: selten, kommt aber vor, wenn ein Widget die Seite verlangsamt oder den Preis verwirrt. Prüfen Sie zuerst die Seitengeschwindigkeit und die Frage „Preis auf der Seite vs. Checkout".
Rechnen Sie damit, dass die ehrliche Zahl kleiner ist als die Dashboard-Zahl. Das ist normal. Es ist auch die einzige Zahl, die in eine Präsentation für die Geschäftsführung gehört.
Holdout vs. A/B-Test: welches wann
| Frage | Werkzeug |
|---|---|
| „Bringen meine Angebote überhaupt etwas?" | Holdout |
| „Sind 10 % oder 15 % auf Stufe 2 profitabler?" | A/B-Test dieses Angebots |
| „Soll das Gratisgeschenk ab 80 € oder ab 100 € starten?" | A/B-Test |
| „Lohnt es sich, den Warenkorb-Balken zu behalten?" | Holdout (er unterdrückt auch den Balken) |
Nutzen Sie beides. Das Holdout zeigt Ihnen die Größe des Preises; A/B-Tests zeigen Ihnen, wie Sie ihn vergrößern.
FAQ
Was ist eine Holdout-Gruppe im E-Commerce?
Ein zufälliger Anteil der Besucher, dem eine Aktion bewusst nicht gezeigt wird, als Vergleichsbasis. Der Vergleich ihres Verhaltens mit allen anderen im selben Zeitraum misst die tatsächliche Wirkung der Aktion.
Wie groß sollte ein Holdout für einen Shopify-Shop sein?
5–10 % der Besucher, so bemessen, dass Sie mindestens 100 Holdout-Bestellungen sammeln, bevor Sie das Ergebnis lesen.
Kostet ein Holdout Umsatz?
Ein wenig: Die Holdout-Gruppe verpasst die Steigerung. Bei 5 % Holdout und 6 € Bestellwert-Steigerung liegen die Kosten bei etwa 0,3 % des Umsatzes.
Welche Shopify-Bundle-Apps haben eine Holdout-Gruppe?
Sehr wenige. MixMaxer enthält eine Holdout-Einstellung im Pro-Plan; prüfen Sie die Analyseseite Ihrer aktuellen App auf „Holdout" oder „Kontrollgruppe", bevor Sie annehmen, dass sie eine hat.
MixMaxer: Bundles, Mengenrabatte und Upsells für Shopify, mit A/B-Tests, Gewinn pro Angebot und Holdout-Gruppe. Aus dem Shopify App Store installieren · Hilfeartikel zu Gewinn und Holdout.