Ausgangslage
Die Berliner Zeitung kontaktierte uns um ihren Funnel für Abschlüsse ihrer Produkte Digital, Digital+ sowie Digital + Print am WE zu optimieren.
Das Team der Berliner Zeitung hat weder Ressourcen noch Know-How in dem Bereich A/B Testing.
Das technische Setup der Berliner Zeitung ist auf Grund einer Single Page Application (SPA) alles andere als trivial für das Thema und erfordert tief gehende Kenntnisse in der Programmierung und Web-Entwicklung.
Durchführung
Zu Beginn der Zusammenarbeit stand das saubere Tracking des Funnels. Von den Artikeln mit einer Paywall und die Interaktionen mit der Paywall selbst über den Checkout Funnel bis hin zum digitalen Abschluss.
Die saubere und korrekte Implementierung des Testing Tools war anschließend die nächste Herausforderung. Unter anderem auf Grund des
- technischem Aufbau als Single Page Application (SPA)
- Cookie Consents
- Trackings
Angeschlossen daran stand die Konzeption unterschiedlicher Paywall Designs durch das UX/UI Team der Berliner Zeitung sowie das technische Sparring zu Möglichkeiten und Iterationen.
Ganz links im Screenshot befindet sich die Ausgangsvariante der Paywall der Berliner Zeitung. Daran angeschlossen folgen drei Testvarianten, die als neue Paywall Versionen die bestehende Version ablösen sollten.
Ergebnis
Da es sich bei der Berliner Zeitung um eine Tageszeitung handelt, verfügt das Unternehmen über extrem viel Traffic. Insgesamt wurden innerhalb des Tests 2.044.276 User in dem Experiment verarbeitet.
Während einer der Testvarianten mit negativen Ergebnissen von
- -0,76% weniger Micro-Conversions und
- -9,85% weniger digitaler Abschlüsse
überraschte, konnte die Gewinner-Variante
- +333,90% mehr Micro-Conversions und
- +18,23% mehr digitaler Abschlüsse
überzeugen. Auch die weitere Variante überzeugte mit
- +178,45% mehr Micro-Conversions und
- +8,55% mehr digitaler Abschlüsse
Auf Grund der hohen Datenmenge konnten die Ergebnisse mit ausreichend statistischer Power als signifikant deklariert werden.
