Möchte man den Effekt von mehreren Änderungen messen, bietet sich Multivariates Testen (englisch: multivariate testing) gut an. Im Gegensatz zum klassischen A/B Test, welcher häufig als Grundlage zum Testen herangezogen wird, haben wir beim multivariaten Test die Möglichkeit, mehrere Variablen gleichzeitig zu testen und zu schauen, welche Variante die beste ist. Das Ziel besteht darin, die beste Kombination der getesteten Elemente zu finden.
Wie genau das geht, erfährst du in diesem Blogbeitrag!
Unterschied zum klassischen A/B Test
Bei einem klassischem A/B Test wollen wir genau untersuchen, ob eine Änderung an unserer Webseite oder unserem Online-Shop zu einem bestimmten Ziel führt. Möchten wir bspw. herausfinden, ob unser Call-to-Action Button in einer dunkleren Farbe mehr heraussticht und damit für mehr Conversions bzw. Umsatz sorgt, so können wir ideal mit einem A/B Test abbilden. Der Test läuft dann für einen bestimmten Zeitraum (häufig um die 2 Wochen – je nach Menge eingehender Daten) und wir können die Daten beider Versionen am Ende genau gegenüberstellen.
Dabei muss immer eine bestimmte Anzahl an monatlichen Conversions vorhanden sein, damit der Test ein statistisch signifikantes Ergebnis liefern kann.
Beispiele für A/B Tests
Für Webseiten gibt es eine Vielzahl an Möglichkeiten, die sich hervorragend A/B Testen lassen. Darunter zählen zum Beispiel:
- Änderungen an der Navigationsstruktur
- Neue Beschriftungen
- Form und Größe von Elementen
- Änderungen an Farben und Kontrasten
- Hinzunahme neuer Elemente und Texte
Hierbei ist es wichtig, dass man nicht einfach darauf los testet, sondern alles durch entsprechende Hypothesen plant.
Wie so ein (klassischer) A/B Test aussehen kann, ist in folgender Abbildung zu sehen.
Hier haben wir unsere ursprüngliche Version A und die neu zu testende Variante B. Bei der Variante B wollen wir eine Änderung auf unserer Webseite testen, indem wir die Struktur der länglichen Elemente (blaue Kästchen, Version A) verändern (rote Kästchen, Version B).
In diesem Beispiel könnte man testen, ob die Testimonials in der neuen Struktur der Variante B einen Einfluss auf die Kaufentscheidung der Nutzer haben.
Falls du gerne mehr über A/B Tests wissen möchtest, dann schau dir unseren ausführlichen Beitrag dazu an: A/B Testing: Erklärung, Vorgehen, Tipps
Multivariates Testen Definition
Kommen wir aber nun zum eigentlichen Thema dieses Blogbeitrages.
Nichtsdestotrotz ist es meiner Meinung nach wichtig, erstmal die Grundlagen von A/B Tests zu kennen, bevor man sich den fortgeschrittenen multivariaten Tests widmet.
Unter multivariates Testen versteht man den Umstand, dass mehrere Variablen und Elemente gleichzeitig getestet werden. Man möchte quasi die „perfekte Kombination“ herausfinden.
Besonders wenn man die Struktur seiner Landingpage ändern möchte, macht die Heranziehung eines multivariaten Tests Sinn, da man in einem Experiment mehr Elemente testen kann, als mit einem klassischen A/B Test.
Unser ISER Framework: Datengetrieben zu mehr Umsatz, Wachstum und Profitabilität ohne mehr Zeit und Geld für Werbung ausgeben zu müssen.
65+ erfolgreich betreute Kunden
Beispiel eines Multivariaten Tests
Nachfolgend wieder ein Beispiel. Diesmal jedoch für einen multivariaten Test.
Zu sehen sind vier verschiedene Variationen einer veränderten Struktur. Das Ziel ist es herauszufinden, welche dieser vier Variationen beim Nutzer am besten ankommt, sodass dieser einem Ziel entsprechend konvertiert.
So könnte es sein, dass den Nutzern viele (Produkt-)Bilder gut gefallen (siehe Variation 4). Oder doch eher weniger Bilder, dafür mit mehr Text und Testimonials (Variation 1).
Man sieht: es gibt viele Möglichkeiten, die Struktur seiner Webseite oder Landingpage zu optimieren. Welche dann davon die beste ist, zeigen die Ergebnisse unseres Tests.
Vorteile von multivariaten Tests
Wie oben bereits erklärt kann man mit multivariaten Tests mehrere Variablen gleichzeitig testen. Möchte man die Struktur seiner Startseite oder Landingpage verändern, so macht es durchaus Sinn, dies in einem multivariaten Tests abzubilden.
Dadurch hat man mehr Daten zur Verfügung und spart sich die Zeit, welche man mit mehreren A/B Tests benötigen würde.
Und genau das ist auch der größte Vorteil von multivariaten Tests: Durch die Kombination der einzelnen Varianten ergibt sich eine enorme Menge an zu testenden Versionen.
Nehmen wir folgendes an. In einem MVT hast du drei Bereiche, in denen du verschiedene Versionen testen willst:
- Wording der Headline: 4 Varianten
- Position des CTAs: 2 Varianten
- Menge der CTAs: 2 Varianten
Dadurch ergeben sich 16 Kombinationsmöglichkeiten! 🤯
4 Headlines x 2 CTA-Positionen x 2 CTA-Mengen = 16 Kombinationen
Nachteile von multivariaten Tests
Ohne Daten geht nichts! Und genauso verhält es sich auch bei multivariaten Tests. Man muss immer im Hinterkopf behalten, dass man für ein erfolgreiches, statistisch signifikantes Ergebnis eine Vielzahl an Traffic und Conversions benötigt. Man kann sich das vorstellen wie viele A/B Tests, die gleichzeitig nebeneinander laufen.
Hat man bei einem multivariaten Test beispielsweise 8 Gesamtkombinationen (inkl. Original) benötigt man auch so viel Daten, wie wenn man einen „klassischen“ A/B Test mit 7 Varianten hat.
Je mehr Kombinationen es gibt, desto mehr Daten werden benötigt.
Wie lange sollte multivariates Testing laufen?
Diese Frage hängt immer davon ab, wie viel Traffic und Conversions eine Webseite hat. Je mehr Traffic, also Besucher am Tag, desto schneller kann der Test signifikante Ergebnisse aufweisen.
Nehmen wir einmal an, dass deine Website eine Conversion Rate von 4% und durchschnittlich 5.000 User pro Tag hat. Gehen wir jetzt von 2 Varianten (inkl. Original) aus, so müsste der Test ca. 15 Tage laufen (um eine Konfidenz von 95% und einen MDE von 10% abdecken zu können).
Hast du jetzt – mit einem multivariaten Test – aber 6 Varianten (inkl. Original), braucht der Test 45 Tage!
Wer 20.000 User pro Tag hat, bekommt den MVT bereits nach ca 11 Tagen „fertig“.
Den regulären A/B Test übrigens nach ca. 3 Tagen.
Tipps und Anwendungsbeispiele für MVT
Nachdem die grobe Definition, Vor- und Nachteile bekannt sind, folgen nun ein paar Tipps und Anwendungsbeispiele, wie du ganz einfach deine multivariaten Tests aufbauen kannst!
- Eine Testhypothese formulieren
Niemals einfach so darauf los testen! Und besonders nicht beim multivariaten Testing. Hier haben wir am Ende wesentlich mehr Ergebnisse und Daten vorliegen, als beim klassischen A/B Testing. Ohne Hypothese können wir mit diesen Daten allerdings nur recht wenig anfangen.
Daher: genau überlegen, welche Kennzahlen durch den Test beeinflusst werden sollen! Und festhalten, welche Ergebnisse durch den Test erwartet werden. Erst dann kann man am Ende entscheiden, ob der Test erfolgreich war oder nicht.
- Für eine solide Datengrundlage sorgen
Beim Thema Testing funktioniert nichts ohne eine solide Datengrundlage. Daher ist es wichtig vorher zu prüfen, ob das Webanalyse-System wie Google Analytics die erforderlichen Daten korrekt misst.Möchte man bestimmte Events testen (Klick auf Button, Ausfüllen von Formularfeldern), so muss zuvor ein Event-Tracking eingerichtet werden. Dafür bietet sich der Google Tag Manager gut an.Falls du hierzu gerne mehr wissen möchtest, kann ich dir unseren Blogbeitrag zum Thema Google Analytics sehr ans Herz legen: Shopify und Google Analytics 2022: Der komplette Guide (inkl. Dashboard-Vorlage)
- Ein geeignetes Tool auswählen
Es gibt diverse Tools, mit denen sich A/B Tests und multivariate Tests gut umsetzen lassen. Allem voran als kostenloses Tool kann ich Google Optimize sehr empfehlen. Hier lassen sich schnell und einfach neue Tests anlegen und mit Google Analytics verknüpfen.
- Kleine Anpassungen, wie das Ändern einer Überschrift oder Anpassen eines Buttons, lassen sich einfach über den Editor erledigen. Für aufwendigere Anpassungen kann man direkt customized CSS und JavaScript mit einbauen. Auch hierzu haben wir bereits einen kompletten Einsteiger-Guide verfasst. Bei Interesse gerne reinschauen!Google Optimize Installation 2022 – Das ideale Einsteiger-Tutorial Andernfalls gibt es auch andere, kostenpflichtige Tools, wie Optimizely, Kameleoon und AB Tasty.
- Ergebnisse auswerten
Am Ende zählt natürlich die Frage, ob sich der Test gelohnt hat bzw. ob sich ein positives Ergebnis hinsichtlich der zuvor formulierten Hypothese festhalten lässt. Dabei ist es wichtig zu wissen, ob der Test eine statistische Signifikanz aufweisen kann.
Fazit
Am Ende gilt es immer genau zu überlegen, was man testen möchte und welche Variante dafür in Frage kommt. Gerade bei diesem Thema sollte man vorher genau abwägen, ob sich ein multivariater Test auch lohnt, da man einfach sehr viel Daten benötigt. Sollte das bei dir der Fall sein, dann hoffe ich natürlich sehr, dass dir der Beitrag gefallen hat und du was daraus mitnehmen konntest!
