Een paar dagen terug zijn we begonnen met een splittest. Ik wil nog even wachten tot we meer data hebben, maar het percentage waarmee de conversie verandert lijkt wel heel behoorlijk.

We testen het verschil tussen het wel of niet opsommen van een aantal reviews van klanten die het product op die pagina gekocht hebben, direct onder het bestelformulier. De helft van de bezoekers ziet deze wel, de andere helft niet (we testen met de helft omdat we redelijk zeker zijn dat het en verbetering is). Iedereen kan bij de gewone reviews op de reviewpagina. Onze klanten beoordelen ons doorgaans als zeer positief, alhoewel er ook wel af en toe wat kritiek tussen staat (en dat laten we staan).
De reden om dit te testen (het lijkt een beetje open deur dat het verbetert) is dat veel klanten heel taakgericht op onze site kunnen komen, en door de extra tekst juist afgeleid zouden kunnen worden. Daarnaast wilde ik gewoon weten hoe de conversie hierdoor verandert.

Doen jullie ook dit soort tests? Zo ja, waarmee, en heb je resultaten?
Zo nee: waarom niet?

Het soort dat jij noemt doen wij minder vaak. Dan gaan we meestal gewoon een weekje om en zien we het resultaat vanzelf. Soms testen we met de kassa. Bijv. door wel of niet te tonen dat bij een bepaald bedrag de verzendkosten wegvallen (waarbij we uiteindelijk ervoor kozen het niet te plaatsen!) of door nog een laatste aanvullende inpulseaankoop te tonen (die wel voor een hogere omzet zorgde!).

Zou er nu graag een doen met en zonder de mogelijkheid van een derde partij voor het achteraf betalen. Zoals jullie weten noemen sommige partijen een omzetwinst van 20%. Zou dat wel eens A/B willen testen.

Verder lees ik er veel. Zoals die van Bryan Eisenberg en http://www.whichtestwon.com waar soms grappige breinbrekers tussen zitten. Zie deze bijvoorbeeld: http://whichtestwon.com/archives/8045

Banaan schreef:Doen jullie ook dit soort tests? Zo ja, waarmee, en heb je resultaten?

Ik heb bijna continu wel een A/B-test lopen voor het een of ander. Je test met echte gebruikers en dat levert meestal wel wetenswaardigheden op.

Een schakelaar in PHP kiest de A- of B-versie, soms aselect per sessie, soms op basis van een even/oneven IP-adres. Na enkele weken haal ik de serverlogs en soms ook de verkoopstatistieken door Excel.

Meestal levert het significante resultaten op. De huidige navigatie van een van mijn webwinkels is bijvoorbeeld het resultaat van meerdere A/B-tests met andere indelingen, teksten en plaatsingen van menu's.

De gemiddelde ordergrootte is met tientallen procenten gestegen van € 51,60 na de start tot € 81,49 eind 2010. Dat is voor een belangrijk deel te danken aan A/B-tests, dus ik kan het iedereen van harte aanbevelen. Webwinkeliers staren zich vaak blind op de conversieratio, maar A/B-tests leveren ook in andere opzichten zeker wat op.

Af en toe zijn de uitkomsten negatief. Hoewel de A/B-test zelf "gratis" is, hangt er dan een prijskaartje aan in de vorm van gemiste omzet of bezoekers die afhaken en nooit meer terugkeren. Toch wegen de voordelen ruimschoots op tegen nadelen.

Dirkjan schreef:Zou er nu graag een doen met en zonder de mogelijkheid van een derde partij voor het achteraf betalen. Zoals jullie weten noemen sommige partijen een omzetwinst van 20%. Zou dat wel eens A/B willen testen.

Dat is lastige "input" voor een A/B-test. Een A/B-test levert alleen statistisch betrouwbare informatie op als je kleine verschillen meet, liefst maar één detail. Als je een A/B-test loslaat op een radicaal ander betaalsysteem, test je misschien wel tientallen variabelen. Je ziet dan niet meer welke variabele een concrete verbetering is. Een andere pagina-indeling, andere teksten en andere logo's kunnen allemaal van invloed zijn, waardoor je dan bijvoorbeeld die 20% groei vrijwel onmogelijk kunt toeschrijven aan enkel het toevoegen van achteraf betalen. Je krijgt dan als het ware een A/B/C/.../X/Y/Z-test.

Even een update. Onze test tussen wel of geen reviews op de productpagina is inmiddels afgelopen, en zoals verwacht converteert de pagina met reviews beter.
Na ongeveer 1000 transacties bleek de conversie hierdoor met 11% toe te nemen (dus niet van bv 5% naar 16%, maar van bv 10% naar 11,1%; bij gelijkblijvend verkeer is dat dus wel 11% meer omzet).

Het gemiddelde orderbedrag veranderde door de reviews niet.


Onze nieuwe test is niet echt een A/B, maar meer een A/B/C/D/E/F/G test.
We hebben altijd al als USP bovenaan elke pagina staan dat we alle producten op voorraad hebben. Wat we willen weten is of het uitmaakt als we een voorraad status geven bij het product zelf.
We hebben daarvoor een aantal varianten: tekstueel "ruim op voorraad", de werkelijke voorraad in getal, de halve voorraad, de kwart voorraad, en daarmee dan nog wat variaties met groene letters en oranje letters om te zien of dat een gevoel van urgentie opwekt oid.

Over een tijdje laat ik weer weten wat de uitkomst is.

Banaan schreef:We hebben daarvoor een aantal varianten: tekstueel "ruim op voorraad", de werkelijke voorraad in getal, de halve voorraad, de kwart voorraad, en daarmee dan nog wat variaties met groene letters en oranje letters om te zien of dat een gevoel van urgentie opwekt oid.

Wat bedoel je met de halve voorraad en een kwart voorraad?

Ward schreef: Wat bedoel je met de halve voorraad en een kwart voorraad?

Dat we niet de werkelijke voorraad als getal tonen, maar dat getal dedeeld door 2 of 4. Dus in plaats van de bv 100 die we hebben zetten we er dan 50 of 25 neer.

We verkopen commodoties en hebben soms behoorlijke voorraden, dus we proberen zo er achter te komen of "schaarste" een rol speelt.

Banaan schreef:Dat we niet de werkelijke voorraad als getal tonen, maar dat getal gedeeld door 2 of 4. Dus in plaats van de bv 100 die we hebben zetten we er dan 50 of 25 neer.

We verkopen commodoties en hebben soms behoorlijke voorraden, dus we proberen zo er achter te komen of "schaarste" een rol speelt.

Kan ik verkooptechnisch wel begrijpen, maar om principiële redenen zou ik het niet doen: het is liegen en bedriegen. Als je aan dat soort immorele praktijken gaat beginnen, is het hek van de dam. De volgende stap is dan de verwachte levertijd delen door 2 of 4...

Test anders bijvoorbeeld eens met een "meer dan 25 op voorraad" en een "meer dan 50 op voorraad". Dat is wél eerlijk. Of voor het benadrukken van urgentie en schaarste omgekeerd "minder dan 50 op voorraad".

Ik snap wat je zegt. We willen eerst weten of het getal an sich uberhaupt iets uitmaakt (op het eerste gezicht lijkt het zelfs alsof een lager getal tot lagere conversies leidt). Was sowieso niet van plan uiteindelijk met exacte getallen te gaan werken.
Echt liegen is het niet, want als je er 100 hebt heb je er ook 50 op voorraad