Annadiva is een lingeriewinkel, gespecialiseerd in grotere cupmaten. Naast de webwinkel hebben zij ook enkele fysieke winkels in Nederland.
Annadiva werkt al een aantal jaar samen met Adchieve en heeft gedurende deze samenwerking mooie resultaten behaald. In deze case wordt dieper ingegaan op de A/B test voor shopping die gezamenlijk is opgezet.
Uitdaging
Binnen deze branche worden over het algemeen twee varianten afbeeldingen ingezet om het product te presenteren. Een variant met, en een variant zonder model. Annadiva adverteerde altijd in shopping met een afbeelding van de lingerie, zonder model. De uitdaging waar zij voor stonden, was het achterhalen wat zorgt voor een hogere CTR binnen Google Shopping, een afbeelding zonder of een afbeelding met model.
Shopping is voor Annadiva een grote inkomstenbron, waar deze minimale verschillen een enorme impact kunnen hebben.
Aanpak
Om het verschil in de resultaten inzichtelijk te maken, zijn we gestart met het testen van beide varianten van afbeeldingen, middels een A/B test. De Shopping A/B test is een feature in de Adchieve software, waarmee drie componenten in de content getest kunnen worden, de titel, beschrijving of afbeelding.
In dit geval is dus gekozen voor de afbeelding. De eerste variant laat alleen het product zien en de tweede variant is een afbeelding van het product met een model. Om het risico te beperken is er voor gekozen de test te beperken tot één merk. In dit geval is er voor het merk Marie Jo gekozen, een van de grotere merken met voldoende volume.
Voor de A/B test is er vooraf een hypothese geformuleerd om aan te geven wat de verwachtingen zijn:
“Een afbeelding in Shopping met model resulteert in een significant hogere CTR dan een afbeelding van alleen het product”
De test is opgezet vanuit de Adchieve software. De variabele waarop getest werd, in dit geval dus de afbeelding, werd gevuld vanuit de feed. Annadiva zorgde er hierbij voor dat er een kolom gevuld werd met afbeelding 1 en een kolom met afbeelding 2. Vervolgens ging de techniek van de Adchieve software aan de slag.
Binnen de campagnes van Annadiva is elke groupid een advertentiegroep. Binnen de advertentiegroep is normaliter elke itemid een productgroep.
Echter, in het geval van de test, werd er een nieuwe productiepartitie aangemaakt op basis van het item id en werden variant 1 en variant 2 er als productgroep ingeschoten via een custom label
Let's go!
Via de Adchieve software werd willekeurig variant 1 of 2 naar het Merchant Center geschoten. Na 21 dagen stuurde Adchieve opnieuw willekeurig variant 1 of variant 2 naar het Merchant Center
Wanneer er een nieuwe afbeelding naar het Merchant Center wordt gestuurd, is het altijd de vraag wanneer dit binnen Google wordt aangepast. Dit is helaas niet inzichtelijk. Zelf geeft Google aan dat dit na maximaal 7 dagen gebeurt. Om dit te ondervangen, is er een “overige items in…” welke ook data binnenkrijgt. Zodra er een nieuwe afbeelding wordt gestuurd, zal deze de eerste 7 dagen hierin vallen.
Het betreffende product krijgt op dat moment geen variant 1 of 2 in het custom label. Na 7 dagen valt het product vervolgens in variant 1 of 2. Dit zorgt voor een zo eerlijk mogelijk test. Doordat dit via een custom label wordt gedaan, zijn de resultaten inzichtelijk in de interface van Google.
”De afbeelding met model, heeft een significant hogere CTR gescoord in de test.’’
Resultaten
De test heeft gedurende zes maanden gelopen (januari 2019 t/m juni 2019). Variant 2, in dit geval de afbeelding met model, heeft een significant hogere CTR gescoord in de test. De significantie is getest door middel van een Welch’s t-test.
We kunnen hier dus concluderen dat de kans op een klik groter is, wanneer we een afbeelding gebruiken mét een model.