UX-casestudy · A/B-testen

Achteraf betalen toevoegen aan een hotelboekingsflow

Findhotel verkocht al kamers die een reiziger bij het hotel kon betalen in plaats van bij de checkout. Alleen kon niemand daar tijdens het boeken voor kiezen. Ik ontwierp de eerste versie van die keuze, en een test van vijf weken mat wat die waard was.

5wkn
De test liep
800
Boekers per dag, gelijk verdeeld
+4.2%
Conversie, na annuleringen
Klant
Rol UX-designer, enige designer op deze feature
Team 1 UX-designer, 1 product owner, 1 data scientist, 1 copywriter, een scrumteam
Doorlooptijd Oktober tot december 2020, resultaten in januari 2021
Platform De boekingsfunnel, op desktop, tablet en mobiel web
Tools Figma, Zeplin, FullStory
De kamerselectiepagina op desktop, met nu betalen en achteraf betalen naast elkaar als keuze

De keuze kwam op de kamerselectiepagina terecht, vóór de checkout. Ik wilde hem in de checkout zelf, en verderop staat waarom dat niet kon.

Probleem

Waarom dit project?

Findhotel is een kleinere speler in hotelboekingen. Het bedient de lokale markten die Booking, Expedia en TripAdvisor meestal laten liggen. Reizigers bij het hotel laten betalen is een manier waarop zo'n platform kan opvallen.

Achteraf betalen kon duizend kanten op. Iedereen had een mening over hoe het eruit moest zien en wat in een eerste versie thuishoorde. Er waren meerdere scrumteams bij betrokken, en de feature moest de conversie van het belangrijkste product van het bedrijf verhogen, dus iedereen had terecht een mening. Iets moest de knoop doorhakken.

Doelen

Gewenst resultaat

We wisten dat reizigers de feature zouden waarderen. Niemand wist hoeveel, dus de eerste versie was ontworpen om dat uit te zoeken.

De kleinste versie die nog klopt
Live gaan met de minste inspanning die een reiziger nog een echte keuze geeft.
Leen wat zich al bewezen heeft
Een aanpak nemen die de rest van de branche heeft getest op een schaal die wij niet konden halen.
Gebouwd om gemeten te worden
Een ontwerp dat met zo min mogelijk wijzigingen aan de omliggende flow in een A/B-test kon.

Alle drie zijn één doel: een getal krijgen. Een kleine eerste versie was geen manier om minder werk te doen. Het was de enige manier om de feature te meten, en alleen een meting zou een tweede ronde opleveren. Al het andere dat ik wilde ontwerpen, moest daarop wachten.

Scope en beperkingen

Beperkingen

Drie beperkingen bepaalden dit meer dan welke ontwerpbeslissing van mij ook.

De eerste was de checkoutpagina. Door een technische beperking konden we die nauwelijks aanpassen, dus de schakelaar in de checkout die ik wilde viel af, net als verschillende andere ontwerpen. Er bleef één plek over voor de keuze: de kamerselectiepagina. Iemand laten kiezen wanneer hij betaalt voordat hij bij de checkout is, is vreemd. Maar het kon live, en iets meetbaars live krijgen was het punt.

De tweede was de zoekpagina, waar een reiziger kiest welk hotel hij opent. Die was van een ander team en kon niet op tijd voor de test worden aangepast. Hij toonde per hotel alleen de drie bovenste aanbieders, en de eigen aanbiedingen met achteraf betalen van Findhotel zaten daar niet altijd bij. Zo kon een reiziger aanbiedingen met achteraf betalen van Booking, Agoda en Expedia zien, en geen enkele van Findhotel, ook waar Findhotel ze wél had.

De derde was taal. De eerste weken van de test draaiden alleen in het Engels, omdat het vertaalsysteem te traag was voor teksten die nog een paar keer zouden veranderen.

Team

Mijn rol, en het team eromheen

Ik was de enige ontwerper op de feature. Ik onderzocht de concurrentie, leidde de ideatie- en scopingsessies, maakte en testte een prototype van het concept, tekende de definitieve schermen, testte de build handmatig en bekeek echte sessies zodra het live stond. Een product owner, een data scientist en een scrumteam van developers bouwden het met mij.

Verdieping

Het team, en met wie ik werkte

Teamkaart

Samenstelling van het team

Onze product owner bracht de business case en de prioriteiten in. Onze data scientist bracht de cijfers waartegen de beslissingen werden genomen, en ontwierp de A/B-test zelf, wat meer uitmaakt dan het klinkt: een test die is ontworpen door de mensen die een bepaald antwoord willen, is geen test.

Een eigen copywriter schreef de teksten. Een extern bureau vertaalde ze. Ik was de enige designer op de feature, en de developers waren een scrumteam binnen een organisatie met meerdere teams.

Mijn verantwoordelijkheden

De concurrentie benchmarken, de ideatie- en scopingsessies van het team leiden, wireframen, een prototype bouwen dat low-fidelity genoeg was om over te discussiëren, het guerrillatesten, het resultaat omzetten in een ontwikkelplan, en de high-fidelity schermen tekenen tegen het design system.

Daarna: de teksten gericht houden op wat de test mat, de build met de hand testen tegen elk afgesproken scenario, echte sessies bekijken zodra het live stond, en het geheel opschrijven voor collega's die er nooit bij waren.

Het team Search listing team Andere teams PD PO DES Dev PO DES Dev PO DS DES Dev Dev FE Het team Search team Andere teams PD PO DES Dev PO DES Dev PO DS DES Dev Dev FE

Binnen het kader werkten de product owner, de data scientist en de developers samen met mij. Een van de developers werkte vooral aan de frontend. Er was geen scrum master. De product owner en ik legden verantwoording af aan de product director. Om het kader heen staan de andere teams, op dezelfde manier opgebouwd met een designer, een product owner en developers. Ik werkte vooral met hun designers. Met de designer van het Search listing team stemde ik de customer journey af. De product owner van dat team en ik communiceerden indirect.

Proces

Hoe het tot stand kwam

Dit was de eerste versie van achteraf betalen bij Findhotel, en die moest de rest verdienen.

01

Wat de branche al deed

Ik nam elk groot boekingsplatform uit elkaar, en een aantal kleinere, scherm voor scherm. Ik wilde bevindingen waar het team iets mee kon: waar de branche op uitgekomen was, waar de gaten zaten, en welke van onze discussies grotere spelers al hadden beslecht.

Achteraf betalen, platform voor platform

Zoeken
Kamerkeuze
Checkout
Bevestigingspagina
Bevestigingsmail
Boeking beheren

Free cancellation

Reserve now, pay later

Op de resultaatkaart
Payment Type

Free cancellation

Reserve now, pay later

In de filters

Free cancellation

Before Tue, Nov 24

Reserve now, pay later

Op het kameraanbod

Your payment options

Free cancellation before Tue, Nov 24You can change or cancel this stay if plans change. Because flexibility matters.
Pay now
  • More ways to pay: use Debit/Credit card or PayPal
  • You can use a valid Expedia coupon
MX$88per night, $222 for 2 nights, includes taxes & feesPay now
Pay when you stay
  • You will not be charged until your stay
  • Pay the property directly in their local currency
MX$88per night, $222 for 2 nights, includes taxes & feesPay at property
In de opties voor achteraf betalen
Total
$221.94
Pay now
$0.00
Pay at property
$221.94
In het prijsoverzicht

Teamnotitie Probeer een niet-restitueerbare deal met achteraf betalen te vinden.

MX$0.00 due now. Payment information is only needed to hold your reservation.

Boven het kaartformulier
Hier staat niets over waar de gast betaalt
Op de bevestigingspagina

Collected at the property Unless specified otherwise, rates are quoted in Euros. Rate quotes in EUR are based on current exchange rates, which may vary at time of travel. Final payment will be settled in local currency directly with the hotel.

Onder het totaalbedrag
Bij de boeking

Collected by the hotel Rate quotes in EUR are based on current exchange rates, which may vary at time of travel. Final payment will be settled in local currency directly with the hotel. Unless specified otherwise, rates are quoted in USD.

Op de prijspagina, onder het totaal

NO PREPAYMENT NEEDED

pay at the property

Op de resultaatkaart
Reservation policy

Free cancellation546

Book without credit card4

No prepayment194

In de filters
Set your filters

FREE Cancellation, NO PREPAYMENT NEEDED29

Breakfast included24

In de filters boven de kamers

FREE cancellation before 20 November 2020

NO PREPAYMENT NEEDED, pay at the property

Tussen de kameropties

Book now, PAY AT THE PROPERTYWith free cancellation on most options
Op het kameraanbod

Now you'll pay€ 0

No payment needed now. You'll pay at the property.

Bovenaan het prijsoverzicht, in beide stappen
Risk free: You can cancel before 20 November 2020, so lock in this great price today.

NO PREPAYMENT NEEDED, pay at the property

Onder het prijsoverzicht
Your credit card will not be charged. It's only needed to guarantee your booking. You'll pay at the property.
Boven het kaartformulier

Teamnotitie We weten het niet per hotel, dus we moeten iets vaags vermelden.

Only needed to guarantee your booking
Bij het veld voor het kaartnummer
The property handles all payments. See payment details below.

Lager op de bevestigingspagina

You have guaranteed your booking by credit card

Op de bevestigingspagina
Prepayment

This property doesn't require prepayment. However, the property may temporarily hold an amount on your card, to test your card and guarantee your booking. This test payment will be returned to you.

About pre-authorisation
  1. What is a pre-authorisation?
  2. What's the difference between a pre-authorisation and an actual charge to my credit card?
  3. How will I know if my card has been pre-authorised?
  4. How long will the pre-authorisation hold affect my available balance?
  5. Will the hold always equal the exact amount of my reservation?
  6. Will this happen with all bookings made through Booking.com?
Achter Payment info

Your payment will be handled by the property. The 'Payment' section below has more details

You'll pay when you stay at Travelodge by Wyndham Las Vegas Airport Near The Strip
Bovenaan de e-mail
Prepayment
You don't need to prepay. However, the property may take a deposit from the card you booked with.
Cancellation cost
Until 14 February 2021 23:59 (PST): US$0. From 15 February 2021 00:00 (PST): US$63.99
In de e-mail, bij de reserveringsgegevens
Cancel bookingIt costs US$0 to cancel this booking until 23:59 (Las Vegas (Nevada) time), 14 February 2021
Bij de boeking

Book now, pay later

Op de resultaatkaart
Payment options

Free cancellation526

Pay at the hotel365

Book now, pay later97

In de filters

Pay later, through Agoda

BOOK NOWPAY LATERFREE Cancellation
Op de boekknop

Pay nothing until 23 November 2020

In het kameroverzicht
Choose your payment option
Pay later

RISK FREE! Pay nothing until 23 November 2020

Free cancellation before 23:59 hrs. on 24 November 2020 (property local time)

Depending on your payment currency, Agoda's currency exchange rate may be applied as per Agoda's terms of use

In de betaalstap
BOOK NOW & PAY LATER!
Op de laatste knop
Niet gevolgd na de checkout

Reserve now, pay at stay

Op de resultaatkaart
Deals

Free cancellation

Reserve now, pay at stay

Properties with special offers

In de filters

Free cancellation until 11/25/20

Reserve now, pay at stay

Op de aanbiedingen van de aanbieders

Teamnotitie Bij de aanbiedingen van Expedia en Hotels.com, niet bij die van Agoda.

Free Cancellation until Nov 25, 2020

Book now, pay at stay!

Op het kameraanbod, desktop
1Your Room Selection

Book now, pay at stay!

In het kameroverzicht

Book now. Pay later when you stay.

In het prijsoverzicht
3Enter Your Reservation Guarantee

€0 due now. Payment information is only needed to hold your reservation.

Boven het kaartformulier
Book now, pay when you stay

Your reservation is with Hotels.com, who will handle your customer service needs.There are no surprises and no hidden fees. This is your total price.You can cancel for free before Nov 25, 2020.

Onder het factuuradres
Niet gevolgd na de checkout
ZenHotels
Niet getoond op mobiel

Op de resultaatkaart, desktop

Pay on the spot

Op de mobiele resultaten

Teamnotitie ZenHotels lijkt vergeten te zijn achteraf betalen aan de mobiele resultaten toe te voegen.

Payment and booking

No card required for booking

Free cancellation available

Pay now

Pay on the spot

In de filters

Free cancellation before November 20*

Pay on the spot, Card is required for booking

Op het kameraanbod

Pay on the spot

Credit card required

In het kameroverzicht
To be paid at the hotel
$ 145.44≈ € 122
Service fee and vat included.
To be paid upon arrival
Environmental fee
MXN 40
In het prijsoverzicht
Reservation Guarantee

Your card details will be transferred to the hotel for your booking guarantee. According to the booking conditions, the hotel can withdraw the amount from your card before checking-in.

In de reserveringsgarantie
Niet gevolgd na de checkout
Niet getoond op mobiel

Op de resultaatkaart, desktop

Pay now or at property

Op de mobiele resultaten

Teamnotitie Opvallend genoeg toont Hotels.com betalen bij het hotel niet op mobiel, alleen op tablet of desktop.

Pay now or at hotel

In het venster dat vraagt wanneer er betaald wordt

Choose when you'd like to pay

Pay in full online
  • We'll process your payment in your local currency
  • Cancel for free right up until the cancellation window of the property
  • You can use a valid Hotels.com coupon
  • Hotels.com® Rewards
  • Collect
  • Redeem
€538for 1 room for 2 nightsPay in full online
Reserve with deposit
  • Pay the property in their currency
  • Cancel for free right up until the cancellation window of the property
  • Hotels.com® Rewards
  • Collect
  • Redeem
€539for 1 room for 2 nightsReserve with deposit
Op het kameraanbod, desktop
Total price
approx. 539,22€
You will pay in the property's currency
USD 639.50
In het prijsoverzicht
Payment schedule
Deposit
First night plus tax (after booking)
In het betalingsschema

Teamnotitie Nergens in de betaling staat hoeveel de zogenaamde “Deposit” zal zijn.

This price may increase if you book later.
In het betalingsschema
Niet gevolgd na de checkout
Leek het nog niet te ondersteunen
  • Airbnb
  • Trip.com
  • Lol.travel
  • Skyscanner

Zes platforms laten een gast nu boeken en bij het hotel betalen, en geen twee noemen het hetzelfde.

Wat het team het meest beviel, was een heldere uitleg van wat er hierna gebeurt: nu is er niets verschuldigd, en de creditcard is er alleen om de boeking vast te houden. De twee platforms die tot na de checkout zijn gevolgd, bleven zeggen wie de betaling int, in de e-mail en opnieuw bij het beheren van de boeking.

02

Eén manier kiezen, en die inkorten

Ik leidde de ideatiesessies, en de benchmark maakte ze werkbaar. Een ruimte vol mensen met sterke meningen is lastig te leiden. Een ruimte die net heeft gezien wat vijf concurrenten hebben gelanceerd, is makkelijker: het materiaal voerde de discussie.

Vóór de sessies schreef ik op waarom een reiziger achteraf zou willen betalen, op basis van mijn eigen onderzoek naar betaalmotieven.

Motivaties van gebruikers

  • Ik wil iets reserveren zonder mijn geld vast te zetten

  • Ik betaal liever contant

  • Het is weinig risico als ik moet annuleren, en het voelt veiliger

  • Ik heb het geld op dit moment niet

  • Ik wil de prijs vastzetten die ik zie

Vier manieren om achteraf betalen aan te bieden

Gemengde aanbiedingen dupliceren

De aanpak van Booking.com

Now you'll pay€ 0

No payment needed now. You'll pay at the property.

Your credit card will not be charged. It's only needed to guarantee your booking. You'll pay at the property.

Stemmen V.

Gekozen aanpak

Pop-up vóór de checkout

De aanpak van Expedia

Pay now
  • More ways to pay: use Debit/Credit card or PayPal
  • You can use a valid Expedia coupon
MX$88per night, $222 for 2 nights, includes taxes & feesPay now
Pay when you stay
  • You will not be charged until your stay
  • Pay the property directly in their local currency
MX$88per night, $222 for 2 nights, includes taxes & feesPay at property

Stemmen A., M.

Schakelaar in de checkout

De aanpak van Agoda

Choose your payment option
Pay later

RISK FREE! Pay nothing until 23 November 2020

Free cancellation before 23:59 hrs. on 24 November 2020 (property local time)

Depending on your payment currency, Agoda's currency exchange rate may be applied as per Agoda's terms of use

Pay now

You can also choose to pay now with a credit card or other payment methods below.

Stemmen Gil

Alleen achteraf betalen tonen

Biedt een accommodatie beide aan, toon dan alleen achteraf betalen

Alles van Back-office FindHotel met zowel Nu betalen als Achteraf betalen moet Achteraf betalen worden.

Geen stemmen

Verdieping

Wat het team onder elke aanpak schreef

Voordelen en nadelen per aanpak
Gemengde aanbiedingen dupliceren
Voordelen
  • Standaard staat de makkelijke optie aan, dus geen frictie in de checkout
  • Prestaties van achteraf betalen en nu betalen zijn naast elkaar te vergelijken
Nadelen
  • De gebruiker kan alleen wisselen door terug te gaan naar de kamerkeuzepagina en daar de juiste kamer in een tabel met aanbiedingen te kiezen
  • Je kunt niet zien hoe het anders zou zijn
  • Dwingt dubbele vermeldingen af op de kamerkeuzepagina vanwege een eigenschap van de aanbieding
  • Het aantal aanbiedingen per kamer moet worden beperkt, anders wordt de lijst te lang en beperkt die de keuze van de gebruiker
  • Te veel opties om uit te kiezen
Pop-up vóór de checkout
Voordelen
  • De gebruiker ziet beide scenario's overzichtelijk naast elkaar
  • De gebruiker kan van het ene scenario naar het andere wisselen
  • Voorkomt dubbele vermeldingen op de kamerkeuzepagina
  • Betere uitleg van de waardepropositie voor gebruikers
  • Prestaties van achteraf betalen en nu betalen zijn naast elkaar te vergelijken
  • De gebruiker krijgt de meeste opties
  • De optie wordt op het juiste moment aangeboden
Nadelen
  • De gebruiker moet een keuze maken om door te kunnen, wat frictie veroorzaakt in de checkout
  • Voor één nacht maakt het weinig uit, maar de gebruiker moet toch kiezen (keuzestress)
  • De gebruiker moet terug om van scenario te wisselen
  • Nog een stap in de funnel, nog een kans dat iemand afhaakt
  • Meer bouwwerk nodig om het te valideren?
  • We moeten de dubbele aanbiedingen voor nu betalen en achteraf betalen aan elkaar koppelen om te kiezen welke twee we in de pop-up tonen
Notities op het scherm
  • Gil We hoeven de oplossing niet te kopiëren.
  • I. Houd er rekening mee dat we de gebruiker niet twee keer iets vragen.
  • I. Proberen op de kamerkeuzepagina? Een link onder de knop voor achteraf betalen.
Schakelaar in de checkout
Voordelen
  • Kiest automatisch één optie, maar laat de gebruiker wisselen, dus geen extra frictie
  • De gebruiker ziet beide scenario's overzichtelijk naast elkaar
  • De gebruiker kan naar beide scenario's wisselen zonder terug te hoeven
  • Voorkomt dubbele vermeldingen op de kamerkeuzepagina
  • De gebruiker krijgt de meeste opties
  • De optie wordt op het juiste moment aangeboden
  • De getoonde betaalmethode past bij de context
Nadelen
  • Weer een veld erbij in ons toch al lange checkoutformulier
  • De prijsopbouw moet meeveranderen als de gebruiker wisselt, en dat kan verwarrend zijn
  • Een gebruiker die eerder iets standaard koos, ontdekt extra informatie op de betaalpagina
  • Een gebruiker die geïnteresseerd zou kunnen zijn in nu betalen, denkt misschien dat dat niet beschikbaar is
  • De betaalpagina verandert direct mee met de keuze, dus er is ruimte voor fouten
  • Vereist de meeste UI-wijzigingen
Alleen achteraf betalen tonen
Voordelen
  • De slankste optie voor A/B-testen: het geeft de schoonste data
  • Vereist de minste UI-wijzigingen
Nadelen
  • De gebruiker kan helemaal niet nu betalen
  • We zouden nooit te weten komen hoeveel het nu betalen kannibaliseert
  • Een deel van de gebruikers vindt achteraf betalen misschien niks en ziet het als teken van onbetrouwbare hotels
  • Een gebruiker die geïnteresseerd zou kunnen zijn in nu betalen, denkt misschien dat dat niet beschikbaar is

Ik wilde de keuze in de checkout zelf, zoals Agoda het doet. De checkout kon nauwelijks veranderen, dus kozen we in plaats daarvan de aanpak van Expedia: een keuze vóór de checkout. Expedia had het meest volwassen systeem voor achteraf betalen in de benchmark, en daar viel dus het meest van te leren.

Scoping liep parallel, met de product owner en de data scientist. We hielden twee vragen uit elkaar: wat is de ideale versie, en wat is de kleinste versie die het testen waard is? Doordat we beide vasthielden, werd elke schrapping opgeschreven, klaar voor een tweede ronde.

Het complete plan en de eerste versie

  • 14In de eerste versie
  • 11Geschrapt, bewaard
  1. Meta
    • Geschrapt, bewaard: Bieden op accommodaties met alleen achteraf betalen, als ze goed zijn en gekoppeld
    • Geschrapt, bewaard: Accommodaties met alleen achteraf betalen in het EPS-masteraanbod, gevalideerd met Content. Hoeveel komen overeen tussen EPS en Findhotel in het nieuwe masterbestand?
  2. Zoeken
    • In de eerste versie: Aanbiedingen dragen het label Achteraf betalen
    • Geschrapt, bewaard: Aanbiedingen met achteraf betalen hoger gesorteerd
    • Geschrapt, bewaard: Filteren op achteraf betalen
  3. Kamerkeuze
    • In de eerste versie: Accommodaties dragen het label Achteraf betalen
    • In de eerste versie: Details over achteraf betalen toegevoegd aan de aanbiedingsdetails
    • Geschrapt, bewaard: Filteren op achteraf betalen
    • Geschrapt, bewaard: Achteraf betalen standaard bovenaan gesorteerd, als hoofdaanbieding
    • Geschrapt, bewaard: Een schakelaar tussen nu betalen en achteraf betalen (een vertakking)
  4. Checkout
    • In de eerste versie: Achteraf betalen in de prijsopbouw
    • In de eerste versie: Valutaomrekening voor lokale valuta
    • In de eerste versie: UX die uitlegt waarom we om creditcardgegevens vragen
    • In de eerste versie: Voorwaarden van aanbiedingen met achteraf betalen (no-show enzovoort)
    • In de eerste versie: Een UX-wijziging op de betaalpagina die duidelijk maakt dat het bedrag niet wordt afgeschreven, of dat er mogelijk een controlebedrag wordt afgeschreven
    • Geschrapt, bewaard: Aanbetalingen: dat gaan we niet doen (5% van de boekingen van Expedia met achteraf betalen)
    • Geschrapt, bewaard: In de UX "Geen betaling nodig" en dergelijke extra benadrukken
    • Geschrapt, bewaard: Foutmelding bij boeken: moeten we die aanpassen?
    • Geschrapt, bewaard: Informatie over betalen bij het hotel aangepast zodat achteraf betalen erbij staat
  5. Bevestiging
    • In de eerste versie: Achteraf betalen in de prijsopbouw
    • In de eerste versie: Valutaomrekening voor lokale valuta
  6. Boeking beheren
    • In de eerste versie: Achteraf betalen in de prijsopbouw
    • In de eerste versie: Valutaomrekening voor lokale valuta
    • In de eerste versie: Prijsopbouw verplaatst naar de B-kant, als de B-kant wint
    • In de eerste versie: Tooltip voor betalen bij het hotel verborgen bij achteraf betalen
03

Het scherm

Vóór al het andere bracht ik in kaart wat een reiziger kon doen en wat er dan gebeurde. Niet alleen het ideale pad: elke uitkomst, ook de uitkomsten die niemand wil.

Verdieping

De scenariokaart: elk pad dat een reiziger kon nemen

Interactieve kaart

Het ontwikkelplan is maar zo goed als deze kaart. Door de scenario's eerst in kaart te brengen, worden randgevallen ontwerpbeslissingen in plaats van bugs die je in de laatste sprint vindt. Het vangt niet alles, en deze kaart ving ook niet alles.

01Voorbereiding

  • Gebruiker vult de eerste gegevens in om te beginnen met zoeken

02Zoeken

  • Gebruiker ziet een lijst met accommodaties
  • Hotel ondersteunt achteraf betalen
      • Achteraf betalen wordt niet getoond als eigenschap van dat hotel
      • Achteraf betalen wordt getoond als eigenschap van dat hotel
  • Gebruiker opent de filters
  • Is er minstens één hotel dat achteraf betalen ondersteunt?
      • Achteraf betalen is uitgeschakeld, met uitleg waarom het niet kan worden ingeschakeld
      • Achteraf betalen is ingeschakeld
      • Gebruiker kiest achteraf betalen
      • Het systeem filtert op hotels met minstens één aanbieding die achteraf betalen ondersteunt
      • Het aantal mogelijke aanbiedingen met die combinatie wordt als voorbeeld aan de gebruiker getoond
      • Het filter wordt ingeschakeld, samen met een optie om het weer uit te zetten
  • Gebruiker kiest een accommodatie met minstens één aanbieding met achteraf betalen

03Kamerkeuze

  • Gebruiker ziet een lijst met aanbiedingen in Promobox
  • Aanbieding in Promobox ondersteunt achteraf betalen
      • Achteraf betalen wordt niet getoond als eigenschap van die aanbieding
      • Achteraf betalen wordt getoond als eigenschap van die aanbieding
  • Gebruiker opent de details van een aanbieding
  • Aanbieding ondersteunt achteraf betalen
      • Achteraf betalen wordt niet getoond als eigenschap van die aanbieding
      • Achteraf betalen wordt getoond als eigenschap van die aanbieding
  • Gebruiker ziet een lijst met aanbiedingen
  • Kameraanbieding ondersteunt achteraf betalen
      • Achteraf betalen wordt niet getoond als eigenschap van die aanbieding
      • Achteraf betalen wordt getoond als eigenschap van die aanbieding
  • Gebruiker opent de filters
  • Is er minstens één aanbieding die achteraf betalen ondersteunt?
      • Achteraf betalen is uitgeschakeld, met uitleg waarom het niet kan worden ingeschakeld
      • Achteraf betalen is ingeschakeld
      • Gebruiker kiest achteraf betalen
      • Het systeem zet de aanbiedingen met achteraf betalen bovenaan, met duidelijke labels
      • Het aantal beschikbare aanbiedingen wordt aan de gebruiker getoond
      • Het filter wordt ingeschakeld, samen met een optie om het weer uit te zetten
  • Gebruiker kiest een aanbieding die achteraf betalen ondersteunt

04Checkout

  • Gebruiker moet kiezen tussen nu en achteraf betalen
  • Gebruiker kiest achteraf betalen
      • Gebruiker gaat naar de gewone checkout
      • Gebruiker mag overstappen naar achteraf betalen als dat gewenst is
      • Gebruiker gaat naar de checkout voor achteraf betalen
      • Gebruiker moet nog steeds dezelfde gegevens invullen, inclusief een creditcard ter verificatie
      • De kamerprijs per nacht wordt onderdeel van wat bij het hotel wordt betaald
      • Een bericht legt uit waarom de creditcardgegevens nodig zijn voor de boeking
      • Gebruiker wordt erop gewezen dat het hotel voorafgaand aan het verblijf een preautorisatie of een symbolisch bedrag kan afschrijven
      • Gebruiker wordt gewezen op andere belangrijke voorwaarden, zoals no-show
      • Gebruiker mag overstappen naar nu betalen als dat gewenst is
  • Gebruiker rondt de checkout af

05Bevestiging

  • Gebruiker ziet een bevestigingsbericht
  • Heeft de gebruiker achteraf betalen gekozen?
      • De bevestiging verloopt zoals gewoonlijk
      • Gebruiker krijgt de voorwaarden van achteraf betalen bij het bevestigingsbericht
      • No-showkosten worden getoond
      • Late annulering wordt getoond
      • De optie om te annuleren wordt getoond
      • Welk type boekingsvoorwaarden heeft de gebruiker geboekt?
          • Achteraf betalen moet op de vastgestelde datum gebeuren
          • Bij annulering moet een gedeeltelijke terugbetaling pas worden gedaan nadat de creditcard is belast
          • Gebruiker hoeft niets te betalen
  • Gebruiker krijgt toegang tot het reisoverzicht

06Boeking beheren

  • Gebruiker krijgt een e-mail over de boeking
  • Heeft de gebruiker achteraf betalen gekozen?
      • Dezelfde e-mail als altijd
      • Dezelfde e-mail als altijd, behalve dat alles bij het hotel wordt betaald
  • Gebruiker opent het reisoverzicht
  • Heeft de gebruiker achteraf betalen gekozen?
      • Er verandert niets
      • Alle kosten worden bij het hotel betaald
      • No-showkosten worden getoond
      • Late annulering wordt getoond
      • De optie om te annuleren wordt getoond
      • Welk type boekingsvoorwaarden heeft de gebruiker geboekt?
          • Achteraf betalen moet op de vastgestelde datum gebeuren
          • Bij annulering moet een gedeeltelijke terugbetaling pas worden gedaan nadat de creditcard is belast
          • Gebruiker hoeft niets te betalen

07Annulering

  • Gebruiker opent het annuleringsvenster
  • Heeft de gebruiker achteraf betalen gekozen?
      • De annuleringsvoorwaarden worden getoond zoals gewoonlijk
      • Welk type boekingsvoorwaarden heeft de gebruiker geboekt?
          • Gebruiker wordt erop gewezen dat er toch een bedrag wordt afgeschreven
          • Gebruiker wordt erop gewezen dat er toch een gedeeltelijk bedrag wordt afgeschreven
          • Gebruiker wordt erop gewezen dat er geen kosten in rekening worden gebracht
      • Het annuleringsbeleid wordt getoond

Elke interactie, en wat daaruit volgt. De edge cases zijn het punt van deze tekening, niet het midden.

De voorstelkiezer voor een boeking van één nacht en twee kamers, met drie voorstellen: Aantal nachten en kamers, Totaalprijs van het verblijf en Laissez faire, en een knop om het geval van één nacht en twee kamers te bekijken

Voorstelkiezer

Het wireframe werd een klikbaar prototype. Het opent met een keuze uit drie voorstellen om de prijs te tonen, en elk voorstel loopt door via zoekresultaten, kamerkeuze, de keuze tussen nu betalen en betalen bij het hotel, en de betaalpagina. Feedback op iets waar mensen doorheen hebben geklikt is meer waard dan feedback op een diagram, en komt eerder.

Het Figma-prototype, aangesloten zoals het is gebouwd, voor een boeking van één nacht en twee kamers. De betaalkeuze is het scherm waar de hele feature om draait: daar worden nu betalen en betalen bij het hotel twee verschillende dingen.

Daarna tekende ik de definitieve schermen met het designsystem van Findhotel, zodat de developers een layout bouwden in plaats van er een te raden. Witruimte, kleuren en iconen kwamen allemaal uit het systeem, en de belangrijkste desktop- en mobiele schermen gingen via Zeplin naar de developers.

Op basis van de definitieve schermen tekende ik het ontwikkelplan: het ideale pad, de belangrijkste randgevallen en het scherm waar elk ervan op uitkomt. De product owner en de developers schreven er hun tickets mee.

Verdieping

Het ontwikkelplan, en de regels van Expedia

Twee diagrammen

Twee vragen delen een boeking in bij een van drie versies, en een derde vraag, over valuta, voegt onderweg één melding toe.

Het ontwikkelplan

Is het een aanbieding met achteraf betalen?

Biedt de kamer zowel achteraf als nu betalen aan?

Aanbieding met nu betalenOnline betaald, zoals voorheen
Alleen achteraf betalenDe kamer wordt bij de accommodatie betaald
Achteraf of nu betalenDe reiziger kiest
Zoeken
Kamerkeuze
Checkout
Bevestiging
Boeking beheren
Annulering
ZoekenZoals nu

Wat er gebouwd wordtToon het label Achteraf betalen niet.

Movenpick Hotel Amsterdam City Centre

★★★★8.8Superb

€181 €166
Free cancellation before Tue, Aug 27
ZoekenGewijzigd

Wat er gebouwd wordtToon een label Achteraf betalen bij de aanbieding, hetzelfde in de resultatenlijst en op de hotelpagina.

Movenpick Hotel Amsterdam City Centre

★★★★8.8Superb

€181 €166
Pay later
Free cancellation before Tue, Aug 27
KamerkeuzeZoals nu

Wat er gebouwd wordtToon het label Achteraf betalen niet.

Save 10%€181 €166

Standard double or Twin room

Breakfast included

Free cancellation before Tue, Aug 27
Deal details Reserve ›
KamerkeuzeGewijzigd

Wat er gebouwd wordtReserveren gaat meteen naar de betaalpagina. Terug vanaf daar brengt je terug naar de kamerpagina.

Save 10%€181 €166

Standard double or Twin room

Breakfast included

Reserve now, pay later

Free cancellation before Tue, Aug 27
Deal details Reserve ›

Ga naar het volgende scherm (betaalpagina)

KamerkeuzeGewijzigd

Wat er gebouwd wordtReserveren opent Betaalvoorkeur kiezen, zodat de reiziger kiest tussen achteraf of nu betalen.

Save 10%€181 €166

Standard double or Twin room

Breakfast included

Reserve now, pay later

Free cancellation before Tue, Aug 27
Deal details Reserve ›
Select payment preference

Pay at property

  • Pay when you stay
  • You will pay in the property’s local currency
€181 €166Pay later

Pay now online

  • Pay online with your credit or debit card
€181 €166Pay now
CheckoutTooltip

Wat er gebouwd wordtVerberg de meldingen over achteraf betalen en het label. Toon de tooltip die uitlegt waarom een deel van de prijs bij de accommodatie wordt betaald.

Price details

Total€316.00
Pay now
€306.00
Pay at property
€10.00
Pay at property amount will be collected by the property in the local currency.
CheckoutGewijzigd

Wat er gebouwd wordtToon Nu betalen als nul en het hele bedrag onder Betalen bij de accommodatie, met het label en de kaartmelding.

Price details

Total€316.00
Pay nowNo payment needed now, you’ll pay at the property
€0
Pay at property Pay later
€316.00

Your credit card information is needed to guarantee your booking. You’ll pay at the property.

BevestigingTooltip

Wat er gebouwd wordtToon de tooltip die uitlegt waarom een deel van de prijs bij de accommodatie wordt betaald.

Payment

Total€316.00
Already paid
€306.00
Pay at property
€10.00
Pay at property amount will be collected by the property in the local currency.
BevestigingGewijzigd

Wat er gebouwd wordtToon wat al betaald is en wat bij de accommodatie verschuldigd is, op de pagina en in de e-mail.

Payment

Total€316.00
Already paid
€0.00
Pay at property Pay later
€316.00
Boeking beherenZoals nu

Wat er gebouwd wordtNiets toe te voegen.

Geen wijzigingen

Boeking beherenGewijzigd

Wat er gebouwd wordtToon dezelfde bedragen boven de prijsdetails.

Already paid
€0.00
Pay at property
€316.00
AnnuleringZoals nu

Wat er gebouwd wordtEen geannuleerde boeking ziet eruit zoals nu.

Geen wijzigingen

Is er een omrekening naar een andere valuta?

Gesteld bij het afrekenen, de bevestiging en het beheren van de boeking

Ja

Rates quoted in EUR are based on current exchange rates, which may vary at the time of payment. The property will charge you the full amount of €316.00 in USD.

Nee

Toon de melding niet.

Buiten de schermen

Ook twee pagina's met tekst moesten veranderen: de pagina met voorwaarden, om nominale kosten in juridische taal te beschrijven, en de helppagina die antwoord geeft op “Heb ik een borg nodig bij het maken van een reservering?”. Beide volgden het voorbeeld van Expedia. De regels van Expedia, hieronder

Het besliste ook iets wat het ontwerp niet alleen kon beslissen. Deze versie draaide op de data van Expedia, dus moest hij de regels van Expedia volgen voor hoe een boeking na de checkout wordt afgehandeld. Ik las die regels en tekende ze opnieuw als een beslisschema dat iedereen kon volgen. De developers vonden het net zo nuttig als ieder ander: het liet zien welke functies we erfden, en welke we nog niet bouwden.

De regels van Expedia

Kaartcontrole
Betaling
Na het afrekenen

De reiziger rekent af

Is de transactie vooraf geautoriseerd?

De boeking lukt niet

De reiziger ziet een melding over de mislukte boeking en gaat terug naar de checkout

Is het een boeking met achteraf betalen (betalen bij de accommodatie)?

De reiziger wordt meteen belast (de route van nu betalen)

Is het betalen bij de accommodatie met een borg?

De reiziger betaalt de borg

De reiziger krijgt te horen wanneer er wordt betaald en hoeveel er wordt afgeschreven

Wordt er een nominaal bedrag afgeschreven?

De accommodatie reserveert het geld op de kaart om die te controleren, zonder het af te schrijven

Er wordt een nominaal bedrag van de kaart van de reiziger afgeschreven

De reiziger krijgt te horen dat er een nominaal bedrag wordt afgeschreven, en hoeveel

Bij de accommodatie wordt het nominale bedrag van het totaal afgetrokken, en de reiziger krijgt dat te horen

Is de boeking gebruikt?

Is er op tijd geannuleerd?

Het annuleringsbeleid wordt toegepast

De reiziger krijgt het advies rechtstreeks contact op te nemen met de accommodatie, om de terugbetaling te regelen

Er wordt een boete opgelegd aan de reiziger, die dit te horen krijgt

Was de boeking gedeeltelijk restitueerbaar?

De reiziger wordt belast of krijgt geld terug, met de nodige aftrek

De reiziger krijgt de contactgegevens van de accommodatie

Het annuleringsbeleid wordt aan de reiziger getoond

Was de boeking niet restitueerbaar?

Het annuleringsbeleid wordt aan de reiziger getoond

De boeking was gratis te annuleren

Het annuleringsbeleid wordt aan de reiziger getoond

De reiziger krijgt het advies rechtstreeks contact op te nemen met de accommodatie als er toch een bedrag van de kaart is afgeschreven

De reiziger krijgt de contactgegevens van de accommodatie

Heeft de reiziger recht op een terugbetaling?

De reiziger krijgt een e-mail over de terugbetaling

De boeking is geannuleerd

De reiziger krijgt een annuleringsmail

Kwam de reiziger de eerste nacht opdagen?

Het annuleringsbeleid wordt toegepast

Heeft de reiziger recht op een terugbetaling?

De reiziger krijgt een e-mail over de terugbetaling

De reiziger betaalt het bedrag na aftrek

De reiziger wordt belast

04

Wat we testten

Kant A was de boekingsflow zoals hij was. Kant B voegde de keuze toe, en kant B is wat live ging. Ik tekende de twee kanten naast elkaar, zodat een collega die elke vergadering had gemist in een paar seconden kon zien wat er was veranderd.

Kant Ade controle

Kant Bde verandering

Tussen accolades: wat achteraf betalen heeft toegevoegd of gewijzigd

Kamerkeuze

Ondersteunt de aanbieding achteraf betalen?

Kant A
Ondersteunt het nietOngewijzigd

Palms Place

★★★★8.4Very good 10,553 reviews

4381 West Flamingo Road, West of the Las Vegas Strip, Las Vegas, Nevada, United States

You found the best deal
$145

Studio Suite, One King Bed, No B…

Free cancellation before Dec 08, 2020
Deal details Reserve ›

Compared with 1 other site

TTripStudio SuiteNon-refundable rate$147

Nightly price including taxes and fees

Kant B
Ondersteunt hetGewijzigd

Palms Place

★★★★8.4Very good 10,553 reviews

4381 West Flamingo Road, West of the Las Vegas Strip, Las Vegas, Nevada, United States

You found the best deal
$145

Studio Suite, One King Bed, No B…

Pay later
Free cancellation before Dec 08, 2020
Deal details Reserve ›

Compared with 1 other site

TTripStudio SuiteNon-refundable rate$147

Nightly price including taxes and fees

Kant B
Betaalvoorkeur kiezenNieuw
Select payment preference
Free cancellation before Dec 08, 2020

Pay at property

  • Pay when you stay
  • You will pay in the property’s local currency
$145Pay later

Pay now online

  • Pay online with your credit or debit card
$145Pay now
Checkout

Hoe betaalde de gast?

Kant A
Betaalt nuOngewijzigd

Palms Place

★★★★8.4Very good 10,553 reviews

4381 West Flamingo Road, West of the Las Vegas Strip, Las Vegas, Nevada, United States

Check-inDec 9, 202016:00Check-outJan 6, 202111:00
1Room2Guests28Nights

Studio Suite, One King Bed, No Balcony

Free cancellation before Dec 08, 2020

Price details

28 nights x 1 room$88.49 per night
$2,477.75
Taxes and fees $11.84 per night
$331.47
Resort fee $44.22 per night
$1,238.16
Total$4,047.38
Pay now
$2,809.22
Pay at property
$1,238.16

Pay at property amount will be collected by the property in the local currency.

Confirm Payment
Kant B
Betaalt achterafGewijzigd

Palms Place

★★★★8.4Very good 10,553 reviews

4381 West Flamingo Road, West of the Las Vegas Strip, Las Vegas, Nevada, United States

Check-inDec 9, 202016:00Check-outJan 6, 202111:00
1Room2Guests28Nights

Studio Suite, One King Bed, No Balcony

Pay later
Free cancellation before Dec 08, 2020

Price details

28 nights x 1 room$88.49 per night
$2,477.75
Taxes and fees $11.84 per night
$331.53
Resort fee $44.22 per night
$1,238.16
Total$4,047.44
Pay nowNo payment needed now, you’ll pay at the property
$0.00
Pay at property
$4,047.44

Pay at property amount will be collected by the property in the local currency.

Your credit card information is needed to guarantee your booking. You’ll pay at the property.

Payment

We accept the following payment methods

VISA●●AMEXD

Card number *

Only needed to guarantee your booking

Expiration MM/YY *

CVV code *

First name of card holder *

Last name of card holder *

We use secure transmission

We protect your personal information

Important information

By clicking “Confirm Payment”, you agree you have read and accepted our Terms & Conditions, Privacy Policy

Confirm Payment
Bevestiging
Kant A
BevestigingspaginaOngewijzigd

Did you find a good deal?

Let other travelers know on Trustpilot

★★★★★

Congratulations!

Your booking has been confirmed

Booking ID:

653164925677003

We’ve sent a confirmation email to gilberto@findhotel.net. This might take a few minutes.

Manage booking
Palms Place4381 West Flamingo Road, West of the Las Vegas Strip, Las Vegas, Nevada, United StatesView on map
Check-inDec 9, 202016:00Check-outJan 6, 202111:00
Studio Suite, One King Bed, No Balcony28 Nights, 2 Guests

Price details

Total$4,047.38
Already paid
$2,809.22
Pay at property
$1,238.16

Pay at property amount will be collected by the property in the local currency.

Kant A
BevestigingsmailOngewijzigd
Gilberto Sepulveda Bradford <gilberto@findhotel.net>

FindHotel Confirmed Booking at Palms Place

FindHotel customer service <support@mail.findhotel.net>
To: gilberto@findhotel.net

Thank you for booking with us, Test!

Palms Place has confirmed your stay 🎉

Booking ID653164925677003
Manage bookingBook again

Palms Place4381 West Flamingo RoadContact details+17029327777

Booking overview

StatusConfirmed

Reserved for Test Test last name
Studio Suite, One King Bed, No Balcony
28 nights, 2 adults 0 children

Check-in
Dec 9, 2020 from 16:00

Check-out
Jan 6, 2021 from 11:00

Price breakdown

1 room, 28 nightsUSD 2477.75

Taxes and feesUSD 331.47

Payment

Already paidUSD 2809.22

Due at propertyUSD 1238.16

Total price (with taxes & fees)USD 4047.38

Check-in instructions

Extra-person charges may apply and vary depending on property policy. Government-issued photo identification and a credit card may be required at check-in for incidental charges. Special requests are subject to availability upon check-in and may incur additional charges; special requests cannot be guaranteed. The name on the credit card used at check-in to pay for incidentals must be the primary name on the guestroom reservation.

Kant B
BevestigingspaginaGewijzigd

Did you find a good deal?

Let other travelers know on Trustpilot

★★★★★

Congratulations!

Your booking has been confirmed

Booking ID:

544952678778708

We’ve sent a confirmation email to gilberto@findhotel.net. This might take a few minutes.

Manage booking
Palms Place4381 West Flamingo Road, West of the Las Vegas Strip, Las Vegas, Nevada, United StatesView on map
Check-inDec 9, 202016:00Check-outJan 6, 202111:00
Studio Suite, One King Bed, No Balcony28 Nights, 2 Guests

Price details

Total$4,047.44
Already paid
$0.00
Pay at property
$4,047.44

Pay at property amount will be collected by the property in the local currency.

Cancellation Policy

Free cancellation before Dec 08, 2020Dates and times in the policy refer to the property’s local time.

Free cancellation until 08 December 2020 12:00 AM (GMT -08:00). Cancellations made after 08 December 2020 12:00 AM (GMT -08:00) are subject to a 1 night penalty plus taxes and fees. If you fail to check-in for this reservation, or if you cancel or change this reservation after check-in, you may incur penalty charges at the discretion of the property of up to 100% of the booking value.

Questions?

Contact us+31 20 200 8439

Email uscustomercare@ian.com

Kant B
BevestigingsmailGewijzigd
Gilberto Sepulveda Bradford <gilberto@findhotel.net>

FindHotel Confirmed Booking at Palms Place

FindHotel customer service <support@mail.findhotel.net>
To: gilberto@findhotel.net

Thank you for booking with us, Test!

Palms Place has confirmed your stay 🎉

Booking ID544952678778708
Manage bookingBook again

Palms Place4381 West Flamingo RoadContact details+17029327777

Booking overview

StatusConfirmed

Reserved for Test Test last name
Studio Suite, One King Bed, No Balcony
28 nights, 2 adults 0 children

Check-in
Dec 9, 2020 from 16:00

Check-out
Jan 6, 2021 from 11:00

Price breakdown

1 room, 28 nightsUSD 2477.75

Taxes and feesUSD 331.53

Payment

Already paidUSD 0.00

Due at propertyUSD 4047.44

Total price (with taxes & fees)USD 4047.44

Check-in instructions

Extra-person charges may apply and vary depending on property policy. Government-issued photo identification and a credit card may be required at check-in for incidental charges. Special requests are subject to availability upon check-in and may incur additional charges; special requests cannot be guaranteed. The name on the credit card used at check-in to pay for incidentals must be the primary name on the guestroom reservation.

Vóór de release controleerde ik de build handmatig. Zodra het live stond, keek ik hoe echte reizigers het gebruikten.

Verdieping

Elf dingen die we met de hand controleerden

Apparaat, browser, taal, btw-weergave en meer

Zodra de developers iets ongereleaset hadden, liep ik de scenario's van die sprint handmatig door. Hier betaalden de scenariokaart en de scopediagrammen zich terug: zonder die twee is “hebben we alles getest?” een vraag voor je geheugen.

Naast de scenario's controleerde het team de build op elk van deze punten, waar ze van toepassing waren. Het is een lange lijst voor een kleine feature. Zoveel vraagt het om een betaalkeuze toe te voegen aan een bestaande boekingsfunnel.

  • Apparaat mobiel, tablet, desktop
  • Browser Chrome, Safari, Firefox, Edge
  • Verblijfsduur één nacht tegenover meerdere
  • Kamerconfiguratie één kamer tegenover meerdere
  • Ingelogd tegenover uitgelogd
  • Privéaanbiedingen aanwezig, afwezig en gemengd
  • Beschikbaarheid beschikbaar, uitverkocht, prijsverschil
  • Btw-weergave exclusief, zoals in de VS, tegenover inclusief, zoals in Nederland
  • Betaalspecificatie prijzen met belastingen en kosten voor betalen bij het hotel tegenover prijzen die alleen nu betalen kennen
  • Valuta omgerekend vanaf de provider tegenover niet omgerekend
  • Taal Engels tegenover Duits, dat langer is en layouts als eerste breekt
Verdieping

Vijf echte sessies, opgenomen

Vijf video's

Zodra het live stond, veranderde de vraag van of het werkt naar wat mensen er echt mee doen. Ik gebruikte FullStory, dat echte sessies opneemt en ze filtert op gedrag of op land. Elk probleem, elke bug en elk idee dat ik vond, schreef ik op. Bugs glippen erdoorheen, en interfaces doen rare dingen in sommige browsers. Zo kom je erachter welke.

Vijf sessies van reizigers die afrekenen met achteraf betalen, op verschillende apparaten. Twee staan op kant A van de test en drie op kant B.

Taiwan, desktop, A-kant

India, desktop, B-kant

Ohio, phablet, B-kant

Qatar, mobiel, A-kant

Spanje, tablet, B-kant

Conclusie

Resultaten

+4.2%

Conversie op aanbiedingen van Expedia, de enige aanbiedingen in de test. De extra annuleringen hieronder zijn al meegerekend, dus dit is wat de feature na die annuleringen waard was.

+3.3%

Meer annuleringen op boekingen met achteraf betalen dan op boekingen met nu betalen, als relatieve stijging. Dat verwachtten we: een boeking die nog niet betaald is, laat je makkelijker schieten. Het is de prijs van de winst hierboven.

Het probleem met de zoekpagina van het begin drukte ook op het resultaat. Die verborg vaak de eigen aanbiedingen met achteraf betalen van Findhotel, dus een onbekend deel van de reizigers in deze test vond nooit wat er werd getest.

Dus 4,2% is een ondergrens, niet de volledige meting. De feature was waarschijnlijk meer waard, en we weten niet hoeveel meer. De zoekpagina werd later hersteld, maar de test is nooit opnieuw gedraaid. Wat de test ons gaf, was een richting, en die was genoeg om het werk dat volgde te rechtvaardigen.

Verdieping

Hoe de test was opgezet

Vijf weken, 800 boekers per dag, alleen Expedia

Onze data scientist ontwierp de test. De ontwikkeling liep van oktober tot december 2020, de test ging in december live en de resultaten kwamen in januari 2021.

Duur
Vijf weken vanaf december 2020, waardoor de test over de winterfeestdagen in Europa en Amerika liep.
Publiek
Vierhonderd boekers per dag aan elke kant, achthonderd per dag in totaal, gelijk verdeeld.
Kameraanbod
Alleen Expedia-aanbod. Dat was destijds de enige geïntegreerde provider, en het begrenst elk getal hieronder.

Lessen

De checkout werd moeilijker, niet makkelijker
Fouten in de checkout kwamen iets vaker voor bij achteraf betalen dan bij nu betalen. Niemand mat hoeveel vaker. De waarschijnlijke oorzaak is goedkoop te verhelpen: op de knop stond nog Confirm Payment terwijl er niets werd betaald. De laatste woorden op het scherm moeten passen bij de keuze van twee schermen eerder.
Een bug stroomopwaarts kan een winst verbergen
De zoekpagina viel buiten ons team en buiten de test, en drukte toch op het resultaat. Als mensen de aanbieding niet vinden, converteert geen enkel werk aan die aanbieding ze. Als een test afhangt van de pagina van een ander team, hoort die pagina bij het testontwerp.
Een eerste versie koopt het argument
Bijna niets van wat ik wilde ontwerpen, haalde deze release. Hij leverde in plaats daarvan een getal op, en dat getal maakte een tweede ronde mogelijk. Als meerdere teams het oneens zijn over een feature, wint iets meetbaars live zetten van iets goeds live zetten, want alleen met het meetbare kun je terug.