Vyhledávání Seznamu řídíme produktově, primárně tedy cílíme na řešení uživatelských problémů. Abychom je vyřešili správně, využíváme testování různých řešení. Připravili jsme pro vás seriál, ve kterém vám přiblížíme, jak využíváme A/B testování a na co si dát případně pozor.
Co znamená A/B test?
Tato metoda nám umožňuje na určitém vzorku lidí otestovat možná řešení a následně rozhodnout, zda opravdu naplnila jejich očekávání. V té nejjednodušší formě vytvoříme dvě varianty, které budou zobrazovány:
- První varianta se nazývá kontrolní. Ta se nijak neliší od verze, kterou vidí lidé v produkci.
- Druhá varianta obsahuje změny, které chceme na lidech testovat.
Po celou dobu průběhu testu a v obou variantách zaznamenáváme informace o chování uživatelů. Po ukončení testu jsou z informací sestaveny metriky, z kterých vidíme, zda daná změna naplnila očekávání.
Metriky testování
Při založení testu je nutné vždy stanovit metriky, které budou indikovat jeho úspěšnost. V rámci Vyhledávání je toto stanovení velmi obtížné. Pokud bychom měli např. e-shop s houpacími koníky, primárními metrikami by mohly být:
- Poměr zákazníků, kteří si zboží pouze přidají do košíku a poměr zákazníků, kteří danou objednávku následně zaplatí.
- Procento zákazníků, kteří nakoupí opakovaně.
Takové stránky mají oproti vyhledávačům výhodu. Umožňují nám totiž své zákazníky sledovat po celou dobu, a to od vyhledávání produktu až k samotnému zaplacení.
Jak stanovujeme metriky testů
Vyhledávače takový luxus nemají. Jejich hlavním cílem je najít přesně to, co člověk hledá, a to co nejrychleji. A že to je občas fuška!
Pár příkladů vyhledávání, která uživatelé nedávno zadali:
U e-shopu víte, že zákazník našel vše potřebné ve chvíli, kdy dokončí objednávku. Naproti tomu ve Vyhledávání člověk klikne na první odkaz na stránce s výsledky hledání a je možné, že už se nevrátí. Nebo si rozklikne prvních 8 výsledků. Nebo si třeba jen prohlédne výsledky a odejde bez jediného prokliku na další stránky. Každé z těchto různých chování může znamenat úspěch – člověk našel přesně to, co hledal. Ovšem stejně tak toto chování může značit i neúspěch – co když výsledky hledání nenaplnily jeho očekávání? Označení úspěchu u nás tedy nemůžeme zobecnit pro všechny testy.
Jak vidíte, testování není žádná nuda, ale naopak adrenalinová disciplína. Podrobněji se o metrikách ve Vyhledávání rozepíšeme v dalším díle našeho seriálu.
Správné zadání
Elementární pro vyhodnocení testu je nasbírat potřebné informace o chování lidí, a to podle toho, jak na na naše testy reagují.
Aby dané metriky však přinesly důvěryhodné výsledky, musíme lidem poskytnout i správné zadání. Jaké komplikace mohou číhat při zadání testu? A jakými metodami nad nimi vítězíme v Seznamu? Více se dozvíte v dalších dílech našeho seriálu.
Tomáš Lála, product manager Vyhledávání