Cesta za správným výsledkem aneb A/B testování ve Vyhledávání 1. díl

Veronika Geltner 1. března 2022

Vyhledávání Seznamu řídíme produktově, primárně tedy cílíme na řešení uživatelských problémů. Abychom je vyřešili správně, využíváme testování různých řešení. Připravili jsme pro vás seriál, ve kterém vám přiblížíme, jak využíváme A/B testování a na co si dát případně pozor.

Co znamená A/B test?

Tato metoda nám umožňuje na určitém vzorku lidí otestovat možná řešení a následně rozhodnout, zda opravdu naplnila jejich očekávání. V té nejjednodušší formě vytvoříme dvě varianty, které budou  zobrazovány:

  • První varianta se nazývá kontrolní. Ta se nijak neliší od verze, kterou vidí lidé v produkci.
  • Druhá varianta obsahuje změny, které chceme na lidech testovat.

Po celou dobu průběhu testu a v obou variantách zaznamenáváme informace o chování uživatelů. Po ukončení testu jsou z informací sestaveny metriky, z kterých vidíme, zda daná změna naplnila očekávání.

Metriky testování

Při založení testu je nutné vždy stanovit metriky, které budou indikovat jeho úspěšnost. V rámci Vyhledávání je toto stanovení velmi obtížné. Pokud bychom měli např. e-shop s houpacími koníky, primárními metrikami by mohly být:

  • Poměr zákazníků, kteří si zboží pouze přidají do košíku a poměr zákazníků, kteří danou objednávku následně zaplatí.
  • Procento zákazníků, kteří nakoupí opakovaně.

Takové stránky mají oproti vyhledávačům výhodu. Umožňují nám totiž své zákazníky sledovat po celou dobu, a to od vyhledávání produktu až k samotnému zaplacení.

Jak stanovujeme metriky testů

Vyhledávače takový luxus nemají. Jejich hlavním cílem je najít přesně to, co člověk hledá, a to co nejrychleji. A že to je občas fuška!

Pár příkladů vyhledávání, která uživatelé nedávno zadali:

U e-shopu víte, že zákazník našel vše potřebné ve chvíli, kdy dokončí objednávku. Naproti tomu ve Vyhledávání člověk klikne na první odkaz na stránce s výsledky hledání a je možné, že už se nevrátí. Nebo si rozklikne prvních 8 výsledků. Nebo si třeba jen prohlédne výsledky a odejde bez jediného prokliku na další stránky. Každé z těchto různých chování může znamenat úspěch – člověk našel přesně to, co hledal. Ovšem stejně tak toto chování může značit i neúspěch – co když výsledky hledání nenaplnily jeho očekávání? Označení úspěchu u nás tedy nemůžeme zobecnit pro všechny testy.

Jak vidíte, testování není žádná nuda, ale naopak adrenalinová disciplína. Podrobněji se o metrikách ve Vyhledávání rozepíšeme v dalším díle našeho seriálu.

Správné zadání

Elementární pro vyhodnocení testu je nasbírat potřebné informace o chování lidí, a to podle toho, jak na na naše testy reagují. 

Aby dané metriky však přinesly důvěryhodné výsledky, musíme lidem poskytnout i správné zadání. Jaké komplikace mohou číhat při zadání testu? A jakými metodami nad nimi vítězíme v Seznamu? Více se dozvíte v dalších dílech našeho seriálu. 

Tomáš Lála, product manager Vyhledávání

Veronika Geltner

PR specialistka

Sdílet na sítích