Po několika měsících vývoje a několika týdnech testování jsme nasadili nový systém relevance, který interně nazýváme Predátor. Ten zlepšuje relevanci zobrazených reklam pro uživatele a inzerentům přináší vyšší výkon. Jak systém funguje a jaké jsou výsledky?
Relevance v obsahové síti je jednoduše řečeno vztah uživatele a zobrazené reklamy. Cílem je uživateli ukazovat pouze takovou reklamu, jaká ho zajímá a zbytečně ho nerušit tím, o co zájem nemá.
Pro poslední generační zlepšení jsme se rozhodli nahradit dosavadní léta laděné vzorečky relevance za model. Znamená to, že quality score nyní predikujeme modelem, který vznikl strojovým učením na základě historických dat jednotlivých složek. Získali jsme tím univerzální systém, do kterého můžeme přidávat další složky a vyhodnocovat jejich přínos.
Obsahová síť obslouží denně 250 milionů požadavků na zobrazení reklamy. V rámci každé aukce existují průměrně stovky inzerátů jako kandidátů na zobrazení. Je potřeba pro každého kandidáta napočítat všechny složky, kterých jsou řádově desítky, a v případě, že je reklama vydaná, je i archivovat pro pozdější zpracování strojovým učením.
Další výzva pro nás byl i samotný výdej inzerce. Je potřeba pro každého kandidáta složky bleskurychle vypočítat a poslat je pak modelu, který nám predikuje výslednou hodnotu.
Celkově jsme testovali ve výdeji 50 modelů, než jsme našli ten správný, který nyní využíváme.
A jaké jsou výsledky?
Prozatím nejlepší verze modelu vykazovala lepší efektivitu – přesnější odhad CTR reklam z kampaní s platebním modelem CPC a zvýšení CTR o 6 %, zejména u dynamického retargetingu a také behaviorálních a kontextových cílení (tedy ne umístění).
Zvýšila se také perplexita (různorodost) inzerce a vítězný model dosahoval o 15 % vyššího konverzního poměru oproti původní verzi. S tou byl testován současně, tedy nebyl zde např. vliv sezóny.
A jak už to tak bývá, nezůstáváme stát na místě, ale již máme naplánované další kroky směrem ke zlepšení relevance. Např. identifikace obrázků na stránkách a využití výsledných dat pro ještě lepší kontextové cílení.
Za celý tým Skliku Zdeněk Karotka Philipp a David Velechovský