Nový Robot Seznamu přechází do ostrého provozu
Děkujeme všem, kteří se podíleli na testování Beta verze nového SeznamBota a reportovali nám chybějící stránky či nesprávné pořadí výsledků. Většinu zásadních připomínek se nám podařilo zapracovat. Obsah nové databáze je již stabilní a je pravidelně novým Robotem občerstvován. Relevance výsledků vyhledávání je ve srovnatelných případech vyšší než v předchozí verzi hledání.
Dnes jsme přikročili k nasazování Robota 3.0 do ostrého provozu. Samozřejmě to sebou nese určitá rizika. Dají se očekávat delší prodlevy načítání stránky výsledků nebo ojedinělé výpadky dostupnosti služby fulltextu.
Z hlediska uživatelské použitelnosti se v zásadě nic nemění. Uživatelé mohou pozorovat rozdílný počet výsledků (většinou větší) nebo drobné změny pořadí. Toto se týká především informačních dotazů (hodinky, parfémy..) Navigační dotazy (konopiště, magistrát praha..) by měly být co nejpodobnější současné produkci, tj. na prvním místě navigační výsledek (HP zámku Konopiště, magistrát prahy..) a následně seřazené ostatní výsledky.
Nasazování komponenty tak rozsáhlé, jako je nový fulltextový robot, je časově dost náročné, bude trvat minimálně celý dnešní den.
Ještě jednou díky všem, kteří se podíleli na testování a pomohli nám SeznamBota odladit. Teď mu přejme hodně štěstí.
Update 26.5.2011 16:00
Nasazování a překlopení provozu na nového Robota se úspěšně podařilo, nyní jsou výsledky vyhledávání na http://search.seznam.cz vydávány pouze z nové databáze.
Pořadí výsledků ještě trochu hýbe, je třeba vyčkat až se usadí hodnoty některých signálů.
Na základě vašich reportů jsme trochu potlačili zobrazování více výsledků z jedné domény. V tuto chvíli už se toto vylepšení neprojevuje tak často.
Také jsme více přitlačili na spam. MFA a další stránky podobného přínosu pro uživatele už v takové míře neobsazují přední pozice ve výsledcích.
A ještě reakce na počet zaindexovaných stránek: Na rozdíl od předchozí verze robota údaj o počtu nalezených stránek neznamená kolik stránek z dané domény robot zná, ale pouze počet stránek, které pouští do hledání. Celkový počet známých/stažených stránek je zpravidla vyšší, to lze zjistit porovnáním s acceslogem. Od dneška se robot identifikuje jako SeznamBot/3.0.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
