Aby v hledání nebyly zastaralé stránky, musí je robot opakovaně navštěvovat, aby zjistil jejich aktuální obsah. Zlepšili jsme model, který odhaduje, kdy se stránka změnila. Díky tomu se nám daří rychleji odhalovat změny na internetu.
Databáze robota nyní obsahuje 2.5 miliardy webových stránek a 2 miliardy obrázků. Robot se každý den podívá na více než 200 milionů URL adres, aby zjistil, jaký obsah se na nich právě nachází. Při navýšení databáze o 80% a mírném navýšení kapacity stahování se nám podařilo zkrátit dobu mezi změnou stránky a návštěvou robota na dva dny. To je méně než poloviční čas oproti předchozímu algoritmu.
Doba od změny stránky po stažení robotem je v tomto případě počítána jako vážený průměr, změřený na testovací množině, u které známe datum skutečné změny stránek. Použitá váha vyjadřuje důležitost stránky z pohledu SeznamBota.
Díky této inovaci budou stránky v hledání aktuálnější a dříve odhalíme, pokud přestanou existovat, nebo se přesměrují.
Pokud se důležitá stránka bude měnit častěji, bude jí SeznamBot častěji navštěvovat, ale nijak to neovlivňuje její relevanci na dotazy uživatelů. Změny v pořadí stránek ve výsledcích hledání tedy v důsledku tohoto vylepšení nenastanou. I nadále platí, že pokud se na nějakém webu často mění příliš velké množství stránek, nemusí SeznamBotovi stačit kapacita na jejich občerstvování. Při nedostačující kapacitě může dojít ke snížení počtu návštěv SeznamBota na konkrétních stránkách, nebo i k vyřazení méně důležitých stránek z databáze.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
