SeznamBot doznal několika vylepšení.
Přes léto jsme se pustili do vylepšování robota, provedené úpravy jsme nasadili a je čas posbírat ovoce. Zcela jsme přepracovali způsob zakládání nových url v databázi, jehož přímým důsledkem je rychlejší indexace nových domén. S tímto měl robot v minulosti velké problémy – často se ponořil hluboko do struktury webu, vybral si mnoho nedůležitých stránek a na ty hlavní zapomněl. Vylepšený robot nejprve založí podstatné stránky a až pak se pustí hlouběji. Jedním z důležitých kritérií pro rozhodování je i obsah sitemapy, jejíž použití můžeme jen doporučit (viz nápověda).
Foto: INT/Blesk.cz
Kromě uvedených úprav se nám daří robota neustále zrychlovat, od začátku roku jsme naši databázi téměř zdvojnásobili, do konce roku se plánujeme dostat na více než trojnásobek. A další vylepšení na sebe jistě nenechají dlouho čekat.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
