Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek.
Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji.
Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z ní Robot mohl využít informace potřebné pro svou další práci. Navíc vnitřní procesy robota zasahovaly také do indexace webových stránek.
Parser
Nově jsme vytvořili pro Robota jeho vlastní parser. Parser je nástroj pro analýzu obsahu stránky. Robot nyní využije z webové stránky odkazy a další data (např.: jazyk, open graph data) hned jak ji stáhne.
Na cestě novému Robotovi
Každá z fází zpracování stránky (od robota, přes indexaci, po hledání) se nyní soustředí na své potřeby. Několikadenní posloupnost zpracování informací ze stažených stránek se zkrátí na jeden den.
Zapojením samostatného parseru do robota jsme kromě zrychlení robota udělali další krok od dávkového (batchového) Robota k ještě rychlejšímu, proudovému (streamovému) Robotovi.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Na konci listopadu 2016 se ve standardu sitemap zvedl limit na velikost souboru sitemapy z 10 MB na 50 MB. Od letošního ledna jsme navýšili tento limit i pro zpracování sitemap a sitemap indexů v SeznamBotovi. Limit aplikujeme u komprimované sitemapy až poté, co ji robot rozbalí. Nadále platí, že limit počtu URL v sitemapě …
