Jednou z klíčových činností našeho robota, který spravuje naši databázi internetu, je procházení webu a nacházení nových URL, které stojí za to stáhnout. Seznam vyhledávání má mnoho cest, jak se dozvědět o nových URL. Nejčastěji se o nich dozvídáme tak, že narazíme na neznámou URL jako na odkaz na nové stránce. Včera jsme nasadili nový způsob, jak se o těchto stránkách dozvědět. Sledujeme české tweety (označené za české samotným Twitterem) a zaměřujeme se na odkazy, které lidé sdíleli. Motivací tohoto přístupu je, že když nějaká stránka stojí za to, aby ji někdo sdílel, bude pravděpodobně mít zajímavý obsah. Takto nalezené URL se mohou dostat do hledání v řádech minut. Za včerejší den jsme takto objevili 5 518 URL. Pro srovnání – náš freshbot, procházející hlavně zpravodajské weby, objevil za včerejšek 37 523 URL.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
