Právě spouštíme do testu nového robota.
Drazí přátelé, pomocí tohoto blogu bychom vás rádi informovali o novinkách a probíhajícím vývoji na našem fulltextovém vyhledávání. Doufáme, že vám bude přinášet zajímavé informace a budete ho mít rádi :-)
A hned tu máme první info.
V současné době spouštíme do testu nového crawlera, na kterém jsme dělali několik zásadních úprav. Jeho největší přínos bude vyšší výkon a čitelnější chování. Do access logu se zatím podepisuje jako „SeznamBot/2.0-test“.
Robot má zcela jiný charakter přístupu na webovky. Stará verze stahovala stránky prakticky v náhodném pořadí během celého dne (hlavně kvůli tomu, aby nepřetěžovala weby). Nová verze bude oproti tomu stahovat stránky organizovaně; nejdříve robots.txt a pak další stránky pěkně za sebou. Nepřetěžování webů jsme vyřešili jinak i když nás to asi bude stát víc peněz za hardware :-(
Váš fulltext-tým.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
