Seznam.cz spouští vlastní serverovnu v Horních Počernicích, kterou pojmenoval Kokura.
Kromě jiných služeb se do ní bude stěhovat i část fulltextového robota. Bude to náročná akce, kdy bude potřeba odpojit, vymontovat, zabalit, převést, vybalit, namontovat, zapojit a překonfigurovat více, než 160 serverů, které obsahují databázi miliard webových stránek.
Stěhování je plánované na období od prvního do třetího dubna. Po tuto dobu je možné, že se sníží frekvence návštěv SeznamBota na webové stránky. Frekvence návštěv tzv. „fresh“ robota, který navštěvuje hlavně RSS kanály a dodává do hledání aktuální zpravodajské výsledky, zůstane nezměněna.
Se stěhováním se změní také některé IP adresy, ze kterých SeznamBot stránky stahuje. Adresy protokolu IPv4 se z masky „77.75.73.xx“ změní na „77.75.79.xx“. IPv6 adresy, ze kterých teď návštěvy SeznamBota přicházejí na webové servery, které to podporují, lze poznat dle prefixu „2a02:598:“.
Aktuální IP adresy SeznamBota se dají vždy zjistit dotazem na DNS na adresu fulltextrobot.seznam.cz, například v linuxu příkazem host:
$ host fulltextrobot.seznam.cz
Informace o IP adresách budou po stěhování aktualizovány i v nápovědě.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
