Testovací období, které trvalo skoro měsíc, se pomalu blíží ke konci. K dnešnímu dni se podařilo vychytat všechny zásadní chyby o kterých jsme věděli a které bránily skutečnému nasazení. Pokud se to potvrdí, tak by mělo dojít k nasazení během 14 dnů.
V testu robot dosahoval (pokud zrovna běžel ;-) průměrné rychlosti ~100 přeindexovaných stránek za vteřinu. Toto číslo bychom chtěli ještě zvednout, proto jsme na poslední chvíli přidali věc, která nám dovolí využít nevytížený čas hardware vyhledávací farmy. Viz obr.
Typické rozložení zátěže během dne
Na obrázku je typické rozložení zátěže jednoho vyhledávacího serveru během dne; údaj na svislé ose je počet dotazů za vteřinu. Je vidět, že v období cca od 22:00 do 09:00 je nižší provoz, který jde až téměř k nule. V této době servery běží prakticky naprázdno a toho hodláme využít :-)
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
