Dnes jsme spustili do produkce novou verzi našeho robota. Jeho hlavním přínosem by měla být rychlejší indexace, která nám dovolí začít výrazně zvětšovat databázi stránek.
Redesign robota byl poslední součástí projektu, který byl zaměřený hlavně na zlepšení možností škálování a na připravení živné půdy pro novou generaci úprav. Stará verze fulltextu byla škálovatelná pouze na výkon (rozuměj počet dotazů/sec) a nebylo možné jí už dále efektivně rozšiřovat. Opět se nám potvrdilo, že životnost aplikace je i přes veškerou údržbu max 2 roky; pak je potřeba přijít s novým řešením nebo udělat větší redesign.
Nová verze by měla být škálovatelná kromě výkonu také na objem dat (rozuměj počet zaindexovaných dokumentů) a měla by přinést nové možnosti dalšího rozšiřování.
Pravděpodobně ještě nějakou krátkou dobu (cca týden) bude trvat, než si robot udělá pořádek v databázi, kterou zdědil po starém robotovi a navštíví všechna dlouho nenavštívená url. Pak by se ale měl stabilizovat a chovat se normálně.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
