20. 9. 2007

Nový SeznamBot běží naostro

Dnes jsme spustili do produkce novou verzi našeho robota. Jeho hlavním přínosem by měla být rychlejší indexace, která nám dovolí začít výrazně zvětšovat databázi stránek.

Redesign robota byl poslední součástí projektu, který byl zaměřený hlavně na zlepšení možností škálování a na připravení živné půdy pro novou generaci úprav. Stará verze fulltextu byla škálovatelná pouze na výkon (rozuměj počet dotazů/sec) a nebylo možné jí už dále efektivně rozšiřovat. Opět se nám potvrdilo, že životnost aplikace je i přes veškerou údržbu max 2 roky; pak je potřeba přijít s novým řešením nebo udělat větší redesign.
Nová verze by měla být škálovatelná kromě výkonu také na objem dat (rozuměj počet zaindexovaných dokumentů) a měla by přinést nové možnosti dalšího rozšiřování.

Pravděpodobně ještě nějakou krátkou dobu (cca týden) bude trvat, než si robot udělá pořádek v databázi, kterou zdědil po starém robotovi a navštíví všechna dlouho nenavštívená url. Pak by se ale měl stabilizovat a chovat se normálně.