V červnu jsme spustili nového rychloobrátkového robota, tzv. FreshBota. Ten má za úkol navštěvovat stránky a RSS zdroje, kde se objevuje nový zajímavý obsah, zejména novinové články, a ukládat je k nám do databáze, v níž se vyhledávají dotazy uživatelů. Není to úloha pro klasického „velkého“ SeznamBota, který denně navštíví stovky milionů stránek, protože cesta takového množství stránek do indexu může po stažení trvat i více než dva dny. Proto FreshBot navštěvuje pravidelně jen vybrané zdroje, které generují nový obsah, jenž je zajímavý pro uživatele hledání.
Dříve měl FreshBot ve své databázi okolo tří tisíc zdrojů, z nichž každou minutu stahoval několik desítek nejzajímavějších. Zbytek stahoval jednou za deset minut, až za půl hodiny, podle kvality zdroje. Protože jsme chtěli, aby se do hledání nové stránky dostávaly rychleji a z mnohem více zdrojů, museli jsme tuto komponentu postavit od základů znovu.
Nový FreshBot využívá technologii, která zvládne po přidělení větší výpočetní kapacity zpracovávat výrazně vyšší objem dat. Tato nově vyvinutá technologie je od začátku navržená tak, aby bylo možné efektivně škálovat jak rychlé streamové zpracování dat, tak velké dávkové objemy dat, ale zároveň mezi oběma způsoby zpracování sdílet kód. Díky tomu bude možné postavit FreshBota i velkého SeznamBota na stejném technologickém podvozku.
V současné době jsou spuštěné obě verze FreshBota zároveň. Do konce září ale chceme odladit všechny známé nedostatky a nechat v provozu jen novou verzi, která už teď dosahuje s novou technologií lepších výsledků, než původní FreshBot. Například doba mezi vydáním článku na Novinky.cz a jeho stažením a odesláním do indexu se zkracuje pod minutu. Když připočteme dobu zařazování stránky do indexu, vychází, že článek bude možné v seznamáckém hledání najít do pěti minut od jeho vydání. Rychlost zpracování i počet stahovaných zdrojů chceme dále zvyšovat. To přinese do hledání rychleji větší množství nově vzniklých stránek.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
