Fulltextový crawler běží od roku 2011 produkčně na Apache Hadoop, systému pro distribuované výpočty na clusterech. V roce 2011 byl produkčně nasazen robot verze 3.0 na distribuci Hadoopu od společnosti Cloudera, tehdy na verzi CDH3. V roce 2013 jsme povyšovali verzi distribuce na CDH4 a letos na podzim probíhá povýšení na CDH5, spolu se správcem prostředků YARN. Od nového systému si slibujeme větší stabilitu výpočtů, lepší využití výpočetní kapacity a širší možnosti zavádění nových technologií pro práci s velkými daty.
Na začátku října jsme rozdělili na polovinu oba clustery, na kterých robot běží. Zatímco se instaloval nový systém na vyjmuté servery, robot s menšími omezeními využíval zbytek výpočetní kapacity. Aktuálně rozbíháme všechny komponenty crawlera na nově nainstalovaných serverech, přičemž na původních clusterech je už vypnutý.
Výpadek chodu robota jsme očekávali pouze krátký a neměl mít významný vliv na aktualizaci indexu. Bohužel však došlo k menším komplikacím při přenášení dat a rozbíhání robota na novém clusteru. Proto se výpadek mírně prodloužil. Chvilkové výpadky postihly také přidávací formulář a FreshBota, neboli robota, který stahuje novinové články a jiné aktuální zdroje informací.
V současné době jsou již všechny závažné problémy zažehnané. Nedošlo k žádné ztrátě dat, ani k propadům ve výsledcích vyhledávání. Za případné zpoždění publikace výsledků v indexu, způsobené přechodem na novější distribuci Hadoopu, se tímto omlouváme.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
