V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie pro výpočty, proto jsme na našich Hadoop clusterech vyzkoušeli řadu výpočetních frameworků pro velká data.
Abychom bez výrazné změny kódu výpočtu mohli vyměnit podkladový framework (runtime) za jiný, vytvořili jsme si nad jejich API vrstvu, ve které lze definovat datové operace, které se pro běh výpočtu přeloží do API použitého runtime. To nám umožňuje zkoušet nově vznikající frameworky a volit správný runtime pro tu kterou úlohu bez rizika, že v případě špatného rozhodnutí bude potřeba přepsat aplikační kód na jiné API.
Euphoria API navíc sjednocuje datové transformace nad streamovými i batchovými daty. To nám umožňuje jedním kódem zpracovat jak čerstvě vznikající data, tak například data uložená za delší uplynulé období.
Výpočty nad Euphoria API už rok a půl produkčně používá náš robot a po dobrých zkušenostech jsme se rozhodli vydat její zdrojové kódy jako opensource na github.com. Doufáme, že tím pomůžeme vývojářům, kteří naráží na stejné problémy, jako jsou naznačené v tomto článku.
Pokud vás toto krátké představení zaujalo, zveme vás na veřejné představení Euphoria API na Hadoop Meetupu 6. dubna v Praze.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
Na konci listopadu 2016 se ve standardu sitemap zvedl limit na velikost souboru sitemapy z 10 MB na 50 MB. Od letošního ledna jsme navýšili tento limit i pro zpracování sitemap a sitemap indexů v SeznamBotovi. Limit aplikujeme u komprimované sitemapy až poté, co ji robot rozbalí. Nadále platí, že limit počtu URL v sitemapě …
