SeznamBot/3.0 vyráží na obhlídku českého internetu.
Už je to hodně dlouho, co jsme naposledy představili nějakou novinku kolem fulltextového robota. Není to tak, že by na něj sedal prach a špína, běžné údržbě jsme se věnovali neustále. Podnětů ke zlepšení jsme sice měli mnoho, jenže realizace na staré platformě byla většinou krkolomná. Z tohoto důvodu jsme se rozhodli k radikálnímu řezu, celou původní architekturu jsme opustili a přistoupili ke zcela novému pohledu na problematiku.
Že by to chtělo napsat a navrhnout všechno hezky znova od začátku jsme si již před časem řekli, síly a kapacity pro takový úkol jsme dali dohromady letos na jaře. A vida, už se chystáme ho vypustit ven. Nějaký čas ho ještě budeme ladit a až se bude chovat mravně, nahradí současného robota. Na Vaše weby se bude hlásit jako „SeznamBot/3.0-alpha“, pokud by páchal nějakou neplechu, neváhejte nám dát vědět.
Pokud si říkáte, že s tím hodně naděláme, vězte že se nejedná jen o přepracování nějakého pavouka stahujícího obsah webu, jedná se o přechod na zcela odlišnou technologii poskytující úplně jiné možnosti pro práci s nasbíranými daty. Ty se ukládají do úložiště typu NoSQL a nad daty pracuje Map/Reduce framework. Pokud Vám tyto technologie nic neříkají, dozvíte se více v dalším zápise.
PS: hledáme posily do Brna, Prahy a Českých Budějovic
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
