Fulltextový robot má komponentu zvanou Freshbot, která stahuje čerstvý obsah jak z RSS, tak z jiných zdrojů nových odkazů. O změně Freshbota jsme psali již před časem na blogu. Mach II, výkonnější a rychlejší verze Freshbota, je teď nasazena v plném provozu.
Mach II obsluhuje nyní dvakrát více zdrojů než původní Freshbot, přesněji jich aktuálně máme sedm tisíc. Do indexu sviští v řádu desítek vteřin nejen zprávy, ale i odkazy z Twitteru a webové stránky běžné nebo i ty obsahující videa. Každou hodinu objevíme v průměru kolem tisíc pěti set nových dokumentů.
Mach II je až šestkrát rychlejší než byl starý Freshbot. Pro příklad, článek z aktuálně.cz jsme schopni dostat do indexu za minutu a to znamená, že v hledání se objeví do pěti minut.
Fulltextové hledání Seznamu má tedy nově dvakrát více zdrojů čerstvých odkazů a stahuje šestkrát rychleji. V podstatě je Freshbot Mach II tak rychlý, že než dočtete tento článek, tak již bude v indexu:
info:fulltext.sblog.cz/2016/04/04/nasazeni-freshbota-mach-ii
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
