Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Stačí zanechat e-mail a o všem důležitém vám dáme vědět.
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
Na konci listopadu 2016 se ve standardu sitemap zvedl limit na velikost souboru sitemapy z 10 MB na 50 MB. Od letošního ledna jsme navýšili tento limit i pro zpracování sitemap a sitemap indexů v SeznamBotovi. Limit aplikujeme u komprimované sitemapy až poté, co ji robot rozbalí. Nadále platí, že limit počtu URL v sitemapě …
Freshbot, který do hledání dodává nově vzniklé zpravodajské články, stahuje od listopadu téměř o 30% rychleji. Rychlost jsme zlepšili díky novému procesu stahování webových stránek, jehož nejdůležitější částí je nová komponenta Dolores. Novinky z internetu se tak dostanou dříve do hledání a k uživatelům. V průběhu roku 2016 jsme přidávali počty zdrojů, kde Freshbot hledá nový obsah, a …
V článku o zvětšení velikosti databáze robota jsme objasnili, že vyhledávač pracuje se dvěma databázemi – jednu obsluhuje robot a ve druhé se hledá. Databázi robota jsme zvětšili v průběhu léta a na podzim jsme plánovali pokračovat databází hledání, tzv. indexem. Ten naposledy rostl v roce 2012, a to z 500 milionů na 700 milionů internetových …
