Víme, že se internet neustále rozrůstá a chceme aby byl Seznam stále dobrým pomocníkem při hledání informací. Proto letos pracujeme na zvýšení počtu webových stránek v databázi hledání.
Vyhledávač má ve skutečnosti dvě databáze. V jedné (tzv. indexu) jsou webové stránky uložené tak, aby je bylo možné rychle najít na dotazy uživatelů. Druhou databázi, ze které index čerpá data, spravuje robot, který stahuje obsah z internetu. Databáze robota je důležitá pro pochopení souvislostí mezi webovými stránkami. Čím větší je, tím větší má vyhledávač přehled o struktuře internetu. Databáze robota od roku 2014 obsahuje 1,5 miliardy stažených webových stránek a miliardu stažených obrázků. Letos jsme udělali úpravu, po které zvládne robot databázi spravovat i po výrazném navýšení její velikosti.
Díky dokončení druhého sálu datacentra Kokura v Horních Počernicích jsme mohli pořídit stovky nových serverů a zahájit navyšování velikosti databáze. K dnešnímu dni máme v databázi robota uložené 2,5 miliardy stažených webových stránek a 2 miliardy stažených obrázků. Jinými slovy jsme v databázi robota navýšili počet dokumentů o dvě třetiny a počet obrázků na dvojnásobek.
Od léta si změn mohli všimnout provozovatelé webů, když robot začal navštěvovat více různých stránek na jejich webech. Provedené změny byly nezbytným prvním krokem k navýšení počtu stránek, ve kterých budeme hledat odpověďi na dotazy uživatelů.
Více stránek v hledání se můžete těšit již tento podzim.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
