V článku o zvětšení velikosti databáze robota jsme objasnili, že vyhledávač pracuje se dvěma databázemi – jednu obsluhuje robot a ve druhé se hledá. Databázi robota jsme zvětšili v průběhu léta a na podzim jsme plánovali pokračovat databází hledání, tzv. indexem. Ten naposledy rostl v roce 2012, a to z 500 milionů na 700 milionů internetových stránek.
Od té doby se ale výrazně rozrostlo množství informací na internetu, které lidé potřebují najít. Abychom měli i do budoucna dostatečnou rezervu pro jejich doplňování, rozhodli jsme se index v roce 2016 navýšit. Zároveň s tím jsme museli zapojit také stovky nových serverů a dohlédnout na to, aby hledací technologie dobře škálovaly i při výrazně větším objemu obsluhovaných dat.
A co ty steroidy
Letošní přidání stránek do hledání je z pohledu vyhledávače natolik zásadní, že mu interně říkáme Steroid. Jednotlivá zvětšování, nebo jinak podávání Steroidů, jsme naplánovali ve vlnách. Nejprve jsme letos v říjnu přidali 175 milionů webových stránek, což znamenalo navýšení o 25 %.
K naší radosti můžeme oznámit, že Steroidy zabraly. Hledání na Seznamu teď při každém dotazu projde 1,2 miliardy stránek. Celkem jsme letos databázi hledání zvětšili o 500 milionů stránek, takže oproti stavu před čtyřmi lety narostla o více než 70 %.
Při zvětšování databáze jsme brali ohled na to, že Seznam je tu zejména pro česky mluvící lidi. Proto jsme přidali hlavně české stránky (rostly z 360 na 700 milionů). Dalším nejvíc rostoucím jazykem byla angličtina (z 230 na 300 milionů). Přibližný počet prohledávaných stránek z konkrétních domén je možné zjistit pomocí operátoru site.
Věříme, že díky razantnímu zvětšení databáze budou lidé ještě snáze získávat přesně takové informace, které potřebují.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
