(Stránka 2)
Aby v hledání nebyly zastaralé stránky, musí je robot opakovaně navštěvovat, aby zjistil jejich aktuální obsah. Zlepšili jsme model, který odhaduje, kdy se stránka změnila. Díky tomu se nám daří rychleji odhalovat změny na internetu. Databáze robota nyní obsahuje 2.5 miliardy webových stránek a 2 miliardy obrázků. Robot se každý den podívá na více než 200 …
Víme, že se internet neustále rozrůstá a chceme aby byl Seznam stále dobrým pomocníkem při hledání informací. Proto letos pracujeme na zvýšení počtu webových stránek v databázi hledání. Vyhledávač má ve skutečnosti dvě databáze. V jedné (tzv. indexu) jsou webové stránky uložené tak, aby je bylo možné rychle najít na dotazy uživatelů. Druhou databázi, ze které index …
Fulltextový robot má komponentu zvanou Freshbot, která stahuje čerstvý obsah jak z RSS, tak z jiných zdrojů nových odkazů. O změně Freshbota jsme psali již před časem na blogu. Mach II, výkonnější a rychlejší verze Freshbota, je teď nasazena v plném provozu.
Jednou z klíčových činností našeho robota, který spravuje naši databázi internetu, je procházení webu a nacházení nových URL, které stojí za to stáhnout. Seznam vyhledávání má mnoho cest, jak se dozvědět o nových URL. Nejčastěji se o nich dozvídáme tak, že narazíme na neznámou URL jako na odkaz na nové stránce. Včera jsme nasadili nový …
Naše vyhledávání má jedinečný přehled o českém internetu, neboť jeho velký vzorek máme uložený v indexu. Chtěli bychom se s vámi postupně podělit o různá zajímavá čísla.
V dávných internetových dobách se stávalo, že webmaster neúmyslně znepřístupnil celý svůj web pro webové vyhledávače v robots.txt příkazem
