Robot (crawler) našeho fulltextového vyhledávače se bude webserverům nově hlásit jako „Mozilla“ a nikoliv jako „SeznamBot“. IP adresy a reakce na robots.txt se nezmění.
I když dřevní doby internetu, kdy weby zkoumaly User-Agent hlavičku čistě proto, aby mohly uživateli ohlásit, že jeho browser není podporován :-), už jsou asi dávno pryč, tak weby, které vracejí odlišné contenty pro různé nastavení User-Agenta stále nevymizely. V moderní době se ale stává, že weby občas pro různé hodnoty User-Agenta vracejí jiné jazykové verze, redirectují na jednodušší verze stránek, přidávají do odkazů různé pomocné parametry nebo prostě nějak manipulují s obsahem stránky.
I když je vše v dobré víře, tak důsledkem je, že crawler vidí jiný obsah stránky než uživatel, což nám při zpracování stránek moc nepomáhá a většinou to má negativní dopad na kvalitu výsledků. Abychom se s tím mohli vypořádat, změníme User-Agenta na obvyklou generickou hodnotu „Mozilla/5.0 (compatabile; …)“. Stejným způsobem to dělá většina browserů i jiných crawlerů.
Současný/dosluhující User-Agent string:
User-Agent: SeznamBot/3.0 (+http://fulltext.sblog.cz/)
Nový User-Agent string, který se bude používat od února 2014:
User-Agent: Mozilla/5.0 (compatible; SeznamBot/3.2; +http://fulltext.sblog.cz/)
Změní se pouze User-Agent string odesílaný v HTTP requestu na webserver. V rámci celého User-Agent stringu bude někde ale SeznamBot zmíněný, takže např. pro účely statistik půjde jeho návštěvu detekovat.
Reakce SeznamBota na specifické nastavení v robots.txt zůstane beze změny — stále se bude hledat sekce „SeznamBot“ (v robots.txt lze specifikovat různá pravidla pro různé roboty). Dále se nezmění ani IP adresy, ze kterých robot chodí i když detekovat návštěvu podle konkrétních adres nelze doporučit, protože se můžou v čase měnit.
Změna pravděpodobně nastane 3. února 2014 během dne.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
