SeznamBot v ostré verzi zpracovává sitemapy ve formátu XML
Do ostrého provozu byla nasazena podpora sitemap v XML formátu. Z těchto sitemap robot zatím vybírá prioritu stránek, která mu pomáhá v rozhodování, které URL si uživatel spíše přeje zaindexovat.
XML formát je kompatibilní s formátem používaným Googlem: http://www.sitemaps.org/protocol.php. Aby robot sitemapu správně našel a zpracoval, je vhodné mu říct, odkud ji má stahovat. K tomu je možné použít záznam v robots.txt, ve formátu:
Sitemap: http://moje.domena.cz/sitemap.xml
URL se sitemapou musí být v robots.txt absolutní. V případě, že záznam v robots.txt není, použije robot implicitně adresu /sitemap.xml z domény.
Pouze připomínáme, že veškeré priority ze sitemap.xml slouží pouze k rozhodování robota v rámci webu, nemají tedy žádný vliv na pořadí stránek ve výsledcích hledání, stejně jako nemá žádný význam nastavit prioritu všech stránek na 1 (aby priorita robotovi k něčemu byla měla by se u jednotlivých URL lišit).
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
