Jak princ v pohádce poznal, která princezna je ta pravá, když vypadaly všechny stejně? Taky mu někdo napověděl!
Světové vyhledávače Google, Yahoo a MSN Live ohlásily minulý týden podporu nové funkčnosti v HTML, jež umožňuje vyhledávači v případě skupiny velmi podobných stránek na Vašem webu napovědět, která stránka z této mnoziny je ta preferovaná. Příkladem může být eshop s jinak seřazeným výpisem produktů nebo stejný výrobek ve více různých kategoriích. Vyhledávače se momentálně s těmito duplicitami musí poprat po svém.
Webmaster sice může tyto situace řešit, ale dosti obtížně a někdy může být zkrátka naším cílem, aby uživatel viděl stejný obsah pod více různými url. V takovém případě však vyhledávač najde tento stejný či podobný dokument také a v indexu ho pak drží ve více kopiích, kde zabírá místo a kromě toho se dokumentu tříští zpětné odkazy.
Nyní se nabízí nové řešení, použít tag <link> a oznámit tak vyhledávači formu url, kterou považujeme za hlavní. Stačí do hlavičky stránky přidat:
<link rel="canonical" href="http://www.mojedomena.cz/cesta/ke/kanonickemu/url/" />
Robotu tato nová informace umožní držet dokument v indexu pouze jednou a spojit rank pro různé formy url. A nyní ještě několik pravidel:
Kanonické linky je možné řetězit (A->B, B->C).
A nyní to nejdůležitější, podporu zatím oznámil Google, přislíbily Yahoo a Microsoft. Nám se tato nová možnost označování duplicitního obsahu také líbí, prozatím budeme sledovat výskyt tohoto tagu na stránkách a v brzké době jeho podporu začleníme. Budeme se těšit na mnoho takto označených duplicitních url, pomůžete tak našemu robotovi i svým webovým stránkám.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
