Před časem jsme začali sledovat využívání kanonických linků a po zhodnocení byla jejich podpora přidána do nového robota. Uvedeme pár tipů, jak se canonical hodí použít a nepoužít, tak aby měly pro web pozitivní dopad a zabránilo se zbytečným chybám.
Cílem kanonizace URL na webu je zjednoznačnění struktury adres. Díky tomu se na serveru fulltextoví roboti méně ztrácí a vědí přesněji, která stránka je z pohledu webmastera ta důležitější. Velkou výhodou kanonických linků je jejich jednoduchá integrace využití jak ve statických tak i na dynamických webech.
Jak je to správně: máme web, který obsahuje nějaké seznamy. Typicky seznam prodejců nebo uživatelských hodnocení. Web je navržen tak, že při kliku na jednotlivé názvy sloupců se mění hodnota parametru sort v URL a současně se seřadí zobrazované data dle požadovaného sloupce. Ostatní se skryjí. V důsledku tedy vznikají z pohledu vyhledávačů duplicitní stránky:
No a teď ten fígl: pokud do <head> uvedete, která stránka je ta nejsprávnější např.: <link rel=“canonical“ href=“http://www.example.com/produkt123″ />, tak tím jednoznačně řeknete robotovi, kterou podobu URL má ideálně do vyhledávání zařadit, a současně označujete její duplicity. Pro web je výhoda v lepším řízení a směrování robota po doméně.
Obdobná situace může nastat např. při směrování na domovské stránky webů – example.com/index.php místo na požadované example.com. Nicméně to jsou situace, které fulltexty bez větších problému zvládají.
Příkladem chybného použití je canonical na redirektech. Tedy, cíl kanonických URL nemá být redirekt (je to podobné, jako když vás na úřadě pošlou k přepážce č. 5, která je zavřená s cedulkou „Obslouží vás u přepážky 105“). Cílová stránka tedy musí mít obsah, aby si robot mohl snadno ověřit podobnost původního a kanonického dokumentu.
Asi nejhorším použitím je směrování robota neakceptujícího cookie po navštívení kanonické URL zpět na původní „škaredou URL“. Tedy robot jde na URL A, tam zjistí, že kanonická podoba je URL B no a když na ni vleze, tak server zjistí, že cookie nejsou ze strany robota podporované a šupem ho pošle zpět na URL A. Krásné zacyklení, že;)
Další příklady použití kanonizace.
Případné zkušenosti a připomínky ke kanonizací můžete psát do diskuse pod článkem.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
