Nový Robot Seznamu je v testovacím provozu
Práce na novém robotovi pokročily do té míry, že je schopen stejně nebo lépe indexovat stránky na českém internetu. V tuto chvíli robot přechází do Beta provozu, a čeká nás závěrečná fáze ladění. To, co nyní vidíte v testu, na http://searchtest.seznam.cz je kompletní výdejová databáze seřazená pomocí prvotní upravené sady vah. Nyní nás čeká ještě je trochu upravit a doladit. Až budeme s výsledky hledání spokojeni, nový SeznamBot nadobro nahradí svého předchůdce.
Žádáme o vaše konstruktivní připomínky k pořadí stránek vzhledem ke konkrétním dotazům. Opět nejsme schopni odpovídat jednotlivě zde v komentářích. Ale všechny závažné reporty vyhodnotíme a zohledníme při nastavování vah.
Zajímá nás především chybné pořadí výsledků na navigační dotazy. Tj. dotazy mířící na jednu konkrétní stránku, nejčastěji HP webu. Pokud naleznete nesprávné pořadí stránek na konkrétní navigační dotaz, dejte nám prosím vědět.
Nereportujte zbytečně nesprávné pořadí informačních a transakčních dotazů (např. dotaz „objem válce“, „hodinky“ apod.) Zde mají velký vliv subjektivní preference uživatelů. Správné pořadí výsledků na tyto informační dotazy nelze určit přesně, rozdíly mezi jednotlivými stránkami jsou velmi malé. (Všechny stránky s matematickými vzorečky se na 1. stranu výsledků vejít nemohou, stejně jako všechny eshopy prodávající hodinky).
Za vaše podnětné připomínky předem díky.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
