Downloader, který je součástí našeho SeznamBota a jeho úkolem je stahování webových stránek z internetu, má novou vylepšenou verzi. Ta je šetrnější k webům, i když stránky stahuje stejně rychle. Co to v praxi znamená?
Jde o našeho robota (v angličtině se pro něj používá termín crawler), který prochází internet. Jeho úkolem je hledat nové webové stránky a aktualizovat informace o těch, které už zná.
Downloader je součást SeznamBota, která vykonává samotné stahování webových stránek z internetu. V letošním roce proběhlo postupné odklánění stahovacího provozu (download trafficu) ze staré verze downloaderu na verzi novou. Ta zajišťuje lepší management tohoto trafficu.
Traffic generovaný předchozí verzí downloaderu měl typicky periodické výkyvy (spiky). To znamená, že cca každou hodinu počet požadavků ke stažení (download requestů) na web prudce vzrostl a následně pozvolna klesal. Chvilkově tak mohlo docházet k přetížení webserveru, případně k regulaci četnosti seznambotích requestů, které webserver dokáže obsloužit.
Hlavní výhodou nové verze downloaderu je schopnost rovnoměrnějšího rozložení download requestů konkrétního webu v čase. Celkový objem stažených stránek přitom zůstává stejný. Jak ilustruje graf níže, traffic generovaný novou verzí downloaderu je v čase takřka konstantní.
Změnu k lepšímu tak mohou pocítit jak velké weby, které mohl SeznamBot chvílemi přetěžovat, tak i menší weby, jejichž webhostingy mohly občas traffic SeznamBota „škrtit“, tedy regulovat počet žádostí o stažení stránky, které webservery daného hostingu obslouží.
Za tým Vyhledávání Richard Dubiel
Jak váš web vypadá z pohledu našeho SeznamBota? To zjistíte díky nové funkcionalitě, kterou jsme přidali do naší platformy pro webmastery. Novinka vám umožní se na stránku podívat z robotí perspektivy a získat detailní informace, které můžete využít k optimalizaci a zlepšení výkonu vašeho webu.
Náš nový článek přijatý na prestižní konferenci SIGIR 2024 přináší klíčový příspěvek v oblasti českého webového vyhledávání. Představuje CWRCzech, což je nový dataset pro hodnocení relevance vyhledávání obsahující 100 milionů párů dotaz-dokument v českém jazyce. Pojďme si ho představit.
V Seznamu jsme v roce 2021 představili jazykový model Small-E-Czech (čti: smolíček), který se od té doby stal druhým nejpopulárnějším českým jazykovým modelem.* V oblasti umělé inteligence a zpracování přirozeného jazyka je ale pořád co objevovat. A tak jsme pro vás nově vypiplali další malé jazykové modely, zaměřené na analýzu a interpretaci jazyka.** Jaké jsou?
