Downloader, který je součástí našeho SeznamBota a jeho úkolem je stahování webových stránek z internetu, má novou vylepšenou verzi. Ta je šetrnější k webům, i když stránky stahuje stejně rychle. Co to v praxi znamená?
Jde o našeho robota (v angličtině se pro něj používá termín crawler), který prochází internet. Jeho úkolem je hledat nové webové stránky a aktualizovat informace o těch, které už zná.
Downloader je součást SeznamBota, která vykonává samotné stahování webových stránek z internetu. V letošním roce proběhlo postupné odklánění stahovacího provozu (download trafficu) ze staré verze downloaderu na verzi novou. Ta zajišťuje lepší management tohoto trafficu.
Traffic generovaný předchozí verzí downloaderu měl typicky periodické výkyvy (spiky). To znamená, že cca každou hodinu počet požadavků ke stažení (download requestů) na web prudce vzrostl a následně pozvolna klesal. Chvilkově tak mohlo docházet k přetížení webserveru, případně k regulaci četnosti seznambotích requestů, které webserver dokáže obsloužit.
Hlavní výhodou nové verze downloaderu je schopnost rovnoměrnějšího rozložení download requestů konkrétního webu v čase. Celkový objem stažených stránek přitom zůstává stejný. Jak ilustruje graf níže, traffic generovaný novou verzí downloaderu je v čase takřka konstantní.
Změnu k lepšímu tak mohou pocítit jak velké weby, které mohl SeznamBot chvílemi přetěžovat, tak i menší weby, jejichž webhostingy mohly občas traffic SeznamBota „škrtit“, tedy regulovat počet žádostí o stažení stránky, které webservery daného hostingu obslouží.
Za tým Vyhledávání Richard Dubiel
Jak váš web vypadá z pohledu našeho SeznamBota? To zjistíte díky nové funkcionalitě, kterou jsme přidali do naší platformy pro webmastery. Novinka vám umožní se na stránku podívat z robotí perspektivy a získat detailní informace, které můžete využít k optimalizaci a zlepšení výkonu vašeho webu.
Už více než 10 let internetové vyhledávače postupně mění svou funkci – z tradičního webového rozcestníku se posouvají do pozice zprostředkovatele obsahu s cílem odpovídat na uživatelské dotazy přímo. V Seznamu interně říkáme, že se vyhledávač proměňuje v odpovídač. Jaké kroky podnikáme, abychom tomuto trendu šli naproti, jak fungují naše AI sumarizace a co na to uživatelé?
Jak slaví Vánoce v Rakousku a kdy je nejlepší čas navštívit Zanzibar? Už nemusíte brouzdat internetem a pracně získávat informace. Naše Vyhledávání to rádo udělá za vás. Díky nové funkcionalitě sumarizací vám informace poskládá do jedné ucelené odpovědi a ke každé větě transparentně přidá i zdroj. Začínáme pozvolna, ale postupně pokrytí novinky rozšiřujeme.
