Downloader, který je součástí našeho SeznamBota a jeho úkolem je stahování webových stránek z internetu, má novou vylepšenou verzi. Ta je šetrnější k webům, i když stránky stahuje stejně rychle. Co to v praxi znamená?
Jde o našeho robota (v angličtině se pro něj používá termín crawler), který prochází internet. Jeho úkolem je hledat nové webové stránky a aktualizovat informace o těch, které už zná.
Downloader je součást SeznamBota, která vykonává samotné stahování webových stránek z internetu. V letošním roce proběhlo postupné odklánění stahovacího provozu (download trafficu) ze staré verze downloaderu na verzi novou. Ta zajišťuje lepší management tohoto trafficu.
Traffic generovaný předchozí verzí downloaderu měl typicky periodické výkyvy (spiky). To znamená, že cca každou hodinu počet požadavků ke stažení (download requestů) na web prudce vzrostl a následně pozvolna klesal. Chvilkově tak mohlo docházet k přetížení webserveru, případně k regulaci četnosti seznambotích requestů, které webserver dokáže obsloužit.
Hlavní výhodou nové verze downloaderu je schopnost rovnoměrnějšího rozložení download requestů konkrétního webu v čase. Celkový objem stažených stránek přitom zůstává stejný. Jak ilustruje graf níže, traffic generovaný novou verzí downloaderu je v čase takřka konstantní.
Změnu k lepšímu tak mohou pocítit jak velké weby, které mohl SeznamBot chvílemi přetěžovat, tak i menší weby, jejichž webhostingy mohly občas traffic SeznamBota „škrtit“, tedy regulovat počet žádostí o stažení stránky, které webservery daného hostingu obslouží.
Za tým Vyhledávání Richard Dubiel
Jak váš web vypadá z pohledu našeho SeznamBota? To zjistíte díky nové funkcionalitě, kterou jsme přidali do naší platformy pro webmastery. Novinka vám umožní se na stránku podívat z robotí perspektivy a získat detailní informace, které můžete využít k optimalizaci a zlepšení výkonu vašeho webu.
Říká se, že obrázek někdy vydá za tisíc slov. Proto vyhledávání obrázků na Seznamu neustále vylepšujeme, abychom vám mohli doručit co nejrelevantnější výsledky. I proto jsme do obrázkového hledání přidali novinku – funkci Podobné obrázky. Pojďme se na ni podívat podrobněji.
Seznam interně vyvíjí velké jazykové modely nazvané SeLLMa (Šelma), které mohou v mnohém konkurovat komerčně dostupným modelům. Diana Hlaváčová hostům Seznam fóra představila, co naše jazykové modely umí a v jakých produktech je využíváme.
