Třetí generace SeznamBota už se intenzivně testuje, chcete vědět, co je uvnitř?
Nový robot dostal do vínku současnou ostrou databázi, kterou už 2 měsíce občerstvuje, donedávna ji však dále nerozšiřoval. Od minulého týdne si sám hledá i nové dokumenty, vybírá ty, které se mu zdají zajímavé. Z nacrawlovaných dat vyrábí hledací databázi a výsledky již interně srovnáváme se současným hledáním.
A nyní nahlédneme trochu pod pokličku… Robot je založen na technologiích z projektu Hadoop, především na souborovém systému HDFS, frameworku pro distribuované výpočty Map/Reduce a NoSQL úložišti HBase. Hadoop technologii jsme zvolili po průzkumu dostupných možností, zásadními faktory byl otevřený kód, výborná škálovatelnost a samozřejmě výkon. Jako každá nová technologie, i tahle má ještě své mouchy a tak vyladění stability a výkonu námi napsaných aplikací se ukázalo jako nejvíc problematické.
Nový robot má databázi stránek včetně historie stahování, obsahu stránky, textového derivátu stránky (informace, které robot dokázal z kódu stránky extrahovat), různých hodnocení a zpětných odkazů uloženou v HBase. Z této databáze můžeme kdykoli bez nutnosti opětovného stahování stránek vyrobit binární hledací podobu používanou na výdejových strojích, pochopitelně také můžeme nad uloženými daty provádět různé analýzy a statistické výpočty. K tomu se využívá právě Map/Reduce framework. Zjednodušené schéma najdete na obrázku.
SeznamBot 3 – schéma
Robot se nyní bude hlásit jako SeznamBot3.0-beta. Zajímá nás zpětná vazba od Vás, pokud se Vám bude zdát, že nový robot nestahuje Váš web správně, neváhejte nám to dát vědět na fulltext-robot@firma.seznam.cz. Upozorňuji, že činnost robota je čitelná pouze z access logu, ostré hledání je stále občerstvováno starým robotem, návštěvy nového robota s ním nijak nesouvisí. Buďte prosím co nejvíc konkrétní, zajímá nás o jakou stránku se jedná, případně pokud můžete, připojte access logy s přístupem SeznamBota. Přidávací formulář aktuálně není na nového robota napojený, upravíme to do konce týdne.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
