(Stránka 3)
Fulltextový crawler běží od roku 2011 produkčně na Apache Hadoop, systému pro distribuované výpočty na clusterech. V roce 2011 byl produkčně nasazen robot verze 3.0 na distribuci Hadoopu od společnosti Cloudera, tehdy na verzi CDH3. V roce 2013 jsme povyšovali verzi distribuce na CDH4 a letos na podzim probíhá povýšení na CDH5, spolu se správcem …
V červnu jsme spustili nového rychloobrátkového robota, tzv. FreshBota. Ten má za úkol navštěvovat stránky a RSS zdroje, kde se objevuje nový zajímavý obsah, zejména novinové články, a ukládat je k nám do databáze, v níž se vyhledávají dotazy uživatelů. Není to úloha pro klasického „velkého“ SeznamBota, který denně navštíví stovky milionů stránek, protože cesta takového množství …
V poslední době řada webů přechází z http na https. Jsme rádi, že se tak děje, protože https weby jsou obecně bezpečnější. Tento přechod v současnosti bohužel někdy přináší problémy v řazení výsledků hledání. Na úpravě pracujeme, a proto v tuto chvíli doporučujeme přechod na protokol https prozatím odložit. O vývoji samozřejmě budeme dále informovat. Přechod z http na https …
Seznam.cz spouští vlastní serverovnu v Horních Počernicích, kterou pojmenoval Kokura. Kromě jiných služeb se do ní bude stěhovat i část fulltextového robota. Bude to náročná akce, kdy bude potřeba odpojit, vymontovat, zabalit, převést, vybalit, namontovat, zapojit a překonfigurovat více, než 160 serverů, které obsahují databázi miliard webových stránek. Stěhování je plánované na období od prvního …
Robot (crawler) našeho fulltextového vyhledávače se bude webserverům nově hlásit jako „Mozilla“ a nikoliv jako „SeznamBot“. IP adresy a reakce na robots.txt se nezmění. I když dřevní doby internetu, kdy weby zkoumaly User-Agent hlavičku čistě proto, aby mohly uživateli ohlásit, že jeho browser není podporován :-), už jsou asi dávno pryč, tak weby, které vracejí …
V minulém díle jsme si Hadoop představili a nyní se podíváme víc pod kapotu. Prakticky o všem v Hadoopu se dá říct, že to není žádný převratný vynález nebo něco naprosto nepochopitelného. Vše je logickým vyústěním potřeby ukládat velká data a nad nimi provádět distribuované výpočty. Z toho můžeme odvodit i základ Hadoopu: HDFS – …
