23. 10. 2007

Nagano ožívá

Rozjet služby Seznamu ze dvou paraleleních stanovišť je během na dlouhou trať. Ale na stadionu už jsme.

Od mého zářijového článku na Seznam blogu, k jehož napsání mě evokoval posun v otázce duálního provozu Seznamu, uplynuly skoro 2 měsíce. Dnes již s radostí mohu oznámit, že první vlaštovky z Nagana vylétly. Ale popořadě.

Myšlenka mít dva telehousy je stará více než rok a půl. Alespoň co vím,protože úkol realizující danou myšlenku jsem zdědil v srpnu 2006 spolu s nástupem do funkce. První záležitost byla relativně jednoduchá: dokončit hledání vhodného telehouse. Nakonec to trvalo trochu déle, ale s výsledkem jsem spokojený. K dosavadnímu telehousu TTC Teleport přibyl telehouse Nagano od společnosti O2. Důvody, proč by měl mít Seznam.cz dva telehousy asi není třeba uvádět.

Od určitého okamžiku, kdy bylo jasné, kde se nás HW bude napájet a chladit,disky otáčet a optika svítit, bylo potřeba stanovit způsob využití tohoto telehouse. A taky objednat první hardware pro první služby. Mimochodem bylo to asi 200 serverů a 3 plně naložená disková pole DS4800. A těmi službami byly tzv. služby I. kategorie, tj. ty pro nás subjektivně nejdůležitější. Mimo emailu, u kterého jsme odhadovali odlišný přístup. Jasně dané bylo to, že výkonem musí druhý telehouse pokrýt provozní potřeby. Otázka, která se probírala, byla, zda telehouse mít jako spící Růženku pro případ potřeby nebo s paralelním provozem. Rozhodl jsem se pro spící Růženku, v dané chvíli to byl nejsnazší způsob, jak docílit požadované zálohy. I když ne online dostupné.

Začali jsme aktivně přemýšlet o tom, jak zabezpečit email. Probrali jsme všemožné varianty – např. se vyzkoušela i off-line kopie emailových dat. Čím dál víc bylo jasné, že bude potřeba sáhnout k vlastnímu řešení on-line dostupné kopie všech dat. Také se začaly naplňovat původní obavy z toho, že spící Růženka v druhém telehousu po čase nebude obsahovat aktuální stav. V důsledku všemožných akutních provozních potřeb a zásahů v prvním telehousu se druhý dostával svojí konfigurací do zastaralého stavu. Logicky dalším evolučním krokem bylo rozhodnutí o duálním provozu v obou telehousech. Duální v tom smyslu, že všechny nainstalované služby budou souběžně běžet v obou telehousech a je jedno, na který telehouse bude ten který uživatel směřován.

Rozhodnutí je snadné vzhledem k tomu, co pak na jeho základě musí (především administrátoři) zrealizovat. Začalo horečnaté přemýšlení o tom, jak mít databázová a jiná data on-line replikovaná mezi telehousy, jak řešit problémy read-write přístupů do databází, apod. Několik konceptů, zejména u databází, bylo vyzdviženo a opět zavrženo. Řešení se nakonec našla, čas je prověří. Nyní je to především o pokračujícím velkém objemu práce, zejména o mnohareinstalacích a rekonfiguracích  A to vše při normálním provozu, který je bohatý na zážitky a komplikace i bez druhého telehousu.

V úvodu jsem naznačil, že už máme první vlaštovky. Naše domovská stránka byla instalována přímo do Nagana, odtud i spuštěna. V telehouse TTC zůstala nainstalována původní verze s tím, že po týdnu se i odtud rozjela paralelně nová verze. V minulých týdnech doběhly instalace Fulltextu 1G, jak jsme nazývali roční projekt na našem internetovém vyhledávači. Stejná farma strojů jako v TTC se nainstalovala i do Nagana, a tak search.seznam.cz běží také paralelně (a transparentně) z obou telehousů. Třetí vlaštovkou je email. V obou telehousech běží nová verze dvou “eboxů” (aplikační server emailu starající se o podmnožinu uživatelů) vzájemně zálohovaných, plus vzájemně zálohované úložiště emailů (ve formě aplikačního clusteru). Na toto řešení v následujících měsících přesuneme kompletně celý půl petabajt dat emailu. Zanedlouho pojede duálně také nedávno spuštěné nové Zboží.cz. Vedle toho existují interní podpůrné systémy (databáze uživatelů nebo ověřování session), které musely být připraveny předem.

Doběhli jsme na stadion a chvíli budeme kroužit než dorazíme do cíle. Těch okruhů bude asi tolik, kolik máme služeb. Budeme k tomu potřebovat ještě hodně času, sil a mozků. I po doběhu. Současné služby Seznamu se vývojem staly komplexnější než dříve, duální provoz tomu také dosti přidal. “Lusknutím prstů” máme 2x tolik hardware. Řešíme nové úkoly zoblasti “síťařiny” – máme vlastní AS (autonomní systém, viz.http://www.ripe.net) a IP adresy. Plánujeme vstup do NIXu. A protopotřebujeme kvalitní posily.

Dovolte mi tedy závěrem malé náborářské okénko. V technickém oddělení mám nyní otevřeny 4 administrátorské pozice.Administrátoři jsou lidé, kteří se u nás v Seznamu starají o to, aby služby byly řádně nainstalovány a běžely. Monitorují servery, řeší komplikace, kterés sebou nese provoz vysoko zátěžových systémů, konzultují architektury nových aplikací. Řeší věci spojené se sítí, výkonem strojů, zálohování. Jsou zběhlí v Linuxu, ale musí se porvat i s Cisco nebo SAN technologiemi, případně naučit provozovat službu na OS Solaris. No, rozhodně tu není nuda plynoucí z toho, že by se nic nedělo. Pokud Vás to láká a chcete pro nás pracovat, pošlete svůj životopis na tana.benkova@firma.seznam.cz. Nabízíme vám plno práce a zodpovědnosti. Za to dostanete nejen plat, ale i podíl na zisku firmy. Protože ten je generován když ho někdo generuje na něčem, co někdo vytvořil a někdo zajišťuje, aby to neustále běželo. A kdyby se Vám zdálo, že na práci administrátora ještě nejste zralí, nabízíme Vám pozici dohledáře v našich telehousech. Tam si určité základy můžete osvojit.

'Vlasta
Vlasta