Jak se provozuje Seznam.cz

Jak funguje Seznam navenek asi všichni víte. Co to ale obnáší provozovat takový „gigant“ zevnitř? Přinášíme Vám náhled pod pokličku našeho Technického oddělení, které se o provoz Seznamu stará. A pokud máte pocit, že je u nás vše růžové, tak určitě je :)

Růžové jsou třeba garáže v podzemí Paláce Křižík v Praze na Smíchově nebo sprchy ve firemní posilovně v suterénu. Obojí má svým způsobem na starosti oddělení Facilities. Je to tým starající se o provoz naší centrály a všech našich poboček. Možná se to tolik neví, ale Seznam.cz má skoro tisícovku lidí v Praze na Andělu, několik desítek v Praze – Holešovicích, dále malé stovky lidí v Brně a desítky lidí či menší týmy v Ostravě, Českých Budějovicích, Plzni, Liberci, Hradci Králové, Zlíně a Olomouci. Správa tolika nemovitostí a prostor už proto vyžaduje určitou pozornost a specializaci. Málokoho třeba napadne, jakým tématem může být recepce na centrále. Děvčatům (ale bereme i kluky!) vštěpujeme, že 90% jejich práce není vidět a přitom je důležitá pro chod firmy (pošta, občerstvení, parking návštěv, aj), ale okolí je hodnotí jen za těch 10% (úsměv, vstřícnost). Nemám po ruce statistiku, ale jsem přesvědčen, že drtivá většina recepčních pak ostřílená bojem z přední frontové linie postupuje dále ve firmě, často do obchodu.

To kluci údržbářští (zde by to chtělo více žen:) většinou do obchodu nepostupují. Ale za to my jsme rádi, protože dobrý údržbář či instalatér, to je dnes vzácnost. Společně se zbytkem týmu v čele s manažerkou facilities řeší vše od utrženého věšáku, přes instalaci nového nábytku, koordinaci  úprav prostor až po vybudování nové pobočky. Jak prosté, že? Zdatně jim při tom sekunduje i tým techsupportu. Provoz centrály a poboček se samosebou bez IT zázemí neobejde. Kluci z podpory mimo jiné zajišťují SW a HW vybavení pro všechny naše zaměstnance a poskytují pomoc v nesnázích. Zejména nesnáze kolegyň, se mi zdá, řeší s velkým nasazením:)

Když už je řeč o nesnázích. Součástí celého oddělení Podpory (kam spadají doposud popsané týmy) je také tým Helpdesku. Ten je připraven pomoci primárně uživatelům našich služeb na Seznamu. Je to takový techsupport pro vnější svět. Velká část agendy se točí kolem služby Email.cz a přístupu k registrovanému účtu. Ale obecně pokrývají většinu toho, co Seznam.cz navenek provozuje.

A to se dostáváme do oddělení Provozu – co do počtu lidí nejpočetnější části technického oddělení. On totiž ty služby, ke kterým Helpdesk poskytuje cenné rady a pomoc, musí někdo v režimu 24×7 provozovat. A to máte servery, datová centra, linuxy, network, security, instalace, reinstalace, deinstalace, openstacky, kubernety, domény, certifikáty, monitoring, pohotovosti, … Je to rozhodně velké. Ve správě je několik tisíc fyzických serverů a několik desítek tisíc operačních systémů. Vše dohromady umístěné ve dvou datových centrech. Klukům a děvcatům (sic!) historicky říkáme admini, ale jdeme s dobou a už jim (jak na západě) začínáme říkat system engineers. Je to zajímavé sledovat, jak se za dobu mé profesní kariéry (řekněme od 1996) pozice systémových adminů vyvíjí. Tzv. „správa full stacku“, tedy od hardware přes operační systém po aplikaci, je brzdou škálovatelnosti a agilnosti. Dnes už je třeba osedlat koně automatizace a kontinuální integrace. U nás v provozu (ale i vývoji) jsme vsadili na rozvoj platformy jako služby (pro milovníky buzzwordů PaaS) postavené na infrastruktuře z Kubernetes a OpenStacku. Spravuje to u nás tzv. Infra tým, svoje stroje značkuje zkratkou „tt“ a skoro nikdo neví proč. Tento tým a celá platforma, kterou pojmenováváme SCIF (Seznam Computing Infrastructure), má nyní velkou prioritu. Ale i tak stále ještě nejvíce kapacity se nachází v tzv. Legacy mode, kde admini mají pod palcem full stack. Ono to v některých případech ani jinak nepůjde. Vezměme si například takový Hadoop. Nad ním už máme několik clusterů a full stack přístup není od věci. Nebo technologicky náročné služby jako Fulltext, Reklama či Email budou mít do určité míry mixovaný přístup. Ale jisté je, že do SCIFu investujeme a chceme investovat nejvíc.

V oddělení Provozu máme i odborníky na networking. Tím nemyslím, že by excelovali na firemním večírku v oblasti družby (takové tu také máme), ale specialisty na síť. Internetovou i intranetovou. Velké počty serverů, dvě datová centra, potřeby na centrále a pobočkách, to vše klade nároky na to mít robustní a stabilní počítačovou síť. Data must flow. A když netečou, je průšvih. Už i zpoždění v toku dat je často znát. Ale ne tolik, jako je to znát u televize. Tam taky data musí téct. A tak si tým vzal pod palec i témata související s distribucí našeho video signálu pro Seznam televizi.

Se sítí dosti souvisí téma bezpečnosti. Protože je to však téma širší, máme na to dedikovaný nezávislý tým. Největší výzva jeho práce je boj s němými svědky. To jsou ti svědci, kteří nepromluví, protože není o čem. Protože se to nestalo. Nemyslím to tak, že zatajíme, že se něco stalo, ale tak, že náplní je předcházet bezpečnostním incidentům, takže ono se pak vlastně navenek nic nestalo. Ale mohlo by. A tak ta výzva je dostat do priorit jiných týmů ono „mohlo by se“.

A protože mohlo by se stát hodně věcí, máme lidi všude. I v datových centrech. Jedno z datových center, jmenuje se Kokura po slavném Japonském městě (vyhledej si na Seznamu „kokura štěstí“), patří nám, a o to se někdo musí postarat. Takže je tam tým non-IT techniků. Rozumí elektřině, chlazení a výrobě vlastních dvoukolových vozíků. Také tam jsou lidi přes IT. Říkáme jim systém operátoři. Operují totiž i ve vnitřnostech serverů. No ale hlavně zastanou veškerou manuální práci, která se kolem našeho hardware vyskytuje. Od instalace serveru do racků (skříní) po drobné opravy a výměny komponent. Trošičku se jim záběr rozšířil poté, co jsme v Seznamu rozjeli výrobu vlastního hardware.

Skutečně servery jsme si začali vyrábět. Historicky je kupujeme od velikánů IT průmyslu a oni nás za to mají rádi. Je toho tolik, že to uživí i naše vlastní nákupčí. O těch jsem se nezmínil, jsou součástí již zmíněného oddělení Podpory a mají pod palcem skoro vše, co v Technickém oddělení nakoupíme. Nicméně zpět k výrobě vlastního hardware. Protože naše země je zemí montoven a my jsme česká firma, nemůžeme zůstat pozadu. Náš úspěšně dokončený projekt Montovna si kladl za cíl stvořit, a také stvořil, servery ušité nám na míru. Toto byla trošku plechařina a trošku toho bastlení. Vyšší odborná bastlířská je pak druhý projekt, Dataholder, který stvořil vlastní design mini serveru založeného na ARM procesoru včetně návrhu desky plošných spojů (DPS či PCB pro zasvěcené). Základní kámen to našich softwarově definovaných úložišť. Které budou jako služba poskytována ve SCIFu. A kruh se uzavírá.

Tedy ještě ne zcela. Aby byl popis technického oddělení kompletní, bez vývoje to nepůjde. Je fakt, že práce třeba takového system engineera a vývojáře se v čase sbližuje, ale i tak jsou věci, které jsou doménou vývoje či produktového vývoje. U nás v technickém oddělení máme na starosti vývoj intranetového portálu Neznám (najdu tam, co Seznam) či obchodního systému SOS (v době svého vzniku to mělo hodně konotací, držme se významu „Slibný Obchodní Systém“) nebo také systémy Puzzle a Warehouse, nepostradatelní pomocníci pro orientaci se v našem hardware a systémech na něm běžících. Vedle toho interní vývoj spravuje také celou řadu podpůrných a životně důležitých technologií pro náš provoz.

Tím jsem při popisu Technického oddělení dospěl na konce. Snad jsem na nic a nikoho nezapomněl, přece jen je nás v celém širokém týmu včetně datového centra přes 200 hlav. Doufám, že jste si při čtení udělali obrázek o šíří záběru naší práce a co vše zhruba obnáší zajistit provoz dnes již relativně velké společnosti, jakou Seznam.cz je.

Tak třeba někdy na shledanou u nás v týmu!

Vlastimil Pečínka – Technický ředitel