Klaar voor de toekomst

Een update over de verbeteringen aan onze infrastructuur.

Enkele maanden geleden berichtten wij over kwalitatieve verbeteringen aan onze infrastructuur. Inmiddels zijn we weer een paar grote stappen verder. Tijd voor een update dus.

Storage

Zoals bekend hebben we voor onze cloud meerdere opslagservers. Daar is één instabiel van geworden. Deze server is inmiddels vrijwel helemaal buiten gebruik gesteld. Hiermee is de stabiliteit op dit vlak weer hersteld.

Inmiddels hebben de volgende stap genomen: we hebben hardware van het gerenomnetappmeerde merk NetApp aangeschaft. Deze hardware is volledig dubbel uitgevoerd. Zo zijn er twee controllers die de disken aansturen. Deze controllers werken onafhankelijk van elkaar en kunnen elkaars taken overnemen. Als extra bonus is de hardware ook nog eens sneller dan de bestaande hardware die we in gebruik hebben.

Netwerk

Om de snelle storage tot zijn recht te laten komen, is ook een snel netwerk nodig. ex4300Hier hebben we ook geheel nieuwe en dubbel uitgevoerde hardware van Juniper voor aangeschaft. Elke controller van de NetApp heeft twee netwerkaansluitingen. Deze laten we op verschillende switches binnen komen. Uitval van een complete switch zorgt dan nog steeds niet voor het onbereikbaar worden van de NetApp storage server.

Schematisch levert dat het volgende plaatje op:

HV en NetApp schematisch

Bovenaan staat een virtualisatieserver. Op deze server draaien de cloudservers. We hebben meerdere van dit soort servers, die elkaars taken allemaal kunnen overnemen.

Elke virtualisatieserver is met twee netwerkverbindingen aangesloten op beide Juniper switches.

Onderaan staan de disks in de NetApp storage server. Deze disks worden aangestuurd door twee controllers, die elkaar ook over kunnen nemen. Elke controller is wederom met twee netwerkverbindingen aansloten op de Juniper switches.

Je ziet dat uitval van een controller of een switch nooit zorgt voor een onderbroken pad tussen virtualisatie server en de disks. Wat hier niet getekend is, is dat we beschikken over vele tientallen disks. Uitval van een enkele disk zorgt nooit voor verlies van data.

Ingebruikname

Bovenstaande setup draait momenteel al in ons datacenter in Den Bosch. Op dit moment zijn we bezig de systemen in te regelen en te testen. We verwachten hier enkele weken voor nodig te hebben.

Gedurende deze weken koppelen we de nieuwe switches aan het bestaande netwerk. Dat kan enkele korte schakelmomenten van hoogstens een minuut opleveren. Tijdens zo’n schakelmoment is het netwerkverkeer onderbroken.

Voor de echte ingebruikname gaan we een uitgebreide test doen die ook van invloed is op de rest van ons netwerk. Deze test voeren we uit in de nacht om overlast te voorkomen. Tijdens de test zullen er enkele schakelmomenten komen tussen netwerkverbindingen die ook voor schakelmomenten in het hele netwerk kunnen zorgen. Deze schakelmomenten zorgen telkens voor onderbrekingen van enkele seconden. We vinden deze onderbrekingen gerechtvaardigd omdat het de enige manier is om een realistische ‘rampenoefening’ te doen. Na deze test weten we ook dat bij een echte calamiteit de onderbreking niet meer dan enkele seconden zal bedragen.