Vervanging van core switches in een draaiende productieomgeving – Technical Fact
Aan de hand van onze technical fact reeks geven we je een inkijk in hoe onze technical engineers te werk gaan. Ze staan voor je stil bij problemen die ze tegenkomen in het werkveld, geven een inkijk in onze services en spelen in op hot topics uit de IT-wereld. Dit met als doel jouw en je IT-team te ondersteunen. In dit technical fact kan je meer lezen over hoe onze engineer core switches heeft vervangen in een draaiende productieomgeving.
Hoe vervang je de core van je productieomgeving zonder merkbare downtime?
Voor deze uitdaging stonden we toen de end-of-life datum naderde van een groot deel van de switches in onze datacenters. Dit bood natuurlijk niet alleen een technische uitdaging, maar tegelijkertijd een uitgelezen kans om onze huidige opstelling te verbeteren en de verouderde configuraties op te schonen.
Onze to-do-lijst zag er als volgt uit:
- Core-switches vervangen in beide datacenters
- Management-switches vervangen in beide datacenters
- WAN-switches migreren naar core-switches in datacenter A
- Firewall vervangen in datacenter A
Van een oude mix naar een gestroomlijnde standaard
In onze oude opstelling bestonden beide datacenters uit:
- één van de firewalls,
- twee core switches voor alle bedrijfskritische verbindingen,
- één management-switch voor alle out-of-band verbindingen.
In datacenter A was nog extra aanwezig:
- twee colocatie-switches om klantenapparatuur te kunnen aansluiten in onze racks,
- twee fysiek gestackte WAN-switches voor publieke connectiviteit.
Omdat we op dat moment meerdere merken van switches gebruikten, wilden we deze standaardiseren naar één merk en de core-configuratie in beide datacenters identiek maken. Dat betekende: twee core-switches, één management-switch en één firewall per locatie.
In datacenter A kozen we ervoor om niet langer een fysiek onderscheid te maken tussen LAN (core-switches) en WAN, maar alles aan te sluiten op de nieuwe core-switches en dit virtueel af te handelen.
Voor onze core- en colocatie-switches kozen we voor vPC (virtual port-channel) in plaats van fysiek gestackte switches. Waarom we deze keuze maakten? Het geeft ons:
- hogere redundantie
- de mogelijkheid om beide switches afzonderlijk te beheren en te upgraden
- minder risico bij onderhoud
Non-stop beschikbaarheid tijdens de migratie
Een van de belangrijkste aandachtspunten tijdens de werkzaamheden was dat de omgeving beschikbaar moest blijven. Dit betekende dat de oude core-switches pas uitgezet konden worden zodra alle poorten waren gemigreerd naar de nieuwe core-switches.
Omdat alle kritische verbindingen in de oude opstelling al redundant waren, kon dit eenvoudig worden opgelost door een “migratielink” aan te leggen tussen de oude en de nieuwe switches en de verbindingen vervolgens één voor één over te zetten naar de nieuwe omgeving. Belangrijk in dit verhaal is wel dat je STP configuratie helemaal op punt staat alvorens je deze link actief maakt.
Onze firewalls draaiden reeds in een actief-actief configuratie, waarbij één van de firewalls een hogere prioriteit had en dus als “primair” fungeerde. Bij het wisselen van firewallverbindingen is een gecontroleerde failover naar de firewall in het andere datacenter altijd aan te raden en hebben we deze ook zo uitgevoerd.
Ons stappenplan:
-
Voorbereiden: De configuratie voor de nieuwe core-switches werd voorbereid. vPC werd opgezet tussen de apparaten en de verbinding werd getest.
-
Opschonen: De huidige configuratie van de oude switches werd gecontroleerd; verouderde of overbodige instellingen werden weggelaten. Deze nieuwe configuratie werd gevalideerd en toegepast op de nieuwe switches.
-
Migreren: De migratielink werd aangelegd tussen de oude en nieuwe switches. De verbinding werd getest en poorten werden één voor één overgezet. Tijdens de migratie werd een constante ping ingesteld om de connectiviteit te monitoren.
-
Firewall vervangen: Aangezien er een RMA (vervanging) nodig was voor de firewall in datacenter A, werd besloten deze meteen tijdens het onderhoud uit te voeren. Zoals reeds gezegd was dit een optie omdat de firewalls in actief-actief configuratie draaiden en de firewall op afstand ingesteld was als primair.
Het resultaat: klaar voor de toekomst
Na de werkzaamheden die we hebben uitgevoerd beschikken beide datacenters over een eenvoudig beheersbare, volledig redundante en up-to-date infrastructuur. Zo zijn we weer klaar voor de toekomst!
