Hoe een internationaal architectuur- en ingenieursbureau een grote IT-storing vermeed en tot 1PT2T750,000 per dag bespaarde

IT en communicatie

De nachtmerrie begint. Een geplande IT-upgrade in het weekend dreigde maandagochtend plotseling uit te draaien op een totale uitschakeling van het IT-systeem. Elke IT-storing die de bedrijfsactiviteiten dreigt stil te leggen, is het soort potentiële nachtmerrie dat IT-managers 's nachts wakker houdt, maar nu gebeurde het echt.

Het IT-team van een internationaal architectuur- en ingenieursbureau had het hele jaar door de geplande upgrade gepland. Het plan omvatte een volledige upgrade van het kernnetwerk ("rip and replace"), serveronderhoud en een software-upgrade die de overstap naar een nieuwe leverancier inhield. De IT-infrastructuur van het bedrijf bevindt zich en wordt beheerd op het hoofdkantoor en ondersteunt werknemers in kantoren in de VS, Europa en het Caribisch gebied.

De IT-directeur hield op afstand toezicht op het project, dat werd uitgevoerd door twee IT-medewerkers van zijn bedrijf en de leverancier. Maar toen het werk niet vorderde zoals verwacht en de problemen zich opstapelden, ging de IT-directeur naar het team, omdat hij vreesde dat de systemen niet hersteld zouden zijn voor het begin van de werkzaamheden op maandag.

De directeur wist dat een totale uitschakeling van het IT-systeem het bedrijf tussen de $500.000 en $750.000 per dag kon kosten.

IT is de kern van de workflow van het bedrijf. De verschillende locaties zijn afhankelijk van computertoepassingen die worden gebruikt door de architectuur-, engineering- en bouwteams. De werkzaamheden voor de upgrade waren op vrijdag begonnen en zouden naar verwachting zaterdagmiddag klaar zijn. Toen de IT-directeur op zaterdag arriveerde, had het team meerdere problemen ondervonden en konden de servers geen verbinding maken met de opslag. Hoewel het netwerk grotendeels stabiel was, maakte de primaire server stack geen verbinding met de data array, een absoluut vitale bron voor het bedrijfspersoneel op maandagochtend.

Het was onmiddellijk duidelijk dat de nieuwe leverancier de problemen niet systematisch aanpakte en het team in de verkeerde richting had gestuurd. De IT-directeur en zijn senior architect hadden enige ervaring met Kepner-Tregoe Problem Solving and Decision Making (PSDM) en hadden een PSDM-training gevolgd. Zij besloten de KT-aanpak te gebruiken om de controle terug te krijgen en de beste weg vooruit te vinden. Ze richtten een war room op en gebruikten KT PSDM werkbladen om IT teamleden op afgelegen locaties in te schakelen zodat zij inzichten konden verschaffen. Vertrouwend op zijn KT PSDM training en ervaring, wist de IT directeur dat in plaats van te reageren op de problemen, zijn team en de leverancier elk probleem methodisch moesten identificeren zodat ze het duidelijk konden begrijpen.

Als onderdeel van de initiële situatiebeoordeling werd het duidelijk dat de nieuwe leverancier zich te veel richtte op een probleem dat alleen op het hoofdkantoor leek te bestaan en geen problemen op andere locaties. De KT-methodologie stelde hen in staat dit afzonderlijke probleem als een uitbijter te identificeren.

Uiteindelijk kwamen ze erachter dat het glasvezelnetwerk in de regio dat weekend een grote storing had gehad die niets te maken had met hun bestaande IT-problemen. Het team merkte het probleem op, maar ging verder met het oplossen van de dreiging van een totale IT-stop. Door zich te richten op het uitzonderlijke probleem van de lokale storing werd onnodige complexiteit toegevoegd en werd het team afgeleid van zijn grotere, belangrijkere taak, namelijk het oplossen van de meervoudige systeemproblemen die waren ontstaan. Op maandag had het team de meeste problemen opgelost, waren de netwerkkern en de servers gestabiliseerd en was het systeem weer online.

Het merendeel van de IT-medewerkers van het bedrijf is nu gecertificeerd in een KT PSDM-programma dat wordt gegeven door de IT-directeur die een gecertificeerd KT Program Leader is geworden. De meesten van hen zijn opgeleid door het ondersteunend personeel dat standaard helpdesktelefoontjes beantwoordt en in de Amerikaanse vestigingen van het bedrijf werkt. Naarmate hun capaciteiten zijn gegroeid, zijn zij in staat geweest om het groeiende bedrijf te bedienen zonder de noodzaak van extra IT-ondersteunend personeel, wat besparingen oplevert in zowel opgeloste problemen als gecontroleerde personeelskosten.

De IT-directeur is enthousiast over de "train-de-trainer"-aanpak van KT, die hem in staat stelt zowel de gehele IT-staf als niet-IT-medewerkers te trainen, en te fungeren als facilitator bij grote problemen. De KT-processen zijn nu geïntegreerd in hun ticketsysteem, waardoor probleemoplossers worden geholpen bij het opstellen van een probleemomschrijving en escalaties worden verbeterd. Toen het geïntegreerde systeem werd gelanceerd, werden probleemescalaties drastisch verminderd dankzij betere communicatie en de systematisch georganiseerde informatie en gegevens die de oplossing aandrijven.

KT PSDM gaf me een basis om een succesvol probleemoplosser te zijn... Ik ben een groot voorstander van KT omdat ik het zo vaak en in veel situaties heb zien werken.
-Directeur van Informatie Technologie

De waarde van KT PSDM tijdens de bedreigde systeemupgrade zal de manier waarop IT-projecten in de toekomst worden uitgevoerd verbeteren. De KT-methodologie heeft niet alleen geholpen bij het identificeren en oplossen van de problemen tijdens de upgrade, maar wordt nu ook gebruikt bij het plannen van toekomstige IT-projecten. Naast het vermijden van een totale uitval en de aanzienlijke kosten van een dergelijke verstoring, heeft het IT-team vertrouwen in hun vermogen om meerdere, complexe problemen aan te pakken en om toekomstige uitval te voorkomen.

 

Wij zijn experts in:

Neem contact met ons op

Voor vragen, details, of offertes!