[johan1234]

Onekligen inte en bra dag för oss på City. Lite möten här idag med de bolag som jobbar med hallen - dvs elektriker och bolaget som nya UPS-systemet kommer ifrån m. fl. - för att få mer klarhet i exakt vad som hände. Vi expanderar vår hall och förbereder även för en Zon B-hall för full separation lokalt. Dvs man skall kunna köra klustrad databas tex via två hallar med 10 Gbps utan latency. Vid något tillfälle skapas en strömspik som inte bara sänker en förfärlig massa maskiner - utan tar sönder i alla fall ett 20-tal större servrar - och även blad servrar. Detta sker förstås under en extremt kort period - men tillräckligt för att skapa omstarter samt helt ta ner maskiner. Vi driftar idag drygt 2000 fysiska servrar och ca 6000 virtuella servrar i den hallen. En stor del berördes sålunda. En del fick "bara" omstarter och påverkades minimalt medan vissa påverkades hela eftermiddagen och inpå kvällen. Innan kvällen slog in hade vi dock en klar majoritet fullt fungerande och de sista handlade mycket om att få klarhet i vilka servrar var trasiga och hur kunder då skulle flyttas - eller i värsta fall återställas från backup.

Förloppet beskrivs relativt detaljerat på vår status sida http://www.cnstatus.com (rekommenderar er som är kunder att regga er där så får ni all info mailad till er så fort vi kommer med uppdateringar). Som någon nämnde så när så många servrar dör samtidigt får det lite effekter. Tex fungerar City Cloud som så att en VM kan lätt flytta sig själv till andra hostar om en host dör. Men har du tex 100 hostar som du har som möjlighet att flytta till - och de alla också dör samtidigt - ja då blir det svårare... Förutom att vi bygger en ny Zon (som Amazons availability zoner kan man säga) kör vi igång vår tredje hall för att ha aktiva City Cloud servrar i - inom kort. Lär ge de som önskar möjlighet till väldigt bra arkitektur för att än bättre skydda sig.

Vi lär komma med en post mortem när vi har än bättre bild av just strömspiken och har fått sätta oss med de aktiva arbetarna där...

[lazat]

Ursprungligen postat av johan1234

Onekligen inte en bra dag för oss på City. Lite möten här idag med de bolag som jobbar med hallen - dvs elektriker och bolaget som nya UPS-systemet kommer ifrån m. fl. - för att få mer klarhet i exakt vad som hände.

Jag har bara en fråga. Hade servrarna som gick sönder dubbla nätagg?
Om så spikade strömmen i båda nätaggen eller gick dom ner ändå?

[patrikweb]

Ursprungligen postat av lazat

Jag har bara en fråga. Hade servrarna som gick sönder dubbla nätagg?
Om så spikade strömmen i båda nätaggen eller gick dom ner ändå?

Väldig intressant fråga faktiskt. Dubbla nätagg som bara har en A matning bör risken vara extremt stor att båda agg poffar.

Dubbla nätagg på A + B där bara ena fick strömspik bör inte skadat mer än ena nätagg max om det inte var extrem strömspik.

Men extrem strömspik är väldigt svårt att få, ofta är det då att åska slår ner nästan direkt i utrustning eller UPS exploderar eller någon har kopplat väldigt fel.

[tartareandesire]

Ursprungligen postat av patrikweb

Väldig intressant fråga faktiskt. Dubbla nätagg som bara har en A matning bör risken vara extremt stor att båda agg poffar.

Dubbla nätagg på A + B där bara ena fick strömspik bör inte skadat mer än ena nätagg max om det inte var extrem strömspik.

Men extrem strömspik är väldigt svårt att få, ofta är det då att åska slår ner nästan direkt i utrustning eller UPS exploderar eller någon har kopplat väldigt fel.

Åska kan vi nog ganska säkert räkna bort i det här fallet

[johan1234]

Ursprungligen postat av lazat

Jag har bara en fråga. Hade servrarna som gick sönder dubbla nätagg?
Om så spikade strömmen i båda nätaggen eller gick dom ner ändå?

Jag vet inte faktiskt. Vet att det mesta vi köper idag och de senaste åren är dubbelt men vissa kunder väljer enkla och vi säljer en hel del dedikerat med enkelt också. Ett val som inte alltid vi gör. Vet att de kommer gås igenom och se om vi så här efteråt kan återanvända dem på något sätt. Tror även att några "troddes" vara sönder men där bland annat mindre delar inte fungerade - som tex nätverkskort som av någon anledning lagt av eller bara agerade konstigt och det funkade helt enkel inte.

[lazat]

Ursprungligen postat av johan1234

Jag vet inte faktiskt. Vet att det mesta vi köper idag och de senaste åren är dubbelt men vissa kunder väljer enkla och vi säljer en hel del dedikerat med enkelt också. Ett val som inte alltid vi gör. Vet att de kommer gås igenom och se om vi så här efteråt kan återanvända dem på något sätt. Tror även att några "troddes" vara sönder men där bland annat mindre delar inte fungerade - som tex nätverkskort som av någon anledning lagt av eller bara agerade konstigt och det funkade helt enkel inte.

ok men du kanske vet om ni har A+B ström till de som har dubbla agg? Eller kommer det från samma UPS men med 2 faser?

[johan1234]

Ursprungligen postat av lazat

ok men du kanske vet om ni har A+B ström till de som har dubbla agg? Eller kommer det från samma UPS men med 2 faser?

Samma UPS men olika faser för dessa.