City nere?
 

Kommer nån in på city network? Alla mina sidor är nere.

Samma här, uppe nu igen dock

Verkar hoppa lite upp och ner snarare

stendött hos mig... undrar vad som händer

Jag var inne för 10 min sedan, då fungerade det bra. Nu kommer jag inte åt sidan längre eller kontrollpanelen.
Ser nu att VPS inte fungera heller. Så det är väl en kabel som gått åt helsike. Synd för CN, det har fungerat så bra den sista tiden, både med FTP och hemsidan/VPS.

Nej det verkar dött..

Inget fungerar här.

Tydligen något med strömmen:

City Network ‏@citynetwork
Vi har fått någon form av strömfel vid utbyte av UPS... Ström är åter. Mer information kommer.

5m City Network City Network ‏@citynetwork
Vi har precis haft en strömspik och allt ska vara på väg uppe igen. Vi ska informera mer om detta på http://cnstatus.com/

11m City Network City Network ‏@citynetwork
Vi har en störning och tittar på vad problemet är. Mer info följer asap.

Strömspikar vid underhåll av UPS:er tydligen.

14:06 Power is back and we are starting to restore functionality to a very large number of physical servers. We believe possibly as many as 1500 physical servers are affected by the outage.

13:48 We have been experiencing a general outage due to powerfailure during maintenance of one of the UPS

Skönt att det finns platser som WN där man kan kolla upp detta snabbt. Skulle in på mailen men det funkar ännu inte :/

Själv funderar jag på att sätta upp en sida som visar vilka Webbhotell som har problem vid ett visst tillfälle men det blir ganska svårt att fixa på ett bra sätt.

Starta upp 1500 fysiska servrar, lär ta en stund. :)

Jepp, allt är nere. Sidorna och mail. Tom https://www.citynetwork.se/ verkar vara nere :( Synd, då det är jäkligtbra hotell! :)

kan ju hända även den bäste :) lurigt när man gör service på t.ex UPS som normalt hanterar sådanthär. jag är skitnöjd oxå i övrigt.

secag - mailen är uppe och fungerar. webbmailen lär ta litet längre. Den stora volymen fysiska servrar gör att det tar tid tyvärr.

Mer löpande info på http://cnstatus.com

Funkar statussidan för er? När jag klickar på "See details" får jag bara upp en lightbox som är helt tom och minimeras direkt.

Vad händer, har inte gått att komma in på deras hemsida www.citynetwork.se på ett par timmar!?

Jag har inga problem att se innehållet: http://prntscr.com/q4zsp

General Outage 2013/01/23 at 1:48 PM

15:17 Shared environment is up. Can take a few more minutes for all sites to be activated. We are testing numerous sites at this time. City Cloud has a couple of chassies for our blade servers that seem damaged from the power spike. We are investigating further if we need to change them completely to new ones from our lab.

14:56 Our shared environment is being worked on and should also be up shortly. There are a few DB-machines that need tending before it should be active again. Geting closer to all virtual machines up in City Cloud.

14:48 80% of virtual machines in City Cloud are now restored. Admin interface still down but will be up shortly.

14:32 Email is restored. Webmail will take a little longer but you can access your email via client now.

14:25 Power is normal and we are working hard at getting all affected machines fully started – including services. This will take some time due to the sheer volume of machines. Some services are up.

14:06 Power is back and we are starting to restore functionality to a very large number of physical servers. We believe possibly as many as 1500 physical servers are affected by the outage.

13:48 We have been experiencing a general outage due to powerfailure during maintenance of one of the UPS

Okej, funkade i Chrome, inte i Firefox. Det borde ni fixa till :) Ett tips är också att testa de större webbläsarna innan ni använder det skarpt.

Jag kör med firefox. Fungerade som sagt hos mig :)

Fast inte Windows?

Windows 7 med senaste Firefox.

Varit nere länge nu.
Är det bara jag som tycker de funkar rätt dåligt hos Citycloud? Gillar väldigt mycket ideen och deras användargränssnitt. Men har flertal gånger sista tiden krashat och sedan kan det ta en dag för dom att få upp saker igen. Och sist fick de inte ens upp vpsen utan återställde den med en 10 dagars gammal backup. Utan att säga något. Så orders försvann och när nya kom in så lades de ju fel eftersom flera dagars ordrar var borta och det blev en jädra kaos...
Sedan att supporten säger att olika saker vad som är fel när man pratar med dom och slarvar bort ärendet så flera timmar försvinner i felsökningen hjälper ju inte..

Det var minst sagt intressant :) Exakt samma här. Jag får 200 men ett tomt svar från varje.

Koden på statussidan är lite tokig såg jag. En länk börjar innan all html och avslutas mitt inne i en div längre ner på sidan. En annan slutdiv dyker upp efter </html> :)

Edit: Testade att avaktivera web developer och firebug. Därefter fungerade det igen, även när de återaktiveras. Vet inte riktigt vad som hände :) Den knäppa koden är dock kvar, möjligt att den ställde till det. Aldrig märkt av några problem med någon typ av lightbox tidigare.

Jag startade just upp min burk manuellt, fungerade bra.

Kan det inte fungera nu, kommer inte in på min my.citynetwork.se någon annan som gör det eller?

Jag kommer in :)

Nu skall allt vara uppe och rulla om jag hajjat det rätt...

Nu funkar inte deras lightbox igen för mig :)

Nåja, nu verkar allting rulla på igen. Tycker de arbetade på snabbt ändå med tanke på hur omfattande problem de råkade ut för.

Onekligen inte en bra dag för oss på City. Lite möten här idag med de bolag som jobbar med hallen - dvs elektriker och bolaget som nya UPS-systemet kommer ifrån m. fl. - för att få mer klarhet i exakt vad som hände. Vi expanderar vår hall och förbereder även för en Zon B-hall för full separation lokalt. Dvs man skall kunna köra klustrad databas tex via två hallar med 10 Gbps utan latency. Vid något tillfälle skapas en strömspik som inte bara sänker en förfärlig massa maskiner - utan tar sönder i alla fall ett 20-tal större servrar - och även blad servrar. Detta sker förstås under en extremt kort period - men tillräckligt för att skapa omstarter samt helt ta ner maskiner. Vi driftar idag drygt 2000 fysiska servrar och ca 6000 virtuella servrar i den hallen. En stor del berördes sålunda. En del fick "bara" omstarter och påverkades minimalt medan vissa påverkades hela eftermiddagen och inpå kvällen. Innan kvällen slog in hade vi dock en klar majoritet fullt fungerande och de sista handlade mycket om att få klarhet i vilka servrar var trasiga och hur kunder då skulle flyttas - eller i värsta fall återställas från backup.

Förloppet beskrivs relativt detaljerat på vår status sida http://www.cnstatus.com (rekommenderar er som är kunder att regga er där så får ni all info mailad till er så fort vi kommer med uppdateringar). Som någon nämnde så när så många servrar dör samtidigt får det lite effekter. Tex fungerar City Cloud som så att en VM kan lätt flytta sig själv till andra hostar om en host dör. Men har du tex 100 hostar som du har som möjlighet att flytta till - och de alla också dör samtidigt - ja då blir det svårare... Förutom att vi bygger en ny Zon (som Amazons availability zoner kan man säga) kör vi igång vår tredje hall för att ha aktiva City Cloud servrar i - inom kort. Lär ge de som önskar möjlighet till väldigt bra arkitektur för att än bättre skydda sig.

Vi lär komma med en post mortem när vi har än bättre bild av just strömspiken och har fått sätta oss med de aktiva arbetarna där...

JonasN - Blev lite förvånad när jag läste ditt inlägg. Vi började tidigt med cloud computing. 2009 öppnade portarna för City Cloud och utan tvekan har vi lärt oss en del saker på vägen om storskalig drift med väldigt många virtuella maskiner. Upptid kan alltid diskuteras och är många gånger individuellt då vi oftast inte ansvarar för OS eller applikationer. Men om man tittar på lite oberoende företag som jobbar med att mäta upptid och prestanda så kör tex Cloud Harmony en hel del tester mot de större leverantörerna. En del är upptiden som mäts - och den dök självklart för oss igår - men ger en indikation i alla fall: http://cloudharmony.com/status - förra kvartalet låg vi på 99.991%. Man skall också veta att få sådana här tjänster tar i beaktning planerat underhåll så i de siffror du ser är även underhållen med. City Cloud är en relativt stor miljö idag dock så det är samtidigt väldigt sällan som alla påverkas samtidigt - så en kund kan ha en bättre upplevelse än en annan tex. Likadant i större bolag - Amazon har varit nere två gånger sedan jul - men det påverkade långt från alla.

Krasher händer - och kan vara många anledningar. Backup är ett ansvar kunden har för sin VPS i City Cloud. Vi tillhandahåller lösningar för det samt att vi tar backup dagligen för vår egen del i lägen som igår. Vi kan sålunda återställa alla maskiner och kör backup till två skilda hallar (Stockholm och Karlskrona). Saker kan självklart gå fel men där har du lite av vår process - och därav min förvåning när jag läste ditt inlägg.

Skulle vara bra om du kan PMa mig lite konto uppgifter så skall jag försöka ta reda på vad som har gått så fel i ditt fall... Tack.

jag har själv en box i City Cloud och har haft under flera år nu, och känner inte igen det Jonas snackar om, det enda problemet som har varit var att ett filträd rasade på en disk för en stund sedan, något som knappast CN kan belastas för.

Då vår backup var äldre än den snapshot CN hade av disken så fick vi utomordentligt bra hjälp av supporten att A: Lägga in data från diskbilden så att sidan kom upp på få minuter igen, B: felsöka och reparera filträdet från den disken som var i realtid: C: återställa data från den rasade disken till drift igen. Allt med 0% dataförlust, och väldigt väldigt nöjda kunder.

Bra support är alltid guld värd!

Jag har bara en fråga. Hade servrarna som gick sönder dubbla nätagg?
Om så spikade strömmen i båda nätaggen eller gick dom ner ändå?

Väldig intressant fråga faktiskt. Dubbla nätagg som bara har en A matning bör risken vara extremt stor att båda agg poffar.

Dubbla nätagg på A + B där bara ena fick strömspik bör inte skadat mer än ena nätagg max om det inte var extrem strömspik.

Men extrem strömspik är väldigt svårt att få, ofta är det då att åska slår ner nästan direkt i utrustning eller UPS exploderar eller någon har kopplat väldigt fel.

Jag vet inte faktiskt. Vet att det mesta vi köper idag och de senaste åren är dubbelt men vissa kunder väljer enkla och vi säljer en hel del dedikerat med enkelt också. Ett val som inte alltid vi gör. Vet att de kommer gås igenom och se om vi så här efteråt kan återanvända dem på något sätt. Tror även att några "troddes" vara sönder men där bland annat mindre delar inte fungerade - som tex nätverkskort som av någon anledning lagt av eller bara agerade konstigt och det funkade helt enkel inte.

Åska kan vi nog ganska säkert räkna bort i det här fallet :)

ok men du kanske vet om ni har A+B ström till de som har dubbla agg? Eller kommer det från samma UPS men med 2 faser?

Samma UPS men olika faser för dessa.

Här kommer lite utvecklad information för de som kan tänkas vara intresserade. Strömspik, som det talades friskt om hos elektrikerna minutrarna efter haveriet, var absolut inte enda problemet. Här finns full incidentrapport:

https://www.citynetwork.se/city-netw...cidentrapport/

Finns även på engelska om någon hellre läser det: https://www.citynetworkhosting.com/c...n/post-mortem/

Ha en bra helg!

Är inte det normala att man gör större arbeten som omfattar hela driftsmiljön under de timmar på dygnet då det är lägst belastning, det vill säga typ vid 2-4 på natten?