Glesys nere!

alle9134 · 2012-07-07, 17:15

Glesys huvud router har legat nere sedan ca 14:00, nu i skrivande stund två timmar senare ligger de forfarande nere. Till och med deras huvudsida har försvunnit från nätet.

Mitt problem är att jag hostar ett hundratal kunder där så min semester dag käns ganska rutten. Men sånt har man ju betalt för att handskas med :/

Någon som vet hur man ställer in DNS inställningarna så att de känner av om en server ligger nera och då pekar om till nästa server tex www2. som ligger på ett annat hotell.

acidflash · 2012-07-07, 18:31

We have had a total router stop in Falkenberg. We are working on solving the problems, about 70% of the net is now online on reduced capacity.
More updates will come

** Update 16:57
The router problem was in both Falkenberg and Stockholm.
Something has made all our routers to fail at the same time. We are still investigating.

** Update 17:44
There is still big problems.
This is now expected to be 100% solved first Sunday 03:00
More updates will come. We will try updating every 30 mins

**Update 18:10
Most systems are now running ok and is stable.
But we will need to apply more fixes during night, causing the internet connection to be unstable.

Jake.Nu · 2012-07-07, 19:01

Citat:

Ursprungligen postat av alle9134

Glesys huvud router har legat nere sedan ca 14:00, nu i skrivande stund två timmar senare ligger de forfarande nere. Till och med deras huvudsida har försvunnit från nätet.

Mitt problem är att jag hostar ett hundratal kunder där så min semester dag käns ganska rutten. Men sånt har man ju betalt för att handskas med :/

Någon som vet hur man ställer in DNS inställningarna så att de känner av om en server ligger nera och då pekar om till nästa server tex www2. som ligger på ett annat hotell.

DNS i sig självt har inget stöd för detta.
Det du kan göra är att du har diverse ställen som känner av om något är nere och som sedan ansluter till dina DNS´er och uppdaterar zonen (förhoppningsvis har du inte alla ägg i samma korg, alltså att du enbart använder problemleverantörens namnservrar).
En låg TTL är ju då att föredra men det knivigaste är nog att avgöra när något faktiskt är nere såpass lång tid så en uppdatering i DNS faktiskt lönar sig..

Glesys i detta fallet kunde kanske lämnat en uppskattning om hur lång tid det skulle ta att lösa problemet.. Allt över 30-60 minuter kanske kan anses vara ett tillfälle då man kan göra en ändring.

mark.kent@ebutiken.nu · 2012-07-07, 19:22

Hej
Vi har Glesys.
Brukar inte vara så stort problem hos de.
Vi har dock externa namnservrar för visa domän (vårt egen domän t.ex) och failover per automatik (efter ett visst tidsperiod) via dns made easy. (man behöver inte köra per automatik, utan man kan bekräfta efter ett System Monitoring 'down' meddelande från dns made easy om man vill)

Dns made easy har båda, DNS Failover och System Monitoring.
Enkelt för ren www failover. Lite mer kneppigt för databas saker osv..

Även den nya aname record kan vara ytterligare ett alternativ för era kunder.
http://www.dnsmadeeasy.com/technology/aname-records/

jonny · 2012-07-11, 01:07

Låter som ett ganska intressant problem ändå. Någon som vet vad det handlade om lite mer i detalj?

Danielos · 2012-07-11, 09:02

Vad jag förstår kör man mycket open-source på Glesys, även på routrar, och jag skulle tro att man råkat ut för samma bugg i programmet.

Droog · 2012-07-11, 14:09

Mycket bra och transparent avbrottsrapport från Glesys sida. Det skrivet, det är lite väl många olika buggar som samtidigt pajar saker vilket de kommer att behöva bli bättre på.

tartareandesire · 2012-07-11, 14:14

Citat:

Ursprungligen postat av Droog

Mycket bra och transparent avbrottsrapport från Glesys sida.

Absolut, superbra initiativ av Glesys!

Citat:

Ursprungligen postat av Droog

Det skrivet, det är lite väl många olika buggar som samtidigt pajar saker vilket de kommer att behöva bli bättre på.

Jo, det var mycket som gick snett men det var en hel del självkritik också i slutet av rapporten.

Captain Thailand · 2012-07-11, 16:14

Hej,

Jag är inte längre kund hos Glesys (alla mina sajter hostas i USA sedan en tid), men jag håller med om att rapporten var föredömlig.

All heder åt företag som erkänner egna "misstag" och listar en konstruktiv åtgärdsplan.

Björklund · 2012-07-11, 20:23

Citat:

Ursprungligen postat av jonny

Låter som ett ganska intressant problem ändå. Någon som vet vad det handlade om lite mer i detalj?

http://www.glesys.se/file.php?id=110

"Den tekniska beskrivningen på problemet är att vi troligtvis fått en läcka av externa routingregler in i vårt interna nät. (Tänk hela internets alla routrar, laddas ner in i vårt interna nät)."