[Kocken]

Levonline har flyttat domäner med egna SSL certifikat till en ny server. Men verkar ha glömt att peka om dem.
Det var klart 01.00 i natt enligt deras sida, men vår domän fungerar inte fortfarande.

[SpaceDump]

Det kanske är som så att de inte tänkte sig för och hade lite väl hög TTL på pekarna i DNS?

www.lyckasmedmat.se som jag tippar på att det kan tänkas gälla fungerar i alla fall finfint för mig.

//Anders

[Kocken]

Originally posted by SpaceDump@Nov 5 2008, 09:28

www.lyckasmedmat.se som jag tippar på att det kan tänkas gälla fungerar i alla fall finfint för mig.
//Anders

Ja den kom igång igen efter 8, vet ej hur länge den var nere. men jag upptäckte det vid 6 tiden.
Förra veckan hade de upprepade problem för de som har eget SSL cert. Våra kunder som använder IE fick ett fint meddelande typ: Denna sida försöker ta ditt liv stäng genast webbläsaren. Skoj!

[emilv]

Det var natten till igår vi uppgraderade SSL-hanteringen. Den flytten gick helt utan trassel (ja, vi hade minskat TTL för domännamnen så de var ompekade).

Felet nu var egentligen helt orelaterat och berodde på ett handhavandefel av en av våra tekniker. Av någon anledning fick inte jag reda på felet igår när det skedde (var ledig), men möttes i morse av en stor notering på min whiteboard om att SSL slutat fungera.

Den som trasslade till det är tillbaka på jobbet imorgon och då ska jag ta reda på varför det fick ligga nere så länge.

De som drabbats får kompensation enligt avtalet då vi brutit mot den 99,9% upptidsgaranti som gäller för Royal Class-kunder.

Felen förra veckan berodde på att vårt konfigurationssystem av någon anledning slutade fungera för SSL-certifikat. Varför är fortfarande en gåta. Det är vårt gamla system som vi håller på att fasa ut. Vi tog ett nytt, bättre system för SSL i drift redan för ett halvår sedan men valde att vänta med migreringen av SSL-certifikaten tills det var dags för förnyelse av dem (så att de succesivt flyttas över till det nya systemet). På grund av problemen förra veckan bestämde vi oss för att migrera även de sista kunderna till det nya systemet.

Det nya SSL-systemet på Levonline har en rad fördelar. (Obs, tekniskt dravel mest...) Tidigare körde vi på en decentraliserad modell där vi hade fem IP-adresser i varje kluster dedikerade till SSL-certifikat. Varje certifikat kräver en egen IP-adress. Detta har fungerat i många år eftersom efterfrågan inte varit så stor. I vintras ökade dock efterfrågan enormt i ett enda kluster, och adresserna tog genast slut. Vi lyckades skaka fram några överblivna som vi inte använt i det subnätet men det räckte inte. Istället för att fortsätta skaka fram IP-adresser så bestämde vi oss för att plocka ut en ny serie IP-adresser, satte upp ett proxysystem där all SSL-hanteringen sker i ett eget dedikerat funktionskluster som endast sköter SSL-anslutningen. Webbläsaren ansluter mot våra proxies, som hämtar svaret från rätt webbserverkluster, krypterar med rätt certifikat och skickar svaret tillbaka till webbläsaren (även anslutningen internt i vårt nät är krypterad, men med ett gemensamt ogiltigt SSL-certifikat så proxyn avkrypterar och krypterar om meddelandet).

Webbläsare <--> SSL-proxies <--> Webbserverkluster

Tidigare har vi även haft problem med att hålla kolla på när certifikaten går ut. Vi hade en textfil utan standardiserat format lagrat i en intern mapp. Det krävdes en människa som gick igenom dessa filer manuellt (eftersom formatet inte var standardiserat) och kollade när certifikaten skulle gå ut. Nu när hela hanteringen sköts av ett dedikerat kluster har vi även kodat ett gränssnitt för installation, hantering av lösenord, ordernummer hos utfärdaren, utgångsdatum och liknande.

Kontentan är att vi nu har mycket bättre koll på hela hanteringen av SSL, vilket gör att vi kan gå ut i god tid med påminnelse om utgångsdatum samt även leverera snabbare efter att vi fått in en beställning. Så fort jag utbildat min kollega i hur det fungerar, that is... <_<

(Oj, wall of text. Jag har verkligen nördat ner mig för mycket i det här systemet.)

[emilv]

Efter vidare undersökningar har vi kommit fram till att detta felet slog in kl 05:17 igår och var löst kl 08:08, alltså en nedtid på knappt tre timmar igår morse. Detta är fortfarande längre än den 99,9%-garanti som gäller för Royal Class.

[Björklund]

Originally posted by emilv@Nov 6 2008, 11:21
Efter vidare undersökningar har vi kommit fram till att detta felet slog in kl 05:17 igår och var löst kl 08:08, alltså en nedtid på knappt tre timmar igår morse. Detta är fortfarande längre än den 99,9%-garanti som gäller för Royal Class.

Kanske läge att ändra i signaturen när du svarar och förklarar saker om din arbetsgivare på arbetstid?

"Tekniker, Levonline webbhotell, men ej här i tjänsten"