Datahall
 

Om man skall byggaen helt ny datahall, va där det för krav som gäller anser ni?
Vad finns det för för resp nackdelar?

Dubbla dieselgeneratorer med tank för kontinuerlig drift. Finns det något alternativ för detta?
Dubbla UPS med extra batterier. En stor central UPS eller dubbla små i varje rack? För/nackdelar med e olika varianterna?

Skalskydd, väggmaterial? Tjockleken är väl ändå inte avgörande utan att det är olika material (Järn/Sten/trä) så man inte kan använda en och samma klinga.
Hur påverkar nödutgångar skalskyddet?

Brandsläckningssystem. Här kan jag själv för lite, men bra med övertryck så rök inte trcycks in i hallen. Vad mer?

Passersystem som loggar besökare och olika rärttighetszoner.

Innerväggar för uppdelning, för/nackdelar?

Kylning skall så klart vara redundant, men hur? Dubbla rör med kylmedia, dubbla kylaggregat eller två dubbla system hela vägen? Om det är sjövattenkylt tror jag dock det räcker med en sjö *S*
Kyla via golvet, taket eller allmänt i rummet? För/nackdelar med det? Golvkyla e väl det vanliga men är det effektivt nog för dagens kompakta bladservrar etc?

Ström självklart A+B, men hur beräknar man? Skallman ta hänsyn till MAX för alla rack samtidigt, eller likt webkonton en viss överberäkning?

Om man bygger, någon för eller nackdel att bygga 50 kvm mer än man behöver? Driftskostnaden bör väl inte bli så stor extra?

Arbetsplats direkt i anslutning till hallen, i hallen eller på annat våningsplan?

Minst dubbla fiberlinor med fysiskt olika ingångar räcker det eller krävs trippla?
BGP routingen, enbart via Cisco hårdvaruswitchar eller mjukvarulösning?

Neonljus eller LED för att skapa hype? *S*

Kul att få igång en diskussion, tror vi sitter på mycket smalad kunskap på forumet.

Allt är en fråga om kostnad, budget sätter ju hur bra det blir.

Viktigaste är att man INTE överbokar något, är oftast då det brukar sluta med problem eller man sitter fast och inte kan bygga ut på ett vettigt sätt om man gjorde planeringen dåligt från början.


Börja planera för placeringen, inte göra som K företagen (Loopia/fsdata som gillar bygga i k-märkta hus)

Eller även inte göra en Surftown, bra placering utan risk för vattenparty.

Bygg alltid högt och även om du bygger där du är högt uppe se till att bygga ändå någon halvmeter förhöjning från marken.

Ska man ha dubbla generatorer och UPS så ska dom vara helt separata ställverk så dom inte ska kunna skada varandra.

Alltså helt separata A + B matningar, man vill ha centrala UPS och inte små UPS.

Vill man vara extra säker så centrala ups och små ups efter, för har ju hänt att det blivit extrema överspänningar som slagit ut ups och allt efter. Inte säkert dom små ups efter skylla skyddat mot det ändå men möjligen beroende på hur stor överspänning.

Kyla är stor kostnad, golvkyla och varma o kalla gångar är vanligast. Är det rack som drar mycket så brukar man även ha kylning direkt till racket i ett slutet system.

Själv kör man core på A + B 48VDC samt dubbla 6500 med dubbla supervisor.

Så är byggt så att 50% av varje chassi kan gå sönder utan avbrott, samtidigt som man kan uppgradera mjukvaran utan avbrott alls (några ms avbrott)

Samt flertal separata länkar som går åt flera olika städer, har skilda anslutningar som går i både iponly,tdc,telenor,tele2 fiberringar. Så är både aktiv och passivt skilt.

Om du är seriös ska du kontakta något av företagen som bygger hallar (och dess
komponenter) - APC, Coromatic, Eaton, Rittal, etc.

Räkna med att du kan behöva någonstans runt 50.000-100.000/kvm för att bygga
en bra hall.

När det gäller separering A+B och kyla så är det dubbla system rakt igenom som
gäller. Strömmatning till hallen från 2 håll, olika vägar under golv/tak, etc. Ett rack-
skåp som rasar igenom en golvplatta ska inte kunna slita av några ledningar som
sänker hela hallen.

http://www.anchor.com.au/blog/wp-con.../sun_racks.jpg

Intressant tråd, kommer att följas :)

Tack för ditt uttömmande svar, självklart intressant läsning.
Jag kan dock inte förstå varför du skulle vilja ha dubbla ställverk? Känns ologiskt.

Varför inte små UPS? Ser en fördel med att kunna ha ett antal extra "på hyllan" för att snabbt byta ut. Övervakning görs ju ändock tämligen enkelt.
Som du sa själv, största felet är att bygga för litet och med en stor central UPS måste du ju ta hänsyn till 100% utnyttjande av varje höjdenhet på maximalt antal rack även om du kanske i början bara utnyttjar 20-30% av lokalen. Blir initialt en onödigt stor investeringskostnad.
Men ge mig gärna nackdelar och fördelar, jag är övertalningsbar. *S*

Räcker verkligen varma/kalla gångar till dagens täta SAN/bladservrar? Jag har förstått att de flesta ändock kör på detta upplägg, men om man nu kan ha möjligheten att styra och börja från början, skall man göra på samma sätt idag som man gjorde för 5-10 år sedan?

Jo, minst 2-3 separata leverantörer med BGP, men vad menar du med "går till olika städer"? Misstänker du menar att inkommande fiber skall vara fysiskt skilda från varandra. Trodde det räckte dom var skilda till de centerala gemensamma NOC där det då finns flera oberoende ISP och deras egna ringar.
IP-Only har jag jobbat med många år och har enbart gott omdöme om dom.
Det är väl bara förbjudet med egenreklam och inte att ge andra bolag beröm hoppas jag? Om inte redigerar jag självklart mitt inlägg omgående.

Självklart kontaktar man de leverantörerna, men det hindrar ju inte att man själv vill lära sig mer för att kunna kravställa på bästa sätt, det är väl seriöst det med?

Vilken underbar bild och du påpekade ju det självklara, dra ena matningen i tak och andra i golv så du får en form av extra redundans på det sättet, smart!

Skall även brandsläckningssystemet vara redundant?

Tyckte nog din prisuppskattning var orimligt hög om jag skall vara ärlig, även om det så klart alltid kostar mer än man från början trott.

Att tala gott om en leverantör är såklart inte förbjudet:)

Sen tror jag att det patrikweb menar är att de är fysiskt åtskilda och går till näthubbar i olika städer, eller?

Hehe! Jo, såg bilden i veckan nånstans på IRC och den kändes så klockren just för denna tråd.

Det är nog upp till dig. Osäker på hur datacenters brukar göra då brandsläckningen är lite som en försäkring - du betalar gladeligen men vill aldrig använda den.. Patrikweb har nog mer koll på den biten.

Med tanke på att en liten 40 kVA APC-UPS kostar ett par hundringar och du behöver 2 så
kostar det rejält mycket deg. Nu är APC en liten dyrare tillverkare men vi är väldigt nöjda
med deras support så det känns som välinvesterade pengar.

Och 40 kVA kommer man inte så värst långt på.

Sen tillkommer dieselgenerator/er för kanske en hundring eller två. Allt beror såklart på hur
stor hall du tänker bygga. Ju större hall desto lägre kvadratmeterpris såklart.

När det gäller kyla så är det "senaste" att bygga HACS (Hot-Aisle Containment System) där
man stänger in den varma gången med antingen glasdörrar eller industridraperier man ofta
har vid lastportar. Sen har man utsuget precis ovanför.

För att ytterligare öka kyleffektiviteten kan man även stänga in den kalla gången för att kunna
garantera att all kyla verkligen passerar serverracken och inte sticker någon annanstans.

För att få ner kylkostnaderna ska man självklart använda vårt kalla klimat så mycket det bara går.

EDIT:Just det - ställverken. Eldistributionen behöver såklart vara redundant A+B och då innebär
det i praktiken redundanta ställverk (både hos dig och att strömmen kommer från olika verk ute
på stan/skogen.

Nätverksmässigt så behöver kablarna vara åtskiljda så långt det går. Du nämner IP-Only och även
vi är mycket nöjda med deras leveranser. Du kan ju köpa deras redundans för att garanteras att
dina två linor från dem aldrig korsar varandra i deras nät.

Telenor/TDC/IP-Only ligger i samma diken så för redundansens skull bör du satsa på Telia som #2.

Du menar väl ändå sek och inte kvm? :)

Det är väl SEK/kvm som avses.

Nej, han menar (per) kvm. Däremot är det givetvis SEK som avses med siffrorna framför.

Ja precis, kronor per kvadratmeter. Det går alltid att få både ner och upp men man kan
se det som ett litet riktvärde på hur mycket det faktiskt kostar att bygga ett datacenter
(med nya komponenter). Dieselgeneratorer kan man ofta köpa beg. kanske även kylsystem.

Nya BGP-routrar kostar också några hundringar...

Två UPSer går loss på typ 600 beroende på märke och storlek
Släcksystem 400
Kyla 100 för 5-6 rack om man kör Rittals direkt in i racken
Dieslar 2 st går loss på 500
Två BGP routrar 300
Datagolv 200 (Beroende på yta så klart)
Elinstallation 300
Summa 2,5 mille.
Skall vi köra på din kalkyl på 50-100 per kvm blir hallen alltså 25-50 kvm, känns mer som ett kyfe. ;)
Självklart tillkommer skalskydd men vi pratar hundringar även för det, så jag kan inte komma upp i dina kalkyler, eller så missar jag något väsentligt?
För med ovan summor och 100-200 kvm hall blir det ju "bara" 10-25 per kvm.

Enligt släcksäljaren är det onödigt med dubbla system, det är kopplat till larm även för "malfunktion" och är oftast kopplat till vaktbolag/brandkår etc.

Rätt val av leverantör är viktigt, 160 kVA från Rittal går på typ 300 och blir den enskilt stora kostnaden. APC är ju ett bra märke dom med och kul att höra att ni är så nöjda med dom som leverantör.
Btw, hur långt räcker era 40 kVA? Till 10-20 rack?

Nu lät det intressant, var kan man få veta mer om detta? Det jag hört är Rittals vattenbaserade "nära källan kylning" som läggs direkt intill racken för att effektivare kyla högdensitetsrack med bladservrar/hårddiskSANlådor.

Inkommande ström är ju inte så viktigt det är redundant om man har livrem och byxhängslor i form av UPS/Dieslar tycker jag nog?

Ja, Telia/IP-Only är nog det bästa kombination man kan få både ur prestanda och redundans misstänker jag.

Det beror ju på vilken typ av hall man har behov av. Har du ett behov av att hallen ska kunna rulla på även om det blir långa strömavbrott i inkommande matning så ja då behöver du dieslar om du inte har ett eget kraftverk av annan sort.

På mitt jobb har vi en väldigt grym och rätt avancerad reservkraft som förser hela verksamheten med avbrottsfri (nåja, en blipp kan det bli men den tar ups:erna) kraft. Det kostar otroligt mycket att ha redundant kyla och kraft och frågan är om det verkligen är värt det. Det är faktiskt oftast billigare att bygga två hallar på olika lokationer och spegla servrar/data än att köpa in och underhålla dieslar etc. Dessutom så måste man fråga sig vilka som kan komma åt hallen om dina leverantörer har slocknat pga. långvarigt elavbrott.

Med risk för att det kommer att klassas som egenreklam (ta då bort inlägget) så testar jag faktiskt den billigare lösningen med speglat data och kostnaden blir mer än halverad mot att ha servrarna i en hall med riktig redundans. Hittills har det fungerat väldigt bra och det enda som var krångligt var att lösa datareplikeringen på ett effektivt sätt.

Vi driver ingen egen hall och kan därför inte svara hur långt de räcker.

Läs på www.datacenterknowledge.com.

Allt beror på hur man vill sätta upp sin hall. Ström och nät från två olika håll är väl ganska
standard idag..

Man kan komma undan billigt och betala precis hur mycket som helst. Sen tillkommer
förstås hela lokalen. Ska du hyra den eller köpa loss den?

Ett hyreskontrakt för ett datacenter måste vara skrivet på ganska många år - kanske 10 år.
Annars får du köpa kåken... Det är inte så lätt att lägga ner allt efter 5 år när den är
omodern utan då blir det till att uppgradera utan att kunderna störs alltför mycket.

Men om vi säger så här. Hur stor hall vill du bygga och hur billigt tror du att du kommer undan?

Det finns flera på detta forum som byggt egna hallar och de lär kunna svara ja eller nej.

Kul att vi är överrens om något! :)

Annars är Westmans idé väldigt intressant.

Är ju ingen egenreklam utan ren teknikinforamtion i ett ontopic ämne. ;)

Hur kostnaden blir beror ju så klart på hur mågna SAN/Servrar du har per hall vilket som blir mest ekonomiskt fördelaktigt.
Det kostar ju att köpa flera SAN, servrar och licenser i dubbel upplaga med.

Inget är bestämt utan enbart i planeringsstadiet men det blir ett hyreskontrakt, men minst 8 års kontrakt då man inte gör en så stor och tung investering på kort tid.
Aktuell kåk har jag nog aldrig råd att köpa. *S*

Lokalen är 170 kvm och det finns redan dubbla dieselagg som vi kan dra matning till UPS rummet bredvid där vi avser ställa två UPS på 160 kVA för redundans. (Kostnad 600 plus 50 för installation är budgeterat)
Själva hallen står fastighetsägaren för skalskyddet och det ingår i hyran, dock får vi själv betala för specialanpassning som datagolv, släcksystem och specialkyla. Lokalen har tre kylaggregat för rumskyla på 6kW styck vilket inte täcker en fullbelagd datahall. Med ett extra mindre aggregat har lokalen 20 kW kylkapacitet. Det bör räcka till 3-4 rack från början.
Datagolv är budgeterat till 250 inkl installation.
Elcentral och spridningsuttag är budgeterat till 100 plus 150 för installationen.
Släcksystem har vi fått offert på 400 inkl installation, är ett VESDA.
Vi kommer inte ha full beläggning i hallen utan budgeterar att komplettera med "racknära kyla" från Rittal som kostar 90 för 30 kW och räcker till 6 normalfyllda rack. Dessa kommer vi köpa löpande efter behov.
Passersytem tillhandahåller hyresvärden.
Kameraövervakning kostade 10 genom Securitas och sen en tusing per månad för övervakning/larmhanteringen.

Så om vi summerar det så hamnar vi på en investering på 1,7 miljoner totalt, vilket ger oss en investering på 10 000 per kvadratmeter. Sen tillkommer hyran med totalt 50 men då ingår 250 kvm fina kontor med havsutsikt. ;)
Vi räknar med att kunna få plats med 70-100 rack i hallen.

Kan det låta rimligt?

Ja, men det kan man ju komplettera med ändå. ;)
Här borde några aktörer samarbeta och erbjuda den formen av redundans, tror många har lite utrymme över i sina hallar och därmed kan man gå ihop och få redundansen utan någon direkt kostnad.

Låter som ett bra pris ni kommit fram till. Vad blir driftskostnaderna för kylan? Tänkte hur
bra kylaggen är och om det är frikyla utifrån eller 100% kompressor/AC?

Vad har lokalen används till tidigare? Låter som ett apparatrum av nåt slag?

Just det. Självklart ska ni ha låsbara skåp. Ser tyvärr lite då och då hallar som kör med öppna
stativ. Funkar kanske när man äger all utrustning själv men inte när man tar in kunder*.. :)

* vilket jag antar ni ska göra?

Havsutsikt och datorhall det låter inte så bra ihop för mig :P

Det kanske är högt på en klippa, 30 m.ö.h... :)

det är vattenkylning från havet så kylan skall fungera.

Just den delen har varit ett apparatrum, men det har funnits datahall tidigare, tyvärr tog förra ägaren med sig de delarna, men dieslarna blev kvar.

Jo, Rittals skåp har kodlås på alla dörrar. Tanken e nog att vi skall försöka få in en kund eller två. *S*

Alla kanske inte vill ha sin datahall i en källare som kan bli vattenfylld? ;)
Eller så är fastigheten en sutteräng med berg i baksidan för datahall och havsutsikt för kontoren på framsidan? :)


Är det inte sådant som räknas som frikyla? :D

Fast om allt är dubblerat så behöver man inte köpa en dyr lagringslösning med höga årliga licenskostnader utan man kan köra med gratisprodukter eller relativt billiga lagringslösningar. Det är ju i slutändan behovet som styr och hur många gånger behöver man support för miljonbelopp under ett år?

Jag slåss rätt hårt för att man ska sluta köpa saker bara för att de har supportavtal som lovar mycket och istället se på vad det kostar kontra att ha andra lösningar. Det är t.ex. ren idioti att köpa 4-timmarssupport på servrar om man har många av samma sort, då är det mycket billigare och effektivare att köpa en extra och ha på hyllan och i stället köra med next business day eller liknande.

EDIT: Kan tillägga att "fullagring" (sån man bygger själv med hjälp av köpt programvara) med samma grundfunktionalitet som IBM:s XIV kostar en 1/10 i inköp och en 1/50 i årlig licenskostnad.

Det låter ju som en riktigt schysst grej. Glöm inte fixa alla miljötillstånd och liknande.

Jo, man kunde nästan gissa det. Inte så vanligt att ramla över kontorsbyggnader med dieslar
ståendes annars. :)

Gott. Det ger ett seriöst intryck och bra säkerhet. Som hallägare säljer man ofta hallen. Det
är det som är enklast att visa upp för potentiella kunder. Tekniker kan förstå annat men det
är inte dem som bestämmer.

Där håler jag till fullo med dig. Billigare att köpa 5 servrar med NBD än 4 med 4h. Dock är det itne alltid man kan köpa dubbla SAN och då e det så klart vettigt emd 4h support.

Absolut kan man spara enorma pengar på att bygga själv. Jag har själv jobbat 3 år på Svenska PC fabriken och byggt både servrar och arbetsstaioner, men ibland tröttnar man på att bygga själv och hellre vill betala en slant och kunna ringa och säga "Hallå, fixa, det fungerar inte. " ;)

Jo men är det värt 2 - 3 årslöner? Det jobbet betalar i licenskostnad för XIV-miljön motsvarar 2,5 välbetalda teknikers årslöner inkl. avgifter. Dessutom är support inte av "hallå, fixa"-sorten. Det är snarare att det är vi som måste felsöka som dårar och överbevisa IBM om att det faktiskt är fel på deras hårdvara eller mjukvara.

Då är det kanske IBMs inställning det är fel på?

Jag har jobbat mot både HP och Lenovo och där var det inga som helst problem att ringa och säga "Skiten funkar inte, laga". Sen ville de ha ett gäng loggar, kanske att man startade om skiten. 3h senare kommer det en snubbe med en kartong och fixar biffen.

I princip så håller jag med dig om att bygga sin egen lösning kan kännas mer ekonomiskt, men jag tror att man på sikt får kämpa mer med att övertyga potentiella kunder, arbetsgivare etc om att det är en bra idé, än man faktiskt får ut av det. Dålig "bang for the buck" konvertering liksom. Sen finns det ju klara fördelar med att köpa en lösning, hur många DIY system klarar att flytta filer till olika diskar beroende på hur ofta de accessas?

Med bygga eget menade jag inte att man skulle skriva mjukvara själv och bygga lagringen från scratch utan att man köpte vanlig serverhårdvara och en SAN/NAS-mjukvara med HA-modul.

Det pris vi fick a Dell för 4 timmars mission criticalSLA var 12 för 3 år vilket ger en årskostnad på 4 000. Utgår från att du inte anser den summan omfatta 2 välbetalda årslöner? ;)
Jag är nöjd med min årslön och priset för hela SANet motsvarade några knappt en årslön, med hårdvara, licenser och SLA.
Just "mission critical" innebär att dom är där på 4 timmar utan förundersökning.

SAN bör man köpa med 4h mission-critical ja. Det handlar om småpengar i sammanhanget
(om man nu inte köper IBM :))

Ena LED-lampan (eller nåt i den stilen) var trasig i ena PSU:n i vårt SAN när den kom.
Allt fungerade perfekt (fläktar, ström) men LED'en som skulle lysa var släckt helt enkelt.
De flög ner en ny PSU från Stockholm via Jetpak som kom några timmar senare.

Det var en Carlsberg? Worth waiting for. ;)

Har inte erfarenhet från flera hallar utan bara från den på jobbet och vi kör med A-B matning till varje server, UPS'erna håller enbart hallen vid liv och inte resterande huset, fast vi kör med små apc ups'er ute i varje switchskåp också då de inte gillar strömspikar. Diseln kommer igång några sekunder efter att vanliga matningen försvinner, så huset slocknar och sedan lyser upp igen efter ett par sekunder, skrivbordslampor osv känns inte som critical och större delen av användarna kör lappisar idag så de är lite mini ups insite så att säga. Men själva hallen har alltid usp+disel. Vet inte hur många kubik tanken är men skall räcka att hålla igång huset "1000 arbetsplatser, hall osv osv" i en vecka. dubbla BigIp f5 lastbalanserare och dubbla nätanslutningar, dubbla check point fw. Mja man dubblar de man kan. Själva maskinparken är 99% hp, från standard pizza kartongerna, blade, san, backuprobotar.
Men vi kör ingen spegling av data till annan plats utan vi lagrar månad/år backuper i esd bunkern hos riksarkivet.

Kylanläggningen kan jag inte uttala mig mycket om men vet att om nått knasar med den så går de larm till larmcentralen direkt som i sin tur ringer service. Luftmatning sker från golv och vissa taktrummor.

Carepack och service för alla grejer kan man köpa i mängder, man får nog lägga sig på en nivå som passar verksamheten då de lätt springer iväg, men köper man ett san för mille så kanske man inte snålar på carepack. Man kan köra extra övervakning som hp-sim som i sin tur rapporterar till hp om nått knasar, typ att man får ett samtal från dem "hej psu'n i server X har pajar, vi skickar en ny".

neh nu får jag sluta yra.

12000 för en SAN-miljö? Du menar kanske för en "liten" SAN-produkt. Prova med vad kostnaden blir för ett HA-SAN och lägg gärna till metroklusterfunktionalitet.

Inte för SAN utan för 4h tillägget...

Ja det var det jag menade. 4h för en server är för det mesta ett påslag på mellan 10 - 20% och för 100000 får man inte ett speciellt stort SAN (enligt min åsikt) och troligtvis inte ett redundant sådant. Eller har jag missat någon revolutionerande billig DELL-produkt?

Dell har dels partnerpris där du får en kraftig rabatt samt att deras 4h prissätts hårt.
Dell har sitt EqualLogic som du kan få med dubbla lådor med redundans för 300 pengar, vilket jag tycker e klart prisvärt och en lagom ingångsnivå.

Jag har sett ett par stora datahallar som har trippla UPS:er, där kör man dessa i routerande schema så att alla slits lika mycket. Jag tror det är en bra variant.

För övrigt så håller jag med ovan talare att man behöver inte redundant ström till belysning i kontor. Däremot så är det bra i serverrum, generatorrum. Vi har iaf dragit ut UPSad ström till vissa grupper så att våra arbetsdatorer inte stannar medans dieseln startar. När den sedan ger ström så får allt ström inkl kaffemaskinen, skrivaren.

Ps ute på gården så har vi UPS/generator på motorvärmaruttagen,, Det är fastighetsägaren som tillhandahåller detta.. :-)

Jag ska läsa lite mer då om EqualLogick för när DELL var och hade dragning om storage så var inte EqualLogic lämpligt att använda för redundans mellan hallar.

Ska man dessutom ha hallar på olika orter så fungerar inte ens XIV:s metroklusterfunktionalitet speciellt bra och då är de billigare mjukvaruvarianterna mycket mer lämpade vilket är lite förvånande.

Så vad motsvarar då egentligen DELLs EqualLogic med redundans? Jo två servrar med t.ex StarWind Enterprise HA 4TB Edition. Fast StarWindvarianten kostar under 100000 med hårdvara och 4h support.