|
Databashosting
Tjenis, har varit en passiv läsare här ett tag men har ett litet problem jag behöver hjälp med...
Har en tjänst på gång som behöver databashosting. Jag behöver ett upplägg som tillåter oändligt stora databaser. Tanken är att möjliggöra det här genom att lägga till servrar allt eftersom och ha någon sorts NFS. Hur skulle man kunna tänka sig det här rent tekniskt? Jag behöver raid 10 eller 0+1 också och hyffsat bra prestanda, för att försvåra det hela lite till. Vad hade varit erat sätt att lösa det på? Hoppas jag lagt tråden på rätt ställe :) |
citycloud? (citycloud.se)
|
Oändligt stora databaser löser man inte genom en enkel VPS.
Någonstans träffar man en flaskhals där IOPs begränsas. Det krävs att man planerar att kunna skala upp . När man är så stora att man överskrider 16GB ram så får man börja fundera på NUMA begränsningar och annat smått och gott. |
Tanken är att sätta upp det själv med egna dedikerade servrar. Behöver rätt absurda mängder utrymme, så vi talar om TB och inte GB, möjligheten att addera servrar allt eftersom in i "molnet" är i princip ett måste.
Notera att jag inte söker servrar eller hosting, utan vill ha hjälp med hur man rent teoretiskt sätter upp en sådan här kluster. För exemplets skull, låt oss säga att jag har 4 servrar á i7-920, 24GB DDR3, 1.5TB SATA II * 2 och oändlig mängd datatrafik. Hur gör jag? |
Det här är en helt klart intressant frågeställning. Har du valt någon databasmotor för detta eller är det valfritt?
|
Det är otroligt viktigt att den databasmotor du väljer kan skala ut till flera servrar utan problem. Detta innebär ofta ett problem med relationsdatabaser (men inte alltid! Det finns några kommersiella databaser som skalar).
Jag skulle nog börjat kika på så kallade NoSQL-databaser, ofta kallade dokumentorienterade databaser. Cassandra och MongoDB är ett par kända fria alternativ. De har inga relationer mellan olika dokument och klarar därför att dela upp dem på olika maskiner utan speciellt krångliga lösningar. Typiskt brukar även vara att sökningar och andra typer av jobb kan skalas ut till dessa maskiner automatiskt av databasmotorn. MongoDB har till exempel stöd för MapReduce för batchjobb, där varje maskin arbetar på sitt eget data och returnerar en delmängd av det slutliga resultatet. |
Citat:
Du skulle splitta upp databasen och lagra olika delar på olika maskiner, så att du istället för att ha 1*MASSVISMEDDATA så har du 4*INTELIKAMYCKETDATA.. |
Citat:
Speciellt är det värt att nämna att NoSQL ofta verkar användas i tron om att det alltid kommer skala bättre, prestera bättre och allmänt lösa alla databas-problem. Faktum är att de traditionella databaserna klarar de allra flesta applikationer alldeles utmärkt och att man ofta måste strukturera om rätt grundläggande saker för att ha någon större nytta av ett alternativ. Och även då måste man välja rätt alternativ för sin egen situation. Facebook är alltid ett populärt exempel. De använder MySQL, HBase och Cassandra tillsammans (och en mängd andra tekniker, men för databasen). Alla valt utifrån datan som skulle lagras och speciellt hur den används. Med det sagt tror jag också att emilvs mongodb kan vara intressant om det är expanderingen och klustringen som är ditt stora problem, som det låter på din fråga. Det är väldigt lätt att lägga till nya shards, det finns stöd för auto sharding, maxsize osv. Men beskriver du inte din användning i mycket större detalj finns det ingen som kan ge dig ett informerat förslag utifrån ditt användningsområde. Citat:
|
Citat:
|
Börjar du prata såna mängder frågor och så stor datamängd så är dina maskinexempel väldigt klena. Sen är det också rätt viktigt att veta vilken motor du kommer att använda då det ger möjligheter och även restriktioner i om man kan och bör använda många "små" servrar eller ett fåtal stora.
När det gäller IOPS så finns det exempel på system som klarar rätt stora mängder men då pratar vi servrar med PCI Express SSD:er. Exempel från IBM. |
Reagerade också på den klena hårdvaran som i princip hör hemma på skrivbordet.
|
Citat:
|
Citat:
Kör du Linux växer du du dina volymer med LVM när du ansluter mer disk. PM:a om du vill ha hjälp. |
Absolut intressant och inte alltid helt lätt. Känner dock att en viktig puck som är väldigt styrande inte får rätt utrymme - och det är lasten som är extremt styrande. En sak är att växa en databas till 50 TB och ha några köra queries mot den. En annan är att ha 25000 samtidiga användare på den databasen och vilja få resultat från en tabell med några miljoner rader - på millisekunder. Vad är det som gäller tror du?
Vi har kunder som kör alla varianter. Klustrat, replikering och olika former av uppdelning för att klara last och storlek. Kan ge ett råd som vi normalt ger... De större kunderna vi har som kör flera TB och har mycket stor last (som snittar tusentals samtidiga användare) - har vi så här långt alltid rekommenderat dedikerade lösningar för. De flesta skalar dock framsidan - dvs webbservrar mm - i en cloud miljö så de kan skala upp och ner med automatik. |
Citat:
En av våra partners arbetar med Fusion I/O PCIe-kort. Läsprestandan är ca 1.5 Gigabyte per sekund och skrivprestandan ligger på 1.4 Gigabyte per sekund. PCIe-controllern har såklart också en gräns men bandbredden är bra mycket högre än 6 Gbit SAS, t.ex. Skicka gärna PM om nån vill veta mer. Core i7 är ingen serverprocessor och jag skulle starkt avråda att använda denna. Ska du ha något motsvarande/bättre så är det Xeon 5600-serien du bör titta på. 24 GB RAM fylls snabbt om du nu ska ha oändligt med databasstorlek. 5600-serien stöder 144 GB RAM per CPU så det är bara att köpa på. :) |
Citat:
|
Om vi ändå pratar Intelproppar och 5600-serien så har den också en extra liten feature och det är inbyggd krypteringsfunktion (AES). Jag var inte alldeles pigg när han från Intel pratade men här vaknade jag till.
EDIT: Hittar inte belägg för att AES-NI skulle vara begränsat till X56xx men ska maila Intelmannen och fråga. |
Sludent:
Du har säkert rätt. Behövs ännu mer minne funkar säkert 7000-serien. Dell har ju sin R910 som stödjer 1 TB RAM med 4 CPU:er. |
Tackar för alla svar, vilken raketfart det blev sen imorse haha! :D
Det är PostgreSQL som ska användas (det här systemet MÅSTE användas), Det kommer inte att vara särskilt många användare.e Om man ser som så att det blir 45 användare på peak times per kluster. Det är mest en lösning med dynamisk utrymmesökning som är viktigt för det här. Behövs fortfarande mycket bättre servrar än de i exemplet? Att jag valt just dessa är bara en kostnadsfråga. Finns det anledning att köra på värre så kan jag göra det. |
Om det är en kostnadsfråga så finns ju Xeon 3400-serien, den är att föredrag framför desktop-versionerna (Core i*) och liknande.
Xeon är Intels processorer för servrar och arbetsstationer. |
Jag är ingen expert på området, men Amazon RDS kanske kan vara en lösning?
De kan man ju i stort sett skala upp mot oändligheten. |
Citat:
Allt här i världen som vi känner till är ändligt. Du måste veta hur mycket !! |
Citat:
Datatrafiken, om du hade läst inläggen, är bara oändlig för att förenkla exemplet. Så vad är det du vill tillföra till tråden? :o |
Citat:
Jag är van att tänka utifrån en kravspecifikation. Om man gör det så blir hela denna diskussion meninglös. Det minsta man kan begära är att den som försöker att lösa ett problem och vill ha hjälp, har någon susning om vilka behoven är. Om jag hade fått en förfrågan om att sätta upp en databaslösning med oändligt utrymme och oändligt datatrafik, så är det tveksamt om jag ens hade svarat. Att då uttrycka i termer av oändlighet är fullständig nonsens. Inte ens exempelvis Google är ens i närheten av någon oändlighet för sina resurser. Man kan heller inte tala om att röra sig mot oändligheten! Jag kan inte inbilla mig att någon på detta forum planerar tjänster som är i storlek med ex Google. Rätta mig om jag fel !! Citat:
Jag trodde du ville du ha hjälp något konkret ... ? Jag har kanske fel där också. Dina frågor var kanske mer av akademisk art. I så fall kan jag delvis förstå din reaktion. Citat:
|
Kravspecifikationen är helt enkelt att det ska kunna gå att skala mängden utrymme mot oändligheten. Sen om man löser det här via ett NFS eller på något annat vis är ju det som är huvudfrågan i problemet.
Vad menar du med att man inte kan prata om att röra sig mot oändligheten? Varför inte? Det finns inget som hindrar en diskussion i ämnet. Visst att ingen har byggt tjänster i storlek med Googles men det gör inte frågeställningen mindre intressant. Måste man ha gjort det för att kunna tillföra något menar du? För övrigt så brukar saker bli lättare att lösa ju fler variabler man tar bort, så här måste du förklara varför det blir svårare. |
Vilken kurs är det du läser?
|
Kurs?
Det är lite research till en tjänst som jag sa i första inlägget. :) |
Nu ska vi se att jag är med här:
Det du vill göra är alltså att skala PostgreSQL mot oändligheten? Inte mot en fast gräns på x TB, utan mot oändligheten? Då är mina följdfrågor: * Vad har du hittat i manualen och vad var det för brister med den informationen? * Vad har du testat själv? Jag håller med aelander om att en bra kravspecifikation har någon form av gränser med. Fler variabler är ofta bättre när man systemerar en servermiljö. För att skala mot oändligheten måste systemet vara helt fritt från flaskhalsar (något jag tvivlar på att du kan lösa med PostgreSQL), emedan en fast gräns (helst med ett definierat databasschema) gör det lättare att veta vilka flaskhalsar man ska fokusera på att undvika. Visst kan man bygga ett system som skalar mot oändligheten, men det är mycket dyrare än att bygga ett som skalar upp till en specificerad gräns. Det lättaste och billigaste (och som får dig ut på marknaden snabbast) är att bygga systemet för en gräns och när du slår i taket vet du var flaskhalsen är och kan systemera om efter det. Då får du erfarenhet under tiden, samtidigt som du kan börja tjäna pengar. Om du satsar påa tt skala oändligt innan du ens kommer ut på marknaden så kommer någon annan vara före dig och kunderna borta. |
Ska man skala databaser brukar ju inte problemet vara hur mycket disk man ska komma åt annars. Problemet blir för det mesta hur man ska klara av att ställa frågor mot datan. Då du för varje X TB kommer behöva en ny DBMS nod för att klara denna del. Frågan är isåfall om man inte från början vill bygga på en klusterlösning med PgSQL (finns en mängd redan), så länge man kan partitionera sin data effektivt så skalar det i stort till oändligheten.
Annars låter det mycket som om det är någon typ av data warehousing du vill bedriva. Isåfall finns det gott om databas-system som är till för just det och hanterar dess problematik betydligt bättre än en vanlig relationsdatabas som pgsql. |
Har läst lite mer om detta och har nu hittat PgPool-II, antar att det är något sådant du talar om Clarence?
Det verkar i princip lösa alla mina problem :D Är det någon som har erfarenhet av att använda det? |
Bara en liten oviktig fråga: hur ska du kunna backa en databas som skalar mot oändlighet?
|
Fast då får man väl sätta ett oändligt kostnad och pris med samtidigt för lösningen ;)
|
Citat:
Vidare förstår jag inte vad som är så himla svårt med utrymme som går mot oändligheten. Om man läst en endaste universitetskurs i matematik kan väl inte ha undgått att ha skapat bekantskap med det. Det är först om man i datan som skalar mot oändligheten har relationer som inte skalar på samma sätt som man kan råka ut för ett problem. |
alltså
mot oändlighet är högst filosofiskt och det verkar tas på allt för stort allvar även om trådskaparen inte gick in i frågeställningen med en mängd förkunskaper.. går du emot oändligheten går du en liten bit i taget. hastigheten eller storleken på bitarna spelar ingen roll. om du har 1byte.. och lägger på 1 byte till.. då har du börjat att röra dig emot oändligheten. tråden hade kanske kunnat startats med en annan fråga men det bör ju inte krångla till det för jag tror de flesta som slappnar av lite förstår vad han egentligen vill/behöver. han behöver en lösning som går att utöka enkelt men framförallt går att utöka till att bli större och större med tiden som projektet växer. facebook är inte ens i närheten av oändlighet.. eller google.. ingen är det. men de rör sig alla emot oändligheten även om oändligheten inte har något slut... så kan alla släppa gnället om oändlighet? :P lycka till med ditt projekt. Jag hade rekommenderat att du skaffar dig en expert konsult/tekniker på området om din budget tillåter det så du börjar på en kraftig och stabil grund när det gäller skalbarhet. :) |
Citat:
Dennis: Ja, det är exakt så jag menar, men jag kanske var lite otydlig :) Har fått tag på en expert, det kommer bli kanon det här, tack för hjälpen! |
| Alla tider är GMT +2. Klockan är nu 12:29. |
Programvara från: vBulletin® Version 3.8.2
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
Svensk översättning av: Anders Pettersson