Hur stor är en stor databas?

Lyx · 2010-01-13, 18:56

Hur stor är en stor databas?

Jag är medveten om att frågan är flummigt ställd, men jag undrar vart gränsen går då det börjar gå lite tungt att göra lookups via id. "Tungt" definierar jag som den tid som krävs för att en webbsida som använder databasen ska kännas långsam.

Rör det sej som 1 miljon rader, 10 miljoner? 100?

Vi kan anta att det är en MySQL server. Ett svar mellan tummen och pekfingret duger fint

HenSod · 2010-01-13, 19:22

Det är svårt att räkna storlek utifrån antal rader eftersom det bero på hur mycket data som en rad innehåller. 100 rader i en databas kanske väger 1Mb medan samma antal rader i en annan database väger 10Mb.
Det är väldigt svårt att säga hur stor en stor databas är. Hur långt är ett snöre?

Lyx · 2010-01-13, 20:54

Citat:

Ursprungligen postat av HenSod

Det är svårt att räkna storlek utifrån antal rader eftersom det bero på hur mycket data som en rad innehåller. 100 rader i en databas kanske väger 1Mb medan samma antal rader i en annan database väger 10Mb.
Det är väldigt svårt att säga hur stor en stor databas är. Hur långt är ett snöre?

Jag trodde jag gjorde mej tydlig över att jag inte är intresserad av ett rakt svar. Självklart vet jag att 100 rader väger mer än 2 rader, men sökkomplexiteten ökar nödvändigtvis inte för det.

tartareandesire · 2010-01-14, 10:23

Citat:

Ursprungligen postat av Lyx

Jag trodde jag gjorde mej tydlig över att jag inte är intresserad av ett rakt svar. Självklart vet jag att 100 rader väger mer än 2 rader, men sökkomplexiteten ökar nödvändigtvis inte för det.

Nej, men det beror mycket på hur du använder informationen i databasen också. Har du en bra databasdesign med rätt index så kan du utan problem köra 10-tals miljoner rader. Det finns en bra bok som heter "High Performance MySQL" som jag rekommenderar att du läser. Gör du fulltextsökningar i stora tabeller så bör du titta på exempelvis Sphinx också.

studiox · 2010-01-13, 19:24

Om du använder Index så finns det nog ingen riktig gräns, ett par miljoner rader är ju inga större problem utan fet hårdvara. Men om du har MER än ETT index och dessutom söker på FLERA saker så kan det naturligtvis ta MER tid framförallt om du gör många JOINS.

Lyx · 2010-01-13, 21:01

Citat:

Ursprungligen postat av studiox

Om du använder Index så finns det nog ingen riktig gräns, ett par miljoner rader är ju inga större problem utan fet hårdvara. Men om du har MER än ETT index och dessutom söker på FLERA saker så kan det naturligtvis ta MER tid framförallt om du gör många JOINS.

Tack för svar.
Jo, det går ju snabbt om man söker med index. Kanske dumt av att mej att skriva så. Men låt säga att jag vill hitta ett index utifrån en annan nyckel som är på strängformat.

Är det någon som har erfaranhet om detta? Jag har aldrig haft någon stor databas så nu inför ett kommande projekt behöver jag veta hur mycket av datat som jag kan spara på. Förtillfället gör jag runt 10-20.000 insättningar per dag.

Jag är ute efter svar likande "Jag hade en databas som tillslut blev ohanterbar pga... och den var av storleken ~x cirka y records"

digiArt · 2010-01-13, 21:19

Jag hade en tabell som drog iväg mot 4,5 miljoner rader, inga problem att använda med ett index på det. Nu har jag städat så det endast är 60 -70 000 rader (som är mer rimligt för den tabellen).

I jobbet har vi kunder med tabeller uppåt 10 miljoner rader utan problem med rätt indexering.

På tidigare arbetsplats har de en databas som totalt växer med ca 100GB per månad, inga problem med rätt indexering.

Nu pratar jag sql server.

studiox · 2010-01-14, 00:33

Citat:

Ursprungligen postat av Lyx

Tack för svar.
Jo, det går ju snabbt om man söker med index. Kanske dumt av att mej att skriva så. Men låt säga att jag vill hitta ett index utifrån en annan nyckel som är på strängformat.

Är det någon som har erfaranhet om detta? Jag har aldrig haft någon stor databas så nu inför ett kommande projekt behöver jag veta hur mycket av datat som jag kan spara på. Förtillfället gör jag runt 10-20.000 insättningar per dag.

Jag är ute efter svar likande "Jag hade en databas som tillslut blev ohanterbar pga... och den var av storleken ~x cirka y records"

Det mesta NORMALA som man gör när man är OSÄKER är att skapa TESTDATA. Före jul var jag med i ett projekt som skulle skapa data i storleksordningen 20M rader i en EV modell (Där kan du fetglömma index) så vi skapade helt enkelt 20M rader random data. På en MSSQL server med 16G ram och QuadCore Dell 2950 tog det nästan en minut att hitta rätt data, då är det ändå MSSQL som är bra på att använda externa keys.