Kom ihåg mig?
Home Menu

Menu


Hur stor är en stor databas?

 
 
Ämnesverktyg Visningsalternativ
Oläst 2010-01-13, 21:54 #1
Lumax Lumax är inte uppkopplad
Mycket flitig postare
 
Reg.datum: Jun 2004
Inlägg: 610
Lumax Lumax är inte uppkopplad
Mycket flitig postare
 
Reg.datum: Jun 2004
Inlägg: 610
Om du absolut ska ha en siffra för antal rader så skulle jag säga att upp till 100 miljoner inte är några problem.
Men som alla andra redan påpekat så är det en mängd faktorer som spelar in.
Lumax är inte uppkopplad   Svara med citatSvara med citat
Oläst 2010-01-13, 21:55 #2
ztreams avatar
ztream ztream är inte uppkopplad
Supermoderator
 
Reg.datum: Jan 2005
Inlägg: 2 448
ztream ztream är inte uppkopplad
Supermoderator
ztreams avatar
 
Reg.datum: Jan 2005
Inlägg: 2 448
min svarsdatabas på trivia.se har över 20 miljoner rader och den blev fett slö ganska snabbt innan jag lärde mig vad index var för något
ztream är inte uppkopplad   Svara med citatSvara med citat
Oläst 2010-01-13, 22:31 #3
Danieloss avatar
Danielos Danielos är inte uppkopplad
Klarade millennium-buggen
 
Reg.datum: Oct 2005
Inlägg: 3 102
Danielos Danielos är inte uppkopplad
Klarade millennium-buggen
Danieloss avatar
 
Reg.datum: Oct 2005
Inlägg: 3 102
Generellt vad man kan säga är att mysql tycker inte om databaser med många tabeller (säg några miljoner), bättre isf med många databaser med få tabeller, eftersom mysql försöker cacha hela databaser och inte cacha de vanligast använda tabellerna. Med oracle tex, spelar detta ingen roll. Men du bör ju självklart köra databas cachning på fil eller om du klustrar webben, bör du köra en central memcached server för att cacha mysql frågor.

Senast redigerad av Danielos den 2010-01-13 klockan 22:33
Danielos är inte uppkopplad   Svara med citatSvara med citat
Oläst 2010-01-13, 23:26 #4
Lyx Lyx är inte uppkopplad
Medlem
 
Reg.datum: Dec 2008
Inlägg: 256
Lyx Lyx är inte uppkopplad
Medlem
 
Reg.datum: Dec 2008
Inlägg: 256
Tack för många bra svar! Nu har jag en idé om vad som är hanterbart
Lyx är inte uppkopplad   Svara med citatSvara med citat
Oläst 2010-01-14, 00:00 #5
jonny jonny är inte uppkopplad
Supermoderator
 
Reg.datum: Sep 2003
Inlägg: 6 941
jonny jonny är inte uppkopplad
Supermoderator
 
Reg.datum: Sep 2003
Inlägg: 6 941
Det beror ju rätt mycket på hårdvaran också vad som blir jobbigt Förvånansvärt lite data kan bli ett förvånansvärt stort problem har jag noterat.
jonny är inte uppkopplad   Svara med citatSvara med citat
Oläst 2010-01-14, 09:32 #6
Jawns avatar
Jawn Jawn är inte uppkopplad
Mycket flitig postare
 
Reg.datum: Aug 2004
Inlägg: 986
Jawn Jawn är inte uppkopplad
Mycket flitig postare
Jawns avatar
 
Reg.datum: Aug 2004
Inlägg: 986
Kör själv med index på tabeller som har runt 20 miljoner rader och utan index så hade det aldrig fungerat.
Jawn är inte uppkopplad   Svara med citatSvara med citat
Oläst 2010-01-15, 19:15 #7
iXam iXam är inte uppkopplad
Medlem
 
Reg.datum: Aug 2005
Inlägg: 219
iXam iXam är inte uppkopplad
Medlem
 
Reg.datum: Aug 2005
Inlägg: 219
Jag har ett projekt där jag har några tabeller som har några hundra miljoner rader.
För att lösa problemet med joina mellan hundramiuljnerraderstabeller som dessutom kan ge miljoner rader i resultat så gjorde jag en "summary table" där jag förjoinade/avnormaliserade datan. Detta gjorde 10sekundersqueryn till subsekundsquesyn.
För att ytterligare snabba upp saker sorterar jag datan efter den key jag vill ha datan ut vilket gör att resultaten kan fås snabbare pga av att hårddiskens läshuvud inte behöver flyttas lika frenetiskt för att komma till rätt data.
Jag använder Linux och MySQL. Och jag har nyligen dunkat in en 160GB Intel SSD vilket gav otroligt prestandaförbättring på det mesta.
iXam är inte uppkopplad   Svara med citatSvara med citat
Oläst 2010-01-15, 19:54 #8
andi andi är inte uppkopplad
Flitig postare
 
Reg.datum: Jun 2006
Inlägg: 344
andi andi är inte uppkopplad
Flitig postare
 
Reg.datum: Jun 2006
Inlägg: 344
Citat:
Ursprungligen postat av iXam Visa inlägg
...
För att ytterligare snabba upp saker sorterar jag datan efter den key jag vill ha datan ut vilket gör att resultaten kan fås snabbare pga av att hårddiskens läshuvud inte behöver flyttas lika frenetiskt för att komma till rätt data.
...
1. Hur sorterar man datan i själva tabell-filen (om jag inte missförstod dig)?

2. Av ren nyfikenhet, vad är det för typ av data du lagrar som behöver så många rader?
andi är inte uppkopplad   Svara med citatSvara med citat
Oläst 2010-01-16, 15:26 #9
iXam iXam är inte uppkopplad
Medlem
 
Reg.datum: Aug 2005
Inlägg: 219
iXam iXam är inte uppkopplad
Medlem
 
Reg.datum: Aug 2005
Inlägg: 219
Citat:
Ursprungligen postat av andi Visa inlägg
1. Hur sorterar man datan i själva tabell-filen (om jag inte missförstod dig)?

2. Av ren nyfikenhet, vad är det för typ av data du lagrar som behöver så många rader?
1.
Jag tror myisamchk kan sortera datan efter en nyckel fast jag körde sorteringen utanför MySQL med det gamla hederliga GNU Sort

2. DNSDigger.com - Jag sparar alla domäners IP-nummer så jag kan se vilka domäner som finns hostade vart osv.
iXam är inte uppkopplad   Svara med citatSvara med citat
Svara


Aktiva användare som för närvarande tittar på det här ämnet: 1 (0 medlemmar och 1 gäster)
 

Regler för att posta
Du får inte posta nya ämnen
Du får inte posta svar
Du får inte posta bifogade filer
Du får inte redigera dina inlägg

BB-kod är
Smilies är
[IMG]-kod är
HTML-kod är av

Forumhopp


Alla tider är GMT +2. Klockan är nu 17:09.

Programvara från: vBulletin® Version 3.8.2
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
Svensk översättning av: Anders Pettersson
 
Copyright © 2017