[iXam]

Jag har ett projekt där jag har några tabeller som har några hundra miljoner rader.
För att lösa problemet med joina mellan hundramiuljnerraderstabeller som dessutom kan ge miljoner rader i resultat så gjorde jag en "summary table" där jag förjoinade/avnormaliserade datan. Detta gjorde 10sekundersqueryn till subsekundsquesyn.
För att ytterligare snabba upp saker sorterar jag datan efter den key jag vill ha datan ut vilket gör att resultaten kan fås snabbare pga av att hårddiskens läshuvud inte behöver flyttas lika frenetiskt för att komma till rätt data.
Jag använder Linux och MySQL. Och jag har nyligen dunkat in en 160GB Intel SSD vilket gav otroligt prestandaförbättring på det mesta.

[andi]

Ursprungligen postat av iXam

...
För att ytterligare snabba upp saker sorterar jag datan efter den key jag vill ha datan ut vilket gör att resultaten kan fås snabbare pga av att hårddiskens läshuvud inte behöver flyttas lika frenetiskt för att komma till rätt data.
...

1. Hur sorterar man datan i själva tabell-filen (om jag inte missförstod dig)?

2. Av ren nyfikenhet, vad är det för typ av data du lagrar som behöver så många rader?

[iXam]

Ursprungligen postat av andi

1. Hur sorterar man datan i själva tabell-filen (om jag inte missförstod dig)?

2. Av ren nyfikenhet, vad är det för typ av data du lagrar som behöver så många rader?

1.
Jag tror myisamchk kan sortera datan efter en nyckel fast jag körde sorteringen utanför MySQL med det gamla hederliga GNU Sort

2. DNSDigger.com - Jag sparar alla domäners IP-nummer så jag kan se vilka domäner som finns hostade vart osv.