Varje dag kör jag en UPDATE LOW_PRIORITY TABLE där jag uppdaterar ca 3000 rader i en tabell. Denna fråga tar knappt tre minuter att köra.

Under tiden ställs det, precis som vanligt, en mängd SELECT-frågor mot tabellen.

MEN. Efter en liten stund går det inte längre att ställa frågor mot tabellen. Då får man bara "Too many connections".

Vad kan detta bero på? Låser UPDATE tabellen för läsningar? Tabellen är av typen myisam eftersom jag har ett fritextindex på den. Men det borde väl inte ha någon betydelse?

Edit: det är en mysql-databas

Som jag tolkat det: En update low_priority skriver inte ändringarna förens tabellen inte används, har den påbörjat att skriva ändringarna låser den tabellen tills det att den är klar med ändringarna, får du då många select samtidigt som skrivning sker köas dom upp och väntar på att den ska bli klar, det verkar som det är under denna tid du då får too many connections. Men när update är klar borde väl det flyta på som vanligt?

Verkar mer som om att du inte stänger anslutningarna mot databasen eftersom "Too Many Connections" inte har med tabellerna att göra.

Om tabellerna skulle vara låsta för skrivning eller läsning, så skulle sidan hänga sig istället eftersom han väntar på svar ifrån MySQL.

Låter långsamt med en uppdatering som tar tre minuter att köra för 3000 rader.

Men om sidan hänger sig i väntan på svar så stängs väl inte anslutningarna eftersom scriptet inte löper färdigt annat än vid max execution time eller liknande, och då termineras skriptet utan att anslutningen stängs.

Ja. Sidorna hänger sig under denna tid.

Tittar jag i processkön så ser jag att det ligger en massa frågor som väntar på att få köras. Status är "blocked" om jag inte minns helt fel.

När update är klar så flyter det på som vanligt, ja.

Anledningen till att UPDATE tar lång tid är att tabellen är ganska stor och den är en join mellan två tabeller. Relevanta index finns, så där är det inte något problem. Join sker på primärnyckeln.

Menar ni alltså att detta är helt normalt?

Ja det är helt normalt, du kanske kan köra updatering mot en temporär kopia av tabellen? Kan du köra uppdatering nattetid då det inte spelar någon roll?
Hur stor är ganska stor?

Grejen är att jag redan kör alla uppdateringar mot en temporär kopia.

Ca 10 miljoner rader är orginaltabellen. Det som uppdateras flyttas över till orginaltabellen via update. Ca 3000 rader uppdateras via denna update som är en join mellan den temporära tabellen och orginaltabellen.

Frågan ser ut så här:
UPDATE LOW_PRIORITY ORGTABLE O, TEMPTABLE T SET O.NAME = T.NAME WHERE O.ID = T.ID AND T.UPDATED = CURRENT_DATE

Eventuellt kanske det är bättre att köra den här frågan. Jag har inte riktigt förstått om den gör samma sak.

REPLACE DELAYED INTO ORGTABLE SELECT * FROM TEMPTABLE WHERE UPDATED = CURRENT_DATE

Nån som vet?

Förutsatt att du har ett unikt index på ID i måltabellen och unika värden på ID i källtabellen så gör den ungefär samma sak.
Det som skiljer är om du har rader med ett ID i källtabell som ej finns i måltabellen så blir de tillagda till måltabellen i detta exempel men inte i förra, men det kanske du har täckt upp redan tidigare när du skapade din temporära tabell.

Det stämmer bra. Alla rader med ID i källtabellen finns i måltabellen.

Så du menar att även REPLACE frågan låser tabellen för läsning?

Det lustiga är att jag gör en replace into måltabell select * from källtabell med totalt ca 10 000 rader i tre olika tabellpar och det går på ca 5 sekunder totalt. Men då kör jag inte delayed, eftersom ingen skriver i databasen utom jag.

Frågan är hur mycket du behöver delayed.

Intressant kommentar i Mysql-manualen:

Även jag tycker 3min låter väldigt mycket men visst ibland tar det lång tidoch du har ju en väldigt stor tabell...

En work-around är ju att inte uppdatera "en hel dag" som du gör utan uppdatera mindre intervaller för at pådet sättet få fler mindre updates.

Tack för alla svar. Jag får labba lite med REPLACE och se om jag kan få lite bättre tider.

Det spelar nog ingen roll att du kör updates mot en temporär kopia om din query ser ut på det sättet, originaltabellen kommer ändå låsas.

Testa att ta bort joinen från tabellen och istället göra en insert select till en temp-tabell eller en select till applikationen med vad som ska uppdateras först, för att sedan använda denna data vid updaten (stega igenom det om du hämtar det till applikationen, så du slipper monstruöst långa queries). På så sätt bör inte originaltabellen låsas under skrivprocessen mot kopian.

Du använder väl antagligen en MyISAM-tabell, kanske det vore värt att prova hur en InnoDB-tabell skulle prestera. Använder du InnoDB så låser databasen bara en rad i taget och SELECT:erna bör kunna rulla på samtidigt (i teorin i alla fall). Har förvisso ingen egen erfarenhet av prestandaskilllnaden MyISAM/InnoDB men det kanske är värt att prova.

Det låter som detta borde kunde vara en lösning på ditt specifika problem men det kan förstås hända att den övriga prestandan i allmänhet går ner istället (InnoDB är ju mer avancerad i sig). MyISAM är perfekt för att mata ut stora mängder data men är dålig på att klara av mycket förändringar.

Det är möjligt att det skulle lösa mitt problem. Men tabellen är av typen myisam eftersom jag har ett fritextindex på den. Fritextindex fungerar så vitt jag vet inte med InnoDB. Och man kan väl inte köra två tabelltyper samtidigt?

Nej, du kan inte köra två tabelltyper samtidigt. Eller du kan köra två parallella tabeller, en i varje datatyp. Men det skulle bara ge nackdelar då du skulle göra allt 2 gånger.

Med InnoDB får man lösa fritext-sökningar på annat (och för det mesta bättre) sätt, t ex Sphinxse för databasplugin eller Sphinx/Lucene/Ferret/mnoGoSearch för fristående.

Generellt sett är det inte bra att byta till InnoDB om du redan har skrivit en applikation som är testad och utvecklad för MyISAM. Det finns både positiva och negativa egenheter i respektive typ. Att använda båda två parallellt är ännu klurigare då du måste anpassa inställningarna till servern så att den inte swappar i onödan och ändå har såpass bra mängd minne som möjligt för t ex key buffern respektive buffer poolen.

Men sant är att InnoDB väldigt ofta är användbart av den anledningen att den låser på radnivå för skrivoperationer och inte ens sätter delat lås för selects.

Jag sitter fortfarande med samma problem som tidigare.

Tänkte försöka mig på att uppdatera i mindre intervaller.

Min fråga ser alltså ut så här idag:

Hur kan jag göra om frågan så att den uppdaterar i chunks? Låt säga 100 rader åt gången.