[abergman]

Ursprungligen postat av Clarence

Njae egentligen inte.

Jag är alltså ute efter en databas att lagra datan i. Att skriva en egen buffer utanför den kan ju vara aktuellt om databasen implementation är slö/dålig/instabil. Men jag är ute efter en databaslösning för att slippa skriva allt själv eller bygga ihop flertalet halvt inkompatibla lösningar:
- Namngivna fält i datastrukturer - ett måste när hundratals olika loggningstyper ska kunna stödjas
- Strukturändringar.
- Replikering
- Smidigt och kompetent frågespråk ovanpå datan
Osv. Jag söker alltså inte ett sätt att effektivt gå igenom eller logga till diverse primitiva textformat utan ett databashanteringssystem som är effektivt för syftet.

Användningen av datan kommer variera. Ibland kommer det vara ren statistik-rapportering (typ antalet unika ip av request X med parameter 1 Y och parameter 2 Z per dag senaste månaden) och ibland kommer det vara för användning på olika sätt på sajter (topplistor, beteende-analys osv). Så att ha ett system där det är enkelt att både strukturera och att ställa frågor är ett måste. Att dessutom kunna ställa tunga frågor mot en obelastad maskin så det inte påverkar loggningen i sig är också en väldig fördel.

Loggningens ursprung kommer också variera. Även antalet och typen av parametrar som är aktuella att logga för detsamma kommer variera (ibland är 10 parametrar intressanta, ibland två).

Det jag har fått tips på här är tyvärr mjukvara både innan (syslog-lösningarna) och efter (splunk) datalagringen. Nog för att den uppskattas och splunk verkar riktigt intressant - men det är inte vad jag letar efter.

Jag skrev ett script för att parsa igenom mina accessloggar till mysql i samband med loggrotationen, det var det närmsta jag kom.