[Weaver]

Splunk borde fungera. www.splunk.com

[Lumax]

Ursprungligen postat av Weaver

Splunk borde fungera. www.splunk.com

Grymt tips!

[Clarence]

Ursprungligen postat av Weaver

Splunk borde fungera. www.splunk.com

Tackar för tipset, verkar riktigt intressant även fast det inte är riktigt vad jag frågade efter. Ersätter ju inte en databas då det bara är indexering + rapportsystem.

[abergman]

Jag hade nog kört på en buffrad lösning, men det beror ju såklart på vad du ska ha det till..

ww.syslog.org/wiki/Main/DatabaseLogging Kanske kan hjälpa dig?

[Clarence]

Ursprungligen postat av abergman

Jag hade nog kört på en buffrad lösning, men det beror ju såklart på vad du ska ha det till..

ww.syslog.org/wiki/Main/DatabaseLogging Kanske kan hjälpa dig?

Njae egentligen inte.

Jag är alltså ute efter en databas att lagra datan i. Att skriva en egen buffer utanför den kan ju vara aktuellt om databasen implementation är slö/dålig/instabil. Men jag är ute efter en databaslösning för att slippa skriva allt själv eller bygga ihop flertalet halvt inkompatibla lösningar:
- Namngivna fält i datastrukturer - ett måste när hundratals olika loggningstyper ska kunna stödjas
- Strukturändringar.
- Replikering
- Smidigt och kompetent frågespråk ovanpå datan
Osv. Jag söker alltså inte ett sätt att effektivt gå igenom eller logga till diverse primitiva textformat utan ett databashanteringssystem som är effektivt för syftet.

Användningen av datan kommer variera. Ibland kommer det vara ren statistik-rapportering (typ antalet unika ip av request X med parameter 1 Y och parameter 2 Z per dag senaste månaden) och ibland kommer det vara för användning på olika sätt på sajter (topplistor, beteende-analys osv). Så att ha ett system där det är enkelt att både strukturera och att ställa frågor är ett måste. Att dessutom kunna ställa tunga frågor mot en obelastad maskin så det inte påverkar loggningen i sig är också en väldig fördel.

Loggningens ursprung kommer också variera. Även antalet och typen av parametrar som är aktuella att logga för detsamma kommer variera (ibland är 10 parametrar intressanta, ibland två).

Det jag har fått tips på här är tyvärr mjukvara både innan (syslog-lösningarna) och efter (splunk) datalagringen. Nog för att den uppskattas och splunk verkar riktigt intressant - men det är inte vad jag letar efter.

[abergman]

Ursprungligen postat av Clarence

Njae egentligen inte.

Jag är alltså ute efter en databas att lagra datan i. Att skriva en egen buffer utanför den kan ju vara aktuellt om databasen implementation är slö/dålig/instabil. Men jag är ute efter en databaslösning för att slippa skriva allt själv eller bygga ihop flertalet halvt inkompatibla lösningar:
- Namngivna fält i datastrukturer - ett måste när hundratals olika loggningstyper ska kunna stödjas
- Strukturändringar.
- Replikering
- Smidigt och kompetent frågespråk ovanpå datan
Osv. Jag söker alltså inte ett sätt att effektivt gå igenom eller logga till diverse primitiva textformat utan ett databashanteringssystem som är effektivt för syftet.

Användningen av datan kommer variera. Ibland kommer det vara ren statistik-rapportering (typ antalet unika ip av request X med parameter 1 Y och parameter 2 Z per dag senaste månaden) och ibland kommer det vara för användning på olika sätt på sajter (topplistor, beteende-analys osv). Så att ha ett system där det är enkelt att både strukturera och att ställa frågor är ett måste. Att dessutom kunna ställa tunga frågor mot en obelastad maskin så det inte påverkar loggningen i sig är också en väldig fördel.

Loggningens ursprung kommer också variera. Även antalet och typen av parametrar som är aktuella att logga för detsamma kommer variera (ibland är 10 parametrar intressanta, ibland två).

Det jag har fått tips på här är tyvärr mjukvara både innan (syslog-lösningarna) och efter (splunk) datalagringen. Nog för att den uppskattas och splunk verkar riktigt intressant - men det är inte vad jag letar efter.

Jag skrev ett script för att parsa igenom mina accessloggar till mysql i samband med loggrotationen, det var det närmsta jag kom.

[Clarence]

Ursprungligen postat av abergman

Jag skrev ett script för att parsa igenom mina accessloggar till mysql i samband med loggrotationen, det var det närmsta jag kom.

Fast då saknar du t ex ett enkelt underhållt schema - det är snarare så att MySQLs redan träliga schemaändringar fått en extra komplexitet. Jag är inte ute efter att ha något väldigt begränsat format, t ex common log format. Då skulle jag få skriva jobbiga system med timestamps för schemaändringar som dessutom skulle kräva att all ny loggningskod syncades ut mot alla typer av loggningsklienter exakt samtidigt. Samtidigt skulle jag utöver att underhålla schemaändringarna i databasen också behöva flertalet loggfiler eller någon onödigt komplex mappning mellan dom.