[akelagercrantz]

Ursprungligen postat av abergman

Om användaren kör testet i ett CMS kan man ju be modulen dra ut vilka moduler som används och skicka med det i resultatet? Så man tydligt taggar upp resultatet med vilket CMS och version samt vilka moduler som körs?

Det blir ändå väldigt svårt att jämföra testdata, då man inte vet vilka moduler som påverkar prestandan, samt att det är massa andra faktorer som påverkar också.

Ett överhändande problem vi har om det är kunder till webbhotell som ombeds vara med i testet är att prestandan påverkas av kundens resursanvändning. Mätdata från en prestandakrävande e-shop med flera träffar i sekunden blir inte jämförbar med data från en sida med ett personligt cv som får någon träff per dag, även om de ligger på samma webhotell.

Om vi kan anta att fördelningen av applikationstyp är jämn över webbhotellen (dvs x = antalet kunder med e-shoppar / antalet kunder totalt, och x är ~ samma för varje webbhotell ) så kan ju ett webhotells genomsnitt jämföras med ett annats, men är det verkligen så?

[MRDJ]

Ursprungligen postat av akelagercrantz

Det blir ändå väldigt svårt att jämföra testdata, då man inte vet vilka moduler som påverkar prestandan, samt att det är massa andra faktorer som påverkar också.

Ett överhändande problem vi har om det är kunder till webbhotell som ombeds vara med i testet är att prestandan påverkas av kundens resursanvändning. Mätdata från en prestandakrävande e-shop med flera träffar i sekunden blir inte jämförbar med data från en sida med ett personligt cv som får någon träff per dag, även om de ligger på samma webhotell.

Om vi kan anta att fördelningen av applikationstyp är jämn över webbhotellen (dvs x = antalet kunder med e-shoppar / antalet kunder totalt, och x är ~ samma för varje webbhotell ) så kan ju ett webhotells genomsnitt jämföras med ett annats, men är det verkligen så?

Jag kan till viss del hålla med dig,
Det jag funderade kring var att man kan optimera ett system på 1000 olika sätt, man kan sätta på cache i databasen, man kan köra APC och memcache i PHP, osv. det jag är rädd för är att om man kör testet och webbhotellet har optimerat sin server med diverse cache och det går supersnabbt, men att ett CMS gör helt andra typer av SQL-frågor vilket resulterar till en helt annan prestanda.

Kommer ni mäta I/O prestanda oxå?

[pelmered]

Ursprungligen postat av MRDJ

Jag kan till viss del hålla med dig,
Det jag funderade kring var att man kan optimera ett system på 1000 olika sätt, man kan sätta på cache i databasen, man kan köra APC och memcache i PHP, osv. det jag är rädd för är att om man kör testet och webbhotellet har optimerat sin server med diverse cache och det går supersnabbt, men att ett CMS gör helt andra typer av SQL-frågor vilket resulterar till en helt annan prestanda.

Ja, det är klart man kan optimera för det. Men vi kommer ju att sträva efter att göra tester som på ett så bra sätt som möjligt speglar den prestandan man märker när man surfar runt på en sida.
APC eller någon OP Code-cache antar jag att de flesta kör och det är ju något som alla PHP-skript drar nytta av, men memcache är det inte många webbhotell som erbjuder. Querycache går ju att förhindra genom att slumpa fram data som ska användas i queryn så att inte resultatet kan cachas. Det sistnämnda är enklet att göra och finns redan implementerat i den första versionen jag gjorde.

Om vi gör bra test som faktiskt kan reflektera hur snabbt ett CMS kör och webbhotell optimerar efter vårt test så har vi ju vunnit väldigt mycket. Det är ju att sätta lite press på webbhotellen att erbjuda bra prestanda som vi vill uppnå med det här och ge webbmasters möjligheten att jämföra.

Ursprungligen postat av MRDJ

Kommer ni mäta I/O prestanda oxå?

Målet är väl att vi ska testa det mesta. Vad för slags I/O tänker du på?
Skriva/läsa filer är ju t.ex. ganska lätt att testa men att köra benchmarks hela webbsidor(simulera trafik) är nog lite svårare då det kräver väldigt mycket bandbredd vilket kostar lite för mycket.