[MRDJ]

Ursprungligen postat av akelagercrantz

Vad jag menade var att det blir en begränsning om vi tvingar användaren att använda ett cms för att delta i testet.



Intressant, speciellt hur de presenterar datan.

Jag ser fördelar och nackdelar med båda varianterna av klient/server kommunikation. Det vore intressant att höra lite åsikter av er som har svarat på omröstningen.

En simpel php-sida kommer självfallet att gå supersnabbt när det inte finns några databaskopplingar osv, frågan är om det blir ett rättvist test? olika webbhotell är olika bra med olika cms, det var därför jag tänkte man kunde köra allt som cms moduler.

[akelagercrantz]

Ursprungligen postat av MRDJ

En simpel php-sida kommer självfallet att gå supersnabbt när det inte finns några databaskopplingar osv, frågan är om det blir ett rättvist test? olika webbhotell är olika bra med olika cms, det var därför jag tänkte man kunde köra allt som cms moduler.

Det test som ITisGood har skrivit testar operationer/s i MySQL. Jag kan tänka mig att vi implementerar liknande tester för cpu-prestanda, IO-prestanda osv.

Att testa antal req/s i ett cms är så klart intressant också, men det är så många parametrar som man måste ta hänsyn till. Det är många inställningar som påverkar hastigheten av systemet. En installation av wordpress skiljer sig ganska mycket från en annan, med den stora mängd plugins det finns. Bara det att ändra på permalänkarnas struktur kan påverka prestandan i wordpress enormt. http://comox.textdrive.com/pipermail...ry/011097.html

[Erik Stenman]

Ursprungligen postat av akelagercrantz

Det test som ITisGood har skrivit testar operationer/s i MySQL. Jag kan tänka mig att vi implementerar liknande tester för cpu-prestanda, IO-prestanda osv.

Att testa antal req/s i ett cms är så klart intressant också, men det är så många parametrar som man måste ta hänsyn till. Det är många inställningar som påverkar hastigheten av systemet. En installation av wordpress skiljer sig ganska mycket från en annan, med den stora mängd plugins det finns. Bara det att ändra på permalänkarnas struktur kan påverka prestandan i wordpress enormt. http://comox.textdrive.com/pipermail...ry/011097.html

Precis, instämmer i att vi bör undvika CMS:er pga alla plugins som kan dra ner prestandan. Alternativt ett seperat testmoment för olika CMS:er där användaren ombes stänga av plugins.

[abergman]

Ursprungligen postat av Erik Stenman

Precis, instämmer i att vi bör undvika CMS:er pga alla plugins som kan dra ner prestandan. Alternativt ett seperat testmoment för olika CMS:er där användaren ombes stänga av plugins.

Om användaren kör testet i ett CMS kan man ju be modulen dra ut vilka moduler som används och skicka med det i resultatet? Så man tydligt taggar upp resultatet med vilket CMS och version samt vilka moduler som körs?

[akelagercrantz]

Ursprungligen postat av abergman

Om användaren kör testet i ett CMS kan man ju be modulen dra ut vilka moduler som används och skicka med det i resultatet? Så man tydligt taggar upp resultatet med vilket CMS och version samt vilka moduler som körs?

Det blir ändå väldigt svårt att jämföra testdata, då man inte vet vilka moduler som påverkar prestandan, samt att det är massa andra faktorer som påverkar också.

Ett överhändande problem vi har om det är kunder till webbhotell som ombeds vara med i testet är att prestandan påverkas av kundens resursanvändning. Mätdata från en prestandakrävande e-shop med flera träffar i sekunden blir inte jämförbar med data från en sida med ett personligt cv som får någon träff per dag, även om de ligger på samma webhotell.

Om vi kan anta att fördelningen av applikationstyp är jämn över webbhotellen (dvs x = antalet kunder med e-shoppar / antalet kunder totalt, och x är ~ samma för varje webbhotell ) så kan ju ett webhotells genomsnitt jämföras med ett annats, men är det verkligen så?

[MRDJ]

Ursprungligen postat av akelagercrantz

Det blir ändå väldigt svårt att jämföra testdata, då man inte vet vilka moduler som påverkar prestandan, samt att det är massa andra faktorer som påverkar också.

Ett överhändande problem vi har om det är kunder till webbhotell som ombeds vara med i testet är att prestandan påverkas av kundens resursanvändning. Mätdata från en prestandakrävande e-shop med flera träffar i sekunden blir inte jämförbar med data från en sida med ett personligt cv som får någon träff per dag, även om de ligger på samma webhotell.

Om vi kan anta att fördelningen av applikationstyp är jämn över webbhotellen (dvs x = antalet kunder med e-shoppar / antalet kunder totalt, och x är ~ samma för varje webbhotell ) så kan ju ett webhotells genomsnitt jämföras med ett annats, men är det verkligen så?

Jag kan till viss del hålla med dig,
Det jag funderade kring var att man kan optimera ett system på 1000 olika sätt, man kan sätta på cache i databasen, man kan köra APC och memcache i PHP, osv. det jag är rädd för är att om man kör testet och webbhotellet har optimerat sin server med diverse cache och det går supersnabbt, men att ett CMS gör helt andra typer av SQL-frågor vilket resulterar till en helt annan prestanda.

Kommer ni mäta I/O prestanda oxå?

[pelmered]

Ursprungligen postat av MRDJ

Jag kan till viss del hålla med dig,
Det jag funderade kring var att man kan optimera ett system på 1000 olika sätt, man kan sätta på cache i databasen, man kan köra APC och memcache i PHP, osv. det jag är rädd för är att om man kör testet och webbhotellet har optimerat sin server med diverse cache och det går supersnabbt, men att ett CMS gör helt andra typer av SQL-frågor vilket resulterar till en helt annan prestanda.

Ja, det är klart man kan optimera för det. Men vi kommer ju att sträva efter att göra tester som på ett så bra sätt som möjligt speglar den prestandan man märker när man surfar runt på en sida.
APC eller någon OP Code-cache antar jag att de flesta kör och det är ju något som alla PHP-skript drar nytta av, men memcache är det inte många webbhotell som erbjuder. Querycache går ju att förhindra genom att slumpa fram data som ska användas i queryn så att inte resultatet kan cachas. Det sistnämnda är enklet att göra och finns redan implementerat i den första versionen jag gjorde.

Om vi gör bra test som faktiskt kan reflektera hur snabbt ett CMS kör och webbhotell optimerar efter vårt test så har vi ju vunnit väldigt mycket. Det är ju att sätta lite press på webbhotellen att erbjuda bra prestanda som vi vill uppnå med det här och ge webbmasters möjligheten att jämföra.

Ursprungligen postat av MRDJ

Kommer ni mäta I/O prestanda oxå?

Målet är väl att vi ska testa det mesta. Vad för slags I/O tänker du på?
Skriva/läsa filer är ju t.ex. ganska lätt att testa men att köra benchmarks hela webbsidor(simulera trafik) är nog lite svårare då det kräver väldigt mycket bandbredd vilket kostar lite för mycket.