Precis, instämmer i att vi bör undvika CMS:er pga alla plugins som kan dra ner prestandan. Alternativt ett seperat testmoment för olika CMS:er där användaren ombes stänga av plugins.

Om användaren kör testet i ett CMS kan man ju be modulen dra ut vilka moduler som används och skicka med det i resultatet? Så man tydligt taggar upp resultatet med vilket CMS och version samt vilka moduler som körs?

Det blir ändå väldigt svårt att jämföra testdata, då man inte vet vilka moduler som påverkar prestandan, samt att det är massa andra faktorer som påverkar också.

Ett överhändande problem vi har om det är kunder till webbhotell som ombeds vara med i testet är att prestandan påverkas av kundens resursanvändning. Mätdata från en prestandakrävande e-shop med flera träffar i sekunden blir inte jämförbar med data från en sida med ett personligt cv som får någon träff per dag, även om de ligger på samma webhotell.

Om vi kan anta att fördelningen av applikationstyp är jämn över webbhotellen (dvs x = antalet kunder med e-shoppar / antalet kunder totalt, och x är ~ samma för varje webbhotell ) så kan ju ett webhotells genomsnitt jämföras med ett annats, men är det verkligen så?

EDIT: Glöm det, hittade svaret i den andra tråden.

Mycket intressant projekt! :-)

Men less is more till en början, se till att spendera tid på det viktiga. Få upp hela infrastrukturen med ett simpelt for-loop-test först. Lägg sedan på alla andra fräcka test.

Jag kan till viss del hålla med dig,
Det jag funderade kring var att man kan optimera ett system på 1000 olika sätt, man kan sätta på cache i databasen, man kan köra APC och memcache i PHP, osv. det jag är rädd för är att om man kör testet och webbhotellet har optimerat sin server med diverse cache och det går supersnabbt, men att ett CMS gör helt andra typer av SQL-frågor vilket resulterar till en helt annan prestanda.

Kommer ni mäta I/O prestanda oxå?

Ja, det är klart man kan optimera för det. Men vi kommer ju att sträva efter att göra tester som på ett så bra sätt som möjligt speglar den prestandan man märker när man surfar runt på en sida.
APC eller någon OP Code-cache antar jag att de flesta kör och det är ju något som alla PHP-skript drar nytta av, men memcache är det inte många webbhotell som erbjuder. Querycache går ju att förhindra genom att slumpa fram data som ska användas i queryn så att inte resultatet kan cachas. Det sistnämnda är enklet att göra och finns redan implementerat i den första versionen jag gjorde.

Om vi gör bra test som faktiskt kan reflektera hur snabbt ett CMS kör och webbhotell optimerar efter vårt test så har vi ju vunnit väldigt mycket. Det är ju att sätta lite press på webbhotellen att erbjuda bra prestanda som vi vill uppnå med det här och ge webbmasters möjligheten att jämföra.

Målet är väl att vi ska testa det mesta. Vad för slags I/O tänker du på?
Skriva/läsa filer är ju t.ex. ganska lätt att testa men att köra benchmarks hela webbsidor(simulera trafik) är nog lite svårare då det kräver väldigt mycket bandbredd vilket kostar lite för mycket.

Varför inte ha en wordpres, joomla, drupal, osv själva testat, hur snabbt genererades och levererades sidan?

Detta kanske inte är praktiskt, men de vore relevant att få se hur lång tid de tar för wordpress sidan att genereras. Typ att man installerar 5 olika CMS verktyg hos hotellen som ett kompliment i benchmarken.
"Så här snabbt går Wordpress hos XX".

Apropå när vi snackar om att CMS systemen kan sega ner testet om man kör de i en widget, varför då inte låta själva CMS'en vara testet.
De borde på nått vis också återspegla verklig upplevelse.

Mättal från SQL'er är kanske inte så intressant i folks ögon förutom g33k's.

Nja, jag vet inte riktigt med det.
Jag tycker nog det räcker som det är nu. Generiska siffror är enkla att jämföra och hantera. Om ett webbhotell har bättre siffror så är det ju snabbare. Delar man upp alla siffror i massa kategorier så tror jag att kvaliteten på datan försämras ganska mycket. En Wordpress-installation skiljer sig väldigt mycket ifrån en annan så jag tror det är bättre med generella siffror som går att applicera på alla applikationer.

Det skulle kunna finnas ett par olika huvudkategorier där man får ett resultat i varje. Dessa skulle kunna t.ex. vara Läsning databas, skrivning databas, PHP/skriptprestanda, Fil I/O, osv.
Dessa värden viktar man sedan och räknar fram en slutpoäng. Man skulle kunna ha olika viktningar beroende på vilken CMS/applikation man vill köra. Detta blir ju såklart väldigt ungefärligt, men det är ju inga exakta siffror i något led så det är ju inget större problem tycker jag. Det kommer aldrig kunna bli exakt.

Fast ponera att vi har 2 hotell, ett med mycket bra generiska siffror och ett med sämre. Hotellet med sämre siffror genererar sidor mycket snabbare än det andra, vilket hotell skulle vara mest intressant för gemene man? Ja inte hotellet med bästa generiska siffrorna troligen.

Att testa en konkret applikation, cms wordpress osv, ger ett sammantaget värde som enskilda generiska siffror inte kan ge. Dvs bara för att ett hotell har bra i/o mot disk och bra fart mot databas behöver inte innebära att det fungerar bättre än ett annat hotell där memcache slots erbjuds som cachar mysql frågor samt xcache osv, osv.

Generiska siffror fungerar bara på generiska webbhotell, där allt är i princip samma, och så är det sällan. Dvs alla webbhotell kör inte xcache, apc eller memcache
Vidare skulle lastbalanserade hotell ge ganska dåliga värden, men prestera betydligt bättre i verkligheten.