[Erik Stenman]

Ursprungligen postat av akelagercrantz

Det test som ITisGood har skrivit testar operationer/s i MySQL. Jag kan tänka mig att vi implementerar liknande tester för cpu-prestanda, IO-prestanda osv.

Att testa antal req/s i ett cms är så klart intressant också, men det är så många parametrar som man måste ta hänsyn till. Det är många inställningar som påverkar hastigheten av systemet. En installation av wordpress skiljer sig ganska mycket från en annan, med den stora mängd plugins det finns. Bara det att ändra på permalänkarnas struktur kan påverka prestandan i wordpress enormt. http://comox.textdrive.com/pipermail...ry/011097.html

Precis, instämmer i att vi bör undvika CMS:er pga alla plugins som kan dra ner prestandan. Alternativt ett seperat testmoment för olika CMS:er där användaren ombes stänga av plugins.

[Westman]

EDIT: Glöm det, hittade svaret i den andra tråden.

[coredev]

Mycket intressant projekt! :-)

Men less is more till en början, se till att spendera tid på det viktiga. Få upp hela infrastrukturen med ett simpelt for-loop-test först. Lägg sedan på alla andra fräcka test.

[BarateaU]

Varför inte ha en wordpres, joomla, drupal, osv själva testat, hur snabbt genererades och levererades sidan?

Detta kanske inte är praktiskt, men de vore relevant att få se hur lång tid de tar för wordpress sidan att genereras. Typ att man installerar 5 olika CMS verktyg hos hotellen som ett kompliment i benchmarken.
"Så här snabbt går Wordpress hos XX".

Apropå när vi snackar om att CMS systemen kan sega ner testet om man kör de i en widget, varför då inte låta själva CMS'en vara testet.
De borde på nått vis också återspegla verklig upplevelse.

Mättal från SQL'er är kanske inte så intressant i folks ögon förutom g33k's.

[pelmered]

Ursprungligen postat av BarateaU

Varför inte ha en wordpres, joomla, drupal, osv själva testat, hur snabbt genererades och levererades sidan?

Detta kanske inte är praktiskt, men de vore relevant att få se hur lång tid de tar för wordpress sidan att genereras. Typ att man installerar 5 olika CMS verktyg hos hotellen som ett kompliment i benchmarken.
"Så här snabbt går Wordpress hos XX".

Apropå när vi snackar om att CMS systemen kan sega ner testet om man kör de i en widget, varför då inte låta själva CMS'en vara testet.
De borde på nått vis också återspegla verklig upplevelse.

Mättal från SQL'er är kanske inte så intressant i folks ögon förutom g33k's.

Nja, jag vet inte riktigt med det.
Jag tycker nog det räcker som det är nu. Generiska siffror är enkla att jämföra och hantera. Om ett webbhotell har bättre siffror så är det ju snabbare. Delar man upp alla siffror i massa kategorier så tror jag att kvaliteten på datan försämras ganska mycket. En Wordpress-installation skiljer sig väldigt mycket ifrån en annan så jag tror det är bättre med generella siffror som går att applicera på alla applikationer.

Det skulle kunna finnas ett par olika huvudkategorier där man får ett resultat i varje. Dessa skulle kunna t.ex. vara Läsning databas, skrivning databas, PHP/skriptprestanda, Fil I/O, osv.
Dessa värden viktar man sedan och räknar fram en slutpoäng. Man skulle kunna ha olika viktningar beroende på vilken CMS/applikation man vill köra. Detta blir ju såklart väldigt ungefärligt, men det är ju inga exakta siffror i något led så det är ju inget större problem tycker jag. Det kommer aldrig kunna bli exakt.

[Danielos]

Ursprungligen postat av ITisGood.se

Nja, jag vet inte riktigt med det.
Jag tycker nog det räcker som det är nu. Generiska siffror är enkla att jämföra och hantera.

Fast ponera att vi har 2 hotell, ett med mycket bra generiska siffror och ett med sämre. Hotellet med sämre siffror genererar sidor mycket snabbare än det andra, vilket hotell skulle vara mest intressant för gemene man? Ja inte hotellet med bästa generiska siffrorna troligen.

Att testa en konkret applikation, cms wordpress osv, ger ett sammantaget värde som enskilda generiska siffror inte kan ge. Dvs bara för att ett hotell har bra i/o mot disk och bra fart mot databas behöver inte innebära att det fungerar bättre än ett annat hotell där memcache slots erbjuds som cachar mysql frågor samt xcache osv, osv.

Generiska siffror fungerar bara på generiska webbhotell, där allt är i princip samma, och så är det sällan. Dvs alla webbhotell kör inte xcache, apc eller memcache
Vidare skulle lastbalanserade hotell ge ganska dåliga värden, men prestera betydligt bättre i verkligheten.

[pelmered]

Ursprungligen postat av Danielos

Fast ponera att vi har 2 hotell, ett med mycket bra generiska siffror och ett med sämre. Hotellet med sämre siffror genererar sidor mycket snabbare än det andra, vilket hotell skulle vara mest intressant för gemene man? Ja inte hotellet med bästa generiska siffrorna troligen.

Ja, fast det där handlar ju endast om hur bra tester vi gör. Vi kommer ju mäta sådana saker som spelar roll för hur snabbt servern kan sätta ihop sidan och ju bättre tester vi gör, desto bättre kommer siffrorna stämma med verkligheten. Ingen av siffrorna kommer kunna vara exakta för alla(vilket test kan erbjuda det egentligen?) utan får mest ses som en riktlinje.

Ursprungligen postat av Danielos

Att testa en konkret applikation, cms wordpress osv, ger ett sammantaget värde som enskilda generiska siffror inte kan ge. Dvs bara för att ett hotell har bra i/o mot disk och bra fart mot databas behöver inte innebära att det fungerar bättre än ett annat hotell där memcache slots erbjuds som cachar mysql frågor samt xcache osv, osv.

XCache och alla andra OPcode cachers kommer ju synas i testen eftersom de snabbar upp PHP-scripten. Memcahced är det väldigt få som erbjuder och jag ser inte någon större anledning att ha ett test med det eftersom det troligen inte kommer skilja så mycket i prestanda ändå. Men kanske kan ta upp det som en övrig punkt, ge några bonuspoäng för eller likande för att få med det i bedömningen. Memcached är dessutom bara intressant för de som redan kan mycket så de kan nog själva tänka ut vad det skulle kunna innebära för dem i deras tänkta applikation.

Ursprungligen postat av Danielos

Generiska siffror fungerar bara på generiska webbhotell, där allt är i princip samma, och så är det sällan. Dvs alla webbhotell kör inte xcache, apc eller cacheminne
Vidare skulle lastbalanserade hotell ge ganska dåliga värden, men prestera betydligt bättre i verkligheten.

De allra flesta webbhotell erbjuder ju i praktiken nästan exakt samma sak i grunden, dvs PHP och MySQL. Testar vi de allra flesta tänkbara stegen från att servern får en request till att den färdiga sidan spottas ut så täcker vi ju det som är relevant för hur prestandan blir i slutändan. Detta borde ju gå att göra ganska generiskt och kommer aldrig gå att ta hänsyn till alla parametrar i ett sånt här system. Det blir sedan upp till den som kollar på värdena att avgöra vilket alternativ som är bäst. Har man till exempel väldigt databasintensiva applikationer spelar såklart databasprestandan störst roll och då kollar man mest på det värdet när man gör sin bedömning. Hanterar man mycket filer på servern kommer kanske istället värdena för fil I/O vara de mest intressanta. Här skulle man också kunna ha en del hjälp för den oerfarne där man kan ta fram ett riktvärde för en installation av ett CMS.

[akelagercrantz]

Ursprungligen postat av ITisGood.se

Ja, fast det där handlar ju endast om hur bra tester vi gör. Vi kommer ju mäta sådana saker som spelar roll för hur snabbt servern kan sätta ihop sidan och ju bättre tester vi gör

...

Hanterar man mycket filer på servern kommer kanske istället värdena för fil I/O vara de mest intressanta. Här skulle man också kunna ha en del hjälp för den oerfarne där man kan ta fram ett riktvärde för en installation av ett CMS.

Bra sammanfattning.

Det verkar också som att omröstningen lutar ganska kraftigt åt att hemsidan hämtar data från klienterna.

[BarateaU]

Dags för en, http://balsamiq.com/ mookup? :P

[pelmered]

Ursprungligen postat av akelagercrantz

Det verkar också som att omröstningen lutar ganska kraftigt åt att hemsidan hämtar data från klienterna.

Mjo, men jag är lite delad om vad som skulle vara bäst. Vore kul om någon mer erfaren mjukvaruarkitekt kunde ge sin syn på detta. Men å andra sidan finns det ju inte så mycket som hindrar oss ifrån att ge möjligheter för båda sätten.

Ursprungligen postat av BarateaU

Dags för en, http://balsamiq.com/ mookup? :P

Hehe, vi är inte riktigt framme vid UI-designen än
Men det verkar vara ett trevligt program för att göra mockups, tack för tipset.