Ja, fast det där handlar ju endast om hur bra tester vi gör. Vi kommer ju mäta sådana saker som spelar roll för hur snabbt servern kan sätta ihop sidan och ju bättre tester vi gör, desto bättre kommer siffrorna stämma med verkligheten. Ingen av siffrorna kommer kunna vara exakta för alla(vilket test kan erbjuda det egentligen?) utan får mest ses som en riktlinje.

XCache och alla andra OPcode cachers kommer ju synas i testen eftersom de snabbar upp PHP-scripten. Memcahced är det väldigt få som erbjuder och jag ser inte någon större anledning att ha ett test med det eftersom det troligen inte kommer skilja så mycket i prestanda ändå. Men kanske kan ta upp det som en övrig punkt, ge några bonuspoäng för eller likande för att få med det i bedömningen. Memcached är dessutom bara intressant för de som redan kan mycket så de kan nog själva tänka ut vad det skulle kunna innebära för dem i deras tänkta applikation.

De allra flesta webbhotell erbjuder ju i praktiken nästan exakt samma sak i grunden, dvs PHP och MySQL. Testar vi de allra flesta tänkbara stegen från att servern får en request till att den färdiga sidan spottas ut så täcker vi ju det som är relevant för hur prestandan blir i slutändan. Detta borde ju gå att göra ganska generiskt och kommer aldrig gå att ta hänsyn till alla parametrar i ett sånt här system. Det blir sedan upp till den som kollar på värdena att avgöra vilket alternativ som är bäst. Har man till exempel väldigt databasintensiva applikationer spelar såklart databasprestandan störst roll och då kollar man mest på det värdet när man gör sin bedömning. Hanterar man mycket filer på servern kommer kanske istället värdena för fil I/O vara de mest intressanta. Här skulle man också kunna ha en del hjälp för den oerfarne där man kan ta fram ett riktvärde för en installation av ett CMS.

Bra sammanfattning.

Det verkar också som att omröstningen lutar ganska kraftigt åt att hemsidan hämtar data från klienterna.

Dags för en, http://balsamiq.com/ mookup? :P

Mjo, men jag är lite delad om vad som skulle vara bäst. Vore kul om någon mer erfaren mjukvaruarkitekt kunde ge sin syn på detta. Men å andra sidan finns det ju inte så mycket som hindrar oss ifrån att ge möjligheter för båda sätten.

Hehe, vi är inte riktigt framme vid UI-designen än :)
Men det verkar vara ett trevligt program för att göra mockups, tack för tipset.

Att samla all data på ett ställe hade varit optimalt ifall man senare väljer att bygga något form av "poängsystem" där man kan samla webbhotellens prestandaresultat och presentera dessa i en "lätt att förstå"-poängskala...

Utmaningen ligger i att få klienten att upptäcka vilken "produkt" de använder, men jag misstänker att det oftast kan göras genom att helt enkelt titta på serverns/servrarnas hostname eller liknande.

För att presentera datan kan jag rekommendera highcharts. riktigt smidigt och snyggt och bygger på jquery.

Det är det som är poängen med "serverdelen" av det hela.

För övrigt kanske vi borde försöka komma bort från uttrycken "klient" och "server"? Deras primära mål är ju inte att kommunicera, och klient/server kanske bara förvirrar.

Klientens primära mål är att exekvera tester och generera rapporter. Vi kanske kan kalla det skriptet eller applikationen?

Serverdelens primära mål är att sammanställa och redovisa data för användare via en hemsida. Hemsidan kanske fungerar?

Här är några av mina tankar sen sist (huller om buller):

• Alla tester ska gå att utföras enskilt.
• Personen som kör appliaktionen måste kunna välja vilka test som ska utföras.
• Personen som kör appliaktionen måste ha full makt över genererad data, tills det tillfälle personen självmant ger bort datan till vår hemsida (hur det nu än blir med kommunikationen däremellan).
• Appliaktionen genererar läsbara rapporter efter utfört test.
• Appliaktionen kan pusha data till (eller få en pull request från, se omröstning och tidigare diskussion) hemsidan och överföra data mha. xml, json eller dylikt.
• Appliaktionen ska agera som ett ramverk för tester, det ska vara enkelt för utvecklare världen över att implementera egna tester för deras plattformar.
• Hemsidan tar bara hänsyn till de tester som rör svenska webbhotell.

Absolut intressant - för alla parter. Vi bidrar gärna också med hosting vare sig det är delat eller virtuella servrar...

akelagercrantz: Bra lista!

Kan lägga till några punkter:

• Hemsidan ska presentera all insamlad data på ett sätt som gör det enkelt att se vilka webbhotell som är bra på vad och jämföra dem emot varandra utefter en rad olika parametrar.
• Hemsidan ska på något sätt kunna gradera tillförlitligheten på datan(mycket data med låg spridning ger hög tillförlitlighet).
• Applikationen ska vara modulär så att det är enkelt att lägga och ta bort till tester utan att man behöver ändra något i applikationens kärna.

Vi borde försöka strukturera upp och sammanställa de krav och features vi vill ha för att sedan komma till någon form av konsensus kring det. Efter det kan vi börja organisera upp utvecklingen. Jag tar gärna på mig att koordinera ihop detta.
Vi som är intresserade borde hitta något bra sätt att kommunicera med varandra. IRC, Skype eller vad föredrar ni?
Personligen tycker jag gruppsamtal/-chatt på Skype fungerar utmärkt för detta ändamål. Det är till exempel väldigt bra att kunna se backloggen på vad alla har skrivit utan att krångla med bottar m.m. så att man inte missar något viktigt. Någon som har något annat förslag?

Både IRC och Skype funkar för mig. Fördelen med IRC är ju att man inte behöver ha varit med i en konversation för att se backlog. Orkar någon fixa med bot i så fall? Jag har ingen erfarenhet av det alls.

Jag har sprungit i förväg lite och gjort några förändringar i koden. Försökte sätta upp ett skal för modulära tester. commit: f8957e65b15bec801575