[pelmered]

Ursprungligen postat av Danielos

Fast ponera att vi har 2 hotell, ett med mycket bra generiska siffror och ett med sämre. Hotellet med sämre siffror genererar sidor mycket snabbare än det andra, vilket hotell skulle vara mest intressant för gemene man? Ja inte hotellet med bästa generiska siffrorna troligen.

Ja, fast det där handlar ju endast om hur bra tester vi gör. Vi kommer ju mäta sådana saker som spelar roll för hur snabbt servern kan sätta ihop sidan och ju bättre tester vi gör, desto bättre kommer siffrorna stämma med verkligheten. Ingen av siffrorna kommer kunna vara exakta för alla(vilket test kan erbjuda det egentligen?) utan får mest ses som en riktlinje.

Ursprungligen postat av Danielos

Att testa en konkret applikation, cms wordpress osv, ger ett sammantaget värde som enskilda generiska siffror inte kan ge. Dvs bara för att ett hotell har bra i/o mot disk och bra fart mot databas behöver inte innebära att det fungerar bättre än ett annat hotell där memcache slots erbjuds som cachar mysql frågor samt xcache osv, osv.

XCache och alla andra OPcode cachers kommer ju synas i testen eftersom de snabbar upp PHP-scripten. Memcahced är det väldigt få som erbjuder och jag ser inte någon större anledning att ha ett test med det eftersom det troligen inte kommer skilja så mycket i prestanda ändå. Men kanske kan ta upp det som en övrig punkt, ge några bonuspoäng för eller likande för att få med det i bedömningen. Memcached är dessutom bara intressant för de som redan kan mycket så de kan nog själva tänka ut vad det skulle kunna innebära för dem i deras tänkta applikation.

Ursprungligen postat av Danielos

Generiska siffror fungerar bara på generiska webbhotell, där allt är i princip samma, och så är det sällan. Dvs alla webbhotell kör inte xcache, apc eller cacheminne
Vidare skulle lastbalanserade hotell ge ganska dåliga värden, men prestera betydligt bättre i verkligheten.

De allra flesta webbhotell erbjuder ju i praktiken nästan exakt samma sak i grunden, dvs PHP och MySQL. Testar vi de allra flesta tänkbara stegen från att servern får en request till att den färdiga sidan spottas ut så täcker vi ju det som är relevant för hur prestandan blir i slutändan. Detta borde ju gå att göra ganska generiskt och kommer aldrig gå att ta hänsyn till alla parametrar i ett sånt här system. Det blir sedan upp till den som kollar på värdena att avgöra vilket alternativ som är bäst. Har man till exempel väldigt databasintensiva applikationer spelar såklart databasprestandan störst roll och då kollar man mest på det värdet när man gör sin bedömning. Hanterar man mycket filer på servern kommer kanske istället värdena för fil I/O vara de mest intressanta. Här skulle man också kunna ha en del hjälp för den oerfarne där man kan ta fram ett riktvärde för en installation av ett CMS.

[akelagercrantz]

Ursprungligen postat av ITisGood.se

Ja, fast det där handlar ju endast om hur bra tester vi gör. Vi kommer ju mäta sådana saker som spelar roll för hur snabbt servern kan sätta ihop sidan och ju bättre tester vi gör

...

Hanterar man mycket filer på servern kommer kanske istället värdena för fil I/O vara de mest intressanta. Här skulle man också kunna ha en del hjälp för den oerfarne där man kan ta fram ett riktvärde för en installation av ett CMS.

Bra sammanfattning.

Det verkar också som att omröstningen lutar ganska kraftigt åt att hemsidan hämtar data från klienterna.

[BarateaU]

Dags för en, http://balsamiq.com/ mookup? :P

[pelmered]

Ursprungligen postat av akelagercrantz

Det verkar också som att omröstningen lutar ganska kraftigt åt att hemsidan hämtar data från klienterna.

Mjo, men jag är lite delad om vad som skulle vara bäst. Vore kul om någon mer erfaren mjukvaruarkitekt kunde ge sin syn på detta. Men å andra sidan finns det ju inte så mycket som hindrar oss ifrån att ge möjligheter för båda sätten.

Ursprungligen postat av BarateaU

Dags för en, http://balsamiq.com/ mookup? :P

Hehe, vi är inte riktigt framme vid UI-designen än
Men det verkar vara ett trevligt program för att göra mockups, tack för tipset.

[jgabor]

Ursprungligen postat av ITisGood.se

Mjo, men jag är lite delad om vad som skulle vara bäst. Vore kul om någon mer erfaren mjukvaruarkitekt kunde ge sin syn på detta. Men å andra sidan finns det ju inte så mycket som hindrar oss ifrån att ge möjligheter för båda sätten.

Att samla all data på ett ställe hade varit optimalt ifall man senare väljer att bygga något form av "poängsystem" där man kan samla webbhotellens prestandaresultat och presentera dessa i en "lätt att förstå"-poängskala...

Utmaningen ligger i att få klienten att upptäcka vilken "produkt" de använder, men jag misstänker att det oftast kan göras genom att helt enkelt titta på serverns/servrarnas hostname eller liknande.

[MRDJ]

Ursprungligen postat av jgabor

Att samla all data på ett ställe hade varit optimalt ifall man senare väljer att bygga något form av "poängsystem" där man kan samla webbhotellens prestandaresultat och presentera dessa i en "lätt att förstå"-poängskala...

Utmaningen ligger i att få klienten att upptäcka vilken "produkt" de använder, men jag misstänker att det oftast kan göras genom att helt enkelt titta på serverns/servrarnas hostname eller liknande.

För att presentera datan kan jag rekommendera highcharts. riktigt smidigt och snyggt och bygger på jquery.

[akelagercrantz]

Ursprungligen postat av jgabor

Att samla all data på ett ställe hade varit optimalt ifall man senare väljer att bygga något form av "poängsystem" där man kan samla webbhotellens prestandaresultat och presentera dessa i en "lätt att förstå"-poängskala...

Det är det som är poängen med "serverdelen" av det hela.

För övrigt kanske vi borde försöka komma bort från uttrycken "klient" och "server"? Deras primära mål är ju inte att kommunicera, och klient/server kanske bara förvirrar.

Klientens primära mål är att exekvera tester och generera rapporter. Vi kanske kan kalla det skriptet eller applikationen?

Serverdelens primära mål är att sammanställa och redovisa data för användare via en hemsida. Hemsidan kanske fungerar?

Här är några av mina tankar sen sist (huller om buller):

• Alla tester ska gå att utföras enskilt.
• Personen som kör appliaktionen måste kunna välja vilka test som ska utföras.
• Personen som kör appliaktionen måste ha full makt över genererad data, tills det tillfälle personen självmant ger bort datan till vår hemsida (hur det nu än blir med kommunikationen däremellan).
• Appliaktionen genererar läsbara rapporter efter utfört test.
• Appliaktionen kan pusha data till (eller få en pull request från, se omröstning och tidigare diskussion) hemsidan och överföra data mha. xml, json eller dylikt.
• Appliaktionen ska agera som ett ramverk för tester, det ska vara enkelt för utvecklare världen över att implementera egna tester för deras plattformar.
• Hemsidan tar bara hänsyn till de tester som rör svenska webbhotell.

[johan1234]

Absolut intressant - för alla parter. Vi bidrar gärna också med hosting vare sig det är delat eller virtuella servrar...

[pelmered]

akelagercrantz: Bra lista!

Kan lägga till några punkter:

• Hemsidan ska presentera all insamlad data på ett sätt som gör det enkelt att se vilka webbhotell som är bra på vad och jämföra dem emot varandra utefter en rad olika parametrar.
• Hemsidan ska på något sätt kunna gradera tillförlitligheten på datan(mycket data med låg spridning ger hög tillförlitlighet).
• Applikationen ska vara modulär så att det är enkelt att lägga och ta bort till tester utan att man behöver ändra något i applikationens kärna.

Vi borde försöka strukturera upp och sammanställa de krav och features vi vill ha för att sedan komma till någon form av konsensus kring det. Efter det kan vi börja organisera upp utvecklingen. Jag tar gärna på mig att koordinera ihop detta.
Vi som är intresserade borde hitta något bra sätt att kommunicera med varandra. IRC, Skype eller vad föredrar ni?
Personligen tycker jag gruppsamtal/-chatt på Skype fungerar utmärkt för detta ändamål. Det är till exempel väldigt bra att kunna se backloggen på vad alla har skrivit utan att krångla med bottar m.m. så att man inte missar något viktigt. Någon som har något annat förslag?

[akelagercrantz]

Ursprungligen postat av ITisGood.se

Vi borde försöka strukturera upp och sammanställa de krav och features vi vill ha för att sedan komma till någon form av konsensus kring det. Efter det kan vi börja organisera upp utvecklingen. Jag tar gärna på mig att koordinera ihop detta.
Vi som är intresserade borde hitta något bra sätt att kommunicera med varandra. IRC, Skype eller vad föredrar ni?
Personligen tycker jag gruppsamtal/-chatt på Skype fungerar utmärkt för detta ändamål. Det är till exempel väldigt bra att kunna se backloggen på vad alla har skrivit utan att krångla med bottar m.m. så att man inte missar något viktigt. Någon som har något annat förslag?

Både IRC och Skype funkar för mig. Fördelen med IRC är ju att man inte behöver ha varit med i en konversation för att se backlog. Orkar någon fixa med bot i så fall? Jag har ingen erfarenhet av det alls.

Jag har sprungit i förväg lite och gjort några förändringar i koden. Försökte sätta upp ett skal för modulära tester. commit: f8957e65b15bec801575