Ja, fast det där handlar ju endast om hur bra tester vi gör. Vi kommer ju mäta sådana saker som spelar roll för hur snabbt servern kan sätta ihop sidan och ju bättre tester vi gör, desto bättre kommer siffrorna stämma med verkligheten. Ingen av siffrorna kommer kunna vara exakta för alla(vilket test kan erbjuda det egentligen?) utan får mest ses som en riktlinje.

XCache och alla andra OPcode cachers kommer ju synas i testen eftersom de snabbar upp PHP-scripten. Memcahced är det väldigt få som erbjuder och jag ser inte någon större anledning att ha ett test med det eftersom det troligen inte kommer skilja så mycket i prestanda ändå. Men kanske kan ta upp det som en övrig punkt, ge några bonuspoäng för eller likande för att få med det i bedömningen. Memcached är dessutom bara intressant för de som redan kan mycket så de kan nog själva tänka ut vad det skulle kunna innebära för dem i deras tänkta applikation.

De allra flesta webbhotell erbjuder ju i praktiken nästan exakt samma sak i grunden, dvs PHP och MySQL. Testar vi de allra flesta tänkbara stegen från att servern får en request till att den färdiga sidan spottas ut så täcker vi ju det som är relevant för hur prestandan blir i slutändan. Detta borde ju gå att göra ganska generiskt och kommer aldrig gå att ta hänsyn till alla parametrar i ett sånt här system. Det blir sedan upp till den som kollar på värdena att avgöra vilket alternativ som är bäst. Har man till exempel väldigt databasintensiva applikationer spelar såklart databasprestandan störst roll och då kollar man mest på det värdet när man gör sin bedömning. Hanterar man mycket filer på servern kommer kanske istället värdena för fil I/O vara de mest intressanta. Här skulle man också kunna ha en del hjälp för den oerfarne där man kan ta fram ett riktvärde för en installation av ett CMS.

Bra sammanfattning.

Det verkar också som att omröstningen lutar ganska kraftigt åt att hemsidan hämtar data från klienterna.

Dags för en, http://balsamiq.com/ mookup? :P

Mjo, men jag är lite delad om vad som skulle vara bäst. Vore kul om någon mer erfaren mjukvaruarkitekt kunde ge sin syn på detta. Men å andra sidan finns det ju inte så mycket som hindrar oss ifrån att ge möjligheter för båda sätten.

Hehe, vi är inte riktigt framme vid UI-designen än :)
Men det verkar vara ett trevligt program för att göra mockups, tack för tipset.

Att samla all data på ett ställe hade varit optimalt ifall man senare väljer att bygga något form av "poängsystem" där man kan samla webbhotellens prestandaresultat och presentera dessa i en "lätt att förstå"-poängskala...

Utmaningen ligger i att få klienten att upptäcka vilken "produkt" de använder, men jag misstänker att det oftast kan göras genom att helt enkelt titta på serverns/servrarnas hostname eller liknande.

För att presentera datan kan jag rekommendera highcharts. riktigt smidigt och snyggt och bygger på jquery.

Det är det som är poängen med "serverdelen" av det hela.

För övrigt kanske vi borde försöka komma bort från uttrycken "klient" och "server"? Deras primära mål är ju inte att kommunicera, och klient/server kanske bara förvirrar.

Klientens primära mål är att exekvera tester och generera rapporter. Vi kanske kan kalla det skriptet eller applikationen?

Serverdelens primära mål är att sammanställa och redovisa data för användare via en hemsida. Hemsidan kanske fungerar?

Här är några av mina tankar sen sist (huller om buller):

• Alla tester ska gå att utföras enskilt.
• Personen som kör appliaktionen måste kunna välja vilka test som ska utföras.
• Personen som kör appliaktionen måste ha full makt över genererad data, tills det tillfälle personen självmant ger bort datan till vår hemsida (hur det nu än blir med kommunikationen däremellan).
• Appliaktionen genererar läsbara rapporter efter utfört test.
• Appliaktionen kan pusha data till (eller få en pull request från, se omröstning och tidigare diskussion) hemsidan och överföra data mha. xml, json eller dylikt.
• Appliaktionen ska agera som ett ramverk för tester, det ska vara enkelt för utvecklare världen över att implementera egna tester för deras plattformar.
• Hemsidan tar bara hänsyn till de tester som rör svenska webbhotell.

Absolut intressant - för alla parter. Vi bidrar gärna också med hosting vare sig det är delat eller virtuella servrar...

akelagercrantz: Bra lista!

Kan lägga till några punkter:

• Hemsidan ska presentera all insamlad data på ett sätt som gör det enkelt att se vilka webbhotell som är bra på vad och jämföra dem emot varandra utefter en rad olika parametrar.
• Hemsidan ska på något sätt kunna gradera tillförlitligheten på datan(mycket data med låg spridning ger hög tillförlitlighet).
• Applikationen ska vara modulär så att det är enkelt att lägga och ta bort till tester utan att man behöver ändra något i applikationens kärna.

Vi borde försöka strukturera upp och sammanställa de krav och features vi vill ha för att sedan komma till någon form av konsensus kring det. Efter det kan vi börja organisera upp utvecklingen. Jag tar gärna på mig att koordinera ihop detta.
Vi som är intresserade borde hitta något bra sätt att kommunicera med varandra. IRC, Skype eller vad föredrar ni?
Personligen tycker jag gruppsamtal/-chatt på Skype fungerar utmärkt för detta ändamål. Det är till exempel väldigt bra att kunna se backloggen på vad alla har skrivit utan att krångla med bottar m.m. så att man inte missar något viktigt. Någon som har något annat förslag?

Både IRC och Skype funkar för mig. Fördelen med IRC är ju att man inte behöver ha varit med i en konversation för att se backlog. Orkar någon fixa med bot i så fall? Jag har ingen erfarenhet av det alls.

Jag har sprungit i förväg lite och gjort några förändringar i koden. Försökte sätta upp ett skal för modulära tester. commit: f8957e65b15bec801575

Hur går vi vidare nu?

Jag kan sätta upp ftp och db på 3 olika hostar ifall de hjälper testandet av scripten och utvärdera resultat.
För att slippa ha sjuttielva adresser olika domänadresser till testmaskinerna så kan man lägga upp t.ex. A records som subd:
citynetwork.hostingspeed.se
loopia.hostingspeed.se
servage. -||-
osv osv

Har lagt upp 3st nu, tar ett tag för dns posterna att uppdatera.
citynetwork[punkt]hosten.se
servage[punkt]hosten.se
infoferenda[punkt]hosten.se

Det låter bra BarateaU!

Har nu fixat lite mer på klientens kodbas, bland annat implementerat samma uppsättning tester som ITisGood skrev från början (MySQL insert, update & select).

https://github.com/akelagercrantz/ho...commits/master

Någon update?

Nja, jag har varit lite upptagen med annat den senaste veckan men vi får försöka komma igång så fort som möjligt nu.
Vi skulle behöva någon bra kommunikationskanal för de som är intresserade och vill vara med och bidra. Vi behöver hitta någon lösning för detta, men jag vet inte riktigt vad som skulle fungera bäst för oss och den här typen av projekt.

Github är väl perfekt? Både möjlighet till kommentarer och kodsamlig.

Google Code?

Projektet ligger redan på Github. Det ITisGood syftade på var ett mer chatt-liknande upplägg, typ skype eller irc.

Äpplet baserad IRC hade varit trevligt så man slipper sitta med mIRC.
Dock vet jag inte hur de funkar med historik om den kan visa de för nya anslutna.
WN hade äpplet irc förut?

Var typ 10 år sedan man lekte på irc'en så är lite ringrostig.

Gjorde en snabb googling och finns http://05.chat.mibbit.com/
Välj mibbit server och joina #hostingspeed
*** barateau joined #hostingspeed

Har för mig att Skype lagrar all historik på sina servrar så man alltid kan komma åt den, även om man loggar in från en annan dator. Annars är IRC (gärna på freenode) och en IRC-bot som har sökbara loggar ett alternativ, men då är nog Skype lättare att komma igång med. Ännu ett alternativ, om än inte gratis, skulle kunna vara Campfire.

Jag föreslår Skype för "möten", och Github för längre diskussioner gällande specifika saker.

Mycket intressant projekt och väl värt att sponsra.

En självklar sak bör ju vara att tala om vilken kontoform man har, man får ju alltid vad amn betalar för och en VMwarehosting e ju dyrare än en snik VMS som i sin tur är dyrare än shared hosting, så man bör ju kunna jämföra olika shared hosting mot varandra och VPS/VM mot varandra för mer rättvis jämförelse.

Sen anser jag att man även bör kunna ha ett .NET script för att jämföra NET/M$SQL prestanda då de flesta företag trots allt föredrar denna miljö när dom behöver integrationer.
Även om dom inte lär välja shared hosting för de ändamålen så är ju inte en VM irrelevant. Eller så kan dom behöva en mindre projektplats med shared Hosting så...

Jag håller med, men jag anser att PHP-versionen ska göras först och ordentligt. Sedan kan man alltid göra en .NET-version, och dra lärdom av de misstag man gjorde när man skapade PHP-versionen... ;)

Hellre ett script som fungerar riktigt bra och täcker den absolut största majoriteten av webbhotellsbranschen, än två täcker hela men som fungerar halvdant...