Kom ihåg mig?

Hårdvara för att klara mina belastningar

 
Ämnesverktyg Visningsalternativ
Oläst 2007-07-09, 19:34 #21
kullervos avatar
kullervo kullervo är inte uppkopplad
Bara ett inlägg till!
 
Reg.datum: Dec 2003
Inlägg: 1 519
kullervo kullervo är inte uppkopplad
Bara ett inlägg till!
kullervos avatar
 
Reg.datum: Dec 2003
Inlägg: 1 519
Citat:
Ursprungligen postat av FredrikMH
De optimeringar jag gjorde med memcache hjälpte i några dagar tills cpun hade mycket att göra igen
Jaha, det är CPU:n som har det svettigt. Vad bra, för det är nog både enkelt och billigt att göra något åt. Vet du vad det är den håller på med? Min gissning är att den sliter med att uppdatera stora index.

Citat:
Ursprungligen postat av FredrikMH
Kullervo: Vad menar du med ett "skalbart system"?
Att kapaciteten i systemet är skalbar, dvs. att du alltid kan öka kapaciteten genom att *lägga till* (helst kostnadseffektiv) hårdvara. Att behöva byta ut hårdvara för att öka kapaciteten är vad kostymnissarna kallar för att skala vertikalt (till skillnad mot horisontalt) vilket ofta bara är onödigt dyrt och sämre om inte helt omöjligt t.om.
kullervo är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-07-09, 20:32 #22
jonny jonny är inte uppkopplad
Supermoderator
 
Reg.datum: Sep 2003
Inlägg: 6 941
jonny jonny är inte uppkopplad
Supermoderator
 
Reg.datum: Sep 2003
Inlägg: 6 941
Det kan ju bero lite på vilken scsi/sas-kontroller du kör också. Det är inte så att den är en billigare variant som behvöer lite extra hjälp av CPU?

Vad är det för nätverkskort? Var iofs ett par år sedan jag märkte av billiga nätverkskort som nästan sänkte maskinen när det kom trafik.

Förresten, vilken process är det som käkar CPU? Är det mysql, httpd eller något annat?
jonny är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-07-09, 22:59 #23
FredrikMHs avatar
FredrikMH FredrikMH är inte uppkopplad
Supermoderator
 
Reg.datum: Apr 2004
Inlägg: 1 501
FredrikMH FredrikMH är inte uppkopplad
Supermoderator
FredrikMHs avatar
 
Reg.datum: Apr 2004
Inlägg: 1 501
Weaver:
Att jobba sig igenom en loggfil tar en hel del resurser det med. Blir det verkligen så "mycket" bättre?

Ja bilden genereras varje gång. Bilden laddas av php och en siffra läggs till på bilden. Bilden är inte direkt stor (163 bytes) av typen gif. Totalt sätt skulle det finnas 100 olika bilder (kanske fler i framtiden) då jag idag endast visar deras position om de ligger i top 99 i deras kategori.

Skulle inte söktiden bli större för bilderna om det var 100 olika bilder som ska laddas in varje sekund? Jag menar de ligger på olika ställen på disken och läshuvudet får flytta sig oftare? Diskar är långsamma och att rita ut en liten siffra är inte jobbigt för processorn. Idag är det mysql som tar upp 25% cpu och är den som överbelastar servern.

Eventuellt skulle man spara en del disk-kapacitet genom att lagra dessa bilder i memcached men det har jag inte lyckats med då der serialiseras. Läste någonstans att det inte gick att spara filer i memcached men jag har inte undersökt det ytterligare.

Kullervo:
Jag har en ip-tabell som sparar alla ip-adresser och jag är medveten om att index gör det jobbigare att lägga in data i tabellen än en som är utan index. Tabellen består bara av två kolumner (userid, ip) där det jobbiga unique-index är placerat över båda, samt ytterligare ett index över userid (för att gruppera antal ip för användare).

Jag är medveten om att detta inte är snabbt och jobbigt för mysql att hantera. Men och andra sidan måste jag på något sätt sortera ut dubletter av ip-nummer. Kanske är det bättre att tillåta dubletter av ip och utnyttja DISTINCT i queryn för att beräkna de unika ip-nummerna i och med att detta endast sker var 15:e minut? Men samtidigt kommer datan i tabellen att öka enormt mycket. Idag har den närmare 10 miljoner rader i slutet på vekcan och då är dessa endast unika.

Jag har även provat med en heap-tabell med samma kolumner fast inga index alls och endast mata in alla ip-nummer där under 20min för att se om belastningen på servern sjönk men det blev tyvärr inte min uppfattning.

Jonny:
Jag har inte full tillgång till hårdvaran som sitter i min server. Jag hyr allting av The Planet men för $40 i månaden extra så hoppas jag inte att det är mjukvaru-raid jag fått

Ledsen kan inte hjälpa dig med nätverkskortet heller

mysql tar upp 100% enligt cpanel (vilket blir 25% med 4 processorer/kärnor).
httpd och övriga ligger långt ifrån mysql.

----------------
Som kullvervo skrev så segar säkert index ner men varför märkte jag inte någon förbättring när jag körde utan index och som heap-tabell? Det borde i så fall varit mycket snabbare. Det var detta som fick mig att sluta titta på tabellens uppbyggnad. Kanske är något annat som belastar?

Det som stör mig mest av allt är att så fort servern får lite att jobba med så går det segt att surfa på sidan. De dynamiska sidorna laddas lite långsmmare men alla bilder är det som får en att hämta en kopp kaffe under tiden. Ligger då mySQL på egen server så måste bara användaren vänta "lång" tid på innehållet. Sen trillarna bilderna in snabbt och enkelt vilket ger en mycket behagligare upplevelse.


Edit:
Idag hade jag en ytterligare ökning. Över 15% mer besökare sedan i fredags och så här fortsätter det från vecka till vecka. Enligt Alexa har jag en 150% trafikökning var tredje månad.

Just nu laddas allting väldigt långsamt med en härlig belastning på servern "Server Load 19.60 (4 cpus) ". Börjar bli riktigt kritiskt nu. Antaligen blir det köp av en dedikerad mysql-server tills jag kommit på något bättre.
FredrikMH är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-07-09, 23:24 #24
Decibels avatar
Decibel Decibel är inte uppkopplad
Klarade millennium-buggen
 
Reg.datum: Aug 2003
Inlägg: 2 413
Decibel Decibel är inte uppkopplad
Klarade millennium-buggen
Decibels avatar
 
Reg.datum: Aug 2003
Inlägg: 2 413
Citat:
Originally posted by mazada@Jul 8 2007, 14:01
OT
Vart hittar man en prestandakonsult?
Någon som har referenser?
BrokeP är duktig, om han tar sig an jobb vet jag dock inte
Decibel är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-07-09, 23:28 #25
Decibels avatar
Decibel Decibel är inte uppkopplad
Klarade millennium-buggen
 
Reg.datum: Aug 2003
Inlägg: 2 413
Decibel Decibel är inte uppkopplad
Klarade millennium-buggen
Decibels avatar
 
Reg.datum: Aug 2003
Inlägg: 2 413
Kan väl också hålla med om att mer burkar är overkill, jag mixtrar hårdvaran bakom TV.nu och där snackar vi sidvisningar/db-querys utan dess like, körs på liknande maskin(er) du har nu.

Om du kan shoppa en till burk via theplanet utan uppsägningstid och liknande så gör det för att stabilisera driften, sen kan du i lugn och ro felsöka och optimera en månad och återgå till en burk igen.
Decibel är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-07-13, 00:08 #26
dAEks avatar
dAEk dAEk är inte uppkopplad
Mycket flitig postare
 
Reg.datum: Dec 2006
Inlägg: 678
dAEk dAEk är inte uppkopplad
Mycket flitig postare
dAEks avatar
 
Reg.datum: Dec 2006
Inlägg: 678
Citat:
Originally posted by Weaver@Jul 9 2007, 18:10
Tack för en mycket intressant tråd, älskar performance relaterade trådar
[...]
Det märks. Tycker det där var ett riktigt läsvärt inlägg.
dAEk är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-07-13, 01:57 #27
Crotalus Crotalus är inte uppkopplad
Nykomling
 
Reg.datum: Dec 2004
Inlägg: 40
Crotalus Crotalus är inte uppkopplad
Nykomling
 
Reg.datum: Dec 2004
Inlägg: 40
Du har möjligtvis inte en foreign key på loggtabellen som pekar mot userid-tabellen?
Crotalus är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-07-13, 02:02 #28
Thomass avatar
Thomas Thomas är inte uppkopplad
Administratör
 
Reg.datum: May 2003
Inlägg: 3 901
Thomas Thomas är inte uppkopplad
Administratör
Thomass avatar
 
Reg.datum: May 2003
Inlägg: 3 901
Väldigt intressant!

Jag har själv inte nån direkt kunskap, jag har själv anlitat BrokeP & Decibel. BrokeP's trafikvolymer på The Pirate Bay gör nog att dom kliat sig i huvet några ggr när dom byggde systemet. Jag kan inga stats där men räknar med att det är mycket och tungt för hårdvaran. I mitt fall på Tv.nu har vi 2-300 ganska tunga laddningar i sekunden mellan 20:00-22:00 och vi loggar varenda klick en besökare gör och visar annonser relaterade till klicken men ett halvårs historia. Det blir nån miljon nya poster per dygn. Vi raderar inget utan komprimerar och lägger endel i cookies. Vi går på samma hårdvara du planerat kanske aningen mer, fast i ett kluster för skalbarheten. Utöver lagringen som nämts laddas Indexsidan som är dynamiskt (beroende av besökaren kanalval) ut 7-900 000 ggr per dygn. Som sagt vi går på samma hårdvara i princip. Det är nåt annat som är strul med din server, den skall klara mer.

Har du stängt av allt du inte behöver på servern? sendmail, httpd-logg, httpd-logg-rotations osv, secure-server etc ...

Kolla så det inte skrivs nåt felmeddelande till nån 5 GB fil, lägg crontabs på att tömma allt som kan bli stor om du inte kan stänga av det.

Httpd-loggen är en serverdödare, när jag körde tv.nu på The Planet körde jag hårddisken full på en söndagkväll om loggen var på.

Du nämner cpanel, mitt tips är att du hyr rena servrar. Jag hade Ensim på den tiden, det gick inte bara rena servrar utan kontroll-panel och loggar höll.

Jag tänkte inte på ovanstående ... kanske är det nåt av det som hjälper.
Thomas är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-07-13, 12:36 #29
FredrikMHs avatar
FredrikMH FredrikMH är inte uppkopplad
Supermoderator
 
Reg.datum: Apr 2004
Inlägg: 1 501
FredrikMH FredrikMH är inte uppkopplad
Supermoderator
FredrikMHs avatar
 
Reg.datum: Apr 2004
Inlägg: 1 501
Tack för alla svar!

Eftersom jag kan komma på flera olika sätt att lösa detta på men inte kan urskilja vilket som är bäst så blir det antagligen att hyra in en konsult som kan komma fram till en bra lösningen åt mig. Någon som har ett hum om vad detta skulle kunna kosta?
FredrikMH är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-07-13, 23:55 #30
chrizzs avatar
chrizz chrizz är inte uppkopplad
Medlem
 
Reg.datum: Aug 2004
Inlägg: 296
chrizz chrizz är inte uppkopplad
Medlem
chrizzs avatar
 
Reg.datum: Aug 2004
Inlägg: 296
Edit: raderat.
chrizz är inte uppkopplad   Svara med citatSvara med citat
Svara


Aktiva användare som för närvarande tittar på det här ämnet: 1 (0 medlemmar och 1 gäster)
 
Ämnesverktyg
Visningsalternativ

Regler för att posta
Du får inte posta nya ämnen
Du får inte posta svar
Du får inte posta bifogade filer
Du får inte redigera dina inlägg

BB-kod är
Smilies är
[IMG]-kod är
HTML-kod är av

Forumhopp


Alla tider är GMT +2. Klockan är nu 08:37.

Programvara från: vBulletin® Version 3.8.2
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Svensk översättning av: Anders Pettersson
 
Copyright © 2017