Kom ihåg mig?

Erfarenheter av memcached / minska lasten på DB

 
Ämnesverktyg Visningsalternativ
Oläst 2007-09-19, 13:39 #1
coredevs avatar
coredev coredev är inte uppkopplad
Bara ett inlägg till!
 
Reg.datum: Sep 2007
Inlägg: 1 554
coredev coredev är inte uppkopplad
Bara ett inlägg till!
coredevs avatar
 
Reg.datum: Sep 2007
Inlägg: 1 554
Tjena.

Min databasserver går på högvarv och jag behöver minska lasten.
Är det nån som har erfarenhet av något verktyg för detta (t.ex. minnescachar)?

Min miljö består av debian gnu / linux, apache2, postgresql och php4.

Har börjat kolla på Memcached och det verkar riktigt fint. Nån som prövat?

Tack på förhand!
coredev är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-09-24, 14:04 #2
PiotrB PiotrB är inte uppkopplad
Nykomling
 
Reg.datum: Sep 2007
Inlägg: 3
PiotrB PiotrB är inte uppkopplad
Nykomling
 
Reg.datum: Sep 2007
Inlägg: 3
Tjena,

Jag har kört en hel del med memcached och det har varit både bra och dåligt. Som minnescache fungerar den helt underbart, dessvärre så är den så bra att det blir lätt att överdriva när man programmerar och använder den för mycket. Jag skulle först och främst försöka optimera dina databasanrop med indexing osv innan jag ger mig på caching, detta för att caching kan införa svårlösta buggar (vilket du säkert vet).

Hur som helst, som mjukvara har den aldrig krashat och den använder inte alls mycket CPU. Och den är helt klart den bästa caching-teknologi som jag har försökt, och då har jag försökt med minnecaching från PHP, filcaching med mera. Har inte testat så mkt med query caching för databasen då jag inte sett att det skulle hjälpa mig så mkt.

Hoppas det här hjälper och svarar gärna på mer frågor.

Mvh,
PiotrB är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-09-25, 12:14 #3
coredevs avatar
coredev coredev är inte uppkopplad
Bara ett inlägg till!
 
Reg.datum: Sep 2007
Inlägg: 1 554
coredev coredev är inte uppkopplad
Bara ett inlägg till!
coredevs avatar
 
Reg.datum: Sep 2007
Inlägg: 1 554
Tack för dina erfarenheter.

Jo SQL frågorna är optimerade och våra tabeller är indexerade. Problemet är oftast inte att frågorna tar tid utan snarare mängden frågor som behöver ställas. Bara en så enkel sak som att läsa in kundregistret i memcached hade sparat massa queries per sidladdning - och databasen kunde då användas till saker den är bättre på än att bara leverera statisk data.

Skall pröva memcache i drift snarast, verkar lovande!
coredev är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-09-25, 13:32 #4
mbomelin mbomelin är inte uppkopplad
Medlem
 
Reg.datum: Feb 2004
Inlägg: 248
mbomelin mbomelin är inte uppkopplad
Medlem
 
Reg.datum: Feb 2004
Inlägg: 248
Jag använder memcached väldigt mycket och tycker det är bra.
Tänk bara på att inte cacha php-objekten som mysql_query returnerar bara eftersom det bara är pointers och inte gör någon nytta att cacha.

En dålig sak med memcached är dock att man inte kan lista objekten som finns i cachen, och inte heller använda wildcards vid borttagning av objekt.
Tex. cachar jag userinfo_<?=$userid?> för 50.000 medlemmar och skulle vilja rensa cachen från alla userinfo_* men det finns ingen lösning för det annat än atttömma cachen på allt.

I övrigt tycker jag den är snabb och stabil.
mbomelin är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-09-26, 00:07 #5
mattiaseriksson mattiaseriksson är inte uppkopplad
Nykomling
 
Reg.datum: Sep 2007
Inlägg: 4
mattiaseriksson mattiaseriksson är inte uppkopplad
Nykomling
 
Reg.datum: Sep 2007
Inlägg: 4
Vi har löst det genom att använda ett extra värde i memcached för varje "namespace", dvs för varje objekttyp skulle man kunna säga.

Ett kort exempel:
1. Först försöker man hämta upp namespace-värdet från memcached:
$ns_key = $memcache->get("userinfo_namespace_key");

2. Kollar om den finns sen tidigare...
if($ns_key===false)
{
2.1 Om inte så slumpar man fram ett värde för keyn, detta för att en annan server kan vid samma tidpunkt skapa samma värde... med slumpen minimerar man chansen att de blir strul, dvs att de börjar på samma värde.
$ns_key = rand(1, 10000);
2.2 Namespace-värdet sparas ner
$memcache->set("foo_namespace_key", $ns_key);
}

3. Nu ska objektet hämtas upp och då använder man namespace-värdet i objektets-nykel.
$my_key = "foo_".$ns_key."_12345";

4. För att sedan rensa ett helt namespace så ökar man bara på namespace-värdet med 1.... så kommer t.ex. "foo_".$ns_key."_12345" inte ha samma värde nästa gång, för $ns_key har ökat med 1 och alltså missar den i cachen o hämtar upp objektet från databasen istället..
$memcache->increment("foo_namespace_key");

De hela är kanske lite lurigt att förstå, fråga gärna om det är oklart :-)
mattiaseriksson är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-09-26, 15:41 #6
mbomelin mbomelin är inte uppkopplad
Medlem
 
Reg.datum: Feb 2004
Inlägg: 248
mbomelin mbomelin är inte uppkopplad
Medlem
 
Reg.datum: Feb 2004
Inlägg: 248
Bra tänk där :-)
Blir dock väldigt mycket onödigt skräp efter ett tag om man har lååång lifetime på sina cachade prylar.
Ska göra lite tester på det, det var en intressant lösning.
mbomelin är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-09-26, 17:49 #7
mattiaseriksson mattiaseriksson är inte uppkopplad
Nykomling
 
Reg.datum: Sep 2007
Inlägg: 4
mattiaseriksson mattiaseriksson är inte uppkopplad
Nykomling
 
Reg.datum: Sep 2007
Inlägg: 4
Jo, det blir mycket skräp, men det får vara det. Vi kör oändlig lifetime så det trillar ur cachen då det inte finns plats/minne kvar.

Funkar hur bra som helst för oss :-)
mattiaseriksson är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-09-26, 19:00 #8
mbomelin mbomelin är inte uppkopplad
Medlem
 
Reg.datum: Feb 2004
Inlägg: 248
mbomelin mbomelin är inte uppkopplad
Medlem
 
Reg.datum: Feb 2004
Inlägg: 248
Vad händer när minnet blir fullt då? Kör den först in, först ut? Så att de äldsta grejerna trillar ur först?
mbomelin är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-09-26, 19:11 #9
mattiaseriksson mattiaseriksson är inte uppkopplad
Nykomling
 
Reg.datum: Sep 2007
Inlägg: 4
mattiaseriksson mattiaseriksson är inte uppkopplad
Nykomling
 
Reg.datum: Sep 2007
Inlägg: 4
Äldsta använda åker ut först, alltså den äldsta använda eller inlagda.

Någon som utvecklar i java med memcached?
mattiaseriksson är inte uppkopplad   Svara med citatSvara med citat
Oläst 2007-09-27, 10:59 #10
andi andi är inte uppkopplad
Flitig postare
 
Reg.datum: Jun 2006
Inlägg: 344
andi andi är inte uppkopplad
Flitig postare
 
Reg.datum: Jun 2006
Inlägg: 344
Lite frågor från en okunnig, men om jag fattat det rätt så är memcached bra för data i databasen som inte ändras så ofta? Om SQL-satserna ofta är olika så är det väl heller inte någon större idé att använda memcached eller?

Hur pass mycket avlastning blir det för databasen om man använder memcached? Några som använt det som har lite siffror? När är det bra, när är det mindre bra?

Skulle man kunna använda memcached för filer som man läser in i PHP-script också? Så att man inte behöver läsa filen från disk varje gång?
andi är inte uppkopplad   Svara med citatSvara med citat
Svara


Aktiva användare som för närvarande tittar på det här ämnet: 1 (0 medlemmar och 1 gäster)
 
Ämnesverktyg
Visningsalternativ

Regler för att posta
Du får inte posta nya ämnen
Du får inte posta svar
Du får inte posta bifogade filer
Du får inte redigera dina inlägg

BB-kod är
Smilies är
[IMG]-kod är
HTML-kod är av

Forumhopp


Alla tider är GMT +2. Klockan är nu 07:18.

Programvara från: vBulletin® Version 3.8.2
Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.
Svensk översättning av: Anders Pettersson
 
Copyright © 2017