Kom ihåg mig?
Home Menu

Menu


Serverproblem

Ämnesverktyg Visningsalternativ
Oläst 2004-12-10, 11:42 #1
Helena Helena är inte uppkopplad
Flitig postare
 
Reg.datum: Jul 2003
Inlägg: 411
Helena Helena är inte uppkopplad
Flitig postare
 
Reg.datum: Jul 2003
Inlägg: 411
Jag har haft serverproblem ett tag nu och har väl mer eller mindre gett upp och tänkt uppgradera efter jul. Men, jag kom på att det kan vara värt att lägga ut en fråga här och kanske få nåt bra tips. Jag kör Apache/Linux.

Lista över problem:

- Filer över ca 50kB laddas ibland inte ned som de ska. De blir skadade och zip-filer går inte att öppna, förmodligen därför att servern avbryter nedladdningen i förtid.
- Statistiken visar minst tusen Error 416 (Requested Range Not Satisfiable) varje dag. Förr var det inga.
- När jag loggar in med SSH får jag då och då "Incorrect CRC received on packets" och anslutningen stängs. Hände aldrig förr.

Företaget där jag har servern är väldigt hjälpsamma, men de har inte hittat felet. Jag/vi misstänker att det har med nätverk att göra, men de har provat att flytta hårddisken till en ny server och det blev inte bättre (snarare värre). De har erbjudit sig att sätta upp en helt ny server (gratis förstås), men det är ju mycket jobb och då kan jag lika gärna uppgradera, för det kommer förmodligen ändå att behövas nästa år.

Jag förväntar mig inte att ni ska ha nåt svar, men det finns ju en del gurus här, så man vet ju aldrig.
Helena är inte uppkopplad   Svara med citatSvara med citat
Oläst 2004-12-10, 20:58 #2
zorans avatar
zoran zoran är inte uppkopplad
Mycket flitig postare
 
Reg.datum: Jun 2004
Inlägg: 598
zoran zoran är inte uppkopplad
Mycket flitig postare
zorans avatar
 
Reg.datum: Jun 2004
Inlägg: 598
Citat:
Originally posted by Helena@Dec 10 2004, 12:42
Jag har haft serverproblem ett tag nu och har väl mer eller mindre gett upp och tänkt uppgradera efter jul. Men, jag kom på att det kan vara värt att lägga ut en fråga här och kanske få nåt bra tips. Jag kör Apache/Linux.

Lista över problem:

- Filer över ca 50kB laddas ibland inte ned som de ska. De blir skadade och zip-filer går inte att öppna, förmodligen därför att servern avbryter nedladdningen i förtid.
- Statistiken visar minst tusen Error 416 (Requested Range Not Satisfiable) varje dag. Förr var det inga.
- När jag loggar in med SSH får jag då och då "Incorrect CRC received on packets" och anslutningen stängs. Hände aldrig förr.

Företaget där jag har servern är väldigt hjälpsamma, men de har inte hittat felet. Jag/vi misstänker att det har med nätverk att göra, men de har provat att flytta hårddisken till en ny server och det blev inte bättre (snarare värre). De har erbjudit sig att sätta upp en helt ny server (gratis förstås), men det är ju mycket jobb och då kan jag lika gärna uppgradera, för det kommer förmodligen ändå att behövas nästa år.

Jag förväntar mig inte att ni ska ha nåt svar, men det finns ju en del gurus här, så man vet ju aldrig.
Vad säger tcpdump/snoop/ethereal?

Kan du göra följande:

1. Försök se vilka IP-adresser som orsakar felet 416.

2. Om det är slumpmässiga IP-adresser, kolla hur ofta felet upprepas.

3. Försök att framkalla, antigen felet där en stor fil inte laddas ner som den ska eller 416 och "spela in" det mha:

tcpdump -w minfil .

För att det ska vara lätt att jobba med den så kan du se till att du snoopar trafik bara från din egen ip-adress och inte serverns hela trafik, dvs: tcpdump -w minfil host <din-ip-adress-på-klienten>

När du sett att fått felet i dina loggar, och då dumpat trafiken på fil, zippa filen och lägg ut den på någon server som fungerar där jag kan hämta den för analys. Naturligtvis, ifall du själv inte vill analysera den.

Skicka länken via mail till mig (gärna tala om hur stor filen blev) på zoran dot pucar at medorian dot se så kan jag kolla ifall jag hittar något.

/Zoran
zoran är inte uppkopplad   Svara med citatSvara med citat
Oläst 2004-12-10, 22:31 #3
kullervos avatar
kullervo kullervo är inte uppkopplad
Bara ett inlägg till!
 
Reg.datum: Dec 2003
Inlägg: 1 519
kullervo kullervo är inte uppkopplad
Bara ett inlägg till!
kullervos avatar
 
Reg.datum: Dec 2003
Inlägg: 1 519
Som zoran antyder så låter det som om något ändrar några bitar här och var och eftersom felet inte verkar sitta i din server så måste det vara nätverket som pajar datat. Står servern på samma plats (samma port i switchen så att säga)?

Testa slänga upp en fil och sen tanka ner den. Sen kör du md5sum för att se om den förändrats.

Kan du ge något samband med 416-svaren och vilken typ av filer det är? Storlek, innehåll? Komprimerar din Apache html-filer? Isf har jag en teori.
kullervo är inte uppkopplad   Svara med citatSvara med citat
Oläst 2004-12-11, 13:52 #4
Helena Helena är inte uppkopplad
Flitig postare
 
Reg.datum: Jul 2003
Inlägg: 411
Helena Helena är inte uppkopplad
Flitig postare
 
Reg.datum: Jul 2003
Inlägg: 411
Hej,

Tack för svaren!

Citat:
Som zoran antyder så låter det som om något ändrar några bitar här och var och eftersom felet inte verkar sitta i din server så måste det vara nätverket som pajar datat. Står servern på samma plats (samma port i switchen så att säga)?
De flyttade hårddisken till en server på en helt annan plats och har kollat så att det inte är något externt fel. Det måste alltså vara fel på själva hårddisken eller något med mjukvaran.

Citat:
Kan du ge något samband med 416-svaren och vilken typ av filer det är? Storlek, innehåll? Komprimerar din Apache html-filer? Isf har jag en teori.
HTML-filerna komprimeras inte. 416-svaren uppstår helt slumpartat, verkar det som. Både på HTML/PHP-filer, bilder och zippar, och det är helt olika IP-nummer som försöker ladda ner filerna.

Zoran: Vad snällt att du vill hjälpa till! Fast igår kväll bestämde jag mig för att uppgradera istället (hade ändå tänkt göra det nån gång nästa år, så jag kan lika gärna göra det tidigare än planerat), så det känns fel att du ska lägga ner nåt jobb på det här. Problemen är irriterande, men går att leva med några veckor tills jag får tid att ta tag i flytten.

Tack ändå! Jag uppskattar verkligen att ni tog er tid att försöka hjälpa.
Helena är inte uppkopplad   Svara med citatSvara med citat
Oläst 2004-12-12, 09:17 #5
zorans avatar
zoran zoran är inte uppkopplad
Mycket flitig postare
 
Reg.datum: Jun 2004
Inlägg: 598
zoran zoran är inte uppkopplad
Mycket flitig postare
zorans avatar
 
Reg.datum: Jun 2004
Inlägg: 598
Citat:
Originally posted by Helena@Dec 11 2004, 14:52
Hej,

Tack för svaren!

Citat:
Som zoran antyder så låter det som om något ändrar några bitar här och var och eftersom felet inte verkar sitta i din server så måste det vara nätverket som pajar datat. Står servern på samma plats (samma port i switchen så att säga)?
De flyttade hårddisken till en server på en helt annan plats och har kollat så att det inte är något externt fel. Det måste alltså vara fel på själva hårddisken eller något med mjukvaran.

Citat:
Kan du ge något samband med 416-svaren och vilken typ av filer det är? Storlek, innehåll? Komprimerar din Apache html-filer? Isf har jag en teori.
HTML-filerna komprimeras inte. 416-svaren uppstår helt slumpartat, verkar det som. Både på HTML/PHP-filer, bilder och zippar, och det är helt olika IP-nummer som försöker ladda ner filerna.

Zoran: Vad snällt att du vill hjälpa till! Fast igår kväll bestämde jag mig för att uppgradera istället (hade ändå tänkt göra det nån gång nästa år, så jag kan lika gärna göra det tidigare än planerat), så det känns fel att du ska lägga ner nåt jobb på det här. Problemen är irriterande, men går att leva med några veckor tills jag får tid att ta tag i flytten.

Tack ändå! Jag uppskattar verkligen att ni tog er tid att försöka hjälpa.
Du får klart göra som du vill. Själv skulle jag gärna vilja hitta problemet. Dels för att lära mig något utav det och dels att utesluta att problemet kvarstår även efter en ominstallation. Efter många år i unixmiljö har jag blivit lite "allergisk" mot ominstallationer som "lösning". Man vet aldrig när man gör massa jobb i onödan.

Även om du har en ominstallation på g. skulle det inte vara helt dumt att ha en trafiklogg där du har felet dokumenterat så att du kan studera det.

/Zoran
zoran är inte uppkopplad   Svara med citatSvara med citat
Oläst 2004-12-12, 12:10 #6
Helena Helena är inte uppkopplad
Flitig postare
 
Reg.datum: Jul 2003
Inlägg: 411
Helena Helena är inte uppkopplad
Flitig postare
 
Reg.datum: Jul 2003
Inlägg: 411
Citat:
Du får klart göra som du vill. Själv skulle jag gärna vilja hitta problemet. Dels för att lära mig något utav det och dels att utesluta att problemet kvarstår även efter en ominstallation. Efter många år i unixmiljö har jag blivit lite "allergisk" mot ominstallationer som "lösning". Man vet aldrig när man gör massa jobb i onödan.

Även om du har en ominstallation på g. skulle det inte vara helt dumt att ha en trafiklogg där du har felet dokumenterat så att du kan studera det.
Jo, du har rätt. Det är bara det att allt funkade perfekt fram till augusti då något hände. Vi vet inte vad, men det interna nätverket la av och det visade sig att några viktiga filer hade blivit skadade. Företaget installerade dessa på nytt och allt verkade bra, men sen dess har jag alltså haft dessa slumpartade problem, som jag är rätt säker på att de hör ihop med det som hände i augusti. Börjar jag från scratch på en ny server (som jag alltså ändå kommer att måsta göra nästa år eftersom sidan håller på att växa ur den nuvarande) borde alltså inte detta fel följa med, men säker kan man ju aldrig vara...

Jag har samlat ihop alla 416-svaren från den senaste loggen och zippat. Om du fortfarande har lust att hjälpa till får du gärna ta en titt, fast lägg inte ner en massa jobb och gör det bara om du verkligen känner för det. Jag skickar zippen nu (den är bara 12kB).

~ Helena
Helena är inte uppkopplad   Svara med citatSvara med citat
Oläst 2004-12-12, 21:13 #7
zorans avatar
zoran zoran är inte uppkopplad
Mycket flitig postare
 
Reg.datum: Jun 2004
Inlägg: 598
zoran zoran är inte uppkopplad
Mycket flitig postare
zorans avatar
 
Reg.datum: Jun 2004
Inlägg: 598
Citat:
Originally posted by Helena@Dec 12 2004, 13:10


Jag har samlat ihop alla 416-svaren från den senaste loggen och zippat. Om du fortfarande har lust att hjälpa till får du gärna ta en titt, fast lägg inte ner en massa jobb och gör det bara om du verkligen känner för det. Jag skickar zippen nu (den är bara 12kB).

~ Helena
Okej, jag har tittat nu på filen. Det var bara en access-fil och det var inte det jag hade tänkt mig. Nå ändå. Här får du lite "detektivarbete". Först och främst, så är det mängder med rader i den filen som är kod 200 (dvs OK) bara att filen som hämtades blev exakt 416 kb (så dumt det kan vara ).

Så jag filtrerade dessa:

[4.2.0]root@diablo:/export/zorans# cat 416.txt | grep -v midsbg1a > rensad.txt
[4.2.0]root@diablo:/export/zorans# wc -l 416.txt
3891 416.txt
[4.2.0]root@diablo:/export/zorans# wc -l rensad.txt
3767 rensad.txt
[4.2.0]root@diablo:/export/zorans#

Nåja, någon hundra felaktigheter, inte så mycket. Fortfarande ca 4000 riktiga 416-responskoder.

Så:

Får vi ta reda på vilka hostar dessa kommer ifrån, om det är massa olika ip-adresser:

[4.2.0]root@diablo:/export/zorans# cat rensad.txt| awk '{ print $1}'| sort | uniq
201008142233.user.veloxzone.com.br
c83-251-115-224.bredband.comhem.se
ctb-cache1-vif1.saix.net
hkd1-p31.flets.hi-ho.ne.jp
host112-118.pool80180.interbusiness.it
modemcable101.35-203-24.mc.videotron.ca
pd9f8e2d3.dip.t-dialin.net
[4.2.0]root@diablo:/export/zorans#
[4.2.0]root@diablo:/export/zorans# cat rensad.txt| awk '{ print $1}'| sort | uniq | wc -l
7
[4.2.0]root@diablo:/export/zorans#

Dvs, 7 olika IP-adresser. Låt mig kolla en sak då:

[4.2.0]root@diablo:/export/zorans# cat rensad.txt| grep ctb-cache1-vif1.saix.net | awk '{print $12 " " $13 }' | wc -l
2681
[4.2.0]root@diablo:/export/zorans# cat rensad.txt| grep ctb-cache1-vif1.saix.net | awk '{print $12 " " $13 }' | uniq
"DA 7.0"
[4.2.0]root@diablo:/export/zorans#


Jag skrev alltså ut alla user-agents som kom från en av ip-adresserna som fanns i din fil. Det var 2681 som kom från en enda host. Alla requests ville hämta samma fil. Alla requests hade en User-agent: dvs "DA 7.0".

[4.2.0]root@diablo:/export/zorans# cat rensad.txt| grep ctb-cache1-vif1.saix.net | head -1
ctb-cache1-vif1.saix.net - - [09/Dec/2004:08:46:32 +0100] "GET /files6/graphics/print/calendar/2005/2005eb.zip HTTP/1.1" 416 0 "-" "DA 7.0"
[4.2.0]root@diablo:/export/zorans# cat rensad.txt| grep ctb-cache1-vif1.saix.net | tail -1
ctb-cache1-vif1.saix.net - - [09/Dec/2004:09:11:40 +0100] "GET /files6/graphics/print/calendar/2005/2005e.zip HTTP/1.1" 416 0 "-" "DA 7.0"
[4.2.0]root@diablo:/export/zorans#

Vidare: Den första requesten kom 2004-12-09 08:46:32 och sista kom 2004-12-09 09:11:40 dvs 24 minuter senare. Så 2681 req per 24 min, det är ca 112 req / min, vilket är ungefär 2 req/sec.

Jag har googlat lite för att få veta lite mer om DA 7.0 ( de andra ip-adresserna i din logg, hade DA 5.3 osv) men ej hittat något. Inte en enda fick 416 med "vanlig" -user agent (dvs browser).

Så... conclusion. Det som orsakar dina 416 i din apache-log är inte en människa bakom (eller jo, någon måste dra igång programmet), utan ett program/skript.

Det är inte vansinnigt mycket trafik på dig visserligen så det ser inte ut som att du är måltavla för en DOS-attack. Däremot kan det vara så att du är måltavla för ett test? Att DA user agent verkar finnas ute på nätet i folks loggar. Men någon kanske hackar en modifierad version och kör mot din server som test?

Inte vet jag. Kanske kan skaran på forumet berätta lite mer om DA -user agent.

Så, det kan ju vara så att du är måltavla för en DDOS-test. Eller så är de 416 bara slump och du hittade dessa när du felsökte ditt system. Hursomhelst. Om jag vore dig, skulle jag anlita en säkerhetsexpert som kan se över ifall din maskin har blivit "penetrerad".

Jag vill inte skrämma dig än iofs. Men om du har ssh-tillgång till din server så skulle jag vilja att du, när du märker att du får massa konstiga 416 i dina loggar, sätter igång en tcpdump som loggar ALL trafik från den IP-adressen.

Men du kommer behöva upptäcka det snabbt. Så läs loggar ofta.

Eventuellt kör följande i ett zsh-skal (tror det funkar i bash med):

found=0
while [ $found = 0 ]; do
tail -1000 access_log | grep "416 [0-9]" && echo "Nujävlar kommer han igen " | mail "[email protected]" && found=1
sleep 3
done

Den här kommer skanna 1000 senaste rader av din log och leta efter kod 416 (var inte rädd, var 3-dje sekund. Hur ofta, och hur många rader du vill skanna beror på hur mycket träffar du får. Får du i snitt ca 1000 träffar varje sekund så kan du antigen öka värdet från 1000 till 3-4000 eller minska intervallet (sleep 3) till 1 sekund (sleep 1). När den kommer och ger 416 kommer du få ett mail. Då ska du snabbt sätta igång en tcpdump.

tcpdump -w dumplog host <ipadress som ger 416>

Så.. hoppas det hjälper.

/Zoran

Hur ser din ssh-log?

/Zoran
zoran är inte uppkopplad   Svara med citatSvara med citat
Oläst 2004-12-12, 21:51 #8
zorans avatar
zoran zoran är inte uppkopplad
Mycket flitig postare
 
Reg.datum: Jun 2004
Inlägg: 598
zoran zoran är inte uppkopplad
Mycket flitig postare
zorans avatar
 
Reg.datum: Jun 2004
Inlägg: 598
Citat:
Originally posted by zoran@Dec 12 2004, 22:13
Jag har googlat lite för att få veta lite mer om DA 7.0 ( de andra ip-adresserna i din logg, hade DA 5.3 osv) men ej hittat något. Inte en enda fick 416 med "vanlig" -user agent (dvs browser).

Lite mera googlande gav:

Downloadaccelerator. Någon form av download manager.

Hmm, när jag tänker efter lite, (utan att ta reda på fakta så kasta inga tomater ), så vore det ett vettigt sätt att en download-accelerator "hämtar" sidor snabbare genom att etablera flera tcp-koppel för en och samma fil. Det är ju onödigt att hämta samma sak fler gånger så man försöker hämta olika delar av filen i var sitt koppel. Problemet uppstår när din server inte förstår vilken "byte range" klienten vill ha, eller när klienten inte förstår svaret. Så, eftersom jag i den loggen du skickade, inte kunde se några som helst problem med vanliga browsers, så är jag beredd att tycka att du inte behöver bry dig om dina 416 i din logg. De är orsakade av download-accelerators. Kanske en liten disclamer på sidan att dessa inte fungerar så ska det nog gå bra.

Likaså bör jag passa på att omvärdera min DDOS-teori förrut. Eftersom dessa program bygger på att underlätta för användaren så antar jag att när användaren startar en nerladdning så "tänker" programmet åt honom och försöker skapa flera tcp-koppel för att öka hastigheten. När den misslyckas försöker den igen och igen. Därför så många försök på relativt kort tid.


/Zoran
zoran är inte uppkopplad   Svara med citatSvara med citat
Oläst 2004-12-13, 09:54 #9
Helena Helena är inte uppkopplad
Flitig postare
 
Reg.datum: Jul 2003
Inlägg: 411
Helena Helena är inte uppkopplad
Flitig postare
 
Reg.datum: Jul 2003
Inlägg: 411
Wow, tack för de utförliga svaren! Du kan enormt mycket mer om det här än jag, men jag försöker lära mig.

Citat:
Okej, jag har tittat nu på filen. Det var bara en access-fil och det var inte det jag hade tänkt mig.
Oj, blev det fel? Det var den enda jag hittade med 416-svar i. Vilken hade du tänkt dig?

Min sida har mycket trafik (ca 8000 besökare per dag) och det gör att loggarna blir lite jobbiga att hantera. Dessutom är jag inte så van, och det gör förstås inte saken bättre.

Tack vare dina svar fick jag en del att testa och att tänka på, och det du skrev i det senaste inlägget verkar rimligt. Igår la jag upp en unik zip-fil till en kund. Hon fick det där problemet med att filen var skadad och inte gick att öppna, så jag kollade efter 416-svar i loggen och hittade inga för den filen.

Det kan mycket väl vara så att 416-svaren (som du skrev) egentligen inte är något att oroa sig för. Att det är en ren slump att de började dyka upp samtidigt som de andra problemen och att jag därför antog att de är relaterade.

SSH-loggen kollade jag redan förra veckan och den är helt ren. Det är bara mina egna IP-nummer som har varit inloggade sen jag skaffade servern för snart 1½ år sen. Jag antar att det var det du funderade på?

~ Helena
Helena är inte uppkopplad   Svara med citatSvara med citat
Svara


Aktiva användare som för närvarande tittar på det här ämnet: 1 (0 medlemmar och 1 gäster)
 

Regler för att posta
Du får inte posta nya ämnen
Du får inte posta svar
Du får inte posta bifogade filer
Du får inte redigera dina inlägg

BB-kod är
Smilies är
[IMG]-kod är
HTML-kod är av

Forumhopp


Alla tider är GMT +2. Klockan är nu 12:44.

Programvara från: vBulletin® Version 3.8.2
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
Svensk översättning av: Anders Pettersson
 
Copyright © 2017