[pitbull]

Originally posted by Fulton@May 30 2005, 08:14
Apropå referrer spamning, ett företag kör hårt med det just nu där agenten är satt till LinkWalker. Anropet till Robots.txt har som referrer deras domän, men i det efterföljande anropet är någon webbplats som har en länk till en som står som referrer.
Här finns en bra blockerings lista till er robots.txt fil:
http://www.affiliateseek.co.uk/article63.h...tml&mode=thread

Tack för den Fulton!

Mvh /Stefan

[kers]

Hah, otroligt att någon gör något så utstuderat som att referer-spamma och samtidigt bryr sig om att läsa robots.txt

Klantarslen

[grazzy]

De läser nog knappast robots.txt.. den där robots.txt ger jag inte särskilt mycket för, den försöker bland annat blockera wget och mycket annat som är helt legitimt. Och massa saker som helt 100% fullständigt ignorerar robots.txt.

Robots.txt är ju egentligen bara effektiv mot seriösa sökmotorer hursomhelst. Det kanske är bra om man inte har nåt behov av sökmotortrafik, men knappast för att stävja spam...