[BarateaU]

Beror lite på, kör man WP kan man installera pluginet "bad behavior" som blockar en hel del.
De är ju många som scrapar nätet och URL'er i mängder, inte bara sökmotorer utan spammare av diverse slag.

[tartareandesire]

Ursprungligen postat av BarateaU

Beror lite på, kör man WP kan man installera pluginet "bad behavior" som blockar en hel del.
De är ju många som scrapar nätet och URL'er i mängder, inte bara sökmotorer utan spammare av diverse slag.

Bad Behavior (funkar inte bara till WP) skyddar väl i princip bara mot spammare? Att skydda sig mot scraping är betydligt svårare. Den som har några smarta lösningar får gärna tipsa. Inte många WP-sidor som har något material värt att scrapa.

[BarateaU]

Ursprungligen postat av tartareandesire

Bad Behavior (funkar inte bara till WP) skyddar väl i princip bara mot spammare? Att skydda sig mot scraping är betydligt svårare. Den som har några smarta lösningar får gärna tipsa. Inte många WP-sidor som har något material värt att scrapa.

Mja och nej, inte bara mot spammare.
Den blockar robotar som ligger med i svartlistan och en del andra saker också.

Sen blockar den om någon utger sig för att vara en "useragent" som den inte är.
t.ex. som denna:

217.7.253.152
pd907fd98.dip0.t-ipconnect.de

User-Agent claimed to be Googlebot, claim appears to be false. GET *** HTTP/1.1
Connection: Keep-Alive
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)


Eller som denna som useragenten är i blacklisten.
64.27.0.28
unassigned.calpop.com

User-Agent was found on blacklist GET *** HTTP/1.1
Connection: Keep-Alive
User-Agent: Mozilla/4.0 (compatible ; MSIE 6.0; Windows NT 5.1)


Eller om den saknar header.

78.129.242.88
srv-1.viewsonyou.com

Required header 'Accept' missing GET / HTTP/1.1
User-Agent: Mozilla/5.0 (compatible; BuiltWith/0.3; +http://builtwith.com/bot.html)

På vissa WP sidor jag har är de väldigt mycket trafik, fast 90% är bara skräp trafik som är botar, scraping, och annat skit.