Citat:
Ursprungligen postat av BarateaU
Scrapare måste ha en form av useragent också.
Och saknar de useragent så blockas de, och har de falsk useragent så blockas de.
Eller kommer de magiskt åt datat på annat vis.
T.ex. som i scrapebox som visserligen används av comment spammare osv så väljer man vilken typ av useragent man vill använda, eller om man vill blanda.
|
Varför skulle jag inte kunna sätta en riktig useragent och rätt headers menar du? Den vägen hindrar man ingen som vill scrapa sidan utan bara en massa skräpbotar som bara är ute efter att spamma plus möjligtvis ett fåtal oerfarna copycats. Skyddet är inte alls värdelöst men det ÄR värdelöst om man tror att det är scraping man skyddar sig mot.