Ämne: Vad är reglerna kring att publicera crawlat innehåll?
Visa ett inlägg
Oläst 2014-03-02, 23:39 #6
Bladets avatar
Bladet Bladet är inte uppkopplad
Flitig postare
  
Reg.datum: Sep 2004
Inlägg: 313
Bladet Bladet är inte uppkopplad
Flitig postare
Bladets avatar
 
Reg.datum: Sep 2004
Inlägg: 313
Det är bara köra på och crawla allt. Gör sen bara en liten notis på din hemsida att sajtägare kan stoppa det med en robots2.txt.
Bladet är inte uppkopplad   Svara med citatSvara med citat