Vilken typ av scraping är laglig och olaglig?
 

Har en webbtjänst som crawlar ett gäng andra sidor och samlar innehållet på en och samma plats och dessutom erbjuder mer värde till läsarna. Det handlar inte om en spam sajt av lågt innehåll utan det är en Sökmotor inom en nisch.

Frågan gäller Copyright. Vad är OK och vad är inte OK? Det kanske inte finns några direkta svar utan mycket kanske är i gråzon?

Ett par exempel:
- Google Crawlar och Scrapar sidor i miljarden varje månad. De publicerar copyrightskyddade bilder på deras Bild-sök och de publicerar även texter i deras Sökresultat. De har även börjat publicera direkt läsbart innehåll när man exempelvis söker på viktiga personer och namn då man ser bild, namn, ålder osv som givetvis är direkt snott ifrån möjligtvis Wikipedia eller andra källor.

- Om man tittar på http://www.hittarecept.se/ så gör de i stort sett samma sak som mig fast i en annan nisch. De crawlar igenom massor av sidor och samlar alla recept på samma sajt. Längst ner på sidan skriver de:
"Upphovsrätten berör inte material från tredje part"

Jag tolkar det som att om Person A skapar ett innehåll och publicerar det på Person B's hemsida (Tredje part) så är det OK för Person C att sno innehållet ifrån Person B, utan att Person B har rätt att klaga på upphovsrätten.

Innebär det att Person A inte heller har rätt att klaga på detta då? Om de alltså redan publicerat det på Tredje Parts sida.

En sista grej som är gemensamt i ovanstående fall är att båda fallen länkar till originalsajten. Är detta nödvändigt av juridisk anledning eller är det bara god sed?

Sätt så att din scrapers useragent berättar vem den är och i vilket syfte den scrapar.
Så om folk har invändning så får du erbjuda klagolåda.

Bra synpunkt, men det påverkar ju knappast Copyright vilket frågan handlar om. Det gör det väl inte "mer" ok att ta innehåll bara för att man inkluderar en useragent.

Återigen: Vad är reglerna? Varför är det OK för de 2 exempel (och massor av andra webbtjänster där ute) att kopiera innehåll på detta sätt, men det är inte OK att gå in på en fotografs hemsida och sno hans bild till en nyhetsartikel som man har.

Gällande Google så är texterna på Wikipedia fria att använda enligt deras licens.

Gällande recept så är det etablerat att ett recept inte når verkshöjd och skyddas alltså inte av upphovsrätten. Men om det finns en tillagningsbeskrivning så når det troligen verkshöjd.

Alla foton når verkshöjd i stort sett utan undantag. Möjligen kanske inte sådana där fotot är på en helt blå himmel.

Om det är något annat du scrapar och publicerar så är det förmodligen olagligt. Att du länkar tillbaka till källan gör det inte lagligt.

Jag rekommenderar att du får ett skriftligt tillåtelse av källorna på förhand, ge länkar som en morot.

Så hur kan det då vara lagligt för Google att indexera och publicera bilder på deras Bild-sök? Bilderna publicerar ju inte som oanvändbara miniatyrer utan du kan ju även klicka och förstora bilderna.

Även tjänster som exempelvis http://www.booli.se/ indexerar Bostadsannonser ifrån massor av mäklares olika sajter och samlar "alla bostadsannonser på en plats". I ovanstående fall med Booli så är det ju hela texter som man tar.

EDIT: Försöker inte vara dryg och hitta ursäkter till att sno folks innehåll. Utan jag förstår mig helt enkelt inte på reglerna. Det finns så många tjänster som är sökmotorer och som indexerar massor av innehåll och publicerar det under sina egna domäner. Både sökmotorer som Google och Bing, men även nischade sökmotorer som exempelvis Booli.

Google har blivit dömd flera gånger i domstol och har en rad olika "ekonomiska uppgörelser" med stora sajter så Google är i en gråzon ibland och ute i svarta marker i bland, men de tassar även omkring på helt vita och lagliga fält också...

Sen är det många sajtägare som "vill" vara sökbara på Google för det ger ett mervärde. De gör en "tyst överenskommelse" genom att inte anmäla Google trots att Google inte har frågat om lova i förväg att använda deras material.

Senast i förra veckan hörde jag på Radion att en spansk man hade fått rätt i (europa-)domstolen om att Google måste ta bort länk till en sajt där en utmätning av hans hus visades, det ansågs vara personlig information som var irreleveant och föråldrad.

Hittade en del amerikanska artiklar om detta ämne kopplat till just sökmotorer, som menar att det inte är Copyright-brott för Sökmotorer att indexera innehållet så länge de följer Robots.txt-reglerna. De menar att personen som publicerar innehållet har möjligheten att säga ifrån i Robots.txt.

Man säger också:
"There is also a strong counter-argument that by making material available on a public website a publisher is giving an implied licence to a search engine."

Källa:
http://www.out-law.com/page-10658

Enligt artikeln så står det också att ett fall har testats i Europa, i Belgien. Där var det en nyhetsbyrå som fick rätt mot Google om att det var copyrightbrott. Men i resultatet som följde så var Google bara tvungna att ta bort innehållet ifrån deras Google News, inte ifrån deras sökmotor Google.

Gällande bilder så verkar det vara oklart om Google begår copyright-brott när de publicerar andra människors bilder i deras Bild-sök. Det verkar finnas exempel där de blivit stämda och de blivit friande för att bilderna var för "små" då det bara var tumnaglar som visades innan 2013. Efter 2013 verkar det inte finnas särskilt många exempel.

Men det finns ju fortfarande den sista delen gällande "Upphovsrätten berör inte material från tredje part".

Jag tolkar det som att det innebär att om jag skriver någonting på WN.se, så är det inte WN.se som äger upphovsrätten till min kommentar utan det är jag som äger den upphovsrätten. WN.se har därför inte rätt att stämma eller åtala någon som kopierar det innehållet, då de inte äger upphovsrätten. Den enda som har rätt att göra det är jag, men eftersom att jag redan publicerat min text på tredjepart så kanske jag inte bryr mig särskilt mycket.

Kan den tolkningen stämma?

I Booli's fall. Om en mäklare skriver en text och publicerar på Hemnet, och Booli tar texten ifrån Hemnet, så har inte Hemnet rätt att stämma Booli för brott mot upphovsrätten, det är mäklaren som har den rätten. Och mäklaren har ju givetvis intresse att hans annons sprids till så många potentiella köpare som möjligt och har därför kanske inte särskilt mycket emot att Booli "snor" texten.

Vad tror ni?

Angående bilderna så finns det helt motsatta svenska rättsfall från HD som säger att även en bild som inte är lätt igenkänningsbar har Upphovsrätt. (Se fallet Kabelkultur som har behandlats ett antal gånger här på WN). Amerikanska domar och rättsfall är inte relevanta i Sverige, de har en helt annan rättstradition som skiljer sig gigantiskt från Svensk rättspraxis och svenska lagar.

Så du menar alltså att Google's affärsverksamhet som sökmotor för både text och bild är olaglig i Sverige? Om du inte menar det, varför är den då inte olaglig?

För att ingen provat det i domstol ännu. Google bildsök är stängt i vissa länder i Europa.

Upphovsrätten är som sagt var inte helt självklar i alla lägen. Hade det varit enkelt att ställa upp svartvita lagar som aldrig kan ifrågasättas så skulle vi inte behövt särskilt många jurister men verkligheten är (lyckligtvis) inte svartvit. Vill du vara på den säkra sidan så håller du dig borta från alla gråzoner. Vill du chansa lite så bör du vara beredd på antingen en juridisk strid eller att lägga ner om du hamnar i den situationen. Sedan beror det helt på hur ditt upplägg ser ut. Gäller det en sökmotor så vill säkerligen många vara med där (förutsatt att du inte drar trafik på deras bekostnad) och då räcker det sannolikt med att bara plocka bort de som inte vill vara med. Sunt förnuft kommer man långt med.

I mitt fall så tvivlar jag inte på att 99% av alla författare/skapare av innehållet som jag scrapar/crawlar gärna vill att innehållet sprids så mycket som möjligt. De lägger från början ut innehållet just för att de vill att det ska spridas.

Innehållet tas dessutom automatiskt bort efter ett par månader då det blir utdaterat relativt snabbt och ersätts med nytt innehåll.

Däremot så finns det intresse för de plattformar där användarna först publicerat sitt innehåll, att försöka ha ensamrätt till innehållet. Det finns en stor chans att de inte vill att andra plattformar tar deras innehåll.

Därför är det intressant som jag skrev tidigare. "Upphovsrätten berör inte material ifrån tredje part", en text som bl a HittaRecept.se har längst ner i sin footer. Jag tolkar det alltså som att plattformarna i exemplet ovan inte har någon upphovsrätt på innehållet som deras användare skapar.

Exempelvis en plattform som Facebook har ingen upphovsrätt på innehållet som Facebook's användare skapar. Facebook har inte rätt att klaga på att en tredje part kopierar Facebook's användares statusuppdateringar och dylikt.

Om du kopierar en bild ifrån Facebook, så kan Facebook inte stämma dig. Då de inte äger upphovsrätten till bilden. Den enda som kan dra det till domstol är användaren. Om det är en bild som användaren gärna vill ska spridas så mycket som möjligt i första hand (Som i mitt fall med min webbtjänst) så låter det därför högst otroligt att det skulle bli en juridisk konflikt.

Tolkar jag det rätt då?

Jag tror du missförstått det du citerar. Jag tolkar det som att de menar att material tillhörande tredje part inte är upphovsrättsskyddat av sökmotorn utan tillhör just tredje part.

För en klassisk sökmotor som presenterar rubrik, ett mindre utdrag ur texten och länkar till sidan är min personliga uppfattning att det är helt lagligt och omfattas av citatsrätten.

Monster.se är ju en scraper som tar jobbannonser från alla andra.

De som tillhandahåller en plattform har ett avtal med användarna, som exempelvis Facebook, Google med flera.

I avtal står det ofta att användaren ansvarar för att denne har fullständiga imateriella rättigheter till allt material denne publicerar och att plattformsägaren skall hållas skadefri vid eventuella tvister med den rättmätige upphovsrättsinnehavaren.

Enligt Svensk lag så är det den somanvänder ett upphovsrättsskyddat verk som har "undersökningsplikten", dvs i ditt fall måste du själv ta reda på varje enskild rättighetsinnehavare och i princip upprätta ett avtal med denne i förväg innan du får använda materialet. Vill de inte gå med på avtal så får du inte använda materialet.