Kom ihåg mig?
Home Menu

Menu


Scrappa en sida med cURL?

 
Ämnesverktyg Visningsalternativ
Oläst 2008-12-22, 17:33 #11
Magnus_A Magnus_A är inte uppkopplad
Klarade millennium-buggen
 
Reg.datum: May 2006
Inlägg: 2 604
Magnus_A Magnus_A är inte uppkopplad
Klarade millennium-buggen
 
Reg.datum: May 2006
Inlägg: 2 604
problemet med skrapning är att sidan ändras fortlöpande och då kommer en lokalisering av innehållet som bygger på att den ligger på en viss plats i trädet att missa så fort sidan ändras.
Man kan loopa igenom endast vissa typer av noder och då får man ett mindre träd att leta i som förhoppningsvis inte ändrar sig lika ofta och lätt.
Det mest robusta sättet är enligt min erfarenhet regexp, eftersom sidans texter ofta ändras mer sällan än sidstrukturen i stort.
Magnus_A är inte uppkopplad   Svara med citatSvara med citat
Oläst 2008-12-22, 21:28 #12
FredrikNass avatar
FredrikNas FredrikNas är inte uppkopplad
Bara ett inlägg till!
 
Reg.datum: Oct 2006
Inlägg: 1 995
FredrikNas FredrikNas är inte uppkopplad
Bara ett inlägg till!
FredrikNass avatar
 
Reg.datum: Oct 2006
Inlägg: 1 995
Magnus, jag førstår hur du menar, men det ær som sagt inte ett problem i detta falll..
Jag ska skrapa en whois host. och det kommer alltid att vara samma information som dyker upp på samma stælle i designen. eftersom att det ær just domæn infot som jag ska skrapa ut.

Men visst, en reg_exp vore væl ænnu mer tillførlitlig, ifall om dom f.ex skulle ældra designen, eller lægga in mer information.
FredrikNas är inte uppkopplad   Svara med citatSvara med citat
Oläst 2008-12-23, 10:35 #13
Jonas Jonas är inte uppkopplad
Klarade millennium-buggen
 
Reg.datum: Feb 2004
Inlägg: 3 364
Jonas Jonas är inte uppkopplad
Klarade millennium-buggen
 
Reg.datum: Feb 2004
Inlägg: 3 364
Novocain: Varför inte köra en förfrågan via whois-servern direkt då?
eller om du ligger på en linux server, köra tex:

exec("whois <domännamn / ip>");

Här är någon som beskriver hur du går tillväga med sockets o whois:
hxxp://forum.joomla.org/viewtopic.php?t=94098
Jonas är inte uppkopplad   Svara med citatSvara med citat
Oläst 2008-12-23, 11:05 #14
FredrikNass avatar
FredrikNas FredrikNas är inte uppkopplad
Bara ett inlägg till!
 
Reg.datum: Oct 2006
Inlägg: 1 995
FredrikNas FredrikNas är inte uppkopplad
Bara ett inlägg till!
FredrikNass avatar
 
Reg.datum: Oct 2006
Inlägg: 1 995
Jo men det är det jag gör, jag manipulerar url:en som skickas in, så att rätt domän info kommer upp för domänen som jag lägger till i mitt script, sen tar jag hem hela den sidan med cURL från whois hosten men det innebär ju reklam, och allt annat skräp man får med från sidan.., och där sitter jag fast nu, jag har läst lite om xPath inatt, och tror att det kanske kan vara något för att parse:a ut bara det jag vill ha. och slutligen regular expressions för att stycka upp dom rader som är det jag vill ha ut, och skicka in det i en databas.

Tyvärr, har inte tillgång till någon egen server längre, har legat på latsidan med webb ända sedan jag flyttade till norge i juni. så jag har bara ett Binero konto akuratt nå.

Edit, tack för länken, ska läsa på vägen hem idag.. har 12h resa till sverige i en bil att se fram emot
FredrikNas är inte uppkopplad   Svara med citatSvara med citat
Svara


Aktiva användare som för närvarande tittar på det här ämnet: 1 (0 medlemmar och 1 gäster)
 

Regler för att posta
Du får inte posta nya ämnen
Du får inte posta svar
Du får inte posta bifogade filer
Du får inte redigera dina inlägg

BB-kod är
Smilies är
[IMG]-kod är
HTML-kod är av

Forumhopp


Alla tider är GMT +2. Klockan är nu 19:17.

Programvara från: vBulletin® Version 3.8.2
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
Svensk översättning av: Anders Pettersson
 
Copyright © 2017