Kom ihåg mig?

Söker feedback för DomainStats.io

 
Ämnesverktyg Visningsalternativ
Oläst 2015-11-11, 16:26 #11
nosnaj nosnaj är inte uppkopplad
Har WN som tidsfördriv
 
Reg.datum: Mar 2005
Inlägg: 1 012
nosnaj nosnaj är inte uppkopplad
Har WN som tidsfördriv
 
Reg.datum: Mar 2005
Inlägg: 1 012
Citat:
Ursprungligen postat av Jim_Westergren Visa inlägg
Ja, det blev en 403 forbidden. Men annan data gick bra.
Såg det, frågan är väl då hur lång tid det tar innan ni hämtar data på nytt?
Vore kul få lite data om sidan
nosnaj är inte uppkopplad   Svara med citatSvara med citat
Oläst 2015-11-11, 18:59 #12
Jim_Westergrens avatar
Jim_Westergren Jim_Westergren är inte uppkopplad
Har WN som tidsfördriv
 
Reg.datum: May 2005
Inlägg: 1 058
Jim_Westergren Jim_Westergren är inte uppkopplad
Har WN som tidsfördriv
Jim_Westergrens avatar
 
Reg.datum: May 2005
Inlägg: 1 058
Fixat http://domainstats.io/missatsamtal.se
Jag gjorde stöd för http://domainstats.io/missatsamtal.se?refresh som hämtar på nytt.
Jim_Westergren är inte uppkopplad   Svara med citatSvara med citat
Oläst 2015-11-11, 20:04 #13
Jim_Westergrens avatar
Jim_Westergren Jim_Westergren är inte uppkopplad
Har WN som tidsfördriv
 
Reg.datum: May 2005
Inlägg: 1 058
Jim_Westergren Jim_Westergren är inte uppkopplad
Har WN som tidsfördriv
Jim_Westergrens avatar
 
Reg.datum: May 2005
Inlägg: 1 058
Ändrade till ?update för de som undrar varför det inte går. Gick inte att redigera mitt inlägg.
Jim_Westergren är inte uppkopplad   Svara med citatSvara med citat
Oläst 2015-12-11, 21:53 #14
Jim_Westergrens avatar
Jim_Westergren Jim_Westergren är inte uppkopplad
Har WN som tidsfördriv
 
Reg.datum: May 2005
Inlägg: 1 058
Jim_Westergren Jim_Westergren är inte uppkopplad
Har WN som tidsfördriv
Jim_Westergrens avatar
 
Reg.datum: May 2005
Inlägg: 1 058
Nu är ny design klar + logga + favicon:
http://domainstats.io/wn.se

Även API är precis klart!
http://api.domainstats.io/

Vad tycker ni?
Några frågor?
Jim_Westergren är inte uppkopplad   Svara med citatSvara med citat
Oläst 2015-12-11, 23:30 #15
Swag Swag är inte uppkopplad
Nykomling
 
Reg.datum: Aug 2012
Inlägg: 32
Swag Swag är inte uppkopplad
Nykomling
 
Reg.datum: Aug 2012
Inlägg: 32
Sidan tar fram informationen snabbt, bra.
Jag har inte fullt koll på alla siffror och ingår kanske inte i den huvudsakliga målgruppen.
Ett par kommentarer:
1: PR, Page Rank kommer upp ibland, är inte detta nedlagt och därmed felvisande numera?
2: Vad är bra och dåligt i olika poäng? Högre=bättre men vad är intervallet på vissa? Majestic visar 100 i grafen så där ser man. Detta är kanske självklart för många, men för mig säger flera värden ingenting.

Nu är jag som sagt troligen inte målgruppen och om detta blir ett betalverktyg inte heller den som skaffar tjänsten. Upplägget ser i alla fall mycket bra ut i mina ögon! Enkelt och snabbt.
Swag är inte uppkopplad   Svara med citatSvara med citat
Oläst 2015-12-14, 17:38 #16
Jim_Westergrens avatar
Jim_Westergren Jim_Westergren är inte uppkopplad
Har WN som tidsfördriv
 
Reg.datum: May 2005
Inlägg: 1 058
Jim_Westergren Jim_Westergren är inte uppkopplad
Har WN som tidsfördriv
Jim_Westergrens avatar
 
Reg.datum: May 2005
Inlägg: 1 058
Tack.

1. Siffran PageRank är inte alls nedlagd och är en viktig siffra från Google. Problemet är den publika toolbar PageRank som inte uppdaterats på över ett år. Men jag tycker den ändå har ett visst värde och ger en viss historisk fingervisning om den är hög.

2. För att bättre förstå siffrorna så är det viktigt att jämföra siffrorna med andra liknande domäner, då först kan du förstå vad som är bra eller dåligt. Det är samma med Majestic, att siffrorna är på en skala mellan 0-100 säger inget om du inte jämför.
Jim_Westergren är inte uppkopplad   Svara med citatSvara med citat
Oläst 2016-02-15, 11:22 #17
Jim_Westergrens avatar
Jim_Westergren Jim_Westergren är inte uppkopplad
Har WN som tidsfördriv
 
Reg.datum: May 2005
Inlägg: 1 058
Jim_Westergren Jim_Westergren är inte uppkopplad
Har WN som tidsfördriv
Jim_Westergrens avatar
 
Reg.datum: May 2005
Inlägg: 1 058
Jag crawlar numera mer av webben och sparar länkar som jag visar i Domainstats.
Just nu har jag sparat 259 miljoner länkar och jag sparar ca 5 miljoner mer per dag.
Jag sparar endast länkar utan nofollow och på sidor från startsidor eller undersida 1 nivå från startsidan.
Denna data visas nu i Domainstats tillsammans med data om mest använda ankartexter, IP från länkande sajter och TLDs.

Lite framöver vill jag även skapa en egen länkkraft siffra och det är mycket spännande.
Jim_Westergren är inte uppkopplad   Svara med citatSvara med citat
Oläst 2016-02-15, 13:51 #18
nosnaj nosnaj är inte uppkopplad
Har WN som tidsfördriv
 
Reg.datum: Mar 2005
Inlägg: 1 012
nosnaj nosnaj är inte uppkopplad
Har WN som tidsfördriv
 
Reg.datum: Mar 2005
Inlägg: 1 012
Citat:
Ursprungligen postat av Jim_Westergren Visa inlägg
Jag crawlar numera mer av webben och sparar länkar som jag visar i Domainstats.
Just nu har jag sparat 259 miljoner länkar och jag sparar ca 5 miljoner mer per dag.
Jag sparar endast länkar utan nofollow och på sidor från startsidor eller undersida 1 nivå från startsidan.
Denna data visas nu i Domainstats tillsammans med data om mest använda ankartexter, IP från länkande sajter och TLDs.

Lite framöver vill jag även skapa en egen länkkraft siffra och det är mycket spännande.
Man (läs jag) blir lite nyfiken hur det fungerar tekniskt att crawla och hålla så många sidor färska och uppdaterade. Visst, man kan gå igenom dom en efter en, men det borde ju börja ta sin lilla tid och antar du köra massa saker parallellt?
Kodar du allt inhouse, vad kodas det i osv? En teknisk bloggpost är önskad
nosnaj är inte uppkopplad   Svara med citatSvara med citat
Oläst 2016-02-15, 14:08 #19
Jim_Westergrens avatar
Jim_Westergren Jim_Westergren är inte uppkopplad
Har WN som tidsfördriv
 
Reg.datum: May 2005
Inlägg: 1 058
Jim_Westergren Jim_Westergren är inte uppkopplad
Har WN som tidsfördriv
Jim_Westergrens avatar
 
Reg.datum: May 2005
Inlägg: 1 058
Jag har kodat det själv och det körs på en enskild dedikerad server.
Det är Nginx, APCu, PHP-fpm och MySQL (innodb).
Det är en massa cron job som körs parallellt.

Det är 3 key metrics som jag mäter varje 30 sekund:

MySQL threads connected: över 250 så pausar jag cron-jobben
Server load: över 14 så så pausar jag cron-jobben
Active PHP processes: över 250 så pausar jag cron-jobben

Om mitt system pausar cron-jobben så körs det igång igen så fort alla värden är tillräckligt ok.

Det har varit ett stort arbete att optimera cron-jobben och servern för att crawla i hög kapacitet utan att det påverkar prestanda för resten av systemet. Men det funkar riktigt bra nu faktiskt.
Har även varit en utmaning att lösa uppdelning av databastabellerna med deras index osv.

Har varit mycket bra lärdom. Och gisses vad mycket spam som finns där ute! Det finns vissa sidor som har över 1 miljoner dofollow länkar på en enskild sida till exempel.

Jag kanske har mer tid framöver att skriva mer tekniskt om detta projekt.
Jim_Westergren är inte uppkopplad   Svara med citatSvara med citat
Oläst 2016-02-15, 15:50 #20
gregoff gregoff är inte uppkopplad
Mycket flitig postare
 
Reg.datum: Jun 2010
Inlägg: 658
gregoff gregoff är inte uppkopplad
Mycket flitig postare
 
Reg.datum: Jun 2010
Inlägg: 658
Citat:
Ursprungligen postat av Jim_Westergren Visa inlägg
Har varit mycket bra lärdom. Och gisses vad mycket spam som finns där ute! Det finns vissa sidor som har över 1 miljoner dofollow länkar på en enskild sida till exempel.

Jag kanske har mer tid framöver att skriva mer tekniskt om detta projekt.
En miljon dofollow-länkar? Borde inte sökmotorspindlar smälla ganska hårt på fingrarna hos dessa webbplatser som gör så? Eller kommer man fortfarande undan med sånna tricks?

Snygg sida förövrigt! Ska bli intressant att följa!
gregoff är inte uppkopplad   Svara med citatSvara med citat
Svara


Aktiva användare som för närvarande tittar på det här ämnet: 1 (0 medlemmar och 1 gäster)
 
Ämnesverktyg
Visningsalternativ

Regler för att posta
Du får inte posta nya ämnen
Du får inte posta svar
Du får inte posta bifogade filer
Du får inte redigera dina inlägg

BB-kod är
Smilies är
[IMG]-kod är
HTML-kod är av

Forumhopp


Alla tider är GMT +2. Klockan är nu 19:51.

Programvara från: vBulletin® Version 3.8.2
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Svensk översättning av: Anders Pettersson
 
Copyright © 2017