Söker feedback för DomainStats.io
 

DomainStats.io är mitt senaste projekt där jag samlat en massa info för en massa domäner.

Jag har crawlat startsidan på lite över 4 miljoner domäner varav 1 miljon är .se domäner.
Jag har även data från Ahrefs, Moz, Majestic, Alexa, spamlistor med mera på de flesta .se domänerna och en del andra siffror och info.

Jag mäter även hur siffror ändrar sig historiskt.

Här är till exempel info för en del sajter:
http://domainstats.io/wn.se
http://domainstats.io/idg.se
http://domainstats.io/qualityunlimited.com

Det är bara att skriva in vilken domän som helst.

Jag söker nu feedback för att göra bättre inför lansering.

Den stora grejen är det API som jag ska bygga, men det kommer senare.

Tack på förhand!

Jag gillar att man kan söka/följa GA-id utan förhinder. Ett annat verktyg som jag använder limiterar till max 10 st. Det gör inte du, vilket innebär att jag bokmärker sidan.

Mvh
Magnus

Jag var lite snabb med mitt beröm.

Vidare så är jag väldigt imponerad av den samlade informationen man får av en domän. Som ranking på sökord osv.

Riktigt bra jobbat Jim! Kul!

Mer förklaringar kring vad varje ruta innebär.
Tex mer poäng desto bättre eller mer poäng desto sämre osv.

Väntar fortfarande på mitt bekräftelsemail av kontoregistrering.

Tack Magnus och jag ser att du verifierat din epost så mailet måste ha kommit fram.

Ja, alltså ju högre siffra desto bättre. Förutom antalet spamflaggar och Alexa rank men det tycker jag att man förstår. Var det någon viss du undrade om?

Vore bra om man kunde tvinga omladdning av en webbsidas data, verkar tex som en av mina sidor ej lästs in korrekt.
Har troligen med att trafiken blockeras/utmanas lite hårt för er :)

Har ej med det att göra utan snarare API calls som failar. Vilken domän och data gäller det?

Det var det jag menade, skrev konstigt bara.
Min sida utsattes för kraftig ddos under längre tid så jag fick införa en proxy framför som fitrerar och blockerar misstänkt trafik. Antar min proxy blockerar anrop från er crawler, speciellt om det inte har svenskt ip.

Sidan avser den jag har i signaturen, ska lätta reglerna i min proxy, så får jag dra åt svångremmen igen om eventuell attack sker igen.

Ja, det blev en 403 forbidden. Men annan data gick bra.

Såg det, frågan är väl då hur lång tid det tar innan ni hämtar data på nytt?
Vore kul få lite data om sidan :)

Fixat http://domainstats.io/missatsamtal.se :)
Jag gjorde stöd för http://domainstats.io/missatsamtal.se?refresh som hämtar på nytt.

Ändrade till ?update för de som undrar varför det inte går. Gick inte att redigera mitt inlägg.

Nu är ny design klar + logga + favicon:
http://domainstats.io/wn.se

Även API är precis klart! :)
http://api.domainstats.io/

Vad tycker ni?
Några frågor?

Sidan tar fram informationen snabbt, bra.
Jag har inte fullt koll på alla siffror och ingår kanske inte i den huvudsakliga målgruppen.
Ett par kommentarer:
1: PR, Page Rank kommer upp ibland, är inte detta nedlagt och därmed felvisande numera?
2: Vad är bra och dåligt i olika poäng? Högre=bättre men vad är intervallet på vissa? Majestic visar 100 i grafen så där ser man. Detta är kanske självklart för många, men för mig säger flera värden ingenting.

Nu är jag som sagt troligen inte målgruppen och om detta blir ett betalverktyg inte heller den som skaffar tjänsten. Upplägget ser i alla fall mycket bra ut i mina ögon! Enkelt och snabbt.

Tack.

1. Siffran PageRank är inte alls nedlagd och är en viktig siffra från Google. Problemet är den publika toolbar PageRank som inte uppdaterats på över ett år. Men jag tycker den ändå har ett visst värde och ger en viss historisk fingervisning om den är hög.

2. För att bättre förstå siffrorna så är det viktigt att jämföra siffrorna med andra liknande domäner, då först kan du förstå vad som är bra eller dåligt. Det är samma med Majestic, att siffrorna är på en skala mellan 0-100 säger inget om du inte jämför.

Jag crawlar numera mer av webben och sparar länkar som jag visar i Domainstats.
Just nu har jag sparat 259 miljoner länkar och jag sparar ca 5 miljoner mer per dag.
Jag sparar endast länkar utan nofollow och på sidor från startsidor eller undersida 1 nivå från startsidan.
Denna data visas nu i Domainstats tillsammans med data om mest använda ankartexter, IP från länkande sajter och TLDs.

Lite framöver vill jag även skapa en egen länkkraft siffra och det är mycket spännande.

Man (läs jag) blir lite nyfiken hur det fungerar tekniskt att crawla och hålla så många sidor färska och uppdaterade. Visst, man kan gå igenom dom en efter en, men det borde ju börja ta sin lilla tid och antar du köra massa saker parallellt?
Kodar du allt inhouse, vad kodas det i osv? En teknisk bloggpost är önskad :)

Jag har kodat det själv och det körs på en enskild dedikerad server.
Det är Nginx, APCu, PHP-fpm och MySQL (innodb).
Det är en massa cron job som körs parallellt.

Det är 3 key metrics som jag mäter varje 30 sekund:

MySQL threads connected: över 250 så pausar jag cron-jobben
Server load: över 14 så så pausar jag cron-jobben
Active PHP processes: över 250 så pausar jag cron-jobben

Om mitt system pausar cron-jobben så körs det igång igen så fort alla värden är tillräckligt ok.

Det har varit ett stort arbete att optimera cron-jobben och servern för att crawla i hög kapacitet utan att det påverkar prestanda för resten av systemet. Men det funkar riktigt bra nu faktiskt.
Har även varit en utmaning att lösa uppdelning av databastabellerna med deras index osv.

Har varit mycket bra lärdom. Och gisses vad mycket spam som finns där ute! Det finns vissa sidor som har över 1 miljoner dofollow länkar på en enskild sida till exempel.

Jag kanske har mer tid framöver att skriva mer tekniskt om detta projekt.

En miljon dofollow-länkar? Borde inte sökmotorspindlar smälla ganska hårt på fingrarna hos dessa webbplatser som gör så? Eller kommer man fortfarande undan med sånna tricks?

Snygg sida förövrigt! Ska bli intressant att följa!

Ja, sökmotorspindlar lär inte gilla sådana sidor.

Här är en del bra info från Moz om deras problem som de stött på:
https://moz.com/blog/mozscape-index-2015

Innan jag startade Domainstats hade jag själv ingen aning hur stor den asiatiska delen av internet var. Jag slösar dock inga resurser alls på den delen i Domainstats.

Bra & snabb tjänst och superintressant att läsa Jim! Skriv gärna mer om tjänsten när du har tid.

Hur ofta uppdateras informationen? Ser min sida lägenheter24.se har en screenshot från i somras vilket är väldigt annorlunda mot hur sidan ser ut idag :) http://domainstats.io/lagenheter24.se

Riktigt intressant tjänst att se samlade stats över sina sidor, do like! :)

Tack!

Olika typer av data uppdateras olika regelbundet. Till exempel sceenshots inte så ofta eftersom det är miljontals domäner. Men jag körde precis en uppdate på lagenheter24.se så att den är aktuell.

Nytt med DomainStats:

• 4 stycken nya verktyg på http://domainstats.io/tools/
  
• Nu över 500 miljoner länkar sparade i databasen.
• Mycket ny data importerad/sparad/hämtad.

Hej Jim!

Jag gillar den skarpt och använder den frekvent "mot" mina konkurrenter och mig själv :)

2 saker som jag ser när jag gör en sökning på min sida m3storage.se

En del element uppdateras inte så ofta, varför?

Sen förstår jag inte varför sidan inte visas som indexerad i google, när den är synbar i sökningen?

Tack på förhand!

Mvh.
Nybörjaren..

Hej Franzen och tack.

Ja, jag ska fundera på detta hur jag ska förbättra. Problemet är antalet domäner är så många.

Det är en bugg från Googles API som händer ibland för mindre sajter, ska notera detta och undersöka.

Tänkte skriva lite om de senaste äventyren jag haft med Domainstats uteckling. Finns en del som är intresserade av att läsa hur det går. Jag sitter även just nu själv så även kul att dela med sig.

Servern började gå på knäna och jag visste att det var mysql. Load låg konstant på ca 10 och queries köades upp hela tiden, sajten var riktigt seg, och då hade jag ändå stängt av alla cronjobben (datainsamling, crawling). Databasen var en compressed innodb på ca 100 GB. Den största tabellen med länkarna var över 50 GB med ca 550 miljoner rader. Även med perfekta index så hjälpte det inte, alla queries som rörde den tabellen var seg. Snitttiden för Googlebot att hämta URLer blev som värst 18 sekunder.
Det andra stora problemet var att det endast fanns 40 GB kvar innan hårddisken skulle ta slut och jag vet att jag vill ju crawla och spara mycket mer länkar, kanske tiodubbelt så mycket.

Fast besluten att lösa detta så studerade jag en massa andra olika NoSQL databaslösningar och fastnade till slut för mongodb och cassandra. Jag måste välja en av dessa och jag läste väldigt mycket på nätet om dessa 2 lösningar. Jag anlitade även en del personer genom upwork men det gick inte så bra så jag beslöt mig för att fixa det själv istället.

Jag valde till slut cassandra eftersom det finns en hel del fall där startups flyttar från mongodb till cassandra men jag har aldrig stött på någon som gjort det omvända. Cassandra verkar även mycket bättre när det handlar om intensivt med writes vilket det är i mitt fall.

Jag beställde den dedikerade servern #2 (EX51-SSD hos Hetzer) och fick den installerad i samma datacenter. Installation av Cassandra var rätt enkelt förutom lite klydd gällande rätt version av java. Däremot att få PHP drivern installerad var ett jävelskap som tog rätt många timmar att lösa. Installation enligt instruktionerna går inte utan blir konflikt med någon dependency gällande libuv osv ... men jag löste det till slut. Jag hade helst velat ha PHP 7 såklart men det fick jag skippa eftersom det inte gick med drivern.

Jag flyttade sedan ca 3 miljoner filer från server 1 till server 2 med hjälp av tar och rsync (favicons, printscreens och cache-filer) och ändrade om mysql så att php på server 2 kopplar till mysql på server 1. Ändrade sedan om i DNS och det fungerade felfritt i stort sett direkt (förutom en miss att php måste äga filerna och inte root men det var snabbt ändrat).

Nu på server 1 fanns det bara mysql och inget annat. Steg 1 klart. Server 2 hade nu ingen load alls och server 1 gick fortfarande på knäna men det gick minimalt bättre, nåja.

Steg 2: Skriv om PHP så att inga MySQL joins görs mot de stora tabellerna. Cassandra stödjer inte heller joins.
Detta blev klart och load gick ner en hel del. Detta steg gick faktiskt smidigt.

Steg 3 flytta den största tabellen till cassandra. När du skapar tabellen så är det väldigt viktigt att klura ut hur din nyckel ska se och detta var lite knepigt. Här rekommenderar jag att man testar och verkligen är säker innan man tar nästa steg. Mycket bra info här http://stackoverflow.com/a/24953331/1554653. Jag kom fram till 1 primärnyckel med 2 klusternycklar som bästa val för min tabell.

Steg 4, importera data från MySQL till Cassandra. Här skrev jag ett enkelt skript i PHP som loopar och insertar. Till en början gjorde jag ca 4000 inserts per sekund men ökade sedan till ca 12 000 vilka var inga problem alls för Cassandra - flaskhalsen var selecten från mysql. Tänk dock på att 12 000 per sekund = ca 13 timmar non-stop för 550 miljoner rader. Min laptop fick vara igång och köra under natten.

Sista steget var att sedan ändra i PHP så att den data som nu finns i cassandra selectas därifrån och det var faktiskt lätt.

Jag droppade sedan den 50 GB stora tabellen och startade om mysql.

Jag har nu åter aktiverat cron-jobben och load är nu:

server 1 (mysql): 2,4
server 2 (php, cassandra, filer): 0,3

Och snitthämtningstid för Googlebot har gått ner till ca 5 sekunder.

Detta är grymt bra. En annan sak som förvånar mig är att dels är cassandra blixtsnabb och dels så använder den mycket mindre utrymme på disk än vad compressed innodb gjorde - ca hälvten och då har jag ändå replication 1.

Nästa steg är att flytta över andra tabeller från mysql till cassandra men det blir lite svårare och de är inte alls lika stora så det är ett senare projekt.

Jag vill kunna crawla och spara tillräckligt mycket länkar för att kunna skapa min egen länksiffra likt trustflow eller liknande och det känns nu möjligt att kunna göra detta vilket känns jättebra.

imponerande, jag brukar testa en del sidor på din tjänst.
Det jag tycker är lite störande är att man måste logga in för att se en del grejer.

Jim:

Av erfarenhet, så är det Index som tar plats i SQL databaser. Hur stor är skillnaden om du enbart väljer datamängder. Cassandra har inte direkt index på samma sätt som SQL så då jämnför du lite äpplen och päron känns det som.

Ja, man behöver logga in för att se vissa saker eftersom det kräver api calls av tredjepart för att räkna ut dessa och det är rätt många besökare nu som inte är inloggade.

nim, du har rätt. Index stod för nästan halva datamängden.

Nu har jag även släppt backlinks data i detta API.

Länkar till en viss domän:
http://api.domainstats.io/links_to/c...ret_token=test

Länkar från en viss domän:
http://api.domainstats.io/links_from...ret_token=test

Något som ni ser som bör ändras eller korrigeras? Synpunkter på något?

Välkommen att använda detta, det är gratis. Ge gärna feedback.

Jag vet att servern går lite segt just nu men det kommer att lösa sig senare när jag migrerat fler MySQL tabeller till Cassandra.

Enligt Googles egna utvecklarverktyg pagespeed är sidan svårslagen! i mobilversionen
100/100 i hastighet
100/100 i användarupplevelse
Duktigt imponerande, har aldrig sett en full pott tidigare
https://developers.google.com/speed/...%2F&tab=mobile
När det gäller hastigheten för hur sidan representerar sig på en vanlig dator blir det dock något avdrag för de komprimeringsvinster som kunde göras av screenshots enligt Google algoritmen är det bara pyttesmåbilder iofs som anges kunna komprimeras med upp till 75% (rent teoretiskt) om det gäller i verkligheten rent praktiskt är jag inte lika säker på. Återkoppla gärna.

82/100 vanlig dator
En arkiverings som gjordes av det höga resultatet blev dock lite lägre med bara 99/100 med ett minus med förslag om att dra ned serverns responstid. https://archive.is/phpdI det är verkligen php de luxe.

Funderar dock lite över stabiliteten i resultatet (vilket man dock måste vara inloggad för att se)
http://domainstats.io/domainstats.io
DomainStats.io Backlink Score: 597 (-335) tillsammans med Referring Domains: 1459 (+989)
Spontant förstår jag inte korrelationen, något du kan förklara lite närmare Jim?

Oh, sedan blir man förstås nyfiken på vilket verktyg du har använt för att få ned storleken på bilderna så bra så att google inte har något att invända för mobil läsning, liksom vilket du har använt för dator läsning och om det behöver skilja något när det gäller verktyg. Vilket komprimerings verktyg brukar du använda för bilderna?

Hej "Protein",

På startsidan så visar jag dessa bilder i en mindre storlek än deras original. Bäst hade ju varit att skala ner själva bilden och att inte göra detta med CSS - och det är detta Google med rätta reagerar på. Men jag kommer inte göra detta eftersom det handlar om miljontals sådana bilder för mig och jag inte vill spara dubbla kopior.

Domainstats.io fick en hel del spammiga inlänkar ett tag. Så Referring Domains har ökat markant men "DomainStats.io Backlink Score" detectar att dessa nya inlänkar är av dålig kvalitet och ger avdrag på poängen.

Det stora tricket här är att jag inte laddar bilderna som inte syns om det är mobil. Många gör misstag med detta och endast till exempel döljer bilderna för mobil men de laddas ändå i bakgrunden. Genom att sätta bilden som en bakgrund på en div och skriva över denna bakgrund med none på mobil så löser man detta.

Jag har precis byggt denna och skulle gärna vilja få feedback på den:

Backlinks Countries Lookup Tool
http://domainstats.io/tools/backlinks-countries

Den är faktiskt riktigt grym om jag får säga det själv. Jag testade med droplistan för .com på 13000 domäner och det tog bara 20 sekunder och jag kunde direkt se vilka som har svenska inlänkar.

Jag tänkte återkomma i denna tråden nu ca 2 år senare.

Jag skaffade investeringskapital, anställde utvecklare och vi startade det maffiga arbetet att dels göra en helt ny front end och dels skriva om alla mina ca 15 tusen rader php kod till objektorienterad MVC i nytt eget ramverk med strict typing. Ytterliggare ca 7 dedikerade servrar skaffades också för cassandra och redis. All kod testades ordentligt.

Detta arbete är nu klart. Vi har även gjort en massa nya features, till exempel rank trackern https://domainstats.com/rank/ min egen siffra Domainscore: https://domainstats.com/pages/domainscore och mycket mer.

Nu ska vi påbörja en lanseringsperiod. Spännande detta.

Jag har använt verktyget lite från och till. Jag har väl bara en enda sak jag inte gillar med det, så det är ett bra betyg med andra ord. Men - jag hittar inte var jag sätter mitt egenvalda lösenord (att hela tiden använda ett slumpat lösenord är säkert säkrare i teorin, men inte i praktiken när det inenbär att jag som inte har en lösenordshanterare måste begära nytt lösenord via "glömt lösenordsfunktionen" varje gång.

mvh
Ola

Hej Ola,
Ja mitt val att göra detta för Domainstats kanske inte är helt korrekt i praktiken... Men du ska ju aldrig aldrig använda samma lösenord på mer än 1 sajt. Gör du det så är det bara en tidsfråga innan du förlorar viktiga konton. Sajter och dumpar av databaser med användarnas lösenord läggs regelbundet upp på internet av hackare.
Kan inte din webbläsare i alla fall spara lösenordet? Alla moderna webbläsare kan det.

Jovisst kan webläsaren det. Problemet är att jag har en dator på jobbet (som jag inte på rimligt lätt sätt kan installera en lösenordshanterare på), och en dator hemma, och slutligen en dator på resor. Att synka webläsarnas lösenord på dessa tre burkar pallar man ju inte med.

Men som sagt, det är ett marginellt problem

Jag provade DomainScore med ett antal domäner. Kan bara säga:
* Enkelt att förstå
* Enkelt att använda
* Riktigt bra information genom resultatet

Utan att testat mer än med en sökning har jag följande feedback till er:
* Sökresultatet med listan på domäner har en (i)-symbol som jag först trodde var en informationstext som skulle visa lite text bara men det var ju en länk till djupare information om domänen. Tror många missar dom länkarna. Kanske göra så att själva domännamnet även är en länk så fler hittar djupare info och det blir lättare att klicka.

* Great att det är gratis så man kan testa och inse hur bra verktyget är för att sedan skaffa konto. Håll kvar det och var transparenta. Många liknande verktyg kräver registrering för att sedan visa sig ha undermålig funktionalitet. Den som vågar vara öppen och gratis och klarar av trafiken kommer nog ha många fördelar av det.

Bra Jobbat!!!