[radioaktivitet]

När Googlebot besöker dig så talar dem om när dem besökte dig senast (If-Modified-Since). Om dina sidor inte har ändrats sedan dess, prova att skicka 304 (Not Modified).

Att banna Googlebot lär inte vara så bra för dina positioner i sökresultaten...

Edit: En snabb variant kan vara att lägga in detta (om du kör PHP)

if (!empty($_SERVER['HTTP_IF_MODIFIED_SINCE'])) {
header("HTTP/1.0 304 Not Modified");
exit();
}

Edit 2: stavfel