Não ter um robots.txt é normal. Mas, depois dos vários processos de que o google tem sido alvo, se o seu servidor demorar muito tempo a responder ao pedido do ficheiro robots.txt, o google poderá não indexar e listar o seu site.

De acordo com Barry Schwartz, que cita o Googler JonhMu no Google Group Google Webmaster Help, se o googlebot não receber uma resposta do servidor ao pedido do ficheiro /robots.txt, o site não será indexado, resultando na sua remoção dos indices do Google.

Isto não se aplica aos casos em que esse ficheiro não existe, e é servidor um erro 404, ou aos casos em que um ficheiro inválido é servido, que na normalmente será ignorado.

Mas se o servidor estiver muito lento e demorar demasiado tempo a responder ao pedido, ou se houver um erro de configuração, e houver vários redirects consequentes do pedido deste ficheiro, ou outros problemas similares.

Mais uma questão que devemos ter em atenção se queremos que os nossos sites continuem a aparecer nos resultados do Google.