Quizás podemos pensar que la directriz de un archivo robots.txt es algo que lo tocamos bien una vez al principio y que, en función de cómo vaya creciendo nuestro sitio web, podríamos retocarlo un poco más en función de nuestras necesidades de cara al SEO o incluso en ocasiones por seguridad. De hecho, esto es algo que apenas ha cambiado en los últimos años, es algo bastante estable.
A pesar de esto, John Mueller (Google) empleó una hora entera en uno de sus hangouts en Google+ hablando solamente sobre robots.txt. Dispone de una presentación que dura unos 25 minutos y después la ronda de preguntas suma otros 35 minutos. Es decir, incluso las dudas más simples pueden llegar a analizarse muy al detalle.