Qué es el archivo robots.txt, qué le dice a los buscadores y cómo escribirlo en WordPress sin bloquear lo que sí quieres que se indexe. Fuente original: El archivo robots.txt