El archivo robots.txt

Qué es el archivo robots.txt, qué le dice a los buscadores y cómo escribirlo en WordPress sin bloquear lo que sí quieres que se indexe.

Fuente original: El archivo robots.txt