
Robots.txt: Ejemplo de archivo, generadores y TRUCOS para Google
Robots.txt, o protocolo de exclusión de robots, es un archivo de texto que sirve para indicar a los buscadores qué contenidos no queremos que rastreen. Con ello evitamos el rastreo de partes privadas, centrando el crawl budget en las páginas más importantes del site. El archivo robots.txt es público. Cualquier