Completa tu estrategia de 
Aplicar la orden disallow ayudará a Google a comprender como debe visitar tu sitio, mejorando el presupuesto de rastreo y, por consecuencia, tu posicionamiento.
En este artículo, indicaremos qué es la regla disallow y cómo aplicarla dentro de tu sitio web.
Índice
¿Qué es el disallow?
Disallow es una directiva que se utiliza dentro de un archivo robots.txt para indicar a los crawlers las rutas de una página web que no quieres que sean rastreadas.
Los motores de búsqueda tomarán como instrucción esta indicación para no rastrear esa parte de tu sitio, por lo que emplearán de una forma más eficiente el presupuesto de rastreo.
¿Para qué sirve la directiva disallow?
La regla disallow sirve para configurar el robots.txt de una forma óptima, mostrando a Google las rutas de tu sitio web que no te conviene que acceda.
Para mejorar el posicionamiento de un sitio web, te interesa que Google visite solo las páginas que deseas posicionar y aproveche su tiempo de rastreo conociendo solamente este contenido.
Por el contrario, si Google accede a todas las rutas que detecte en tu sitio, se podrá indexar contenido que no conviene y obtener una valoración negativa, ya que posiblemente no tenga valor para el SEO de tu página y se desperdicie presupuesto de rastreo.
Ejemplos de disallow
Un ejemplo del uso de la directiva disallow es indicar la prohibición de acceder al panel de administración de WordPress.
✍ Te puede interesar→ SEO para WordPress. El manual completo que necesitas.
En una plataforma WordPress, se pueden crear varias direcciones a partir de esta ruta, por lo que es posible que Google acabe descubriendo algunas de ellas.
Otro ejemplo muy común en el que se aplica esta directiva es para bloquear las URLs que se crean a partir del buscador.
Por lo general, los buscadores generen una URL cada vez que un usuario realiza una búsqueda, si no se bloquea, es posible que se acaben indexando algunas de estas direcciones.
En el caso del ejemplo, conviene bloquear el parámetro ”?s2=” a partir del cual se forman todas las URLs generadas por el buscador.
¿Cómo implementar la regla disallow para tu sitio web?
Para implementar el disallow en tu sitio, primero deberás tener creado un archivo robots en tu web, el cual puedes visitas a través de la ruta https://dominio/robots.txt.
Dentro del archivo, encontrarás 3 conceptos que debes conocer: User-agent, Allow y Disallow.
“User-agent” sirve para especificar a qué motor de búsqueda se dirigen las directivas, por lo general se utilizará un asterisco (*) para referirse a todos los robots y “Allow” es la regla opuesta a “Disallow”.
Cómo crear las directivas disallow adecuadas
Si conoces tu sitio, puede que ya conozcas algunas de las reglas que te conviene bloquear su acceso.
Para descubrir otras reglas que te pueden convenir, recomiendo utilizar las herramientas Google Search Console y Screaming Frog.
En la sección de páginas de Search Console, encontrarás las URLs que Google no indexa por algún motivo, en esta sección posiblemente detectes muchas rutas que es recomendable bloquear.
Screaming Frog, te permitirá rastrear tu página simulando el bot de Google, por lo que tras rastrear tu sitio, puedes acceder a la sección “Parámetros”, para ver todas las URLs rastreables con parámetros y detectar si conviene aplicar la regla sobre alguno.
Si dispones del tiempo suficiente, revisar todas las URLs internas rastreadas te permitirá hacer un análisis más profundo.
Una vez conozcas qué reglas aplicar, es recomendable crear un archivo robots dentro de Screaming y volver a rastrear el sitio.
Accede a Configuración > Robots.txt > Añadir
Cuando hayas rastreado el sitio de nuevo, sitúate en la pestaña “interno bloqueado por Robots.txt” que encontrarás en el menú izquierdo y asegúrate de que no se bloquee ninguna URL que no te interese.
Una vez confirmado, puedes subir el archivo a tu sitio.
En resumen, la directiva disallow tiene un uso fundamental dentro de las tareas de SEO técnico, sin embargo, si quieres conocer en profundidad el estado de tu sitio, puedes solicitar una auditoría SEO.
