Qué es el crawl budget y cómo optimizarlo en tu web

En nuestra labor por optimizar las webs para posicionarlas en los buscadores nos vienen a la mente palabras como las ‘keywords’, los encabezados, los metadatos, el alt de las imágenes, incluso el link building.

Todo esto es lo que nos viene a la cabeza cuando pensamos qué es el SEO. Y muchas veces dejamos de lado otros aspectos importantes, como puede ser el crawl budget.

¡Juguemos a las definiciones!

¿Qué es el crawl budget?

El crawl budget o, el presupuesto de rastreo, es el tiempo que Google emplea al visitar una web, tu web. Este ‘presupuesto’ incide directamente en el posicionamiento y la indexación de los sites. Es por ello que es fundamental fijarse en el crawl budget de nuestra web.

Para conseguir un correcto crawl budget tendrás que tener en cuenta:

• La autoridad de tu site.
• La calidad.
• La velocidad.
• La accesibilidad.

Si te interesa optimizar el crawl budget de tu web, este es tu post.

¿Cuál es el presupuesto de rastreo de mi web?

Si quieres mejorar el crawl budget de una web, primero tenemos que ser conocedores de por dónde está pasando el bot de Google y cuál es la frecuencia con la que lo hace.

Para controlarlo hay que analizar los logs alojados en el servidor, por lo que usar el Log Analyser de Screaming Frog se convertirá en tu mejor aliado.

Gracias a Screaming Frog Log Analyser detectarás:

• Los sitios más visitados por el bot.
• A qué lugares está accediendo y dónde no.
• La frecuencia con la que lo hace.
• Si hay códigos de respuesta 3xx, 4xx y/o 5xx en la web.

A partir de los resultados ya puedes hacerte una primera idea de lo que hace el bot de Google. Y una vez analizado es el momento de optimizar el presupuesto de rastreo de las URL’s que consideres más importantes.

¿Por qué es importante el crawl budget en SEO?

Fácil y rápido:

Si Google no pasa por una página, no la indexa y no aparece en los motores de búsqueda (seguramente acabe apareciendo, pero más tarde).

Un poco más complejo:

En el caso de que tu web tenga un número de páginas superior al presupuesto de rastreo que tiene destinada, es probable que tengas páginas que no se indexen.

→ NOTA: La gran mayoría de webs no debe tener problema, ya que Google es bueno en encontrar e indexar páginas.

Pese a todo, existen una serie de casos en los que tienes que prestar especial atención al crawl budget:

• Tienes una web grande. Por ejemplo, un eCommerce con más de 10.000 páginas. Es posible que en estos casos Google pueda tener problemas de acceso.
• Hay muchas redirecciones en tu web. Las redirecciones y sus cadenas consumen mucho presupuesto de rastreo en los sites.
• Has añadido muchas páginas de golpe.

Es importante tener controlado el crawl budget porque esto se traducirá en un control mayor de Google y, por tanto, una mejora en las SERPS para tus páginas.

¿Por qué se suele dejar de lado la optimización del crawl budget?

La respuesta la tenemos en el blog oficial del propio Google.

En la publicación, el propio Google explica:

“Un aumento de la frecuencia de rastreo no conducirá necesariamente a mejores posiciones en los resultados de búsqueda. Google usa cientos de señales para clasificar los resultados, y aunque el rastreo es necesario para estar en los resultados, no es una señal de clasificación”. 

Esta afirmación es, para muchos profesionales en posicionamiento, la excusa perfecta para dejar de lado el crawl budget.

Por su parte, el propio Gary Illyes,Standup Trends Analyst en Google, afirma que en un sitio web grande tiene sentido el crawl budget. En cambio, si el site es pequeño, apenas hay que preocuparse por el presupuesto de rastreo.

Pero el tema del SEO va mucho más allá realizar un cambio importante y mejorar en el ránking de posiciones. El posicionamiento SEO va a realizar pequeños cambios y optimizarlos para conseguir los mejores resultados.

Aunque no es un gran factor en rastreo como comenta John Mueller (Google), la optimización del presupuesto de rastreo siempre será beneficiosa para la salud general de cualquier web.

6 consejos para optimizar el crawl budget de tu web

Si después de llegar hasta aquí sigues pensando en optimizar el presupuesto de rastreo de tu web, ten en cuenta los siguientes aspectos.

Permite el rastreo de tus páginas importantes por robots.txt.

Es algo obvio, pero no por ello deja de ser importante.

La gestión del robots.txt puedes hacerla tú mismo o con alguna herramienta de auditoría de webs.

La tarea es sencilla. Añade el robots.txt a la herramienta seleccionada y esta cargará el documento.

Si quieres configurar el robots.txt de forma manual, puedes aprender en este post.

Atención con las redirecciones

En todas las webs, sobre todo las más grandes, existirán las redirecciones 301 y 302. Es algo natural, pero que hay que evitar para que no se generen cadenas de redireccionamiento.

Al haber redirecciones en tu página web el bot de Google pierde más tiempo yendo de una URL a otra, por lo que el crawl budget que tenga destinado se traducirá en el estudio de menos páginas.

La velocidad del sitio (WPO)

La velocidad es un aspecto fundamental en las webs para mejorar la experiencia de usuario, pero también beneficia al crawl budget.

En palabras del propio Google: “Hacer un sitio más rápido mejora la experiencia de los usuarios al mismo tiempo que aumenta la frecuencia de rastreo”.

Cuanto más rápido cargue tu web, más páginas rastrearán los bots.

Trabaja el enlazado interno

El robot de Google prioriza en su rastreo aquellas páginas que reciben más enlaces internos y externos.

Lo ideal sería que todas tus páginas tuvieran enlaces externos, que se trabajara el link building. Pero no es  habitual en la mayoría de casos.

En este sentido, el interlinking cobra vital importancia. Los enlaces internos envían a los bots de Google a todas las páginas que buscamos indexar.

Debes tratar de evitar a toda costa las páginas huérfanas (páginas sin enlaces internos ni externos), en tu web.

Actualiza el sitemap

Si tu sitemap está actualizado, los robots de Google entenderán mejor tu web, lo que mejorará el presupuesto de rastreo.

En esta ocasión, asegúrate que el sitemap corresponde a la versión más reciente del robots.txt que has cargado.

→ Si te interesa, puedes aprender cómo generar el sitemap.

Evita que los errores HTTP consuman crawl budget

Los errores 4xx y 5xx, además de perjudicar en la experiencia de usuario, consumen crawl budget de tu web.

Por ello, es importante trabajar en la detección de estos códigos de respuesta.

Herramientas como Screaming Frog te ayudarán a detectar estos errores en tu dominio para que puedas localizar las páginas y solucionarlo.

Son muchas las técnicas con las que tu web podrá aprovechar al máximo el crawl budget asignado por Google.

Si sigues preguntándote si la optimización del presupuesto de rastreo es importante para el SEO, la respuesta es sí. Y es que si le facilitas al bot que vea todas tus páginas, es mucho más probable que posiciones mucho mejor.

Esperamos que este post te haya servido para entender qué es el crawl budget y cómo puedes trabajarlo para sacarle el mayor rendimiento a tu web.

¿Tienes alguna duda sobre el artículo? Escríbenos un comentario. ¿Quieres mejorar el posicionamiento de tu marca? ¡Contáctanos! Estaremos encantados de ayudarte a conseguir tus objetivos.

¿Hablamos?