En nuestra labor por optimizar las webs para posicionarlas en los buscadores nos vienen a la mente palabras como las ‘keywords’, los encabezados, los metadatos, el alt de las imágenes, incluso el link building.
Todo esto es lo que nos viene a la cabeza cuando pensamos qué es el SEO. Y muchas veces dejamos de lado otros aspectos importantes, como puede ser el crawl budget.
☝ Antes de seguir: Suscríbete y recibe los próximos artículos sobre SEO y Marketing que publiquemos en tu email.
¡Juguemos a las definiciones!
Guía del Crawl Budget
El crawl budget o, el presupuesto de rastreo, es el tiempo que Google emplea al visitar una web, tu web. Este ‘presupuesto’ incide directamente en el posicionamiento y la indexación de los sites. Es por ello que es fundamental fijarse en el crawl budget de nuestra web.
Para conseguir un correcto crawl budget tendrás que tener en cuenta:
Si te interesa optimizar el crawl budget de tu web, este es tu post.
Si quieres mejorar el crawl budget de una web, primero tenemos que ser conocedores de por dónde está pasando el bot de Google y cuál es la frecuencia con la que lo hace.
Para controlarlo hay que analizar los logs alojados en el servidor, por lo que usar el Log Analyser de Screaming Frog se convertirá en tu mejor aliado.
Gracias a Screaming Frog Log Analyser detectarás:
A partir de los resultados ya puedes hacerte una primera idea de lo que hace el bot de Google. Y una vez analizado es el momento de optimizar el presupuesto de rastreo de las URL’s que consideres más importantes.
Fácil y rápido:
Si Google no pasa por una página, no la indexa y no aparece en los motores de búsqueda (seguramente acabe apareciendo, pero más tarde).
Un poco más complejo:
En el caso de que tu web tenga un número de páginas superior al presupuesto de rastreo que tiene destinada, es probable que tengas páginas que no se indexen.
→ NOTA: La gran mayoría de webs no debe tener problema, ya que Google es bueno en encontrar e indexar páginas.
Pese a todo, existen una serie de casos en los que tienes que prestar especial atención al crawl budget:
Es importante tener controlado el crawl budget porque esto se traducirá en un control mayor de Google y, por tanto, una mejora en las SERPS para tus páginas.
La respuesta la tenemos en el blog oficial del propio Google.
En la publicación, el propio Google explica:
“Un aumento de la frecuencia de rastreo no conducirá necesariamente a mejores posiciones en los resultados de búsqueda. Google usa cientos de señales para clasificar los resultados, y aunque el rastreo es necesario para estar en los resultados, no es una señal de clasificación”.
Esta afirmación es, para muchos profesionales en posicionamiento, la excusa perfecta para dejar de lado el crawl budget.
Por su parte, el propio Gary Illyes,Standup Trends Analyst en Google, afirma que en un sitio web grande tiene sentido el crawl budget. En cambio, si el site es pequeño, apenas hay que preocuparse por el presupuesto de rastreo.
Pero el tema del SEO va mucho más allá realizar un cambio importante y mejorar en el ránking de posiciones. El posicionamiento SEO va a realizar pequeños cambios y optimizarlos para conseguir los mejores resultados.
Aunque no es un gran factor en rastreo como comenta John Mueller (Google), la optimización del presupuesto de rastreo siempre será beneficiosa para la salud general de cualquier web.
Si después de llegar hasta aquí sigues pensando en optimizar el presupuesto de rastreo de tu web, ten en cuenta los siguientes aspectos.
Es algo obvio, pero no por ello deja de ser importante.
La gestión del robots.txt puedes hacerla tú mismo o con alguna herramienta de auditoría de webs.
La tarea es sencilla. Añade el robots.txt a la herramienta seleccionada y esta cargará el documento.
Si quieres configurar el robots.txt de forma manual, puedes aprender en este post.
En todas las webs, sobre todo las más grandes, existirán las redirecciones 301 y 302. Es algo natural, pero que hay que evitar para que no se generen cadenas de redireccionamiento.
Al haber redirecciones en tu página web el bot de Google pierde más tiempo yendo de una URL a otra, por lo que el crawl budget que tenga destinado se traducirá en el estudio de menos páginas.
La velocidad es un aspecto fundamental en las webs para mejorar la experiencia de usuario, pero también beneficia al crawl budget.
En palabras del propio Google: “Hacer un sitio más rápido mejora la experiencia de los usuarios al mismo tiempo que aumenta la frecuencia de rastreo”.
Cuanto más rápido cargue tu web, más páginas rastrearán los bots.
El robot de Google prioriza en su rastreo aquellas páginas que reciben más enlaces internos y externos.
Lo ideal sería que todas tus páginas tuvieran enlaces externos, que se trabajara el link building. Pero no es habitual en la mayoría de casos.
En este sentido,el interlinking cobra vital importancia. Los enlaces internos envían a los bots de Google a todas las páginas que buscamos indexar.
Debes tratar de evitar a toda costa las páginas huérfanas (páginas sin enlaces internos ni externos), en tu web.
Si tu sitemap está actualizado, los robots de Google entenderán mejor tu web, lo que mejorará el presupuesto de rastreo.
En esta ocasión, asegúrate que el sitemap corresponde a la versión más reciente del robots.txt que has cargado.
→ Si te interesa, puedes aprender cómo generar el sitemap.
Los errores 4xx y 5xx, además de perjudicar en la experiencia de usuario, consumen crawl budget de tu web.
Por ello, es importante trabajar en la detección de estos códigos de respuesta.
Herramientas como Screaming Frog te ayudarán a detectar estos errores en tu dominio para que puedas localizar las páginas y solucionarlo.
Son muchas las técnicas con las que tu web podrá aprovechar al máximo el crawl budget asignado por Google.
Si sigues preguntándote si la optimización del presupuesto de rastreo es importante para el SEO, la respuesta es sí. Y es que si le facilitas al bot que vea todas tus páginas, es mucho más probable que posiciones mucho mejor.
Esperamos que este post te haya servido para entender qué es el crawl budget y cómo puedes trabajarlo para sacarle el mayor rendimiento a tu web.
¿Tienes alguna duda sobre el artículo? Escríbenos un comentario. ¿Quieres mejorar el posicionamiento de tu marca? ¡Contáctanos! Estaremos encantados de ayudarte a conseguir tus objetivos.
¿Hablamos?
Agencia SEO » Visitas » Qué es el crawl budget y cómo optimizarlo en tu web