Hay demasiada información en Internet. Los buscadores invierten mucho tiempo y dinero en rastrear sitios web y se han dado cuenta que gran parte del contenido existente no aporta valor. La realidad en SEO es que a día de hoy es muy difícil, para páginas grandes, indexar todas las URLs que conforman el sitio.
Nuestro objetivo debe ser priorizar el contenido útil y de gran valor, frente al resto. Lo siento, ya no puedes ir con todo.
La búsqueda generativa basada en inteligencia artificial de Google (SGE) se basa en este principio: calidad antes que cantidad. No es que sea mejor para el usuario, es que el modelo de rastrear e indexar todo lo conocido ya no es soportable a nivel económico ni escalable en los años venideros.
Cómo priorizar el rastreo e indexación de páginas de calidad
Guía: Cómo preparar el SEO para el futuro con inteligencia artificial
Tenemos varias herramientas que nos ayudarán a priorizar el contenido de valor frente al resto:
- Sitemaps XML: a través de estos documentos podremos especificar a los buscadores, tanto las URL relevantes de nuestro sitio, como la frecuencia con la que se actualizan o la prioridad en el rastreo que queremos darle.
- Fichero robots.txt: si algo no te interesa, bloquea el rastreo. Mucho cuidado de no entrar en conflicto con la directiva de
noindex. - Enlazado interno: a través de la estructura de la página y de los enlaces internos, podremos indicar a los buscadores qué páginas nos interesan más.
- Directivas noindex y nofollow: nos ayudarán a acompañary definir el camino del robot de búsqueda dentro de nuestro sitio web.
Cuidado con bloquear recursos como Javascrit o CSS, podrían afectar al renderizado de la página y, por ende, a nuestro posicionamiento.
Google cada vez rastrea con menos frecuencia
La tendencia que llevamos tiempo notando es la de reducción de peticiones (línea azul de la siguiente imagen) por parte de Googlebot. En la siguiente imagen podemos ver que, aunque el tiempo medio se mantiene estable (línea naranja), las peticiones del robot de Google se reducen.
Curiosamente, esta situación no está afectando a la indexación del sitio, que se mantiene normalizado. Google es más eficiente en su rastreo y en la cualificación de las páginas relevantes para el SEO, por lo que debemos alinearnos con ello y potenciar eso.
¿Qué ocurrirá con las páginas con una base mala de rastreo?
Pues que habrá que trabajar el SEO técnico de manera inmediata. No es fácil, pero tampoco imposible. Os dejo este ejemplo de un cliente con más de 300 millones de URLs rastreadas pero no indexadas. Optimizar el crawl budget ha sido un gran reto, pero se ha conseguido poner orden y experimentar un crecimiento SEO.
Como siempre digo, cada acción SEO que realizamos debería tener asociado un KPI (métrica) que nos permita analizar el impacto -positivo o negativo- de lo que hemos conseguido.
En el caso del rastreo e indexación, debe ser el número de páginas indexadas y las impresiones/clics generados.
¿Recordáis la fábula de los hermanos que querían arrancar la cola del caballo?. Lo consiguió aquél que fue pelo a pelo. Esta táctica no será rápida, pero si hemos trabajado bien el aspecto técnico, conseguiremos buenos resultados.