Google tiene un problema de espacio y capacidad. En la red existe demasiada información y su robot de búsqueda no puede rastrear e indexar todo lo que existe. En los dos últimos años, los que trabajamos en SEO estamos notando mayor complejidad para potenciar el rastreo e indexación de nuestros sitios, especialmente los nuevos.
¿Cómo podemos mejorar el rastreo e indexación de nuestras páginas?
Tenemos dos aproximaciones:
- Convencer a Google de que nuestro (nuevo) contenido es único, de calidad y que aporta valor real a los usuarios.
- Optimizar el tiempo que
Googlebotpasa es nuestro sitio, haciendo que ponga el foco en la parte que más nos interesa posicionar.
Ambas acciones deberían trabajarse en paralelo. Para la segunda, si queremos potenciar la indexación selectiva, tenemos que evitar que sea el robot de búsqueda quién rastree nuestro sitio sin control a través de una serie de pautas e indicaciones. En mis clases, me gusta explicarlo a través de la siguiente diapositiva.
Si no hacemos nada, serán los robots de búsqueda quienes avancen identificando todo lo que encuentren y decidiendo qué indexan. En un proceso de indexación selectiva, seremos nosotros quienes controlemos el camino que siguen los robots así como la disponibilidad de las páginas para su rastreo e indexación. Para ello, debemos usar los siguientes recursos:
- Robots.txt: para controlar y limitar el rastreo.
- Sitemap XML: para facilitar el acceso, identificación y futuro análisis del proceso de rastreo e indexación a través de Google Search Console.
- Enlazado interno: para indicar potenciales caminos y niveles de importancia de las páginas.
- Etiquetas noindex y nofollow: para determinar qué se indexa y qué no.
Mucho cuidado con usar en paralelo el disallow de robots.txt y el noindex, dado que podríamos crear un bloqueo en la indexación.
Cada maestrillo tiene su librillo. A mí me gusta mucho crear segmentos de páginas para monitorizar la evolución de cada uno de ellos. En la siguiente imagen os enseño un ejemplo de la herramienta ContentKing que utilizo para monitorizar, en este caso concreto, 50k páginas de un sitio web.
Siempre digo que no podemos analizar todo en conjunto, debemos agrupar. Al crear segmentos, facilitamos la monitorización y el análisis poniendo el foco en lo que realmente nos interesa. Recordad también que de los tres pilares SEO, el de indexación es crucial para conseguir la base en el posicionamiento