¡Hola! Soy Jorge Jaime, consultor SEO en JyRSEO, y hoy os traigo una de esas historias que solo pueden salir de una auditoría con Screaming Frog… y un poco de café.
Nos pidieron revisar la web de Autotécnica San Joan, y lo que nos encontramos fue una fiesta de URLs… pero de las que dan dolor de cabeza.
¿Qué pasa cuando tu web tiene filtros infinitos?
Nada más empezar el rastreo, Screaming Frog empezó a bufar. Literalmente. La herramienta intentaba procesar más de 5.000 URLs canonicalizadas y sin ningún tipo de bloqueo en robots.txt. Vamos, que Google se encuentra eso y piensa:
“¿En serio tengo que rastrear todo esto? ¡Si parece una tienda con pasillos infinitos y sin señalizar!”
El problema venía de los filtros. Cada vez que aplicabas uno —por ejemplo, “tipo de vehículo” o “marca”— se generaba una URL nueva. Si combinabas varios filtros… boom, URLs como churros. Y claro, Google se lía, se cansa y acaba sin ganas de volver.
¿Y el robots.txt? Pues eso… nada.
Fuimos corriendo al robots.txt como quien busca el extintor en una cocina en llamas. ¿Y qué encontramos? Una línea que decía:
Disallow:
Sí, eso es como poner una señal de “prohibido el paso” sin decir a qué. Resultado: todo se podía rastrear. Google no tenía frenos. Screaming Frog tampoco.
Solución rápida y efectiva
Decidimos meterle mano al robots.txt con algo más específico. Y voilà. Con eso bloqueamos los parámetros que estaban generando URLs infinitas (ver el video de abajo).
Volvimos a lanzar el rastreo y, esta vez, Screaming Frog respiró aliviado. En lugar de 5.000 URLs, teníamos unas 19 que todavía habrá que revisar, pero ya hablábamos de un escenario mucho más controlado.
¿Y qué más vimos?
- La mayoría de páginas están en nivel 3 de profundidad, lo que quizá es demasiado para una web de este tipo.
- Casi no hay imágenes rastreadas porque parece que están en una CDN externa.
- El HTML manda: más de 500 páginas reales para analizar.
- Y lo mejor: Google ya no pierde el tiempo en URLs inútiles, lo que ayuda a que se centre en lo importante.
¿Por qué todo esto importa?
Porque Google no tiene tiempo (ni ganas) de meterse en un laberinto de URLs que ni tú sabes de dónde salen.
Si le pones las cosas fáciles, te lo recompensa. En este caso, eliminando el ruido de los filtros, ayudamos a que el rastreo sea más eficiente y a que la web tenga más oportunidades de posicionar bien.
¿Qué estamos viendo aquí? ¿Qué es esa gráfica?
Esta gráfica pertenece al informe de “Solicitudes de rastreo” de Google Search Console. Muestra cuántas veces Googlebot ha intentado acceder a tu web para rastrear su contenido.
Durante más de dos meses (desde principios de enero hasta mediados de marzo), Google apenas se pasaba por la web. Rastreo casi nulo.
Y de repente… ¡BOOM! entre el 25 y el 28 de marzo, se dispara el rastreo.
Estamos hablando de un subidón hasta casi 100.000 solicitudes de rastreo en muy pocos días.
Esto ocurre cuando se elimina una barrera que antes impedía el rastreo (como el robots.txt muy restrictivo).
Datos clave del rastreo:
- 1,36 segundos de tiempo medio de respuesta: aceptable, pero a vigilar si sube más.
- 259 mil solicitudes de rastreo en total.
- Un pico brutal concentrado en 2-3 días.
- 7,787 MB descargados (marcado pero no visible en el gráfico).
¿Tu web también parece un bazar lleno de pasillos?
En JyRSEO nos encantan estos retos: detectar qué está frenando el posicionamiento de una web y resolverlo sin dramas, con soluciones claras.
Recomendación final. Revisa:
- Qué páginas ha rastreado (¿son relevantes o basura de filtros?).
- Si hay errores en Search Console.
- Y sobre todo… sigue guiando a Google con un robots.txt bien afinado y un sitemap limpio.
Si sospechas que tu web tiene URLs innecesarias, contenido duplicado o simplemente quieres que Google te quiera un poco más, ya sabes dónde encontrarnos.
Gracias por llegar hasta aquí. Y si te ha gustado este análisis, no olvides seguirnos en YouTube o LinkedIn.
En el próximo vídeo… quién sabe, puede que hablemos de cómo Screaming Frog nos salvó otro día más.
