Crawlers de IA: mira logs antes de bloquear por instinto
Tip práctico para decidir si bloquear crawlers de IA: revisa logs, robots.txt y consumo real antes de tocar una web de negocio.
Cada vez aparecen más dudas sobre si conviene bloquear crawlers de IA. La reacción rápida suele ser añadir cuatro Disallow al robots.txt y quedarse tranquilo. El problema es que una web de negocio no se mantiene con gestos simbólicos, sino con decisiones medibles.
Antes de bloquear nada, miraría tres cosas sencillas:
- Logs reales del servidor. ¿Qué bots están entrando, con qué frecuencia y a qué URLs? No es lo mismo una visita puntual que miles de peticiones a filtros, buscadores internos o páginas sin caché.
- Contenido que sí quieres que se descubra. Si bloqueas demasiado, puedes cerrar también señales útiles para buscadores, asistentes o herramientas que sí te aportan visibilidad.
- Coste técnico. En una web pequeña, el problema no siempre es la IA: a veces son parámetros infinitos, facetas de tienda, calendarios o páginas internas que cualquier crawler puede recorrer mal.
Un punto de partida prudente es revisar el robots.txt y dejar claras las zonas que no deberían rastrearse:
User-agent: *
Disallow: /wp-admin/
Disallow: /carrito/
Disallow: /checkout/
Disallow: /mi-cuenta/
Disallow: /*?s=
Disallow: /*?orderby=Si después ves en logs que un crawler concreto consume demasiados recursos, entonces sí tiene sentido valorar una regla específica, una configuración en CDN, límites de frecuencia o bloqueo a nivel de servidor. Pero hazlo con nombre, datos y motivo. Bloquear “la IA” como concepto es demasiado difuso.
También conviene recordar algo importante: robots.txt es una instrucción pública para crawlers que deciden respetarla. No es una medida de seguridad. Si una zona es privada, debe estar protegida con autenticación, permisos, cabeceras correctas y URLs que no dependan de la buena voluntad de un bot.
Mi recomendación para pymes es simple: revisa logs una vez al mes, bloquea patrones claramente inútiles, cuida el contenido que sí te interesa posicionar y no conviertas cada debate sobre IA en una urgencia técnica. La mejor defensa suele ser una web ordenada, con caché, URLs limpias y decisiones documentadas.
Fuentes