Sitemap y robots.txt: qué son, si tu página los necesita y el error que la saca de Google

Son dos archivos que tu página tiene, o debería tener, en la raíz, y que casi nadie abre: el sitemap, que le lista a Google las páginas que quieres que encuentre, y el robots.txt, que le dice a los robots qué pueden rastrear. Casi todas las plataformas los crean solas. El problema no suele ser que falten, sino que uno diga algo que nadie quiso decir.

Esto es lo que dicen Google Search Central, la Ayuda de Search Console, el RFC 9309 y la ayuda de WordPress, Wix, Squarespace y Shopify, consultados el 11 de octubre de 2026.

El sitemap: la lista de páginas que quieres en Google

Es un archivo con las URL de tu sitio que quieres que aparezcan en los resultados, más datos como la fecha de la última actualización. El más común es un XML, pero Google también acepta un feed RSS o Atom, o un archivo de texto con una URL por línea.

¿Lo necesitas? Google dice que, si las páginas están bien enlazadas, suele encontrar casi todas solo, y que puede no hacer falta en un sitio de 500 páginas o menos, bien enlazado por dentro y sin mucho video, imágenes o noticias que quieras mostrar. En cambio, ayuda si el sitio es grande o es nuevo y casi nadie lo enlaza. Y resume: «en la mayoría de los casos, tu sitio se beneficiará de tener un mapa del sitio».

Lo que hay que saber de él:

• No garantiza nada: ayuda a descubrir las URL, pero no asegura que se rastreen ni se indexen.
• Límites: 50 MB sin comprimir o 50,000 URL por archivo. Si te pasas, se divide en varios, con un índice de sitemaps. Tiene que estar en UTF-8 y llevar URL completas.
• La fecha de actualización (lastmod) la usa Google si es precisa de manera constante y verificable, y tiene que reflejar un cambio significativo, no el año del copyright.
• La prioridad (priority) y la frecuencia (changefreq) Google las ignora.

Cómo se envía: en el informe de mapas del sitio de Search Console, por su API o con una línea en el robots.txt:

Sitemap: https://tunegocio.com/sitemap.xml

Google aclara que enviarlo es solo una sugerencia. Cómo usar Search Console → Google Search Console.

El «ping» ya no existe. Avisarle a Google con una URL de ping cada vez que cambiaba el sitemap era costumbre. Google lo dio de baja el 26 de junio de 2023, con seis meses de plazo, porque la gran mayoría de esos avisos eran spam. Un plugin que todavía «hace ping» no le avisa nada a Google.

El robots.txt: qué pueden rastrear los robots

Es un archivo de texto en la raíz del sitio, tunegocio.com/robots.txt, con reglas para los robots: User-agent dice a cuál se le habla, y Disallow y Allow, qué rutas puede rastrear. El formato es un estándar, el RFC 9309, publicado en septiembre de 2022. Lo que conviene saber:

• Vale solo para su host: el de tunegocio.com no rige para tienda.tunegocio.com, que necesita el suyo.
• Distingue mayúsculas: /Precios y /precios son rutas distintas.
• Tiene que estar en UTF-8, y Google ignora lo que pase de 500 KiB.
• Se guarda en caché: Google lo guarda por lo general hasta 24 horas.
• No todos obedecen: Googlebot y los rastreadores confiables respetan las reglas, pero otros pueden no hacerlo.

Para lo que no sirve. Google lo dice así: no es un mecanismo para mantener una página fuera de Google. Una URL bloqueada puede aparecer igual en los resultados, sin descripción. Para que no aparezca, la página lleva noindex o se protege con contraseña. Y el cruce que más falla: noindex solo funciona si el robots.txt no bloquea la página, porque si el robot no puede entrar, nunca ve el noindex.

Si el archivo da error. Un 404 u otro 4xx, salvo el 429, Google lo toma como si no hubiera robots.txt: rastrea todo. Un error del servidor (5xx) es otra cosa: las primeras 12 horas deja de rastrear el sitio, y hasta 30 días usa la última versión buena que tenga.

La línea que deja un sitio entero fuera de Google

User-agent: *
Disallow: /

Con eso le pides a todos los robots que no rastreen nada. Es la regla que Google muestra para inhabilitar el rastreo de todo el sitio. Si tu página se armó en un sitio de prueba, revisa que no haya quedado al publicarla. Lo contrario, permitir todo, es un Disallow: vacío, que equivale a no tener robots.txt.

Para revisarlo: el informe de robots.txt de Search Console muestra los archivos que encontró Google en los 20 hosts principales de tu sitio, cuándo los leyó y los errores, y deja pedir que lo vuelva a leer. Si tu página no aparece y no sabes por qué → por qué tu página no aparece en Google.

Lo que ya hacen las plataformas

• WordPress crea el sitemap solo desde la 5.5, en /wp-sitemap.xml, y lo menciona en su robots.txt. Ojo: si en los ajustes de visibilidad le pides que disuada a los buscadores, desactiva el sitemap.
• Shopify genera sitemap.xml con los productos, sus imágenes principales, las páginas, las colecciones y el blog, y lo actualiza solo. El robots.txt se edita con la plantilla robots.txt.liquid, pero su soporte no ayuda con esos cambios.
• Wix tiene un sitemap en cada sitio y lo actualiza con cada cambio. El robots.txt se puede editar, y Wix lo presenta como una función avanzada que puede causar problemas en los resultados.
• Squarespace genera el sitemap en /sitemap.xml y lo actualiza solo: en general en una hora, a veces hasta 24.

Los robots de IA

Cada empresa de IA declara sus robots, y se bloquean en el robots.txt por su nombre. Lo que conviene saber antes:

• Google-Extended controla si tu contenido se usa para entrenar los modelos de Gemini y para la fundamentación en Gemini y Vertex AI. Según Google, no afecta tu aparición en la Búsqueda ni tu posición.
• OpenAI separa GPTBot, que rastrea para entrenar, de OAI-SearchBot, el de la búsqueda de ChatGPT. Si bloqueas este último, tu sitio no sale en las respuestas de búsqueda de ChatGPT, aunque puede seguir apareciendo como enlace.
• Anthropic separa ClaudeBot, para entrenar, de Claude-User, que busca páginas cuando una persona se lo pide, y Claude-SearchBot, para su búsqueda.

Bloquear los de entrenamiento no te saca de Google. Bloquear los de búsqueda sí te saca de esos asistentes → cómo aparecer en ChatGPT.

Fuentes oficiales

• ¿Qué es un mapa del sitio?, cómo crear y enviar un mapa del sitio, la baja del ping, introducción a robots.txt y cómo bloquear la indexación con noindex — Google Search Central.
• Cómo crear un archivo robots.txt, cómo interpreta Google la especificación, reglas útiles y los rastreadores comunes, con Google-Extended — infraestructura de rastreo de Google; informe de robots.txt — Ayuda de Search Console.
• RFC 9309, Robots Exclusion Protocol — IETF, en inglés.
• Los mapas del sitio en WordPress 5.5 — WordPress, en inglés; el mapa del sitio y robots.txt.liquid — Shopify; enviar tu sitemap y editar el robots.txt — Wix; ver el mapa web — Squarespace.
• Los robots de OpenAI — OpenAI, en inglés; cómo rastrea Anthropic — Anthropic.