Reglas confusas
Convierte notas Allow y Disallow en grupos User-agent claros.
Herramienta SEO gratis
Generador de robots.txt Crear reglas SEO de rastreo
El Generador de robots.txt ayuda a propietarios de sitios y equipos SEO a preparar reglas de rastreo, sitemap, copia y descarga antes del lanzamiento.
AD
Problemas que resuelve el Generador de robots.txt
Un error en robots.txt puede bloquear páginas importantes o dejar el sitemap poco claro.
Funciones del Generador de robots.txt
Usa el Generador de robots.txt como checklist SEO antes de publicar.
Grupos User-agent
Crea reglas para *, Googlebot, Bingbot o rastreadores personalizados.
Allow, Disallow y Sitemap
Añade rutas, sitemaps y Crawl-delay donde corresponda.
Copiar y descargar
Copia el resultado o descarga robots.txt.
Cómo usar el Generador de robots.txt
Elige plantilla, revisa rutas y exporta el archivo.
01
02
03
Flujos del Generador de robots.txt
Prepara sitios nuevos, protege rutas privadas y ordena lo básico de SEO.
Crear reglas visualmente
Convierte campos en líneas User-agent, Allow, Disallow, Crawl-delay y Sitemap.
Usar plantillas
Parte de plantillas para todos los rastreadores, Googlebot y Bingbot.
Exportar antes del lanzamiento
Revisa sitemap y rutas privadas antes de descargar.
Casos de uso del Generador de robots.txt
Para SEO, desarrollo y publicación.
Dueños de sitios
Crear una robots.txt sencilla sin escribir cada directiva.
Revisión SEO
Permitir páginas importantes y bloquear rutas privadas.
Notas SEO del Generador de robots.txt
robots.txt controla rastreo, no garantiza desindexación.
Ubicación raíz
Para https://example.com/ usa https://example.com/robots.txt.
Sitemap absoluto
Incluye protocolo y dominio en las líneas Sitemap.
FAQ del Generador de robots.txt
Preguntas sobre reglas, Crawl-delay y Sitemap.
¿robots.txt elimina páginas del buscador?
No. Controla el rastreo; para indexación usa noindex u otras herramientas.
¿Google admite Crawl-delay?
No. Google ignora Crawl-delay.
Empieza con el Generador de robots.txt
Abre la herramienta, elige una plantilla y exporta robots.txt.