Generador de robots.txt
Genera robots.txt a partir de dominio, user-agents, rutas allow/disallow, sitemap y crawl-delay—creado en servidores de Toolomix.
Consejos prácticos
Empieza con un agent comodín
Una regla para el user agent * se aplica a rastreadores que no tienen un bloque más específico.
Lista tu sitemap
Incluir una URL de Sitemap ayuda a los rastreadores a descubrir tu sitemap XML desde robots.txt.
Publica y verifica
Tras subir, abre https://yoursite.com/robots.txt para confirmar que el archivo en vivo coincide con lo que generaste.
Varios user agents
Añade agents separados como *, Googlebot o Bingbot con sus propias reglas de ruta.
Rutas allow y disallow
Declara qué rutas cada agent debe o no debe solicitar.
Sitemap y crawl-delay
Opcionalmente añade una línea Sitemap y un crawl-delay entre 0 y 3600 segundos.
Copiar o descargar
Copia el texto generado o descarga un archivo robots.txt para colocarlo en la raíz de tu sitio.
Qué hace esta herramienta
El Generador de robots.txt convierte campos de formulario—dominio, user agents, rutas disallow/allow, sitemap y crawl-delay opcional—en un cuerpo robots.txt descargable.
La salida son directivas de texto plano para rastreadores. Aún debes alojar el archivo en tu propio origen; Toolomix no lo publica por ti.
Cómo usarlo
Introduce tu dominio
Proporciona el dominio del sitio o la URL completa, que es obligatorio.
Añade agents y rutas
Lista user agents y las rutas disallow/allow de cada uno.
Sitemap y crawl-delay opcionales
Añade una URL de Sitemap y un crawl-delay entre 0 y 3600 segundos si lo necesitas.
Genera, luego copia o descarga
Envía el formulario, revisa el texto generado y luego cópialo o descarga el archivo a la raíz de tu sitio.
Entradas y salida admitidas
Entrada: dominio (obligatorio), userAgents, rutas disallow, rutas allow, URL de sitemap, crawlDelay (0–3600). Enviado a /seo-tools/GenerateRobotsTxt.
Salida: texto plano robots.txt generado que puedes copiar o descargar—no es un envío automático a motores de búsqueda.
Procesamiento y privacidad
La generación se ejecuta en servidores de Toolomix. Los valores del formulario se envían por HTTPS para construir el contenido del archivo.
Consulta la Política de privacidad para saber cómo Toolomix trata solicitudes y registros. Esta herramienta no registra tu sitio con Google u otros rastreadores.
Limitaciones
Límites conocidos
- Produce solo texto—debes subir robots.txt a tu propio host
- No envía ni verifica el archivo con Google Search Console
- Crawl-delay es ignorado por algunos rastreadores importantes
- Robots.txt no es un límite de seguridad
- El campo de dominio es obligatorio para generar
Solución de problemas
Si falla la generación, confirma que el campo de dominio está relleno e inténtalo de nuevo. Comprueba que las entradas de ruta usen rutas relativas al sitio (por ejemplo /admin).
Si los rastreadores siguen visitando URL bloqueadas, recuerda que robots.txt es orientativo—usa autenticación o reglas del servidor para un control de acceso real, y verifica el archivo en vivo en /robots.txt.
Preguntas frecuentes
¿Dónde se genera robots.txt?
En servidores de Toolomix. El formulario hace POST a /seo-tools/GenerateRobotsTxt; el texto de respuesta se ensambla en el servidor (StringBuilder), no solo en el navegador.
¿Se requiere un dominio?
Sí. El campo de dominio/URL del sitio es obligatorio antes de generar.
¿Esto envía mi robots.txt a Google?
No. La herramienta solo produce texto robots.txt para que lo alojes. No hace ping ni sube a Google Search Console ni a ningún rastreador.
¿Dónde pongo el archivo?
Guárdalo como robots.txt en la raíz de tu sitio web para que sea accesible en https://yoursite.com/robots.txt.
¿Cuál es el rango de crawl-delay?
La interfaz acepta crawl-delay de 0 a 3600 segundos. Algunos rastreadores, incluido Googlebot, ignoran crawl-delay.
¿robots.txt impone control de acceso?
No. Es una solicitud que los rastreadores bien comportados suelen respetar; no es autenticación ni un firewall.
¿Puedo definir reglas distintas por rastreador?
Sí. Añade varios user agents, cada uno con sus propias rutas allow y disallow.
Explora más herramientas gratis
Usar Generador de robots.txt
Introduce tu dominio y reglas, genera robots.txt en servidores de Toolomix y luego copia o descarga el archivo.
