Configuración del Robots.txt

Configure las reglas para los crawlers web

Configuración Básica

Sitemap URL URL completa de su sitemap principal

Crawl-delay (segundos) Retraso entre requests (0 = sin límite)

User-Agents

Acciones Rápidas

Vista Previa

# Generando robots.txt...
# Configure las opciones en el panel izquierdo

0 líneas

0 bytes

0 agents

Analizador de Robots.txt

Analice y optimice archivos robots.txt existentes

URL del sitio web

Se buscará el archivo en /robots.txt

Archivo robots.txt

Arrastra tu archivo robots.txt aquí

o haz clic para seleccionar

Contenido robots.txt

Tester de Robots.txt

Pruebe si una URL específica está permitida o bloqueada

Contenido del robots.txt a probar

URL a probar

User-Agent

Historial de Robots.txt

No hay robots.txt generados aún

Los archivos generados aparecerán aquí

Guía del Robots.txt

¿Qué es robots.txt?

El archivo robots.txt es un estándar web que indica a los crawlers (robots) qué páginas o archivos pueden solicitar de tu sitio. Se ubica en la raíz del dominio (ej: example.com/robots.txt).

Directivas principales

User-agent: Especifica qué crawler aplica la regla
Disallow: Prohíbe el acceso a rutas específicas
Allow: Permite el acceso (sobrescribe Disallow)
Sitemap: Indica la ubicación del sitemap XML
Crawl-delay: Tiempo de espera entre requests

Mejores prácticas

Mantén el archivo simple y legible
Usa comentarios (#) para documentar
Bloquea contenido duplicado o de baja calidad
No uses robots.txt para ocultar información sensible
Incluye la URL de tu sitemap
Prueba el archivo antes de publicarlo

Robots.txt Generator

🤖 Robots.txt Generator