# Robots.txt optimizado para Keycode Digital | Agencia SEO
# Objetivo: Maximizar el Crawl Budget en contenido de alto valor (Servicios, Casos, Blog).
# Ultima actualización 2026/10/07
#
# Politica de bots de IA (LLMO): GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot,
# Google-Extended y similares quedan PERMITIDOS de forma intencional por la regla
# general "User-agent: *". No crear grupos propios para ellos: un bot con grupo
# propio ignora las reglas de "*" (admin, login, feeds, etc.).
User-agent: *

# === 1. BLOQUEAR ÁREAS ADMINISTRATIVAS Y TÉCNICAS (Prioridad) ===
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /wp-content/cache/
Disallow: /wp-content/backup/
Allow: /wp-content/uploads/

# === 2. GESTIÓN DE CONTENIDO DUPLICADO Y BAJO VALOR ===
Disallow: /*?s=
Disallow: /*?p=
Disallow: /*?replytocom=
Disallow: /feed/
Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /*/attachment/
Disallow: /*?is_otto_page_fetch=1

# === 3. BLOQUEAR ARCHIVOS SIN VALOR DE RASTREO ===
Disallow: /*.log$
Disallow: /*.sql$
Disallow: /*.zip$
Disallow: /*.gz$
Disallow: /readme.html

# === 4. GESTIÓN DE BOTS ESPECÍFICOS ===
User-agent: SemrushBot
Crawl-delay: 10
User-agent: AhrefsBot
Crawl-delay: 10
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: BLEXBot
Disallow: /

# === 5. SITEMAP ===
Sitemap: https://keycodedigital.com/sitemap_index.xml