# robots.txt — Taolis
# AI-friendly: permite explícitamente a los principales crawlers de IA y buscadores.
# Bloquea solo zonas privadas/técnicas de WordPress y URLs que no aportan rastreo.
# Guía para motores de IA: https://taolis.com/llms.txt
#
# NOTA TÉCNICA: en robots.txt cada bot obedece SOLO el grupo que lo nombra y no
# hereda nada del grupo "*". Por eso los buscadores y crawlers de IA comparten un
# único grupo con el mismo juego de reglas; nombrarlos con un simple "Allow: /"
# les daría acceso libre a /wp-admin/, /checkout/, /my-account/, etc.
# Si se añade o cambia una regla, hay que hacerlo en LOS DOS grupos.

# ---------------------------------------------------------------
# Grupo 1 — Reglas generales (resto de bots)
# ---------------------------------------------------------------
User-agent: *
# Excepciones primero: deben prevalecer sobre los Disallow que las contienen
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /wp-json/
# Búsquedas internas (en todos los idiomas: /?s= y /es/?s=, /fr/?s=…)
Disallow: /*?s=
# Carrito, pago y cuenta — mismo slug en los 5 idiomas, solo cambia el prefijo
Disallow: /cart/
Disallow: /*/cart/
Disallow: /checkout/
Disallow: /*/checkout/
Disallow: /my-account/
Disallow: /*/my-account/
# URLs técnicas de WooCommerce y ordenaciones/filtros (consumen rastreo, no aportan)
Disallow: /*add-to-cart=
Disallow: /*wc-ajax=
Disallow: /*orderby=
Disallow: /*filter_
# Previsualizaciones y respuestas a comentarios
Disallow: /*preview=true
Disallow: /*replytocom=
# Todo lo demás, permitido. Va al final a propósito: los parsers que aplican la
# primera regla coincidente (en vez de la más específica) respetan así los Disallow.
Allow: /

# ---------------------------------------------------------------
# Grupo 2 — Buscadores y crawlers de IA permitidos explícitamente
# ---------------------------------------------------------------
# Buscadores:      Google (web/imágenes), Bing, DuckDuckGo, Apple, Yandex
# OpenAI:          GPTBot (entrenamiento), OAI-SearchBot (índice), ChatGPT-User (a demanda)
# Anthropic:       ClaudeBot, Claude-User, Claude-SearchBot (+ anthropic-ai y Claude-Web, heredados)
# Google IA:       Google-Extended (Gemini/Vertex), GoogleOther
# Apple:           Applebot-Extended (Apple Intelligence)
# Perplexity:      PerplexityBot (índice), Perplexity-User (a demanda)
# Meta:            Meta-ExternalAgent, Meta-ExternalFetcher, FacebookBot
# Otros motores:   You.com, DuckAssistBot, Mistral, Cohere, Amazon, Timpi, Kagi, Brave
# Datasets:        CCBot (Common Crawl), cohere-training-data-crawler
# Semántica:       Diffbot
# Bytedance:       Bytespider (rastreador agresivo; revisar si impacta al rendimiento)
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Bingbot
User-agent: DuckDuckBot
User-agent: Applebot
User-agent: YandexBot
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Claude-Web
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: Applebot-Extended
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: FacebookBot
User-agent: YouBot
User-agent: CCBot
User-agent: cohere-ai
User-agent: cohere-training-data-crawler
User-agent: MistralAI-User
User-agent: DuckAssistBot
User-agent: Diffbot
User-agent: Amazonbot
User-agent: Bytespider
User-agent: Timpibot
User-agent: KagiBot
User-agent: Bravebot
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /wp-json/
Disallow: /*?s=
Disallow: /cart/
Disallow: /*/cart/
Disallow: /checkout/
Disallow: /*/checkout/
Disallow: /my-account/
Disallow: /*/my-account/
Disallow: /*add-to-cart=
Disallow: /*wc-ajax=
Disallow: /*orderby=
Disallow: /*filter_
Disallow: /*preview=true
Disallow: /*replytocom=
Allow: /

# ---------------------------------------------------------------
# Sitemap (canónico de Yoast — responde 200 directo, sin redirección)
# ---------------------------------------------------------------
Sitemap: https://taolis.com/sitemap_index.xml