# Westarp Buchshop – robots.txt
# Versioniert im Repo (Master: westarp-shop.de). Diese statische Datei ist
# massgeblich und ersetzt die fruehere untaugliche Server-Datei
# ("Disallow: /dome-control/"). Sie ueberschreibt zugleich die dynamische
# Theme-robots.txt (westarp-seo-robots.php), die dadurch inert wird.

# === SUCHMASCHINEN-CRAWLER ===
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /
Crawl-delay: 2

User-agent: DuckDuckBot
Allow: /
Crawl-delay: 2

# === KI-/ANTWORTMASCHINEN-CRAWLER (AEO/GEO) ===
# Explizit erlaubt, damit Buchdaten in KI-Antworten (ChatGPT, Perplexity,
# Claude, Gemini, Apple Intelligence) und im Common-Crawl-Korpus erscheinen.
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: CCBot
Allow: /

# === SOCIAL MEDIA CRAWLER ===
User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

# === STANDARD-CRAWLER + VERBOTENE BEREICHE ===
User-agent: *
Allow: /
Crawl-delay: 3
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/uploads/woocommerce_uploads/
Disallow: /warenkorb/
Disallow: /kasse/
Disallow: /mein-konto/
Disallow: /*?add-to-cart=
Disallow: /*?removed_item=
Disallow: /*?orderby=
Disallow: /*&orderby=
Disallow: /author/
Disallow: /search/
Disallow: /?s=
Disallow: /*?preview=
Disallow: /*&preview=
# Fuzzy-Redirect-Hinweisvariante (Mensch): nur UX, nicht indexierbar.
Disallow: /*?wsfuzzy=
Disallow: /*&wsfuzzy=
# VLB-Medien-Proxy: signierte, ablaufende Links (Cover/Leseprobe/Hoerprobe).
# Bots erhalten dort bewusst 403 (Honeypot) -> ohne diese Sperre meldet die GSC
# tausende "403"-Fehler und verschwendet Crawl-Budget an nicht-indexierbare URLs.
Disallow: /vlb-asset-proxy.php
Disallow: /vlb-audio-player.php
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/

# === UNERWUENSCHTE CRAWLER BLOCKIEREN ===
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: MegaIndex
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: SEOkicks-Robot
Disallow: /

User-agent: SearchmetricsBot
Disallow: /

# === XML-SITEMAP ===
Sitemap: https://westarp-shop.de/sitemap.xml