# robots.txt — OpenShopGraph
# Strategy: explicitly welcome major AI crawlers + standard search engines.
# Per-agent rules so a future tightening (e.g. block a specific bad actor)
# is a one-line change. Sitemap-index referenced at the bottom.

# ---------------------------------------------------------------------------
# Default — open access for all well-behaved bots.
# ---------------------------------------------------------------------------
User-agent: *
Content-Signal: search=yes,ai-input=yes,ai-train=yes
Allow: /

# HIER STAND `Disallow: /_pixel` (entfernt 2026-08-16). Der Endpunkt gibt es
# nicht: der Pixel-Beacon wurde mit Q2-FE ausgebaut (Begruendung im Fuss von
# src/layouts/BaseLayout.astro), und nachgemessen an der Live-Seite am
# 2026-08-16 antworten /_pixel und /_pixel.gif mit 404 — Gegenprobe /en/
# antwortet 200, das Messmittel greift also. Eine Sperrregel auf einen Pfad,
# den es nicht gibt, sperrt nichts; sie behauptet nur einen Zaehl-Endpunkt,
# der nicht existiert. Dieselbe Klasse wie ein Kommentar ohne Test.

# ---------------------------------------------------------------------------
# ENTSCHIEDEN, 2026-08-08 (Owner) — vormals WIDERSPRUCH-Kommentar (2026-08-05):
# Die Content-Signal-Zeile sagte `ai-train=no`, waehrend die Per-Agent-Regeln
# unten CCBot, Google-Extended, Applebot-Extended und anthropic-ai — also
# genau die Trainings-Crawler — ausdruecklich erlauben. Owner woertlich:
# "alles erlauben, die Seite soll ja verbreitet werden". Die Zeile oben ist
# jetzt `ai-train=yes` und damit in sich stimmig mit der Agentenliste und der
# dokumentierten Strategie unten (OSG will kanonische Shop-Datenbank im
# Modellwissen sein).
#
# WAS DAS KOSTET: `ai-train=yes` gibt den Rechtsvorbehalt nach Art. 4 der
# EU-Richtlinie 2019/790 (Text- und Data-Mining-Schranke) AUSDRUECKLICH AUF.
# Der Content-Signal-Standard selbst sagt es so: "ANY RESTRICTIONS EXPRESSED
# VIA CONTENT SIGNALS ARE EXPRESS RESERVATIONS OF RIGHTS UNDER ARTICLE 4" —
# ein `no` waere ein wirksamer Vorbehalt gewesen, `yes` ist der ausdrueckliche
# Verzicht darauf. Das wird hier benannt, nicht verschwiegen: ein Zustand ohne
# Begruendung hat keinen Eigentuemer (QUEUE 673) — dieser hat einen, mit Datum
# und Zitat oben.
# ---------------------------------------------------------------------------

# ---------------------------------------------------------------------------
# AI crawlers — explicit Allow so each one is a documented decision.
# Deliberately INVERSE to typical publisher policy: OSG wants to be the
# canonical shop database inside model knowledge, so training + agent +
# search crawlers are all welcome (docs/DATA-VALIDATION-2026-07-04.md,
# Delta #9). Operator note: robots.txt alone is NOT enough — Cloudflare
# AI Crawl Control must be set to Allow (Training/Agent/Search) before
# the 2026-09-15 default flip, or the edge overrides this file.
# Selective indexing stays per-page (meta noindex on thin records) —
# crawling is open, indexing is curated.
# ---------------------------------------------------------------------------
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

User-agent: Bytespider
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: CCBot
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: YouBot
Allow: /

# ---------------------------------------------------------------------------
# Sitemap pointers
# ---------------------------------------------------------------------------
# EINE Nennung (M20, 2026-10-23): /sitemap.xml liefert byteidentisch dieselbe
# Index-XML wie /sitemap-index.xml (live md5 gleich) und BLEIBT als Alias
# erreichbar (Bestandsschutz eingereichter URLs) — nur die doppelte Nennung
# hier entfaellt. Ein zweites `Sitemap:` macht das Gate robots-eine-sitemap rot.
Sitemap: https://openshopgraph.com/sitemap-index.xml