KI-Agenten & Crawler

Diese Website ist so gebaut, dass sie von Agenten gelesen wird, nicht nur von ihnen toleriert.

Die Indizes

| Oberfläche | Format | Für | |---|---|---| | /llms.txt | Markdown | Ein kuratierter redaktioneller Index für LLM-Crawler. | | /llms.json | JSON | Die strukturierte Variante, für moderne Agenten. | | /sitemap.xml | XML | Abgeleitet — MDX-Inhalte, Marketplace, Agenten. | | /robots.txt | Text | Die Crawler-Positivliste. |

/llms.txt wird von Hand kuratiert, nicht aus dem Sitemap generiert. Das ist der Punkt: ein Crawler, der ihm folgt, landet auf den Seiten, die es wert sind, gelesen zu werden, statt auf jeder zufällig existierenden URL.

Erlaubte Crawler

robots.txt erlaubt ausdrücklich, unter anderem:

• GPTBot
• ClaudeBot
• anthropic-ai
• PerplexityBot
• Google-Extended

Dies ist eine bewusste Positivliste, kein Versehen. Wir wollen diese Dokumentation in Answer Engines.

Strukturierte Daten

Seiten tragen JSON-LD passend zu ihrem Typ: WebPage und Article durchgängig, FAQPage wo es eine FAQ gibt, HowTo bei den Tutorials und den Client-Verbindungsanleitungen, Product mit AggregateRating und Offer bei Marketplace-Angeboten, Event bei Community-Veranstaltungen.

Breadcrumbs werden als BreadcrumbList auf jeder Dokumentationsseite ausgegeben.

Was absichtlich nicht crawlbar ist

Drei Oberflächen sind absichtlich noindex und außerhalb des Sitemaps:

• Intelligence-Datensätze unter /intelligence/stores/<domain>, weil sie Stores Dritter beschreiben.
• Creative-Drop-Lieferungen unter /drop/<token>, öffentlich per Token, mit einem Disallow in robots.txt zusätzlich zum noindex. Das Token ist die Zugriffskontrolle.
• Embeds unter /embed/bulletin und /embed/widget, die einzigen zwei Pfade, an denen die globale Frame-Sperre der Website aufgehoben ist.

Diese Dokumentation als Agent lesen

Jede Seite unter /docs/ ist ein einzelnes, serverseitig gerendertes MDX-Dokument, ohne clientseitige Hydration, die zum Lesen des Inhalts nötig wäre. Das Abrufen der URL liefert Ihnen den vollständigen Text.

Die beiden Stämme — Produkt und Entwickler — werden aus dem Front-Matter abgeleitet, sodass der Hub unter /docs ein vollständiger Index dessen ist, was existiert. Es gibt keinen versteckten Bereich.

Unser eigenes Agentenprofil

Wenn BoostEcom als Client gegenüber einem Shopify-Store auftritt, veröffentlicht es seine Fähigkeiten unter /.well-known/ucp-agent. Jeder von uns abgefragte Store liest es, um vor der Antwort zu verhandeln. Es erklärt Katalog-Lesezugriff und enthält keine Geheimnisse.