Agentes e crawlers de IA

Este site é construído para ser lido por agentes, não apenas tolerado por eles.

Os índices

| Superfície | Formato | Para | |---|---|---| | /llms.txt | Markdown | Um índice editorial curado para crawlers LLM. | | /llms.json | JSON | A variante estruturada, para agentes modernos. | | /sitemap.xml | XML | Derivado: conteúdo MDX, marketplace, agentes. | | /robots.txt | texto | A lista branca de crawlers. |

/llms.txt é curado à mão, não gerado a partir do sitemap. Esse é o ponto: um crawler que o segue chega nas páginas que valem a pena ler em vez de em toda URL que existe por acaso.

Crawlers permitidos

robots.txt permite explicitamente, entre outros:

• GPTBot
• ClaudeBot
• anthropic-ai
• PerplexityBot
• Google-Extended

Esta é uma lista branca deliberada, não um descuido. Queremos esses documentos em answer engines.

Dados estruturados

As páginas carregam JSON-LD apropriado ao seu tipo: WebPage e Article em todo lugar, FAQPage onde há uma FAQ, HowTo nos tutoriais e nos guias de conexão por cliente, Product com AggregateRating e Offer nas listagens de marketplace, Event nos eventos de comunidade.

Breadcrumbs são emitidos como BreadcrumbList em toda página de documentação.

O que deliberadamente não é rastreável

Três superfícies são noindex e ficam fora do sitemap de propósito:

• Registros de Intelligence em /intelligence/stores/<dominio>, porque descrevem lojas de terceiros.
• Entregas de Creative Drop em /drop/<token>, públicas por token, com um Disallow no robots.txt além do noindex. O token é o controle de acesso.
• Embeds em /embed/bulletin e /embed/widget, os únicos dois caminhos onde o bloqueio global de frame do site é suspenso.

Lendo estes documentos como um agente

Toda página sob /docs/ é um único documento MDX renderizado no servidor, sem hidratação no cliente necessária para ler o conteúdo. Buscar a URL te dá o texto completo.

Os dois troncos, produto e desenvolvedor, são derivados do front-matter, então o hub em /docs é um índice completo do que existe. Não há seção oculta.

Nosso próprio perfil de agente

Quando o BoostEcom age como cliente contra uma loja Shopify, ele publica suas capacidades em /.well-known/ucp-agent. Toda loja que consultamos o lê para negociar antes de responder. Ele declara acesso de leitura ao catálogo e não contém segredos.