这两个文件都放在网站根目录，浏览器直接输 域名/robots.txt 就能看到。说清楚它们分别管什么。
robots.txt：能不能抓
这是老协议，所有正规爬虫都遵守。它用 Allow 和 Disallow 控制哪些路径允许抓取。
很多企业的 robots.txt 是建站公司留下的模板，里面可能藏着这样的行：
Disallow: /（在某些 User-agent 段落下）
意思是全站禁止。常见于"防采集"配置，顺手把 AI 爬虫也挡了。还有的站对 GPTBot、Bytespider、PerplexityBot 单独设置了禁止——或许当年是出于内容保护考虑，但现在你想被 AI 引用，这就是自己关门。
处理办法：逐个检查你想进入的 AI 平台对应的爬虫名，确保没有 Disallow 它们。常见名单：GPTBot（OpenAI）、ClaudeBot（Anthropic）、PerplexityBot、Bytespider（字节）、Google-Extended（谷歌模型训练）。
llms.txt：该怎么用
这是近两年才出现的约定，作用是给 AI 一份"站点说明书"：你是谁、哪些页面值得看、每个页面讲什么。格式是 Markdown，链接用完整 URL。
一个能用的最小版本：
```
# 你的品牌名
> 一段话说明你是谁、提供什么。
主要栏目
- [产品介绍](https://你的域名/products.html)：产品列表页
- [常见问题](https://helpgeo.cn/qa.html)：常见问题解答
- [关于我们](https://你的域名/about.html)：公司简介与资质
```
注意链接要用最终的规范地址，别写跳转前的旧链接。
顺带说说 ai.txt
第三个可选文件，声明你对 AI 使用内容的授权范围和署名要求。比如"允许抓取和摘要，引用时请注明来源和链接"。写了不保证每家平台都遵守，但至少表明了态度，部分平台会把它作为信源评估的参考。
三个文件加起来不到一小时的工作量，是所有 GEO 动作里投入产出比最高的一件事。