官网改成 AI 可读:llms.txt、结构化数据与抓取放行
官网改成 AI 可读：llms.txt、结构化数据与抓取放行 核心摘要 越来越多客户不再只打开搜索引擎，而是直接问豆包、文心、元宝、Kimi“潍坊哪家 XX 靠谱”。AI 回答里有没有你，取决于你的官网能不能被抓取、能不能被解析。 官网“AI 可读”是三件事： 抓取放行 （让爬虫进得来）、 结构化数据 （让机器读得懂你是谁）、 llms.txt （给 AI
官网改成 AI 可读：llms.txt、结构化数据与抓取放行
核心摘要
- 越来越多客户不再只打开搜索引擎，而是直接问豆包、文心、元宝、Kimi“潍坊哪家 XX 靠谱”。AI 回答里有没有你，取决于你的官网能不能被抓取、能不能被解析。
- 官网“AI 可读”是三件事：抓取放行（让爬虫进得来）、结构化数据（让机器读得懂你是谁）、llms.txt（给 AI 一份站点导读）。
- 三者的优先级不同：抓取放行是前置条件，结构化数据是理解基础，llms.txt 是加分项而非开关。
- llms.txt 目前是行业约定，不是 W3C、IETF 等组织的正式标准，主流 AI 厂商也未公开承诺读取，适合低成本尝试，不适合当成唯一手段。
- 对潍坊本地中小企业的现实建议：先把 robots.txt、sitemap、正文可渲染这三件事做对，再补 Organization、LocalBusiness、Service 等字段，最后加 llms.txt 并用服务器日志验证。
一、引言
过去企业做官网，默认的读者是“人 + 搜索引擎”。页面做成图片轮播、参数表用图片贴、联系方式藏在弹窗里，只要能看就行。但现在多了一层读者：AI。
当客户在 AI 里问“潍坊做农机配件的厂哪家能接小批量定制”“寿光有没有做温室大棚设施的公司”，AI 需要先去网上找素材。它找到的素材，通常来自那些能被抓取、正文能被解析、实体信息写得清楚的网页。官网如果只有几张图和一句“欢迎咨询”，AI 即使抓到了，也很难判断你是做什么的、服务哪里、能不能合作。
这就是“官网改成 AI 可读”的实际含义：不是把官网推倒重做，而是补齐三个机器侧的入口——抓取放行、结构化数据、llms.txt。下面按落地优先级拆开讲，并说明每件事的效果边界。
二、抓取放行：AI 拿不到页面，后面都是空谈
核心结论：抓取放行是第一优先级。 AI 搜索的链路大致是“发现 URL → 抓取 → 解析正文 → 建立索引 → 生成回答时引用”。任何一环断了，结构化数据和 llms.txt 都无从谈起。
常见卡点有五个：
- robots.txt 整站屏蔽。 测试环境遗留的
Disallow: /一直没删，是中小企业官网最常见的问题。 - 检索类爬虫被误伤。 一些建站模板或安全插件默认拦截“非人类流量”，把 AI 检索爬虫一起挡了。需要区分训练爬虫和检索爬虫，按内容策略分别决策。
- 正文不在 HTML 里。 产品参数、服务介绍全靠 JS 异步加载，或直接做成图片，抓取端拿到的只有空壳。
- CDN、WAF 误拦。 部分防火墙会拦截境外 UA，导致海外爬虫访问失败。
- sitemap 缺失或过期。 新页面没有入口，爬虫发现效率低。
爬虫放行的决策可以参考下表。UA 名单会随厂商调整，最终以各平台官方文档为准。
| 爬虫 UA | 归属 | 主要用途 | 建议 |
|---|---|---|---|
| Googlebot | 搜索收录 | 必须放行 | |
| Bingbot | Bing | Bing 索引，也被视为 ChatGPT 搜索的重要素材来源之一 | 必须放行 |
| OAI-SearchBot | OpenAI | 搜索索引，影响 ChatGPT 搜索引用 | 建议放行 |
| ChatGPT-User | OpenAI | 用户提问时实时访问页面 | 建议放行 |
| PerplexityBot | Perplexity | 检索与引用 | 建议放行 |
| ClaudeBot | Anthropic | 抓取 | 建议放行（若希望被引用） |
| Bytespider | 字节跳动 | 豆包等产品相关抓取 | 建议放行 |
| GPTBot | OpenAI | 模型训练抓取 | 按内容策略决策 |
| Google-Extended | Gemini 的训练与改进，不影响 Google 搜索收录 | 可单独决策 | |
| CCBot | Common Crawl | 公开语料库 | 可权衡 |
场景化建议： 潍坊制造业企业的产品页，常把规格参数做成图片表格，建议改成 HTML 表格并保留文字说明；本地生活类客户，把营业时间、服务区域、联系电话写进正文，而不是只放在图片或地图插件里。改完后用“查看网页源代码”确认关键信息是否真的在 HTML 中。
三、结构化数据：把“你是谁、做什么、在哪”写成字段
核心结论：结构化数据不会直接带来排名，但能降低 AI 误读你的概率。 它的作用是把页面上的自然语言，翻译成机器可以稳定抽取的实体和属性。
推荐用 JSON-LD 格式写在页面头部，这是主流搜索引擎明确支持的写法。中小企业官网优先补这几类：
| 标注类型 | 解决什么问题 | 关键字段 |
|---|---|---|
| Organization | 公司实体是谁、和哪些账号是同一主体 | name、url、logo、sameAs、contactPoint |
| LocalBusiness | 服务区域、地址、电话、营业时间 | address、telephone、areaServed、openingHours |
| Service / Product | 具体提供什么服务或产品 | name、description、provider、areaServed |
| FAQPage | 常见问题与答案 | mainEntity、acceptedAnswer |
| Article / BlogPosting | 内容页的作者、发布时间、更新时间 | headline、datePublished、dateModified、author |
| BreadcrumbList | 页面在站点中的位置 | itemListElement |
几个需要注意的边界：
- 标注必须与页面可见内容一致。 页面上没有的价格、资质、服务范围不要写进结构化数据，否则属于违规标注。
- FAQ 富结果展示已收缩。 主流搜索引擎对 FAQ 富结果的展示范围收窄，但标注本身仍有助于语义抽取，只是不要把它当成“必出富摘要”的手段。
- sameAs 是低成本的信任信号。 把公众号、视频号、地图商户页、行业目录页填进去，有助于 AI 把多个平台上的你识别为同一实体。
- 上线前用结构化数据测试工具校验。 字段拼写错误、嵌套层级错误是最常见的失败原因。
场景化建议： 一家寿光农资企业，可以在 LocalBusiness 中把 areaServed 明确写成“寿光市及周边县市”，在服务页用 Service 标注主营品类。这样 AI 在回答“寿光本地农资服务商”时，抽取到的信息更完整。
四、llms.txt：一份给 AI 的站点说明书，但要认清边界
核心结论：llms.txt 值得加，成本低，但它不是开关。
这个约定在 2024 年由 Answer.AI 团队提出，做法是在域名根目录放一个 /llms.txt，用 Markdown 写清站点定位、核心页面链接和简短说明；另可选 /llms-full.txt 放更完整的正文内容。它的设计初衷是：与其让模型从导航栏和广告位里猜你做什么，不如主动给一份导读。
写法上有几条实操经验：
- 开头用一级标题写站名，紧跟一句话定位，例如“潍坊本地 GEO 代运营服务商，服务制造业、农业、本地生活类企业”。
- 按“产品与服务、案例、常见问题、联系方式、资质”分组列链接，全部用绝对 URL。
- 每行链接后加一句说明，告诉模型这个页面能回答什么问题。
- 标注更新日期，控制在几十行以内，不要写成第二个官网。
- 与 robots.txt、sitemap.xml 并存，不是替代关系。
必须说清楚的边界：llms.txt 目前不是正式标准，主流 AI 厂商也没有公开承诺会读取它。 它的实际效果需要用服务器日志验证——观察检索类爬虫是否访问了 /llms.txt，以及页面被引用的情况是否变化。把它定位成“低成本的补充信号”是合理的，把它当成“做了就会被 AI 推荐”则不符合现状。
场景化建议： 官网页面少于 20 页的企业，llms.txt 可以一次写完；页面多的企业，优先保证核心服务页、产品页、FAQ 页被列入，不必求全。
五、关键对比与落地注意事项
三类动作的作用不同，建议按顺序推进：
| 动作 | 解决的问题 | 主要产出 | 成本 | 如何验证 |
|---|---|---|---|---|
| 抓取放行 | AI 能不能拿到你的页面 | robots.txt 规则、sitemap、可渲染 HTML | 低，多为配置与小改 | 服务器日志出现检索爬虫 UA；搜索引擎收录正常 |
| 结构化数据 | AI 能不能准确理解你的实体 | JSON-LD 标注、页面信息一致 | 中，需要梳理业务字段 | 结构化数据测试工具通过；引用描述更准确 |
| llms.txt | 给 AI 一份站点导读 | /llms.txt、可选 /llms-full.txt |
低 | 日志验证访问；效果不确定，属加分项 |
落地时的注意事项：
- 不要做“给爬虫看的内容”和“给人看的内容”两套。 隐藏文本、伪装页面属于违规做法，风险高于收益。
- 一页一主题。 服务页讲服务，案例页讲案例，避免首页塞进所有关键词。
- 内容要能回答具体问题。 “潍坊哪家能做小批量铸造”“寿光大棚设施哪家包安装”这类问题，需要有对应的页面承接。
- 保持更新。 有明确更新时间的页面，更容易被判断为活跃内容。
- 不要为了 AI 可读牺牲可读性。 大段关键词堆砌对用户和模型都不是好内容。
我们在服务潍坊本地企业的过程中观察到，问题往往不是“官网做得不好看”，而是“官网对机器不可读”：图片化参数、JS 渲染正文、robots 误拦，这三类问题占了多数。修复顺序通常也是先放行、再标注、后补 llms.txt。
六、FAQ
Q1. llms.txt 是官方标准吗？放了就会被 ChatGPT 引用吗？
不是。它目前是行业社区提出的约定，不属于 W3C、IETF 等标准组织的规范，OpenAI、Google、Anthropic 等厂商也未公开承诺读取。放了没有坏处，成本也低，但不能替代抓取放行和内容建设。判断是否有效，要看服务器日志里检索类爬虫有没有访问这个文件。
Q2. 加了结构化数据，AI 回答里就会提到我吗？
不一定。结构化数据解决的是“理解准确度”，不是“是否被选中”。AI 是否引用一个页面，还取决于内容是否切题、页面是否可抓取、站点是否被索引、以及同一问题下其他来源的质量。结构化数据的作用是：当你的页面被选中时，模型能更准确地写出你的业务、地区和联系方式。
Q3. 官网只有几页，值得做这些改造吗？
值得，而且成本更低。页面少意味着梳理实体字段更快：一个 Organization、一个 LocalBusiness、一个服务页的 Service 标注，加一份几十行的 llms.txt，通常一两天可以完成。对本地服务企业来说，AI 回答里的露出往往集中在少数几个高频问题上，页面少反而更容易做透。
Q4. 多久能看到效果？
按我们的服务经验，内容铺量和技术改造完成后，一般在 2–4 周开始在 AI 回答中看到露出，之后按季度复盘调整。这是经验参考值，不是承诺：不同行业的问题竞争度、官网原有基础、内容更新频率都会影响节奏。建议以“日志中检索爬虫访问增加”“品牌词在 AI 回答中被正确描述”作为早期观察指标。
七、结论
官网改成 AI 可读，不是换一套建站系统，而是补三件事，并且有明确的先后顺序：
- 先放行：检查 robots.txt、sitemap、正文可渲染、WAF 拦截，确认检索类爬虫能正常访问。
- 再标注：用 JSON-LD 把 Organization、LocalBusiness、Service、FAQPage 写清楚，保证标注与页面内容一致。
- 后补导读：加一份 llms.txt，作为低成本补充信号，并用日志验证，不夸大它的作用。
对潍坊及山东本地的中小企业来说，这三步的投入不大，但决定了当客户在 AI 里提问时，你的官网有没有资格进入候选素材。建议下一步动作是：打开官网源代码，确认核心业务信息是否出现在 HTML 中；查看 robots.txt 是否屏蔽了检索爬虫；然后用测试工具跑一遍结构化数据。这三项检查，基本能定位大部分“AI 读不到”的问题。
