01
抓取先于一切
从未被抓取的页面无法被引用。
抓取访问权限、快速首字节和服务器渲染文本,决定引擎是否能看见你的其余工作。优化被屏蔽的页面是看不见的工作。
共同基础 · 抓取、canonical、sitemap
AIO · 智能体可读性
AI Overviews、ChatGPT 和 Perplexity 抓取页面时没有浏览器、没有光标、也不登录。如果首次响应是空壳、robots 分组表示拒绝,或没有 llms.txt,模型就没有可引用的内容。以下十项检查决定结果。
免费样本报告 · 无需注册 · 约 90 秒
GET/ HTTP/1.1
用户代理GPTBot
接受text/markdown
状态200 · text/html
ttfb 512 ms
llms.txt 404
robots GPTBot 被禁止
正文 <div id="root"></div>
十项检查
十项检查按代理遇到它们的顺序进行。每项均由原始 HTTP 响应判定,绝不依赖渲染后的 DOM,因此结果可复现且无需浏览器。
每站点:10 项检查、25 秒抓取预算、400 毫秒 TTFB 预算、0 个浏览器。
AI 用户代理组,按 RFC 9309 语义解读:具名组替代通配符,而非继承。
失败GPTBot 组中的一行 Disallow 就会让该爬虫移除整个站点,之后的所有检查都失去意义。
根目录下的 markdown 索引,包含一个 H1、至少一个链接和 50 个字符或更多的正文。HTML 200 会被视为软 404。
失败代理在总结网站时依据的是抓取片段,而不是你原本要发布的索引。
主要文案是否在首个响应中,而不是在水合后注入。空的根元素视为空。
失败不执行 JavaScript 的爬虫只能看到没有文本的框架,因此没有内容可引用。
Accept: text/markdown 请求返回什么,以及 Vary 是否携带该标头,以免缓存混淆两者。
失败请求 markdown 的代理得到完整标记,把上下文花在标签上,并截断真正重要的部分。
Organization、Product 和 FAQPage 均可解析,带有 sameAs,且 FAQ 答案与可见文本逐字一致。
失败模型无法确认您是谁或哪些事实可靠,因此会含糊其辞,或引用一个能确认的来源。
一个 h1、有序的 h2 和 h3,不将标题仅用于样式,且标题树与页面给出的答案相匹配。
失败提取器无法判断哪句话回答了问题,于是改为提取相邻段落。
每个 URL 都有自引用 canonical,没有重定向链,也没有重复参数到达同一页面。
失败一个页面两个地址会分散证据,引擎会保留它最先抓取的地址。
站点地图可访问,lastmod 在七天内,且列出的每个 URL 均返回 200。
失败过期条目会把爬虫引向 404,站点地图本应承载的新鲜度信号也被浪费。
每个创收页面都在首页三次点击范围内,孤立页面列表保持简短。
失败没有链接指向的页面就不会被抓取,没有被抓取的页面就不会被引用。
固定区域的首字节时间,对照 400 ms 预算,仅测量 HTML 响应。
失败首字节缓慢会导致抓取被截断:智能体超时并保留空结果。
无法运行的检查会标记为跳过,并不计入评分。我们不会给无法访问的页面记零分。
为何优先处理
AIO 不是第二个 SEO。它是同一个问题的前半部分:这个页面究竟能否被访问、解析和引用。
01
从未被抓取的页面无法被引用。
抓取访问权限、快速首字节和服务器渲染文本,决定引擎是否能看见你的其余工作。优化被屏蔽的页面是看不见的工作。
共同基础 · 抓取、canonical、sitemap
02
排名不等于引用。
答案引擎会摘取句子。清晰的标题、简短的事实性语句和实体 schema 让提取器有内容可摘;一个排名但读起来像一大段长文的页面会被摘要,而不会被引用。
为智能体添加 · llms.txt、markdown、schema
03
买家智能体可能调用你的网站,而不是阅读它。
当智能体询问价格、可用性或文档时,它需要机器可读的事实以及它愿意等待的首字节。为人类视觉构建的漏斗不会给它返回任何有用内容。
并非替代方案 · SEO 仍决定候选名单
你将获得
每项未通过的检查都附带可解决问题的文件、响应头或 schema 块,以及放置路径。除非你要求,否则我们不会部署到你的基础设施。
一份 Markdown 索引,包含规范页面、价格和实体事实,按智能体询问的顺序编写。
你缺少的 AI user-agent 组,附带一行 Content-Signal,并以与你当前所提供文件的差异形式呈现。
Organization、Product 和 FAQPage,填入 sameAs,且答案已与可见文本一致。
交付内容是一个文件夹(内含文件)、一段 robots 片段和一个 schema 块,并附一页变更清单。您自行提交,或在您已授予我们仓库或服务器访问权限的项目中由我们应用。未经该权限,不会编辑您服务器上的任何内容。
问题
不。可读性是前提,不是承诺:引擎还会权衡来源、时效和共识,而这些都不是一次抓取能解决的。检查消除的是一组导致页面无法被抓取、解析或引用的原因。
不,它是对其扩展。抓取访问、规范链接、站点地图、标题和 TTFB 是共同基础。AIO 增加智能体寻找的产物:robots AI 分组、llms.txt、markdown 协商、实体 schema 以及 /.well-known 下的发现文件。
默认不会。修复以补丁形式交付:文件、一段 robots 片段和一个 schema 块,每项都附放置路径。您自行提交,或在您已授予我们仓库或服务器访问权限的项目中由我们应用。
免费 · 无需注册