抓你页面的,越来越不像 AI 公司

一家做工业传感器的公司,十月遇到一件说不清的事。

他们在豆包、元宝里的引用量没怎么变,但在几个他们从来没提交过的AI 工具里,被引用得格外频繁。那些工具规模不大,有的只有几万用户,背后却都在回答同一类问题:这个型号的传感器,量程多少、防护等级多少、

他们的市场负责人问:这些工具是从哪知道我们的?我没在它们那里注册过。

答案在 10 月 17 日。

一、搜索变成了一件可以买的东西

10 月 17 日,DeepSeek 开放了自研的 Search 和 Fetch 两个接口:一个负责网页搜索,一个负责把网页内容取回来。按每千次成功请求计费,同时开放了 MIT 许可的模型权重。一周之内,MiniMax 也发了新一代 Flash 模型,把多步 Agent 任务的成本压到前代的三成。

这两件事放在一起,意思很清楚:「搜索 + 取页」不再是 AI 公司的内部功能,而是一套谁都能买、能自己部署的基础能力。

对做内容的人来说,这意味着读你的那一方变了。以前读你的,是几家大模型的爬虫;现在读你的,可能是某个垂直行业工具、某个公司自己做的内部助手、某个只有三个人的团队写的 Agent。

它们没有自己的索引,也不打算建。它们每次都在用户提问的那一刻,才去把页面取回来。

批量索引与按需取用的时序对照示意

二、变了三件事

把「批量索引」和「按需取用」并排放在一起,差别不只是快慢:

变了什么 以前 · 批量索引 现在 · 按需取用
谁在抓 平台自己的爬虫,按固定配额来 任何写了 Agent 的人,跟着用户当下一问来
抓几次 抓一次,存进索引,被反复引用 每问一次取一次,用完就放
谁在算成本 平台自己 调用方按次付费,会挑最省的那一页
你能等吗 能,等它下次来 不能,这一秒取不到它就走了

注意第三行。批量索引时,抓取的代价由平台自己承担,所以它愿意多抓一点。按次取用时,代价落在调用方头上,它会算:这一页值不值得再取第二次。

三、按次取用,惩罚哪种页面

以前页面写得散,最多是被判「不够好」,还能混在索引里等着。现在更直接:取一次拿不到,就没有第二次。

页面的写法 一次取用的结果
结论要翻三页才找到 取回第一页没有答案,它换下一家
答案靠前端脚本渲染出来 取回的 HTML 是空壳,等于没有答案
一页讲五件事,每件都不透 抽出来的半句话接不上用户的问题
一页只解决一个问题,首段给结论 一次取全,直接进答案

这不是新规矩,是把旧规矩结算得更快了。以前「答案埋在第三屏」要等下一轮索引才吃亏,现在当场就吃亏。

四、更要紧的推论:私有搜索层会变多

接口能买、权重能自己部署,接下来会长出一批只服务几百人甚至几十人的搜索层:某个行业的选型助手、某个公司的内部知识检索、某个园区自己的服务平台。

你追不完这些索引——它们本来就没有索引。

所以策略只能反过来:不追「谁收录了我」,而是保证「谁取我,都能一次取全」。这件事的好处是,它只需要你改自己的页面,不用等任何平台的规则。

这也是我们反复讲过的那个方向:内容要能被独立理解——一段话摘出来仍然成立,一张图旁边写着它是什么,一个页面只回答一个问题。以前这些是加分项,现在是取用方的成本项。

五、今天就能做的四件事

  • 用命令行取一次自己的页面:不看浏览器,直接取回 HTML,看你要被引用的那段话在不在里面。不在,就等于对按需取用不可见。
  • 每个页面只留一个主问题:标题是用户会问的那句话,首段直接给答案,细节往后放。
  • 给主推页面加一句结论块:五十到八十字,包含主体、条件、数字。这句就是被抽走的那一段。
  • 把价格、参数、服务范围写进静态文本:别只放在报价器或筛选器里,工具能算,机器取不到。

六、常见问题

这是不是意味着以后不用管各平台的收录了

不是。平台索引还是主战场,豆包、元宝、文心的候选池仍然从各自的索引里来。接口化是长在旁边的一层——它按需取用,不建索引。两件事都要做,只是判断标准不同:进索引看的是平台喜不喜欢你,按需取用看的是这一页能不能立刻把话说全。

按次收费,会不会让 Agent 少抓我们的页面

会。调用方在算成本,所以越「一次就能取到答案」的页面越省钱。这不是让你降价,是让你的页面更省调用次数——要翻三页才找到结论的站,对调用方来说就是三倍的钱。

我们页面是前端渲染的,怎么办

至少让关键结论出现在服务端返回的 HTML 里。这不是给爬虫做特供,是让任何一个取用方第一次取就能拿到。前端照样可以做交互,但「结论、价格、参数、服务范围」这几样要在静态文本里。

我们不写代码,这件事跟我有什么关系

关系在「谁在读你」这件事变了。以前读你的只有几家大模型,现在还有一堆小工具、自建助手、垂直 Agent。它们的判断标准是同一套:一次能不能取到完整答案。你不需要写代码,但你写下的页面要经得起这种读法。

延伸阅读

以前是它来抓,你可以等;现在是它来取,取不到就走。这一秒你的页面能不能把话说完,成了新的门槛。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注