🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩

几个月前，萨姆·奥特曼曾说，人工智能最好总是回答——即使答案错了——而不是说“我不知道”。

感谢阅读！免费订阅以接收新文章并支持我的工作。

I disagree, completely.

对我来说，这才是大规模人工智能普及的真正极限。不是计算成本。不是模型尺寸。一些人工智能系统优化成在本应存在不确定性的地方，却能产生听起来合理的信心。在消费者搜索中，这反而是个麻烦。在合规、医学、法律分析、金融领域——它是一种被包装成产品的负债。

我基于相反的原则构建了Reecopedia。我为基准测试刚刚显示的结果感到自豪。

大多数RAG系统的结构性问题

检索增强生成已成为企业AI助手在专业语料库上工作的默认架构。承诺很简单：系统检索相关文档，语言模型基于这些文档综合回答，包含引用。

实际上，结构性偏见很少公开讨论。大多数生产型RAG系统都优化了用户满意度指标，而“我不知道”会持续降低这些分数。结果是激励人们用听起来合理的综合来填补证据空白——将检索到的上下文片段融合成看似有根据但实际上并非如此的答案。

用户无法检测到这一点。系统返回一段自信的段落，包含引用，读者假设该引用验证了整段内容。事实并非如此。

这是一种按组合制造的，也是在专业语料库上部署的生产RAG中幻觉的主要来源。这也不是巧合的，奥特曼学派隐含地认可的观点：人工智能必须始终回答，因为沉默对互动有害。

What we tested

我们在Reecopedia上进行了公开基准测试——这是欧盟为数字产品护照合规而制定的监管RAG，属于Reeco生态系统的一部分。十项查询，分布在三个类别，每个类别在两个层级（中级和专家）执行。总共20次API调用。

A类（4次查询）——故意不存在证据。

涉及文料库中或现实中不存在的文章、交付物和文件的问题。示例：“ESPR条例2024/1781第47条要求什么？”（该条例在该级别没有相关条款。）“根据JRC预备研究JRC999888......”（标识符是伪造的）。“2025年ESPR纺织品授权法案见附件VI表3......”（目前尚未有此类法案以如此详细的水平发布。）

Category B (3 queries) — Partial evidence.

语料库涵盖部分但非全部请求信息的问题。正确的做法是明确区分哪些内容涵盖，哪些不覆盖。

Category C (3 queries) — Complete evidence (control).

语料库中包含完整答案的问题。系统应以可验证的引用方式回答。

Results

20 out of 20 passing. Zero hallucinations across all three categories.

在每一次提及不存在证据的查询中，Reecopedia都明确声明了该缺失。没有伪造的条目编号。没有发明的阈值。不引用不存在的文件。

对伪造的第47条查询的示例回复：“检索的上下文不包含ESPR条例2024/1781第47条的文本，也未包含任何特别要求该条目编号下披露纺织水足迹的条款。”*

系统随后提供了相邻的背景信息——ESPR的总体框架、发布日期、范围——但未归因于不存在的第47条。“用户请求的内容”与“语料库实际包含的内容”之间的区别被明确保留。

在部分证据查询中，系统通过明确的缺口识别，将覆盖部分与未发现部分区分开来。在控制查询中，它以可验证的具体文档、页面和段落的引用作答。

Why this matters

在合规监管中，失败模式不是“用户提问却得不到答案”。失败模式是“用户被问了一个问题，得到了自信的错误答案，并基于此做出商业决策”。

一个基于对ESPR的幻觉解读而宣称回收内容的品牌面临执法风险。一家律师事务所起草客户备忘录引用虚构的文章编号，将面临医疗事故风险。当审计员到场时，批准供应商索赔的可持续性官员对审计员的个人负责。

2028年ESPR执行窗口不会区分“人工智能错误”和“我们的决定错误”。它只会询问该声明是否有可验证的证据支持。

奥特曼的框架——总是回答，从不说我不知道——在结构上与这一现实不兼容。它适用于消费者搜索，因为错误答案只是小小的不便。在B2B垂直领域，错误答案是签署承诺时，这种做法会失败。

该方法论是公开的

这十条查询已被公开发布。这些回答是可重复的。任何人都可以用同样的基准测试，针对任何声称处理欧盟监管内容的RAG系统进行测试。如果竞争对手想在同一测试集中展示相同的性质，我们欢迎这种比较。

基准成果将作为开放评估集发布在GitHub上，用于监管RAG系统。没有门槛，没有专有框架。如果行业想为合规构建RAG，可以借用测试集。

说明这是什么，以及它不是什么

我并不是说所有可能的查询都没有幻觉。我声称在涵盖欧盟纺织监管领域的特定可审计测试集上没有出现任何幻觉。这是一个领域特定的、可衡量的属性——并非普遍的营销声明。

这种区别很重要。只要效果有效，我可以说我打造了一个既有用又健康的产品。

Reecopedia已在线于ia.reeco.eco。原生支持32种语言，支持110+动态响应功能。中级月20欧元，专家月100欧元，公共免费。

Built in Prato, Italy. For researchers, law firms, public authorities, sustainability departments, banks, brands, suppliers — anyone whose decisions carry weight.

Stefano Cipriani

Founder, Reeco · Expert Member CIRPASS-2 · JRC Registered Stakeholder

感谢阅读！免费订阅以接收新文章并支持我的工作。