一项新研究揭示,个性化大语言模型普遍存在过度推断(OI)现象,即编造超出证据支持的用户属性。
在 MirageBench 基准测试中,12 个模型均有 35%-49% 的推断被判定为虚构(均值 41.6%)。
更关键的是,模型自我评估的 OI 与外部评测结果呈负相关(rho = -0.60),表明自我报告的可信度是误导性信号,外部验证才是更可靠的个性化基础。
新しい研究により、パーソナライズされた大規模言語モデルには一般的に過剰推論(OI)現象が存在することが明らかになった。これは、証拠が支持する範囲を超えてユーザー属性を作り出すことを指す。MirageBench ベンチマークテストでは、12 のモデルすべてで推論の 35%-49% が虚偽と判定され(平均 41....
新しい研究により、パーソナライズされた大規模言語モデルには一般的に過剰推論(OI)現象が存在することが明らかになった。
これは、証拠が支持する範囲を超えてユーザー属性を作り出すことを指す。 MirageBench ベンチマークテストでは、12 のモデルすべてで推論の 35%-49% が虚偽と判定され(平均 41.6%)、さらに重要なことに、モデルの自己評価による OI は外部評価結果と負の相関(rho = -0.60)を示した。 これは、自己報告の信頼性が誤解を招く信号であり、外部検証がより信頼できるパーソナライズの基盤であることを示している。
一项新研究揭示,个性化大语言模型普遍存在过度推断(OI)现象,即编造超出证据支持的用户属性。
在 MirageBench 基准测试中,12 个模型均有 35%-49% 的推断被判定为虚构(均值 41.6%)。
更关键的是,模型自我评估的 OI 与外部评测结果呈负相关(rho = -0.60),表明自我报告的可信度是误导性信号,外部验证才是更可靠的个性化基础。
研究指出,个性化大语言模型会过度推断用户属性,即生成超出已有证据支持的画像信息。MirageBench 测试中的 12 个模型均出现这一现象。
材料将这种问题称为过度推断(OI)。在 MirageBench 基准测试中,12 个模型有 35%-49% 的推断被判定为虚构,平均比例为 41.6%。
Aioga 判断,这项研究最值得关注的并非只有虚构比例,还包括模型自我评估与外部评测呈负相关,说明自我报告不能直接充当可信依据。
Aioga 判断,依赖模型自行判断个性化推断是否可靠,可能产生误导。研究给出的 rho 为 -0.60,材料据此强调外部验证是更可靠的个性化基础。 Aioga 建议,后续关注该研究对过度推断的判定方法及外部验证机制,并在个性化应用评估中分别记录模型自我报告与外部评测结果。
取得元が提供するタイトル、要約、出典、元記事リンクを掲載しています。記事全文は転載していません。
取得経路: 要約集約 · 元ドメイン: arxiv.org
出典: HuggingFace Daily Papers(社区热门论文)
元記事: 元記事を開く
Aioga アーカイブ: 情報ページを開く
Content record: summary-fallback · Updated: 2026-08-05T00:00:00.000Z

统一接入主流 AI 模型 API,为开发、测试与生产环境提供稳定调用入口。
立即访问 api.w173.comAioga は世界の AI 動向を集約し、確認と引用のため出典情報を保持します。