Des recherches ont révélé que les scores de reconstruction des autoencodeurs de langage naturel (NLA) ne peuvent pas vérifier la fidélité déclaration par d...
Des recherches ont révélé que les scores de reconstruction des autoencodeurs de langage naturel
(NLA) ne peuvent pas vérifier la fidélité déclaration par déclaration, le modèle pouvant s'appuyer sur un « code privé » plutôt que sur des preuves réelles. Les auteurs proposent la méthode RECAP, qui entraîne conjointement une tête linéaire sur le modèle cible afin de conserver le contenu spécifié décodable. Sur Pythia-160M, la sonde indépendante peut distinguer de manière fiable les déclarations vraies et fausses (AUC 0,96) et peut encore signaler les mensonges sous des modifications adverses (AUC 0,95).
arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.
Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs ：https://info.arxiv.org/labs/index.html.
论文提出RECAP，通过在目标模型上联合训练线性头，监督指定内容保持可解码，以检验激活解释是否逐声明忠实。摘要称其在Pythia-160M上取得较高真假声明区分效果。
研究指出，自然语言自编码器的重建分数不能验证逐声明忠实性，模型可能依赖“私密代码”而不是真实依据。RECAP试图以内容可解码性补充这一验证路径。
Aioga判断，RECAP的重点不只是提高重建表现，而是把“指定内容能否被独立解码”作为可检验标准。摘要中的结果显示，该思路值得关注，但材料未说明其适用范围。
若相关方法在更多模型和任务中成立，激活解释评估可能从整体重建分数转向逐声明核验。当前材料仅报告Pythia-160M结果，不能据此推断普遍有效性。 值得关注后续研究是否报告更大规模模型、不同数据与更多对抗编辑设置下的表现，并进一步说明独立探针如何区分真实依据、私密代码与其他可解码信号。
La source fournit un titre, un résumé, une attribution et un lien original. Aioga ne republie pas l’article intégral.
Canal de collecte: Agrégation de résumés · Domaine source: arxiv.org
Source: HuggingFace Daily Papers（社区热门论文）
Lien original: Ouvrir la source
Archive Aioga: Ouvrir la page de veille
Content record: source-page · Updated: 2026-07-22T00:00:00.000Z
统一接入主流 AI 模型 API，为开发、测试与生产环境提供稳定调用入口。
立即访问 api.w173.com
Scan to open this articleAioga agrège l’actualité mondiale de l’IA et conserve les sources pour vérification et citation.