연구에 따르면 자연어 오토인코더(NLA)의 재구성 점수는 각 진술의 충실성을 검증할 수 없으며, 모델은 실제 근거가 아닌 '비밀 코드'에 의존할 수 있습니다. 저자는 RECAP 방법을 제안하여, 목표 모델에서 지정된 내용을 디코딩할 수 있도록 선형 헤드를 공동 학습합니다. Py...
연구에 따르면 자연어 오토인코더(NLA)의 재구성 점수는 각 진술의 충실성을 검증할 수 없으며, 모델은 실제 근거가 아닌 '비밀 코드'에 의존할 수 있습니다. 저자는 RECAP
방법을 제안하여, 목표 모델에서 지정된 내용을 디코딩할 수 있도록 선형 헤드를 공동 학습합니다. Pythia-160M에서 독립적인 프로브는 진위 여부 진술을 신뢰성 있게 구분할 수 있으며(AUC 0.96), 대항 편집 상황에서도 거짓을 표시할 수 있습니다(AUC 0.95).
arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.
Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs ：https://info.arxiv.org/labs/index.html.
论文提出RECAP，通过在目标模型上联合训练线性头，监督指定内容保持可解码，以检验激活解释是否逐声明忠实。摘要称其在Pythia-160M上取得较高真假声明区分效果。
研究指出，自然语言自编码器的重建分数不能验证逐声明忠实性，模型可能依赖“私密代码”而不是真实依据。RECAP试图以内容可解码性补充这一验证路径。
Aioga判断，RECAP的重点不只是提高重建表现，而是把“指定内容能否被独立解码”作为可检验标准。摘要中的结果显示，该思路值得关注，但材料未说明其适用范围。
若相关方法在更多模型和任务中成立，激活解释评估可能从整体重建分数转向逐声明核验。当前材料仅报告Pythia-160M结果，不能据此推断普遍有效性。 值得关注后续研究是否报告更大规模模型、不同数据与更多对抗编辑设置下的表现，并进一步说明独立探针如何区分真实依据、私密代码与其他可解码信号。
수집 피드는 제목, 요약, 출처와 원문 링크를 제공합니다. Aioga는 원문 전체를 재게시하지 않습니다.
수집 채널: 요약 집계 · 원본 도메인: arxiv.org
출처: HuggingFace Daily Papers（社区热门论文）
원문 링크: 원문 열기
Aioga 아카이브: 정보 페이지 보기
Content record: source-page · Updated: 2026-07-22T00:00:00.000Z
统一接入主流 AI 模型 API，为开发、测试与生产环境提供稳定调用入口。
立即访问 api.w173.com
Scan to open this articleAioga는 전 세계 AI 동향을 집계하고 확인과 인용을 위해 출처 정보를 보존합니다.