한 연구는 체스를 통제된 실험 플랫폼으로 사용하여, 추론 과제에서 사전 학습과 강화 학습(RL)의 상호 작용을 체계적으로 탐구했다. 연구 결과, RL 계산량이 주어졌을 때 후속 학습 성능은 사전 학습 손실로 정확히 예측할 수 있으며, RL 보상 곡선의 기울기는 사전 학습 토큰...
한 연구는 체스를 통제된 실험 플랫폼으로 사용하여, 추론 과제에서 사전 학습과 강화 학습(RL)의 상호 작용을 체계적으로 탐구했다. 연구 결과, RL 계산량이 주어졌을 때 후속
학습 성능은 사전 학습 손실로 정확히 예측할 수 있으며, RL 보상 곡선의 기울기는 사전 학습 토큰 수에 따라 거의 선형적으로 증가한다는 것을 발견했다. 10억 매개변수 수학 언어 모델에서, 더 긴 사전 학습 체크포인트가 RL 환경에서 더 높은 성능을 보이고, 향상 속도도 더 빠르다.
arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.
Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs ：https://info.arxiv.org/labs/index.html.
研究以国际象棋为受控实验平台，考察预训练与强化学习在推理任务中的关系。摘要称，给定强化学习计算量时，后训练性能可由预训练损失预测，奖励曲线斜率随预训练token数近似线性提升。
该材料关注推理能力从预训练延伸至强化学习后训练时的缩放规律。除国际象棋实验外，摘要还提到1B参数数学语言模型：预训练更久的检查点在强化学习阶段表现更高，提升也更快。
Aioga 判断，这项研究的价值在于尝试用预训练损失连接后训练表现，为选择进入强化学习阶段的检查点提供可检验线索。不过，现有材料未提供实验配置、误差范围及跨任务结果，结论边界仍需核对论文。
值得关注的是，如果论文中的预测关系能在更多任务和模型规模上复现，团队可能更容易评估预训练投入与强化学习收益之间的关系。但材料不足以证明该规律可直接推广到其他推理任务或更大模型。 下一步应查阅论文完整方法与实验结果，重点核验预训练损失的预测精度、奖励曲线斜率的拟合方式、国际象棋与数学任务的评测设计，以及不同计算预算和模型规模下是否保持一致。
수집 피드는 제목, 요약, 출처와 원문 링크를 제공합니다. Aioga는 원문 전체를 재게시하지 않습니다.
수집 채널: 요약 집계 · 원본 도메인: arxiv.org
출처: HuggingFace Daily Papers（社区热门论文）
원문 링크: 원문 열기
Aioga 아카이브: 정보 페이지 보기
Content record: source-page · Updated: 2026-07-17T00:00:00.000Z
统一接入主流 AI 模型 API，为开发、测试与生产环境提供稳定调用入口。
立即访问 api.w173.com
Scan to open this articleAioga는 전 세계 AI 동향을 집계하고 확인과 인용을 위해 출처 정보를 보존합니다.