美団LongCatはLoHoSearchを発表：より難しい検索エージェントベンチマーク

美团LongCat发布搜索智能体基准LoHoSearch。该基准基于含762万实体的维基百科知识图谱自动生成问题，共收录544道题，覆盖11个领域，并采用树与图结构，目前已开源。

发布方称，LoHoSearch旨在应对BrowseComp等现有基准趋于饱和的问题。材料显示，当前模型在BrowseComp上的成绩约为90%，因此需要更具挑战性的搜索智能体评测。

Aioga判断，LoHoSearch的主要价值在于提供一组更难的搜索任务，并通过知识图谱及树、图结构组织问题。其能否成为通用评测标准，仍需更多公开测试与使用反馈验证。

在对11个前沿模型的测试中，最佳得分仅为34.74%；材料同时称，上下文策略只带来6.8个百分点提升。值得关注的是，该结果显示参测模型在这套题目上仍有较大提升空间。 后续可重点关注开源基准的题目生成与评测设置、不同模型在544道题和11个领域中的表现，以及更多测试能否复现最佳得分和上下文策略提升幅度。