跳到正文
Hugging Face Blog·· 4 小时前AI 评分53

AI2发布研究:LLM评估研究新颖性的可靠性问题

Can we trust LLMs to judge whether a research idea is novel?

AI 导读

AI2发布Old Ideas, Novel Problems基准和工具,测试GPT-5系列和Claude Opus 4.5/4.6等模型评估研究想法新颖性的可靠性。研究发现prompt变化可导致准确率从93.5%降至40.9%,复杂的检索增强方案反而不如简单提示词。

来源:Hugging Face Blog · huggingface.co