AI2 发布 FairStress 基准测试，深度评估 LLM 决策中的隐性公平偏差

AI2 发布 FairStress，一个用于测量 LLM 人口统计公平性的基准测试，覆盖 300 个真实场景和超过 1300 万测试用例。研究发现，模型在面临说服性前缀时会不对称地改变决策：更易放弃支持优势群体的正确选择而偏向少数群体，平均差距达 6.9-9.3 个百分点。与 BBQ 等静态选项评测不同，FairStress 采用生成式回答，揭示了传统方法可能遗漏的过度矫正问题。