适才
，OpenAI开源SimpleQA
！轻盈检测 、校准大模子威力 以确保谜底有稳当的检测依据

SimpleQA简朴引见

在数据网络阶段，适才SimpleQA的开源问题参照谜底由两名自力的 AI 训练员详情，而且训练员在建立问题时被要求提供支援谜底的轻盈网页链接 ，以确保谜底有稳当的检测依据。

譬如
，校准看待 “谁是大模厨师出国劳务招聘信息苹果公司的首创人之一” 这样知识性问题，训练员会依据履历资料和民间信息详情谜底为 史蒂夫乔布斯等 ，威力并附上如苹果公司民间网站等有关链接作为证实。适才

同时，开源问题的轻盈设想使得展望谜底易于评价，只准许有一个晓畅且无可争议的检测谜底
，制止了隐约性和歧义性 
。校准譬如 “哪一年 iPhone 首次宣布” ，大模北京正规出国劳务公司有哪些谜底晓畅为“2007年”，威力而不是适才一个领域或隐约的表述
。

SimpleQA的评价问题和谜底都异常冗长，这使得运转速率快且支配简朴  。在评价模子回覆时 
，通过 OpenAI API停止评分也特别迅速。国家正规出国劳务公司有哪些数据集中蕴涵4326个问题 ，能够在未必水准上下降分歧次运转之间的方差，使评价效果越发稳固稳当 。

譬如 ，在对多个模子停止尝试时 
，不会由于数据集自身的不稳固性而致使效果涌现较大稳定 ，进而能够更准确地较为模子之间的性能悬殊。

SimpleQA的评价集异常多元化。涵盖履历、迷信手艺、艺术、天文、电视节目等多个畛域 。这种千般性使得评价效果更具一致性和代表性，日本房产能够周全地磨练模子在分歧砚问畛域的现实性回覆威力 。

另一个优点是它的校准丈量性能。通过讯问模子对其谜底的自信心 ，钻研者能够知道模子是否是知晓它们知晓甚么 ，这是一个很主要的校准征象
。要是一个模子能够准确地评价自身的自信心水准，那末它就是一个校准优越的模子  。

OpenAI通过SimpleQA对GPT-4o、o1-preview、o1mini 、Claude-3-haiku、Claude-3-sonnet等前沿模子停止了综合尝试
。效果显现，较大模子一般拥有更高的性能，但纵然是前沿模子在SimpleQA 上的展现也并非圆满。

譬如，GPT -4o 在回覆一些问题时能够给出较高比率的准确谜底，但仍有一面同伴回覆和未始试回覆的状况 。同时 ，通过丈量模子的校准状况，发现模子纵使有未必的自信心观念
，但一致生存高估自身自信心的问题 ，模子的自信心水准与现实回覆的准确性之间生存差异。