OpenAI開源HealthBench，60個(gè)國(guó)家合力開發(fā)5000段真實(shí)對(duì)話；
5月12日，OpenAI開源了一個(gè)專門面向醫(yī)療大模型的測(cè)試評(píng)估集——HealthBench。與以往測(cè)試集不同的是，該測(cè)試集的5000段核心測(cè)試對(duì)話，全部由來自60個(gè)國(guó)家/地區(qū)的26個(gè)專業(yè)262名醫(yī)生打造，極大增強(qiáng)了該測(cè)試集的難度、真實(shí)性以及豐富度。并且采用了多輪對(duì)話測(cè)試，而不是簡(jiǎn)單的答題或選擇題模式。根據(jù)測(cè)試數(shù)據(jù)顯示，大模型在醫(yī)療保健領(lǐng)域的表現(xiàn)有了顯著提升。例如，從之前的GPT-3.5Turbo的16%到GPT-4o的32%，再到o3的60%，整體性能有了顯著進(jìn)步。尤其是小型模型的進(jìn)步更為突出，GPT-4.1nano不僅在性能上超越了GPT-4o，而且成本降低了25倍。