导读 在1月2日,美国纽约地区科恩儿童医学中心的三人研究团队通过《美国医学会儿科杂志》,发表了一篇名为《一个大语言模型在诊断儿科病例时的准
在1月2日,美国纽约地区科恩儿童医学中心的三人研究团队通过《美国医学会儿科杂志》,发表了一篇名为《一个大语言模型在诊断儿科病例时的准确性》的报告,研究团队研究了ChatGPT在诊断儿科病例中的表现,随机抽取了100个病例,最终的结果发现ChatGPT的诊断正确率仅仅只有17%,所以团队判断,目前ChatGPT仍然缺乏在儿科方面的诊断能力。
在医学方面儿科诊断比较复杂,因为除了诊断正常的症状以外,还需要考虑到患者的年龄。和成人患者最大的不同点在于,儿童患者的病例一般都是由家长或者其他的看护者向医疗机构提供的,所以在询问收集时更加的困难。儿童自己的回答很容易产生误述,还需要医生来自己辨别真伪。所以在儿科中对于医生的耐心,观察能力和专业能力都拥有着严格的要求。
为了测试大语言模型在儿科领域中的诊断能力,3个名研究人员随机收集了100个儿童的病例,要求ChatGPT来进行诊断。本次实验的方式非常简单,在每一个病例中,研究人员会将其中的文字描述全部粘贴发送给ChatGPT,随后在文字后加上一条列举鉴别诊断和最终诊断的命令。
最终研究人员发现ChatGPT仅仅只是成功诊断了17份病例,有11次诊断和临床上的正确诊断有关,不过依旧不是完全准确。这3名研究人员表示,ChatGPT很明显现在还无法成为医疗机构诊断的重要工具,他们希望能够通过更多的训练来改善最终的测试结果。此外,这些研究人员认为ChatGPT同类型的大语言模型在诊断方面的能力还需要提高,不过他们依旧能够成为医生的贴身助手。