UCSD研究显示GPT-4在图灵测试中被误认为人类的比例高达54%

UCSD的研究团队进行了一项实证研究，结果显示人类无法将GPT-4与人类区分开来，在54%的情况下，GPT-4被判定为人类。这是首次有系统在交互式双人图灵测试中被实证通过测试。

研究者Cameron R. Jones招募了500名志愿者，他们被分为5个角色：4个评估员（分别是GPT-4、GPT-3.5、ELIZA和人类），另一个角色是隐藏在屏幕另一端的人类，等待评估员的发现。实验要求人类参与者与人类或人工智能进行5分钟对话，并判断对话者是否是人类。

研究结果显示，GPT-4的通过率为54%，超过了GPT-3.5（50%）和ELIZA基线（22%），但低于人类被试者（67%）。研究者还发现，评估者更注重语言风格和社会情感因素，而不是知识和推理。这表明社会智能是AI最难以模仿的人类特征。

Arxiv

关注频道 @ZaiHuaPd
频道投稿 @ZaiHuabot