GPT-4V 学会用键鼠上网，人类眼睁睁看着它发帖玩游戏

只需要给 GPT-4V 接入鼠标和键盘，它就能用浏览器上网发帖、买东西和玩游戏。要是用到的工具出 bug 了，GPT-4V 甚至还能意识到、并试图解决它。

通过视觉语言模型和三个工具即可实现这一效果：
1. 用户与 AI 交互的 UI 界面，每一步思路都会告知人类，人类决定是否操作。
2. 微软发明的 SoM，它可以将画面的关键部分编号给 AI，使 AI 可以"看图说话"。
3. 自动标注器，可以将网页所有能交互的按键标注出来，让 AI 决定按哪个。

GPT-4V-Act 项目的作者 ddupont808 也提到，现阶段的用法上还有一些需要注意的地方。例如，AI 可能会被网页打开后铺天盖地的弹窗小广告给"整懵了"，然后出现交互 bug。

量子位

投稿：@ZaiHuaBot
频道：@TestFlightCN