# GPT-4V 学会用键鼠上网，人类眼睁睁看着它发帖玩游戏

Source: https://www.zaihua.news/article/21228/

[返回新闻流](https://www.zaihua.news/)
2023年11月4日 · 15:28 · [在花新闻](https://www.zaihua.news/about/)

# GPT-4V 学会用键鼠上网，人类眼睁睁看着它发帖玩游戏

只需要给 GPT-4V 接入鼠标和键盘，它就能用浏览器上网发帖、买东西和玩游戏。要是用到的工具出 bug 了，GPT-4V 甚至还能意识到、并试图解决它。

通过视觉语言模型和三个工具即可实现这一效果：
1. 用户与 AI 交互的 UI 界面，每一步思路都会告知人类，人类决定是否操作。
2. 微软发明的 SoM，它可以将画面的关键部分编号给 AI，使 AI 可以"看图说话"。
3. 自动标注器，可以将网页所有能交互的按键标注出来，让 AI 决定按哪个。

GPT-4V-Act 项目的作者 ddupont808 也提到，现阶段的用法上还有一些需要注意的地方。例如，AI 可能会被网页打开后铺天盖地的弹窗小广告给"整懵了"，然后出现交互 bug。

[量子位](https://mp.weixin.qq.com/s/boWqxbf_B43rdYldWePewA)

投稿：[@ZaiHuaBot](https://t.me/ZaiHuaBot)
频道：[@TestFlightCN](https://t.me/TestFlightCN)

[上一条马斯克的 xAI 语言模型 Grok 聊天曝光，喜欢讽刺的幽默机器人](https://www.zaihua.news/article/21226/)[下一条Google Play 为 Android VPN 应用添加安全审核徽章](https://www.zaihua.news/article/21229/)