GPT-4V-Act，https://github.com/ddupont808/GPT-4V-Act，这个项目演示了让 GPT-4V 来控制自己的浏览器，例如执行任务“随机播放一首音乐”，浏览器会自己进入搜索引擎，完成输入、搜索、点击、选择等操作，整个思考（Observe）过程都由 AI 来完成。
与之前分享的 self-operation-computer 实现上存在一些差异，之前项目会把任务目标、上一步结果和当前的截图扔给 GPT-4V，而这个项目会先对截图进行一次预处理，叫做 labeling，给网页上的元素标号——实现原理很简单，就是遍历元素，获取元素的网页布局位置，然后为其增加一个边框和标号。
有了 labeling 操作，GPT-4V 在理解网页的时候可以做到更加聚焦和准确，而且返回指令的时候，也可以明确告知浏览器去操作哪个元素。
- 实现 labeling 的操作，在这里：https://github.com/ddupont808/GPT-4V-Act/blob/main/preload-view.js#L154
- Prompt 有点 TS 风格，十分简洁：https://github.com/ddupont808/GPT-4V-Act/blob/main/main.js#L13
与之前分享的 self-operation-computer 实现上存在一些差异，之前项目会把任务目标、上一步结果和当前的截图扔给 GPT-4V，而这个项目会先对截图进行一次预处理，叫做 labeling，给网页上的元素标号——实现原理很简单，就是遍历元素，获取元素的网页布局位置，然后为其增加一个边框和标号。
有了 labeling 操作，GPT-4V 在理解网页的时候可以做到更加聚焦和准确，而且返回指令的时候，也可以明确告知浏览器去操作哪个元素。
- 实现 labeling 的操作，在这里：https://github.com/ddupont808/GPT-4V-Act/blob/main/preload-view.js#L154
- Prompt 有点 TS 风格，十分简洁：https://github.com/ddupont808/GPT-4V-Act/blob/main/main.js#L13
