大模型已经可以理解视频了，三个小时的电影也无压力。
当前的多模态大模型，包括 GPT-4V，基本只支持对图片的理解，对于视频（尤其是长视频）的理解完全不在行，主要原因是在处理视频时，对每一帧图片的视觉标记过多，很容易导致计算容量溢出。
香港中文大学的贾佳亚团队提出了一个新颖的方法解决了这个问题，《LLaMA-VID: An Image is Worth 2 Tokens in Large Language Models》，https://arxiv.org/abs/2311.17043 ，LLaMA-VID 通过用两个不同的标记（即上下文标记和内容标记）表示每个帧来解决此问题；上下文标记根据用户输入对整个图像上下文进行编码，而内容标记则封装每个帧中的视觉提示；这种双令牌策略显着减少了长视频的过载，同时保留了关键信息。
https://llama-vid.github.io ，项目还提供了一个线上演示地址，背后用的是一张 3090 GPU，不过我估计随着后续项目的火爆，这个演示地址也会由于扛不住测试流量而下线，目前模型已经发布到了 Hugging Face，可以下载到本地把玩。
我测试了一个一分钟的视频，它可以很好地理解视频内容，不过在询问细节时，回答就不行了，看来 LLaMA-VID 可以从宏观上把握视频的内容，细节层面的信息丢失还是很严重的。
当前的多模态大模型，包括 GPT-4V，基本只支持对图片的理解，对于视频（尤其是长视频）的理解完全不在行，主要原因是在处理视频时，对每一帧图片的视觉标记过多，很容易导致计算容量溢出。
香港中文大学的贾佳亚团队提出了一个新颖的方法解决了这个问题，《LLaMA-VID: An Image is Worth 2 Tokens in Large Language Models》，https://arxiv.org/abs/2311.17043 ，LLaMA-VID 通过用两个不同的标记（即上下文标记和内容标记）表示每个帧来解决此问题；上下文标记根据用户输入对整个图像上下文进行编码，而内容标记则封装每个帧中的视觉提示；这种双令牌策略显着减少了长视频的过载，同时保留了关键信息。
https://llama-vid.github.io ，项目还提供了一个线上演示地址，背后用的是一张 3090 GPU，不过我估计随着后续项目的火爆，这个演示地址也会由于扛不住测试流量而下线，目前模型已经发布到了 Hugging Face，可以下载到本地把玩。
我测试了一个一分钟的视频，它可以很好地理解视频内容，不过在询问细节时，回答就不行了，看来 LLaMA-VID 可以从宏观上把握视频的内容，细节层面的信息丢失还是很严重的。
