阿里达摩院开源Video-LLaMA，帮大语言模型加上“眼睛”、“耳朵”

阿里达摩院的研究人员提出了 Video-LLaMA，一个具有综合视听能力大模型。Video-LLaMA 能够感知和理解视频中的视频和音频信号， 并能理解用户输入的指令，完成一系列基于音视频的复杂任务，例如音 / 视频描述，写作，问答等。目前论文，代码，交互 demo 都已开放。另外，在 Video-LLaMA 的项目主页中，该研究团队还提供了中文版本的模型，让中文用户的体验更丝滑。