多模态AI： 复杂场景下的智能决策

这节我们看多模态AI，之前的课程中讲到，多模态对国内厂商来说其实是最容易的阶段，先做多模态数据融合、神经网络算法，然后进行跨模态的部署。大家可以看到这些开源框架，Whisper、CLIP、Make-a-Video其实就是不同的模态，模态是媒介本身的形式，文本、语音、视频是主要的三种。然后在这几种当中进行模态融合，有不同的技术架构，现在比较主流的是联合架构、协同架构及编解码器架构。实现多模态需要五步......