多模态AI： 复杂场景下的智能决策

这节我们看多模态AI，之前的课程中讲到，多模态对国内厂商来说其实是最容易的阶段，先做多模态数据融合、神经网络算法，然后进行跨模态的部署。大家可以看到这些开源框架，Whisper、CLIP、Make-a-Video其实就是不同的模态，模态是媒介本身的形式，文本、语音、视频是主要的三种。然后在这几种当中进行模态融合，有不同的技术架构，现在比较主流的是联合架构、协同架构及编解码器架构。实现多模态需要五步......

风险提示及免责条款

市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。