全球首个70B长文本大语言模型发布 由港中文贾佳亚团队联合MIT出品

10月9日消息，全球首个拥有70B参数量的长文本对话大语言模型LongAlpaca于10月9日正式对外发布，同时发布的还有超长文本扩展技术LongLoRA。新模型及新技术由香港中文大学计算机科学工程系终身教授贾佳亚团队联合麻省理工学院（MIT）发布，解决了目前大模型对长文本处理的盲区，允许模型考虑和处理较长的文本序列。目前，相关技术与模型已全部开源。据悉，LongLoRA在只需两行代码、一台8卡A100机器的情况下，便可将7B模型的文本长度拓展到100k tokens，70B模型的文本长度拓展到32k tokens，远超Llama2支持的4k tokens的文本长度；并且在显存消耗、时间消耗和准确性上，LongLoRA都较常规LoRA和全参数微调有显著优异表现，令LongLoRA大规模推广成为可能。