10月9日消息，全球首个拥有70B参数量的长文本对话大语言模型LongAlpaca于10月9日正式对外发布，同时发布的还有超长文本扩展技术LongLoRA。新模型及新技术由香港中文大学计算机科学工程系终身教授贾佳亚团队联合麻省理工学院（MIT）发布，解决了目前大模型对长文本处理的盲区，允许模型考虑和处理较长的文本序列。目前，相关技术与模型已全部开源。据悉，LongLoRA在只需两行代码、一台8卡A100机器的情况下，便可将7B模型的文本长度拓展到100k tokens，70B模型的文本长度拓展到32k tokens，远超Llama2支持的4k tokens的文本长度；并且在显存消耗、时间消耗和准确性上，LongLoRA都较常规LoRA和全参数微调有显著优异表现，令LongLoRA大规模推广成为可能。
风险提示及免责条款
市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。