谷歌Gemini“悄悄变强”,快速缩小与GPT-4o差距,中文更是完成了超越!

在中文测试中,Gemini Pro和Advanced双双超越GPT-4o,分别排在第一、第二位。

尽管亮相时被OpenAI压了一头,但谷歌一直在悄悄迭代Gemini大模型,和OpenAI最新大模型GPT-4o的差距已经显著缩小。最新测试结果显示,Gemini 1.5 Pro/Advanced在综合测试中排名第 2,逼近GPT-4o,轻量版Gemini 1.5 flash排名第9,超越 Llama-3-70b,接近GPT-4。

相比4月份的版本,Gemini Pro和Flash的能力有明显加强。且上下文长度可以达到100万token,远远超出GPT-4的12.8万token。

Gemini的中文能力更是惊艳,在中文测试中,Gemini Pro和Advanced双双超越GPT-4o,分别排在第一、第二位。

此外,在Hard Prompts测试中,Gemini同样名列前茅。在Hard Prompts测试中,大模型需要面对那些更具挑战性的问题,Gemini 1.5 Pro在这一测试中排名第二,仅次于GPT-4o.

从大模型置信区间(Confidence Intervals)来看,Gemini的测试结果也名列前茅。

值得一提的是,两周前,在Google Gemini更新撞档GPT-4o发布时。Gemini因为羸弱的能力几乎引来了群嘲。根据多家科技博客的测评,即使谷歌已经对1.5 Pro进行了数月的改进,但从常识推理到多模态能力和代码能力,仍然无法与OpenAI最新的GPT-4o模型相媲美。唯一亮点就是更大的上下文窗口。如今谷歌Gemini取得了如此神速的进步,显示出AI界届黄埔军校仍然有深厚的技术底蕴。

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
相关文章