半导体研究机构SemiAnalysis创始人Dylan Patel在访谈中讨论了AI模型如何通过软件优化、推测解码、多Token预测等技术提升芯片利用率。
他表示,即使使用三四年前的Hopper芯片,模型性能仍能持续提升。
更关键的是,现有硬件和模型仍存在约50%至80%的性能提升空间。
未来通过新模型、新硬件及更深层优化,AI算力效率还有巨大增长潜力。
半导体研究机构SemiAnalysis创始人Dylan Patel在访谈中讨论了AI模型如何通过软件优化、推测解码、多Token预测等技术提升芯片利用率。
他表示,即使使用三四年前的Hopper芯片,模型性能仍能持续提升。
更关键的是,现有硬件和模型仍存在约50%至80%的性能提升空间。
未来通过新模型、新硬件及更深层优化,AI算力效率还有巨大增长潜力。