前两天杜东东老师来作报告,讲到一个非常有意思的点,就是Intel的处理器频繁使用AVX512指令会降频!!!
这让我突然明白当时很困惑的一点,就是为什么线上测试达不到最开始的效果,也达不到本地的效果,后面测试的 tokens/s 一直比本地低 5~6 tokens/s。原因就是杜老师讲到的这一点:因为大家后面的代码框架改了之后都在用了AVX512指令,测试平台运行久了之后直接降频了,导致最开始测试的效果实际上是最好的!!
真是一语惊醒梦中人。
2025-11-16 Update
找到一些详细的博客对这个问题进行了解读: