|
Post by account_disabled on Apr 1, 2024 22:36:19 GMT -8
输出速度感谢提供了本节的基准测试结果为了评估机器学习模型的速度我们测量了它们生成文本的速度与人类每分钟个单词的思维速度相比另见附录。使用的我们估计到年月每分钟可以生成个单词可以生成。较小的开源模型如通过附加工具和可以达到至少。看来通过进一步优化这个数字可以翻倍。因此如果我们查看截至月份的模型它们要么比人类快三倍左右要么处于相同水平。我预计模型未来会更快因为有强大的商业和实际激励来加速推理。 事实上根据的跟踪数据在本文发布前一周速度已提高至每秒个令牌。这表明了改进的可能性以及利用这些机会的愿望。我的中值预测是就每分 阿曼数据 单词数而言模型的表现将比人类高出五倍范围因为这就是进一步加速的实际好处将会减弱的地方。然而对于更高和更低的数字都有考虑它们的详细列表以及不同规模模型的速度比较和上述实验的细节可以在附录中找到。问题是机器学习模型的速度不是固定的。 顺序推理速度可以提高倍但代价是吞吐量降低倍换句话说模型的个并行运行副本可以替换为更快的倍。这可以使用并联电路来实现理论上即使值很大很可能至少达到甚至更多。因此在时比人类快倍的模型可以加速到倍。一个重要的警告是速度并不一定伴随着质量如第节所述将具有与人类不同的技能在我们认为简单的一些任务上失败在我们认为困难的一些任务上表现出色。因此我们不需要将视为加速者而应将其视为具有潜在违反直觉的技能组合的加速者。
|
|