“算力规模已经足够大,以至于并不显见你需要那么多额外的算力来证明某个想法。我给你打个比方。AlexNet是建立在两块GPU上的。那是用于它的总算力。Transformer是建立在8到64块GPU上的。2017年没有哪篇Transformer论文的实验使用了超过64块GPU,这相当于什么,今天的两块GPU?ResNet也是如此,对吧?你可以争辩说,o1推理模型(o1 reasoning)并不是世界上最耗算力的东西。
因此,对于研究来说,你绝对需要一定量的算力,但远非显而易见的是,你需要绝对最大量的算力来进行研究。”
| 通信人家园 (https://www.txrjy.com/) | Powered by C114 |