OpenAI揭秘GPT-4.5训练：10万块GPU，几乎全员上阵，有出现过“灾难性问题”
OpenAI近日披露了一些GPT-4.5研发细节，训练耗时两年，动用10万块GPU，几乎全员参与。过程中遭遇基础设施故障、隐藏Bug等问题，团队不得不“边修边训”。
模型性能较GPT-4提升约10倍，智能增强效果超出预期。OpenAI发现，未来突破关键在于数据效率，而非算力。系统架构正转向多集群，未来或需千万级GPU协作。
团队还分享了数据长尾效应与Scaling Law的关系，以及算法与系统协同设计的经验。GPT-4.5的成功验证了Scaling Law的长期有效性。
Telegram 评论区
78 条回复，可以前往 Telegram 继续讨论。