# Apple发布大模型论文：多模式LLM预培训的方法、分析和见解

Source: https://www.zaihua.news/article/23534/

[返回新闻流](https://www.zaihua.news/)
2024年3月16日 · 13:14 · [在花新闻](https://www.zaihua.news/about/)

# Apple发布大模型论文：多模式LLM预培训的方法、分析和见解

2024年3月14日，苹果公司发布了自家的大型多模态基础模型MM1，该模型拥有高达300亿参数，并采用混合专家（MoE）架构。超过半数的论文作者是华人。MM1模型在多模态任务上显示出强大的性能，尤其是在少样本学习和上下文预测方面。研究团队通过对不同架构组件和数据选择的深入分析，提出了几条关键的设计准则。他们发现，图像分辨率、视觉编码器损失和容量，以及预训练数据的类型对模型性能有显著影响。MM1模型的开发，标志着苹果在生成式人工智能领域的重要进展。

[论文地址](https://arxiv.org/pdf/2403.09611.pdf)

群友：OpenAI 正在与苹果有某种合作，开发者大会可能有好戏看了

线索：[@ZaiHuabot](https://t.me/ZaiHuabot)
投稿：[@TNSubmbot](https://t.me/TNSubmbot)
频道：[@TestFlightCN](https://t.me/TestFlightCN)

[上一条淘宝上线“新疆包邮”频道：全疆包邮，不发必赔](https://www.zaihua.news/article/23533/)[下一条听花酒合作专利事务所发声称315只截选部分录像](https://www.zaihua.news/article/23535/)