谷歌发布 Gemma 4 开源大模型，31B 参数性能达头部水准

背景

• 近年来，美国科技巨头如谷歌和Meta在AI领域更多聚焦于闭源大模型商业化，而中国科技公司则在开源模型社区占据主导地位。
• 为避免完全失去开源大模型市场的影响力，谷歌计划推出其新一代开源模型Gemma 4，试图在国际开源社区中重新获得话语权。
• 消息来源于谷歌DeepMind创始人兼CEO Demis Hassabis的社交媒体暗示，他用“4颗钻石”来指代即将发布的Gemma 4。

Gemma 4模型详情

• 根据传闻和已有信息，Gemma 4将推出多个参数规模的版本，其中包括1B、7B、21B和31B参数的模型。
• 与前代Gemma 3相比，Gemma 4的最大版本参数规模将增加近4倍，达到31B。
• 该模型采用MoE（Mixture of Experts）架构，通过稀疏激活机制，降低实际运行所需的计算资源。
  • 即使在120B参数版本的传闻中，激活参数可能只有15B，因此能够在单卡GPU上本地离线运行。
• 模型能力预测包括：
  • 上下文处理能力翻1-2倍。
  • 执行复杂逻辑和深度思考的能力显著提升。

与前代模型的对比

• 当前的Gemma 3是在去年3月发布的，基于Gemini 2.0，最大参数规模为27B。
• Gemma 3以其轻量级特性在开源社区中广受好评，支持多模态输入和128K超长上下文。
• 相较于Gemma 3，Gemma 4将进一步提升性能，同时在本地运行能力方面进行优化。

技术与商业化考量

• 美国科技公司对开源大模型的优先级通常不高，Gemma 4的推出更多是一种象征性举措。
• 尽管Gemma 4性能表现不错，但在同参数规模下，其能力可能仍难以超越中国国产开源模型。
• 谷歌在开源大模型上的布局不会影响Gemini系列闭源模型的商业化前景，因为Gemma 4主要用于补充社区需求，而非核心商业工具。

行业影响

• Gemma 4的发布可能对开源社区产生一定的推动作用，尤其是在多模态处理和本地化运行方面。
• 中国开源大模型在国际上已占据重要地位，Gemma 4的推出或将重新激发开源模型领域的竞争。
• 由于其轻量化特性，Gemma 4可能会吸引个人开发者和中小型企业，但短期内很难动摇闭源模型在高端市场中的主导地位。