Gemma 3 - 27B (IT) - Gemma 3 - 27B (IT)模型详细情况和参数

Gemma 3 - 27B (IT) 简介

Gemma 3 - 27B Instruct是Google的第三代Gemma大模型，27亿参数，指令优化版本。Gemma系列是Google开源的系列大模型，基座模型为Google的Gemini，Gemini是闭源版本。Gemma 3 - 27B Instruct在2025年3月12日出现在Google AI Studio上，开发者可以免费使用。

该模型最多支持8K的输出，输入准确来说131072个tokens。

关于Gemma开源系列模型介绍： https://www.datalearner.com/blog/1051708523708257 

Gemma3-27B 是 Google DeepMind 在 Gemma 3 系列中规模最大、性能最强的版本。相比 12B 版本，它在复杂任务上的表现更为出色，并在多个基准测试中达到或接近 Gemini 1.5 Pro 的水平。该模型支持 128K tokens 长上下文，配备 417M 参数的视觉编码器，在文本生成、代码理解、多模态任务等方面均表现优异。

模型架构与设计

Gemma3-27B 采用 解码器 Transformer 架构，结合 Grouped-Query Attention (GQA) 以优化计算效率，并通过 5:1 的局部/全局注意力交替 机制降低 KV 缓存占用，使其在长文本推理方面具备显著优势。同时，它集成了 SigLIP 视觉编码器，支持 OCR、文档理解等任务。

训练细节

该模型在 TPUv5p 平台 训练，采用 6144 个 TPU，24 数据切分、8 序列切分、32 副本。使用 14T tokens 进行训练，并通过 知识蒸馏 提高性能。此外，后训练阶段采用强化学习优化数学、推理、指令跟随等能力，使其在各类任务上均表现出色。

参数配置

基准测试表现

Gemma3-27B 在多个评测中均取得了优异的成绩，接近甚至超越部分封闭大模型，特别是在 MMLU、数学推理、代码生成等方面。

Gemma3-27B 在 LMSYS Chatbot Arena 评测中的排名

在 LMSYS Chatbot Arena 的人类评测中，Gemma3-27B-IT 获得 1338 Elo，位列 前 10，超过 DeepSeek-V3、LLaMA 3 70B、Qwen2.5-70B 等大规模模型，仅次于封闭大模型 GPT-4.5、Gemini-2.0-Pro 等。

模型特点

• 长文本理解：支持 128K tokens 上下文，在复杂推理任务中表现稳定。
• 强大的多模态能力：集成视觉编码器，支持 OCR、文档理解等任务。
• 接近封闭大模型的性能：在多个基准测试中，表现接近 Gemini 1.5 Pro，同时在 LMSYS 评测中位列开源模型前列。

总结

Gemma3-27B 是 Google DeepMind 迄今最强大的开源模型，在多个评测中接近封闭大模型，适用于复杂文本推理、代码生成、多模态任务等高端应用。对于需要最先进 LLM 性能的研究者和开发者来说，它是当前最值得关注的开源选择之一。