Gemma 是什么？

Gemma 是由 Google DeepMind 与 Google 其他团队共同开发的轻量级、先进开源大模型系列。它基于与 Gemini 相同的尖端技术，旨在帮助开发者和研究人员在个人电脑、工作站甚至笔记本电脑上高效构建负责任的 AI 应用。Gemma 提供 2B 和 7B 两种参数规模的预训练及指令微调版本，全面支持 JAX、PyTorch 和 TensorFlow 等主流框架。无论是进行自然语言处理、代码生成，还是探索机器学习创新，Gemma 都能提供强大、安全且易于部署的解决方案，是 AI 学习的理想工具。

官网地址：https://ai.google.dev/gemma?hl=zh-cn

核心功能与特色

• 轻量级高性能架构：Gemma 模型设计小巧，优化了推理效率，即使在普通笔记本电脑、工作站和物联网设备上也能流畅运行，无需依赖昂贵的高性能服务器。其 2B 和 7B 参数模型实现了性能与资源消耗的完美平衡，适合个人开发者和中小企业应用。
• 完整开源与商业可用：Gemma 模型权重完全开放，预训练和微调检查点可在 HuggingFace 下载。在遵守许可协议的前提下，支持商业使用和二次分发，极大降低了 AI 应用门槛，推动创新。
• 负责任的 AI 工具链：Google 同步推出负责任生成式 AI 工具包，包含安全分类器、调试工具和应用指南，帮助开发者构建符合伦理的 AI 应用。Gemma 预训练数据经过自动化过滤，并接受红队测试和对抗性测试，确保模型行为安全、可靠。
• 多框架与跨平台兼容：全面支持 JAX、PyTorch 和 TensorFlow 三大主流框架，并整合 Keras 3.0 工具链，简化监督微调（SFT）和推理流程。模型针对 NVIDIA GPU 和 Google Cloud TPU 进行优化，可在 Colab、Kaggle 等平台免费运行。

适用人群与应用场景

Gemma 特别适合以下人群：

• AI 开发者与研究人员：用于快速实验、模型微调和学术探索。
• 教育工作者与学生：学习自然语言处理、Transformer 架构和实践 AI 伦理。
• 企业产品团队：构建智能客服、内容生成、代码助手等轻量级 AI 应用。

典型应用场景包括智能对话、文本分类、代码补全、教育辅导和自动化内容创作。

关键技术要点

• 先进模型架构：Gemma 基于 Transformer 解码器，采用旋转位置嵌入（RoPE）和 GeGLU 激活函数，提升效率并减少参数量。
• 海量预训练数据：2B 模型在约 2 万亿 token、7B 模型在约 6 万亿 token 的英语数据上预训练，来源为网络文档、数学和代码，确保多样性与质量。
• 双阶段微调：结合监督式微调（SFT）和基于人类反馈的强化学习（RLHF），使用合成文本对和人类偏好数据优化模型行为。
• 出色性能：在 MMLU、MBPP 等 18 个基准测试中，Gemma 在 11 个测试中超越 Llama-13B 或 Mistral-7B 等同类模型。

常见问题

Gemma 的词源是什么？

Gemma 在拉丁语中意为“宝石”，寓意其如宝石般珍贵而轻巧。

Gemma 是开源的吗？

是的，Gemma 完全开源，用户可在 HuggingFace 查看、下载并使用其模型。

Gemma 有多少参数量？

目前提供 20 亿（2B）和 70 亿（7B）参数两个版本，未来计划推出更多变体。

相关资源

• HuggingFace 模型：https://huggingface.co/models?search=google/gemma
• Kaggle 模型平台：https://www.kaggle.com/models/google/gemma/code/
• 技术报告：https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
• 官方 PyTorch 代码库：https://github.com/google/gemma_pytorch
• Google Colab 运行地址：https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynb