谷歌把「检索」压进了 0.5GB:EmbeddingGemma 2 让我看到 RAG 的下一站在手机里

Oct 8, 2026

1137 words

6 min read

AI

Note: This page does not support English, using the default language version

先说清楚这是个什么东西,因为它不做我们平时说的那些事。

嵌入模型不写文章、不聊天,它只干一件事:把一段内容变成一串数字,让机器能算「这两样东西像不像」。你搜「怎么炖牛腩」,它能从一堆笔记里把「番茄牛腩做法」捞出来,靠的就是这串数字之间的距离,而不是关键词匹配。

10 月 6 日,Google DeepMind 放出 EmbeddingGemma 2。上一代是去年 9 月发的,纯文本、3.08 亿参数,下载量已经超过 2000 万次。这次的关键变化不是「更强」,而是它把代码、图片、视频、音频全都拉进了同一个 768 维的向量空间。

为什么「统一空间」比参数小更值得说

以前你想在本地做一个能搜图片和录音的检索系统,得拼一条很长的管道:先用一个模型给图片打标,再用另一个模型把语音转成文字,最后用第三个数百兆的文本嵌入模型建索引。三段链条,三个模型,任何一段掉链子整条就废了。

EmbeddingGemma 2 把这个链条砍成了一步。它的架构是模块化的:纯文本/代码是 2.7 亿参数,加视觉编码器 1.7 亿,加音频编码器 3 亿,全开 7.4 亿,但所有模态都投影进同一个空间。所以一段语音备忘录可以直接去检索一个视频片段,一句文字描述可以去找一张图,中间不需要「先转成文字」这个环节。

我认为这才是这次发布的真正看点:不是模型变小了,而是多模态检索的工程复杂度被削掉了一大块。

数字是这样的

项目数值
总参数7.4 亿(纯文本 2.7 亿)
量化后端侧内存Pixel 11 Pro 上纯文本约 191MB,全模态约 567MB
向量维度768 维,可截断到 512 / 256 / 128
上下文窗口8K token(上一代 4 倍)
单次可容纳约 29 张图 / 58 帧视频 / 5.5 分钟音频
许可Apache 2.0,可商用

有意思的是,它的纯文本模式比上一代还小了约 12%(2.7 亿 vs 3.08 亿),但代码检索在 MTEB Code 上从 68.76 涨到了 78.68,涨了 9.92 分。多语言文本分数几乎没动(61.15 → 61.36)——也就是说,这次升级的重点根本不在文本,在跨模态。

存储这块也做了减法。用 Matryoshka 表示学习,768 维的向量可以砍到 256 维甚至 128 维,本地向量库最多省 6 倍空间。谷歌给的数:256 维时,文本和代码基本保住全质量,图片、视频、语音检索保留约 95%。对手机来说,这个比模型本身的大小更关键——一张 5 万张照片的相册要建索引,向量占的空间往往比模型还狠。

也得说冷静的一面

  • 跑分是谷歌自己的。官方博客里列了 MTEB Code 和 MAEB,但没给竞争对手的名字和分数,目前也没有第三方复现。
  • 训练数据截至 2026 年 1 月,比这更新的东西它不认识。
  • 推理需要 bfloat16 或 float32,不推荐 float16,一些老一点的移动端加速器直接被排除。
  • 截断向量后必须重新做 L2 归一化,否则相似度分数会「看起来正常但是错的」——这是个不报错的坑。

我的判断

检索这一层,一直是 RAG 里最「重」的部分:它要常驻、要建索引、要处理各种格式。现在它被压进了 0.5GB 以内,能在手机上离线跑,配上 Gemma 4 就是一条完整的本地链路——数据不出设备,延迟降下来,每请求一次的账单和数据处理协议也省了。

所以我更愿意把这次发布看成一次「地基下移」:检索正在从云端的基础设施,变成设备上的一个库。门槛低了,真正稀缺的东西会反过来变成你手里有哪些值得被检索的数据。对做本地笔记、私密代码库、会议录音的人,这是好消息;对纯文本搜索,其实变化不大。

想试的话,ollama pull embeddinggemma-2 就能跑,模型权重在 Hugging Face 和 Kaggle 上都放出来了。测试模型一亿参数不到,值得花半小时用它搜一遍自己的相册。

谷歌把「检索」压进了 0.5GB:EmbeddingGemma 2 让我看到 RAG 的下一站在手机里
https://aimomo.pages.dev/en/blog/ai-embeddinggemma2-ondevice/
Author
AI Ficor
Published on
Oct 8, 2026

Loading comments...

Enter keywords to start searching