资讯

EmbeddingGemma 2 发布:740M 参数,一个模型搜遍文字、图片、音频和视频

Google DeepMind 在 10 月 6 日发布 EmbeddingGemma 2。它是 740M 参数的开源嵌入模型,把文字、代码、图片、音频和视频映射到同一个向量空间。手机和电脑上都能离线跑,搜本地文件不用联网。

Google 官方博客 EmbeddingGemma 2 发布公告页截图

发布了什么

10 月 6 日,Google DeepMind 在官方博客宣布发布 EmbeddingGemma 2。这是一个嵌入模型,作用是把文字、代码、图片、音频和视频转成向量,放进同一个向量空间。转完之后,跨模态搜索就变成算向量距离:你给一段文字,它能找出意思最接近的图片或视频片段。

模型共 740M 参数,基于 Gemma 4 架构。权重在 Hugging Face 和 Kaggle 公开,许可证是 Apache 2.0,商用没问题。

前一代 EmbeddingGemma 是去年发布的,只处理文本。Google 说它被下载超过 2000 万次,开发者拿它做端侧搜索和注重隐私的 RAG。这一代最大的变化,是一个模型吃下五种输入。

能干什么

官方给了几个具体例子。用一段语音备忘录当输入,找到对应的视频片段。用文字描述,在几小时的录音里定位内容。文字、图片、音频、视频混在一起,由这一个模型处理。

它和 Gemma 4 共享音频编码器和分词器。两个模型可以同时跑,总内存占用更低。搭配 Gemma 4,开发者能做完全离线的本地文件问答:数据不出设备,问题都在本地算。

跑起来有多重

端侧模型最关键的是内存。按报道,在 Pixel 11 Pro 上,纯文本版本占用约 191 MB 活跃内存,完整多模态版本约 567 MB。这个量级,普通手机直接能跑。

性能方面,Google 的说法是“同类最佳的开源原生多模态嵌入模型”。官方还提到,它在多项基准上能超过参数量两倍以上的专用模型。另据报道,它在 MTEB Code 上的分数从 68.76 提到 78.68,适合给本地代码库建索引。

Google 的配套动作

模型发布的同时,Google 往自家端侧工具里加了新功能。

AI Edge Gallery 是 Google 给开发者在设备上试模型的 App。这次新增两个功能:Instant Media Search,用自然语言描述或一张示例图片,搜手机里的照片和视频;Video Moments Finder,按文字描述定位本地视频里的具体片段,比如“小孩在笑”这种,不用先把音频转成文字。

还有一个实验性的 Mac 应用 Google AI Edge Foresight,用来搜电脑里的会议记录、笔记、图片和文档。

接下来几周,模型会进入 Android 的 ML Kit,支持有硬件加速的设备。Google 还把它接到 MediaPipe 工具链,开发者可以在 iOS、macOS、Windows、Linux 和 Web 上做端侧搜索和分类功能。

为什么值得关注

两个原因。第一,隐私。搜索和 RAG 全在本地跑,文件不用上传云端。处理会议记录、代码库这类敏感内容的人,对这一点需求很实在。

第二,许可证。Apache 2.0 意味着可以直接拿去商用。740M 参数、几百 MB 内存,独立开发者也玩得起。

生成模型已经有了(Gemma 4、Gemma 3n),现在检索这块也补上了。接下来看开发者能做出什么。

返回文章列表