事件:Gemini 3.8 Live 加上实时虚拟人
谷歌在 9 月 24 日发布带 Live Avatar 的 Gemini 3.8 Live,把近实时的视频生成和语音对话合到一起,让模型在说话时同步输出一张会动、会看、会做表情的脸。它在上一周发布的 Gemini 3.8 Live 语音模型基础上叠加,目前已作为通用可用能力在 Gemini Enterprise 上线,开发者可以通过 Live API 调用。
和过去“语音模型 + 前端动画贴图”的做法不同,Live Avatar 把视觉呈现做进了模型本身的输出链路:音频和视频一起生成,唇形和表情跟着语音走。谷歌在公告里把它定位成企业智能体的“视觉在场”,也就是说,它主打的不是陪聊,而是客服、导览、办理业务这类需要“有人在跟你说话”的场景。官方原文见 Google 官方博客。
唇形同步和 97 种语言意味着什么
Live Avatar 的第一个卖点是唇形同步和自然表情。模型生成视频时会让嘴型和语音对齐,并随内容做出相应表情,而不是固定一张脸循环播放。对做多语言客服的团队来说,这解决了过去数字人最尴尬的问题:换语言就露馅。
第二个卖点是语言覆盖。官方称它支持原生多语言语音到语音同步,能在 97 种语言之间无缝切换,切换时唇形和表情会动态适配,官方强调不会出现画质下降或视觉漂移。这句话的实际含义是:一个虚拟人可以在同一段对话里中英混杂地服务用户,而不用为每种语言单独做一套动画资产。
需要提醒的是,97 种语言是官方在公告中给出的口径,具体每种语言的合成质量、口音自然度并没有逐项列出,实际采购前最好用自己业务的语种做一轮样本测试。
后台调用工具、前台不停嘴是怎么做到的
Live Avatar 依托的是 Gemini 3.8 Live 的异步工具调用能力:模型可以在继续说话的同时,在后台触发工具调用、拉取数据。谷歌举的例子是酒店前台办理入住,虚拟人一边和客人对话,一边在后台查询和写入客户信息,对话不会因为等待接口而卡住。
这一点对开发者比“脸好不好看”更重要。语音智能体落地时最难的不是识别和合成,而是“思考或查数据时怎么不让用户干等”。Live Avatar 给出的方案是用口播过渡句和后台并行来填这段空窗,比如先说“我查一下”,再在后台完成调用。这意味着它的价值主要落在任务型对话,而不是纯情感陪伴。
自定义形象、SynthID 水印与安全边界
除了官方预设的形象库,企业可以用一张高质量参考图生成完整动画形象,并保留参考人物的相似度、品牌风格或角色特征。不过官方明确,自定义虚拟人目前只对企业白名单用户开放,普通开发者还只能使用预设形象。想用自家代言人做数字人的品牌,需要走申请流程。
安全方面,所有由该能力生成的音频和视频都会嵌入 SynthID 隐形水印,用于识别 AI 生成内容,降低误传和错误归属的风险。谷歌同时发布了对应的模型卡。水印的存在意味着企业若把生成内容用于对外发布,需要预期到它是可被检测的——这对合规披露是好事,但也会影响把它当作“完全匿名素材”使用的想法的可行性。
和普通数字人方案比,差异在哪
市面上的数字人产品大致分两类:一类是视频合成型,先写好台词再渲染成片,适合营销物料,但不具备实时对话能力;另一类是实时驱动型,靠驱动引擎让预设形象动起来,交互流畅但视觉表现僵硬,且通常要自己拼接语音识别、大模型和口型驱动多条链路。
Live Avatar 的取向是把这些环节收进一个原生模型:视觉、语音、推理和工具调用在同一次生成中完成,企业只需要接一个 Live API。它的代价是绑定谷歌生态和 Gemini Enterprise,自定义形象还有白名单门槛。对已经在用 Google Cloud 和 Workspace 的团队,这是顺手的升级;对希望完全自主可控的团队,这不是一个可以随意替换的组件。
适合谁用,怎么验证效果
三类团队值得关注。一是做客服和售后的企业,如果已经在用 Gemini Enterprise,可以直接在 Agent Platform 的 Multimodal Live 控制台里试;二是做线上导览、培训演示、酒店或银行柜面业务的团队,异步工具调用正好对应这些流程;三是想为品牌做专属数字人形象的市场团队,但要先看清白名单限制。
验证方法建议分三步:先用预设形象跑通一段带工具调用的真实任务对话,重点看等待期间有没有明显停顿;再用自己业务的语种测试多语言切换时的唇形和表情是否稳定;最后评估水印和合规披露是否符合公司对外发布的要求。不要只看演示视频的观感,演示通常剪掉了延迟和失败重试。
行业影响与下一步关注什么
这件事的信号很明确:语音模型正在从“能听会说”走向“有形象地做事”,视觉呈现被当成企业智能体的一项基础能力,而不是外挂特效。对开发者来说,实时多模态的门槛被压低了一层,过去需要自建的多条链路正在被单个模型吞掉。
接下来值得盯三点:一是自定义虚拟人白名单是否放开,以及放开后的定价;二是 97 种语言里中文的实际表现,尤其是口音和表情的自然度;三是这套能力会不会下放到面向消费者的 Gemini 应用,而不只是停在企业侧。短期内,最现实的行动是拿一段真实业务流程去做延迟和稳定性测试,再决定要不要纳入选型。
来源与说明
本文由 AI 潮汐编辑部基于官方公告与公开资料整理,补充了行业影响、适用场景和行动建议,帮助你在阅读原文前先理解这条信息为什么重要。
如发现事实、价格或链接有误,可通过 联系我们 提交更正。
常见问题
普通用户现在能用上吗?
暂时不能。Live Avatar 目前只在 Gemini Enterprise 上线,面向企业客户,个人版的 Gemini 应用还没有这项能力。个人用户可以先关注后续是否下放。
开发者接入需要什么条件?
需要在 Google Cloud 的 Gemini Enterprise Agent Platform 中使用 Live API,从 Multimodal Live 控制台开始。自定义形象另外需要企业白名单审批,预设形象则可以直接调用。
生成的内容能看出是 AI 做的吗?
能。所有输出都嵌入了 SynthID 隐形水印,覆盖音频和视频,专门用于识别 AI 生成内容。如果打算对外发布,需要把这一点纳入合规披露的考虑。
它和之前的 Gemini 3.8 Live 是什么关系?
Live Avatar 是在 Gemini 3.8 Live 语音模型基础上新增的视觉呈现能力,不是独立的另一个模型。原来的语音对话、异步工具调用等能力都保留,Live Avatar 补的是实时视频输出和形象。
多语言切换实测可靠吗?
官方称可在 97 种语言间无缝切换且不损失画质,但没有逐语言公开质量数据。建议用自己业务的语种做实测,重点看切换瞬间的唇形对齐和表情是否自然。