光速打脸！谷歌承认Gemini演示视频是剪辑版

谷歌对Gemini模型进行了严格的测试，并评估了它们在各种任务中的表现。从自然图像、音频和视频理解，到数学推理等任务。从谷歌发布的数据上看，Gemini Ultra是首个在大规模多任务语言理解数据集（MMLU）任务表现上优于人类专家的大模型，得分率高达90.0%。作为对比，人类专家的成绩为89.8%，GPT4的成绩为86.4%。MMLU数据集包含数学、物理、历史、法律、医学和伦理等57个科目，用于测试大模型的知识储备和解决问题能力。

但在大多数基准测试中，Gemini Ultra仅领先OpenAI的GPT-4模型几个百分点。换句话说，谷歌最好的AI模型只是在OpenAI至少一年前完成的工作上做出了微小的改进。如果像谷歌所说的那样，Gemini Ultra在明年1月初发布，它可能不会在很长时间内保持顶级模型的地位。在谷歌拼命赶上OpenAI的这段时间里，后者已经花了将近一年的时间来开发它的下一代人工智能模型GPT-5。

承认演示视频为剪辑版本

在谷歌发布的时长为6分钟的演示视频中，一个男子做出后仰并躲避的慢动作，Gemini马上猜出这是表演《黑客帝国》中的场景；当人类拿起画笔在一张纸上勾勒出一只鸭子，并为它涂上了蓝色，Gemini说这可不是鸭子常见的颜色；当人类用手指比划剪刀石头布的动作时，Gemini马上猜出是在玩剪刀石头布；当三个空杯并排放在桌子上，一张蓝色纸团被塞进其中一个杯子里，在人类一番眼花缭乱的操作后，Gemini准确地猜出：“纸团在最左边的杯子里！”这段视频展示了谷歌DeepMind人工智能实验室在过去几年中训练的推理能力，也是其他人工智能模型所没有的。

在社交媒体X上发布的这段视频的跟帖中，技术专家称Gemini的表现“令人瞠目结舌。”不过沃顿商学院管理学教授伊桑·莫里克（Ethan Mollick）经过比对实验证明了，Gemini展示出的许多能力并不是独一无二的，GPT-V早已具备了这些能力。

彭博专栏作家帕米·奥尔森（Parmy Olson）对此撰文指出，Gemini在视频中似乎非常能干了。但谷歌自己也承认，视频是剪辑过的。该公司在YouTube的描述中表示：“为了演示的目的，为了简洁起见，延迟被减少了，Gemini的输出也被缩短了。”这引发出关于谷歌实际上给Gemini提前埋了多少提示的质疑。

这就是奥尔森发现的端倪。根据她的彭博文章，谷歌承认视频演示不是实时进行的，而是使用原始镜头中的静止图像帧，然后写出文本提示，让Gemini做出回应。奥尔森写道：“这与谷歌似乎暗示的完全不同：一个人可以在Gemini观察并实时回应周围世界的同时，与它进行流畅的语音对话。”奥尔森认为，谷歌的视频就是在“炫耀”，目的是误导人们，让他们不知道Gemini仍然落后于OpenAI的GPT。

谷歌不同意奥尔森的观点。当被问及演示的有效性时，谷歌发言人指出，DeepMind负责研究和深度学习的副总裁奥瑞奥·维纳尔斯（Oriol Vinyals）的一篇帖子，解释了该团队如何制作视频。维纳尔斯：“视频中所有的用户提示和输出都是真实的，为了简洁起见被缩短了。”该视频展示了使用Gemini构建的多模态用户体验。我们制作它是为了激励开发者。”