尽管亮相时被 OpenAI 压了一头，但谷歌一直在悄悄迭代 Gemini 大模型，和 OpenAI 最新大模型 GPT-4o 的差距已经显著缩小。最新测试结果显示，Gemini 1.5 Pro/Advanced 在综合测试中排名第 2，逼近 GPT-4o，轻量版 Gemini 1.5 flash 排名第9，超越 Llama-3-70b，接近 GPT-4。
相比 4 月份的版本，免费的 Gemini Pro 和 Flash 的能力有明显加强。且上下文长度可以达到 100 万 token，远远超出 GPT-4 的 12.8 万 token。
Gemini 的中文能力更是惊艳，在中文测试中，Gemini Pro 和 Advanced 双双超越 GPT-4o，分别排在第一、第二位。
此外，在 Hard Prompts 测试中，Gemini 同样名列前茅。在 Hard Prompts 测试中，大模型需要面对那些更具挑战性的问题，Gemini 1.5 Pro 在这一测试中排名第二，仅次于 GPT-4o.
从大模型置信区间（Confidence Intervals）来看，Gemini 的测试结果也名列前茅。
值得一提的是，两周前，在 Google Gemini 更新撞档 GPT-4o 发布时。Gemini 因为羸弱的能力几乎引来了群嘲。根据多家科技博客的测评，即使谷歌已经对 1.5 Pro 进行了数月的改进，但从常识推理到多模态能力和代码能力，仍然无法与 OpenAI 最新的 GPT-4o 模型相媲美。唯一亮点就是更大的上下文窗口。如今谷歌 Gemini 取得了如此神速的进步，显示出 AI 界届黄埔军校仍然有深厚的技术底蕴。
