5 月 30 日消息,谷歌在 I / O 2024 開(kāi)發(fā)者大會(huì)上,宣布將 Gemini 1.5 Pro 上下文窗口增加至 200 萬(wàn)個(gè) tokens,那么 Gemini 1.5 Pro 性能究竟有多強(qiáng)悍?
根據(jù) LMSYS Org 公布的總排行榜對(duì)比,通過(guò) Arena Elo 系統(tǒng)的測(cè)量,Gemini-1.5-Pro-API-0514 和 Gemini-Advanced-0514 都接近 GPT-4o。
上述兩款模型在中文方面的表現(xiàn)也非常游戲,Gemini 1.5 Pro 在“hard prompts”類(lèi)別中也非常接近。