近日,随着新一代大语言模型(LLM)的一波更新,开源大模型再次成为了热门讨论话题。软件工程师、自媒体 Rohan Paul 发现了一个惊人的现象:Design Arena 排行榜上排名前十几位开源 AI 模型全部来自中国。
Design Arena 是目前全球最大规模的众包 AI 生成设计 Benchmark 平台,它的核心机制是让真实的人类用户进行评测,基于 Elo Rating(类似于国际象棋评分体系)等级分制度进行模型对战。
用户在平台上会被随机展示两段由不同模型生成的回答,然后进行投票选择「哪一个更好」。每一次投票都会影响对应模型的 Elo 分数,进而形成动态的排行榜。Elo 核心原理是,高分选手击败低分选手,得分会很少,而低分选手爆冷战胜高分选手时,得分会很多。因此用对弈的角度来看的话,这是一个相对公平、符合认知的评分系统。