刚刚，马斯克开源Grok 2.5：中国公司才是xAI最大对手

tayun

金磊 发自 凹非寺
量子位 | 公众号 QbitAI

就在刚刚，马斯克一手开源动作，引发了大伙儿的高度关注——

xAI现在正式开源Grok 2.5，Grok 3将在半年后开源。

其实早在本月初的时候，马斯克就公开表示过：

是时候开源Grok了，将会在下周。

虽然开源的时间已经超过了他说的节点，但也正如网友所说：

迟到总比没有的好。

42个文件，500个G

目前，Grok已经可以在HuggingFace中下载（链接附文末）：

xAI官方建议用SGLang来运行Grok 2，具体步骤如下。

第一步，下载权重文件。

你可以把 /local/grok-2 换成任何你喜欢的文件夹名字：

hfdownload xai-org/grok-2—local-dir /local/grok-2

官方表示，这个下载过程中可能会遇到一些错误，如果出错了，可以多试几次直到下载成功。

下载成功后，文件夹里应该有42个文件，大小约为500GB。

第二步，启动服务器。

xAI官方建议安装最新版的SGLang推理引擎（版本号 >= v0.5.1，地址为：https://github.com/sgl-project/sglang/）。

然后用下面的命令来启动推理服务器：

python3-m sglang.launch_server —model /local/grok-2—tokenizer-path /local/grok-2/tokenizer.tok.json —tp8—quantization fp8 —attention-backend triton

值得一提的是，这个模型需要8个GPU（每个都得有超过40GB的显存）才能运行。

最后一步，就是发送请求。

这是一个经过预训练的模型，所以我们需要确保使用的是正确的聊天模板：

python3 -m sglang.test.send_one —prompt “Human: Whatisyour name?<|separator|>\n\nAssistant:”

发送请求后，我们就应该能看到模型会回复它的名字了，即Grok。

那么xAI最新开源的Grok 2，到底是什么水平？

虽然其能力定然是不及当下的各种最先进的主流模型，但我们可以从去年xAI发布的Grok 2相关模型的技术博客中略知一二。

当时，它在LMSYS排行榜上，总体Elo分数已经超越了Claude和GPT-4。

并且在一系列学术基准测试中，Grok 2系列在研究生级别科学知识（GPQA）、一般知识（MMLU、MMLU-Pro）和数学竞赛问题（MATH）等领域达到了与其他前沿模型相竞争的性能水平。

不过有一说一，网友们虽然觉得马斯克开源的动作还挺好的，但也有不少诟病的言论。

例如在HuggingFace中，我们并没有看到xAI明确指出开源模型的参数权重。

因此网友们就只能根据以往的信息，猜测它是2690亿个参数的MoE模型。

其次，就是开源协议的问题，因为xAI在HuggingFace中的表述是这样的：

用网友的话来说，这基本上就是一个非商业许可的：

Mistral、Qwen、DeepSeek、微软，甚至是OpenAI都在用MIT或Apache 2.0许可来开源模型。

以及，也是最重要的一点，就是运行这个开源模型的条件：

谢谢，我现在只需要8块显存超40GB的GPU……

Two More Thing：

除了开源动作之外，马斯克还发布了Grok APP上的一些新功能。

这次的更新（v1.1.58）主要是聚焦在了AI视频生成，具体效果如下：

感兴趣的小伙伴可以在APP上体验喽。

以及马斯克还发了一段有趣的言论：

xAI很快就会超越除谷歌外的任何公司（然后也将超越谷歌），但中国公司才是最大对手。

参考链接：
[1]https://x.com/elonmusk/status/1959379349322313920
[2]https://x.com/HuggingPapers/status/1959345658361475564
[3]https://x.com/elonmusk/status/1959384678768447976
[4]https://x.com/elonmusk/status/1959388879888302363


来源：网易