通信人家园

标题: 普通消费者不用买 token，为什么不自己搭建本地大模型平台 [查看完整版帖子] [打印本页]

时间: 2026-6-21 14:17

作者: 让数据说话 标题: 普通消费者不用买 token，为什么不自己搭建本地大模型平台

普通消费者不用买 token，为什么不自己本地大模型平台。

自己搭建本地大模型平台：

Intel Ultra 5 245 处理器；
128GB DDR5 内存；
2TB PCIe Gen 5 M.2SSD；
GeForce RTX 5070 12GB GDDR7 (AI TOPS: 988)；

部署离线模型的好处是，不用花钱买 token，可以使用全球最先进的无阉割大模型的完整功能。

时间: 2026-6-21 14:18

作者: 让数据说话

处理器不用顶级的，内存和显卡，可以决定跑多大参数的模型。

时间: 2026-6-21 14:48

作者: 留白不留名

完全可以的
用自建NAS，用互联网厂的云盘或运营商的云盘是一样的道理
运营商这几年的很多动作无非是想把用户数据云端化，让用户离不开
FTTR是为了完全控制用户端的所有设备
运营商云盘为了让用户数据在可控框架内
Toke为了完全了解用户的使用习惯

时间: 2026-6-21 14:49

作者: shenchufeng

跑大模型要买顶配MacBook Pro，128gb统一内存，可以把90gb分配给显存

时间: 2026-6-21 14:53

作者: 让数据说话

shenchufeng 发表于 2026-6-21 14:49
跑大模型要买顶配MacBook Pro，128gb统一内存，可以把90gb分配给显存

NVIDIA RTX Spark 最高可提供1 petaflop AI算力，支持最高128GB统一内存，可用于本地运行大模型。

是目前算力最强的消费级 arm 芯片。

甩 Intel 几条街。

Intel处理器，跑 AI 本地模型太拉了。

时间: 2026-6-21 14:54

作者: cooper_19

有个小疑问哈～

不用花钱买 token，但离线的环境部署起来不用钱吗？

普通消费者有很大的生产性或者可增值的需求，愿意一次性投资吗？

时间: 2026-6-21 14:54

作者: 让数据说话

留白不留名发表于 2026-6-21 14:48
完全可以的
用自建NAS，用互联网厂的云盘或运营商的云盘是一样的道理
运营商这几年的很多动作无非是想把用 ...

国产模型，自带内容审查。包括 chatgpt 查内容，就是给厂商喂数据。

时间: 2026-6-21 14:55

作者: 让数据说话

本帖最后由让数据说话于 2026-6-21 14:56 编辑

shenchufeng 发表于 2026-6-21 14:49
跑大模型要买顶配MacBook Pro，128gb统一内存，可以把90gb分配给显存

Mac Mini，都用这个跑模型，成本稍微低一些。

时间: 2026-6-21 14:56

作者: 让数据说话

shenchufeng 发表于 2026-6-21 14:49
跑大模型要买顶配MacBook Pro，128gb统一内存，可以把90gb分配给显存

内存和存储的价格，都被 AI 炒飞了。

时间: 2026-6-21 14:59

作者: 让数据说话

本帖最后由让数据说话于 2026-6-21 14:59 编辑

cooper_19 发表于 2026-6-21 14:54
有个小疑问哈～

不用花钱买 token，但离线的环境部署起来不用钱吗？

算力是自己的，电脑基本人人都有，就看你跑多大参数的模型。

手机都能跑端侧模型。

几万块的电脑，人家是生产力工具。普通用户的需求当然低，投入就会少一些。

手机跑个几B的模型，都是可以的。

时间: 2026-6-21 15:02

作者: shenchufeng

a100显存大，但是买不到

时间: 2026-6-21 15:07

作者: shenchufeng

我听说华为的显卡显存大，要是跑个大模型估计没问题

时间: 2026-6-21 15:08

作者: taichow

速度慢，参数小效果不知如何。最后，就是电费和发热。

时间: 2026-6-21 15:19

作者: 让数据说话

shenchufeng 发表于 2026-6-21 15:02
a100显存大，但是买不到

消费级的显卡，显存都不大。

时间: 2026-6-21 15:31

作者: im2828

老百姓用大模型有啥用呢？我看到天天吹这个大模型，老百姓一般也用不到把

时间: 2026-6-21 18:10

作者: 老YAO

会自己搭建本地大模型平台的不是普通消费者

时间: 2026-6-21 22:12

作者: g600

你先本地跑个256B的大模型试试

时间: 2026-6-21 22:19

作者: 让数据说话

g600 发表于 2026-6-21 22:12
你先本地跑个256B的大模型试试

跑不了。

时间: 2026-6-21 22:20

作者: 让数据说话

im2828 发表于 2026-6-21 15:31
老百姓用大模型有啥用呢？我看到天天吹这个大模型，老百姓一般也用不到把

可以利用开源的模型，完成各种各样的生产力。

甚至拍 B片都不用真人。

时间: 2026-6-22 01:20

作者: yuxivv321

不错，就是这个思路

时间: 2026-6-22 08:50

作者: 无敌又洒脱

本地拥有一定的算力还是很有必要的！

时间: 2026-6-22 09:24

作者: hcf013502

这一套成本多少？能跑多大参数规模的大模型？

时间: 2026-6-22 10:16

作者: coffee198375

没必要。。。。

时间: 2026-6-22 10:33

作者: guoguo163cn

我们公司有自建的，但是还是买token，说白了就是自建的模型太小，太傻

时间: 2026-6-22 22:34

作者: 让数据说话

hcf013502 发表于 2026-6-22 09:24
这一套成本多少？能跑多大参数规模的大模型？

看显存，普通的30多B，Mac min 能 100多B。

128GB统一内存跑100B参数，没问题。

时间: 2026-6-23 07:08

作者: shenchufeng

让数据说话发表于 2026-6-22 22:34
看显存，普通的30多B，Mac min 能 100多B。

128GB统一内存跑100B参数，没问题。

macbook 128gb要5万多，如果买amd平台 128gb要2万5

时间: 2026-6-23 08:08

作者: lesgo

让数据说话发表于 2026-6-21 14:59
算力是自己的，电脑基本人人都有，就看你跑多大参数的模型。

手机都能跑端侧模型。

但是有能力有需求跑AI的普通人很少啊，至少比NAS用户少多了，你看NAS才卖了多少？

时间: 2026-6-23 10:14

作者: hcf013502

shenchufeng 发表于 2026-6-23 07:08
macbook 128gb要5万多，如果买amd平台 128gb要2万5

有点太贵了，而且这东西迭代得快吧，过两年可能就跟不上了，真不如买token

时间: 2026-6-23 14:28

作者: shenchufeng

hcf013502 发表于 2026-6-23 10:14
有点太贵了，而且这东西迭代得快吧，过两年可能就跟不上了，真不如买token

摩尔定律嘛，看你怎么理解了

时间: 2026-6-23 14:29

作者: shenchufeng

lesgo 发表于 2026-6-23 08:08
但是有能力有需求跑AI的普通人很少啊，至少比NAS用户少多了，你看NAS才卖了多少？

我买了一个叫拾光坞的NAS，只需要300元

时间: 2026-6-23 23:27

作者: 让数据说话

shenchufeng 发表于 2026-6-23 07:08
macbook 128gb要5万多，如果买amd平台 128gb要2万5

过了这波DDR/NAND涨价潮，供求关系有改变的话，大内存会普及。

时间: 2026-6-23 23:28

作者: 让数据说话

guoguo163cn 发表于 2026-6-22 10:33
我们公司有自建的，但是还是买token，说白了就是自建的模型太小，太傻

万亿参数的模型都有了。

时间: 2026-6-24 06:08

作者: shenchufeng

让数据说话发表于 2026-6-23 23:27
过了这波DDR/NAND涨价潮，供求关系有改变的话，大内存会普及。

我手里有4张16gb的ddr4内存和微星4槽主板，所以我内存64gb

时间: 2026-6-24 09:26

作者: guoguo163cn

让数据说话发表于 2026-6-23 23:28
万亿参数的模型都有了。

搭起来显卡成本太高，算上电费，还是买token，而且现在国内就智谱5还行，什么ds4.1我们觉得都比较傻

时间: 2026-6-24 22:46

作者: 让数据说话

guoguo163cn 发表于 2026-6-24 09:26
搭起来显卡成本太高，算上电费，还是买token，而且现在国内就智谱5还行，什么ds4.1我们觉得都比较傻

token太费了。

通信人家园 (https://www.txrjy.com/)