通信人家园

标题: 普通消费者不用买 token，为什么不自己搭建本地大模型平台 [查看完整版帖子] [打印本页]

时间: 2026-6-21 14:17

作者: 让数据说话 标题: 普通消费者不用买 token，为什么不自己搭建本地大模型平台

普通消费者不用买 token，为什么不自己本地大模型平台。

自己搭建本地大模型平台：

Intel Ultra 5 245 处理器；
128GB DDR5 内存；
2TB PCIe Gen 5 M.2SSD；
GeForce RTX 5070 12GB GDDR7 (AI TOPS: 988)；

部署离线模型的好处是，不用花钱买 token，可以使用全球最先进的无阉割大模型的完整功能。

时间: 2026-6-21 14:18

作者: 让数据说话

处理器不用顶级的，内存和显卡，可以决定跑多大参数的模型。

时间: 2026-6-21 14:48

作者: 留白不留名

完全可以的
用自建NAS，用互联网厂的云盘或运营商的云盘是一样的道理
运营商这几年的很多动作无非是想把用户数据云端化，让用户离不开
FTTR是为了完全控制用户端的所有设备
运营商云盘为了让用户数据在可控框架内
Toke为了完全了解用户的使用习惯

时间: 2026-6-21 14:49

作者: shenchufeng

跑大模型要买顶配MacBook Pro，128gb统一内存，可以把90gb分配给显存

时间: 2026-6-21 14:53

作者: 让数据说话

shenchufeng 发表于 2026-6-21 14:49
跑大模型要买顶配MacBook Pro，128gb统一内存，可以把90gb分配给显存

NVIDIA RTX Spark 最高可提供1 petaflop AI算力，支持最高128GB统一内存，可用于本地运行大模型。

是目前算力最强的消费级 arm 芯片。

甩 Intel 几条街。

Intel处理器，跑 AI 本地模型太拉了。

时间: 2026-6-21 14:54

作者: cooper_19

有个小疑问哈～

不用花钱买 token，但离线的环境部署起来不用钱吗？

普通消费者有很大的生产性或者可增值的需求，愿意一次性投资吗？

时间: 2026-6-21 14:54

作者: 让数据说话

留白不留名发表于 2026-6-21 14:48
完全可以的
用自建NAS，用互联网厂的云盘或运营商的云盘是一样的道理
运营商这几年的很多动作无非是想把用 ...

国产模型，自带内容审查。包括 chatgpt 查内容，就是给厂商喂数据。

时间: 2026-6-21 14:55

作者: 让数据说话

本帖最后由让数据说话于 2026-6-21 14:56 编辑

shenchufeng 发表于 2026-6-21 14:49
跑大模型要买顶配MacBook Pro，128gb统一内存，可以把90gb分配给显存

Mac Mini，都用这个跑模型，成本稍微低一些。

时间: 2026-6-21 14:56

作者: 让数据说话

shenchufeng 发表于 2026-6-21 14:49
跑大模型要买顶配MacBook Pro，128gb统一内存，可以把90gb分配给显存

内存和存储的价格，都被 AI 炒飞了。

时间: 2026-6-21 14:59

作者: 让数据说话

本帖最后由让数据说话于 2026-6-21 14:59 编辑

cooper_19 发表于 2026-6-21 14:54
有个小疑问哈～

不用花钱买 token，但离线的环境部署起来不用钱吗？

算力是自己的，电脑基本人人都有，就看你跑多大参数的模型。

手机都能跑端侧模型。

几万块的电脑，人家是生产力工具。普通用户的需求当然低，投入就会少一些。

手机跑个几B的模型，都是可以的。

时间: 2026-6-21 15:02

作者: shenchufeng

a100显存大，但是买不到

时间: 2026-6-21 15:07

作者: shenchufeng

我听说华为的显卡显存大，要是跑个大模型估计没问题

时间: 2026-6-21 15:08

作者: taichow

速度慢，参数小效果不知如何。最后，就是电费和发热。

时间: 2026-6-21 15:19

作者: 让数据说话

shenchufeng 发表于 2026-6-21 15:02
a100显存大，但是买不到

消费级的显卡，显存都不大。

时间: 2026-6-21 15:31

作者: im2828

老百姓用大模型有啥用呢？我看到天天吹这个大模型，老百姓一般也用不到把

时间: 2026-6-21 18:10

作者: 老YAO

会自己搭建本地大模型平台的不是普通消费者

时间: 2026-6-21 22:12

作者: g600

你先本地跑个256B的大模型试试

时间: 2026-6-21 22:19

作者: 让数据说话

g600 发表于 2026-6-21 22:12
你先本地跑个256B的大模型试试

跑不了。

时间: 2026-6-21 22:20

作者: 让数据说话

im2828 发表于 2026-6-21 15:31
老百姓用大模型有啥用呢？我看到天天吹这个大模型，老百姓一般也用不到把

可以利用开源的模型，完成各种各样的生产力。

甚至拍 B片都不用真人。

时间: 2026-6-22 01:20

作者: yuxivv321

不错，就是这个思路

通信人家园 (https://www.txrjy.com/)