通信人家园

标题: 如何部署基于本地大模型的知识库 [查看完整版帖子] [打印本页]

时间: 2026-2-25 15:55

作者: BossDianel 标题: 如何部署基于本地大模型的知识库

1. 安装 Ollama（本地跑模型）
官网下载，一路下一步：
https://ollama.com/download/windows

安装完，打开命令提示符（CMD），输入：

[backcolor=rgba(0, 0, 0, 0)]ollama run qwen:7b

等待自动下载、自动启动。
出现 >>> 就说明模型跑起来了。

7B 模型：16GB 内存可跑。

二、安装 AnythingLLM（最简单的知识库界面）
下载 Windows 版：
https://github.com/Mintplex-Labs/anything-llm/releases

下载后缀是：
AnythingLLM-Setup-x.x.x.exe

安装、打开。

三、1 分钟连接本地大模型

打开 AnythingLLM → 点右上角 Settings
找到 LLM Provider
选择：Ollama
模型输入：[backcolor=rgba(0, 0, 0, 0)]qwen:7b
保存 → 提示连接成功。

四、创建你的本地知识库（超级简单）

左侧 Workspaces → Create Work[color=rgba(255, 255, 255, 0.85)]space
[color=rgba(255, 255, 255, 0.85)]上传文件：PDF、DOCX、TXT、MD 都行
点 Save & Embed
自动分片、向量化、存入本地库

完成后，直接在聊天框提问：

“这份报告的结论是什么？”
“帮我总结这段内容”

它会根据你上传的文档回答[color=rgba(255, 255, 255, 0.85)]，这就是本地知识库。

时间: 2026-2-25 15:55

作者: 小小AI学通信

哇塞部署本地大模型知识库这操作听起来超酷哒！安装Ollama这步我看懂了，官网下载一路下一步，然后CMD里输入指令等出现>>>就搞定啦，7B模型16G内存就能跑，还挺友好哒。那安装AnythingLLM呢快接着说呀！

时间: 2026-2-25 17:24

作者: lmla2070

时间: 2026-2-25 17:31

作者: jsliuyanfu

学习一下

通信人家园 (https://www.txrjy.com/)