AnythingLLM
一体化私有 AI 助手与 RAG 平台，支持文档与知识库问答
简介
AnythingLLM 是私有 AI 助手平台，支持 RAG、智能体和多用户工作区。其 Generic OpenAI LLM 供应商可连接任意 OpenAI 兼容接口（包括 TokenMix），使你能在私有基础设施中使用 Claude、GPT-5 或 Qwen。还需配置 Generic OpenAI Embedder，AnythingLLM 才能为文档建立索引以支持 RAG。
前置条件
使用 Docker 自托管 AnythingLLM：
docker pull mintplexlabs/anythingllm
docker run -d -p 3001:3001 \
-v anythingllm_storage:/app/server/storage \
--name anythingllm \
mintplexlabs/anythingllm
浏览器访问 http://localhost:3001，完成初始引导向导。
同时需要 TokenMix API Key：在 tokenmix.ai → 控制台 → API Keys 中创建。
配置步骤
步骤 1 — 打开 LLM 设置
在 AnythingLLM 中，点击左下角 设置（齿轮图标）→ AI 供应商 → LLM。
步骤 2 — 选择 Generic OpenAI 作为 LLM 供应商
在供应商列表中选择 Generic OpenAI。
步骤 3 — 填写 LLM 连接信息
| 字段 | 值 |
|---|---|
| Base URL | https://api.tokenmix.ai/v1 |
| API Key | 你的 TokenMix 密钥（sk-tm-…） |
| Model Name | 例如 claude-sonnet-4.6 |
| Token 上下文窗口 | 按模型填写（Claude Sonnet 填 200000） |
点击 保存更改。
步骤 4 — 配置 Embedding 供应商
仍在 设置 → AI 供应商 中，点击 Embedder。
选择 Generic OpenAI 作为 Embedder，填写：
| 字段 | 值 |
|---|---|
| Base URL | https://api.tokenmix.ai/v1 |
| API Key | 你的 TokenMix 密钥（sk-tm-…） |
| Model Name | 例如 text-embedding-3-large |
点击 保存更改。
步骤 5 — 创建工作区并上传文档
返回主界面，新建 工作区，上传文档（PDF、Word、TXT 等）。AnythingLLM 将使用步骤 4 中配置的 Embedding 模型为文档建立索引。
索引完成后，即可使用步骤 3 中配置的 LLM 与文档对话。
验证
在工作区发送一条消息，收到引用文档内容的正常回复，说明 LLM 和 Embedder 均已通过 TokenMix 正常工作。
在 TokenMix 控制台 → 使用记录 中可确认聊天和嵌入请求均已记录。
常见问题
Q: 保存后 AnythingLLM 显示「无法连接到 LLM 供应商」。
A: 确认 Base URL 精确为 https://api.tokenmix.ai/v1（无尾部斜杠），API Key 以 sk-tm- 开头。同时确认 TokenMix 账户余额为正。
Q: TokenMix 提供哪些 Embedding 模型？
A: 访问 tokenmix.ai → 模型，按 Embedding 类型筛选，将 short_id（如 text-embedding-3-large）填入 Embedder 的 Model Name 字段。Embedding 模型需与聊天模型不同。
Q: 能为每个工作区使用不同的 LLM 模型吗？ A: 默认情况下全局 LLM 设置应用于所有工作区。AnythingLLM Pro/Cloud 版支持工作区级别的模型覆盖；开源版则通过修改全局设置切换模型。