需要快速搭建私有化 AI 知识库且要求多用户权限管理的企业团队首选,MIT 协议 + 桌面/Docker 双模式 + 任意模型接入降低了部署门槛,但 RAG 精度和 Agent 编排能力不及 Dify/FastGPT 等专业平台。
TL;DR
AnythingLLM 是 Mintplex Labs 出品的开源私有部署 LLM 平台,MIT 协议,主打"一站式 RAG 知识库 + Agent + 多用户权限管理"。桌面应用 / Docker 双部署模式,接入 OpenAI / Claude / Ollama / Azure 等任意模型,Workspaces 隔离不同知识库,内置向量数据库。适合需要私有化部署 AI 知识库且不写代码的团队。
适合:企业内网知识库、团队共享 AI 助手、需要多用户权限控制的私有化场景。不适合:需要复杂 Agent 编排(用 Dify / Langflow)、需要极致 RAG 召回精度(用 RAGFlow / FastGPT)、需要大规模并发生产服务。
核心能力
- 私有化部署:Docker / 桌面应用(Win/Mac/Linux),数据完全在内网
- Workspaces 知识库隔离:不同工作区独立向量库 + 文档 + 对话历史
- 多用户权限管理:管理员 / 用户 / 多工作区角色分配,适合团队使用
- 任意模型接入:OpenAI / Claude / Azure / Ollama / LM Studio / 本地模型
- 多向量数据库:内置 LanceDB,可选 Chroma / Pinecone / Weaviate / Qdrant
- 文档处理:PDF / Word / Excel / TXT / Markdown / 网页链接,自动切片 + 向量化
- Agent 能力:内置 Web 搜索 / RAG 搜索 / SQL 查询等工具调用
- 嵌入向量:支持自定义 embedding 模型,兼容 OpenAI / 本地嵌入
- API 接口:提供完整 REST API,可集成到外部系统
价格
| 方案 | 价格 | 核心功能 |
|---|---|---|
| 开源版 | $0 | 完整功能,MIT 协议,自托管 |
| Cloud | $30/月起 | 托管服务,免去运维,含团队协作 |
| Enterprise | 联系销售 | SSO / 审计日志 / 私有部署支持 |
价格信息基于 2026-07 官网,可能调整。
体验与评测(资料整理)
说明:本节基于官方文档与公开评测整理,非本站独立实测环境,具体数据请以官方为准。 亮点:
- Docker 部署极快,一条
docker-compose up起来就能用 - Workspaces 隔离设计实用,不同部门知识库互不干扰
- 接 Ollama 本地模型完全离线运行,数据不出内网
- 桌面应用适合个人用户,安装即用零配置
- 文档上传后自动切片 + 向量化,问答效果在通用场景下可接受
- 多用户权限管理是开源 RAG 平台中少有的完整实现
踩坑:
- 文档切片策略偏简单(固定长度),复杂表格 / 图文混排召回效果一般
- 大文件(100MB+ PDF)处理偶尔超时,需调超时参数
- Agent 能力有限,复杂工具链编排不如 Dify
- 向量库默认 LanceDB 在数据量大时查询变慢,建议切 Qdrant / Chroma
- UI 偶有卡顿,文档列表加载慢
- 中文文档的 OCR 需要额外配置,默认对扫描件支持有限
上手
- Docker 部署:
docker-compose up -d(官方提供 docker-compose.yml) - 首次访问
http://localhost:3001,创建管理员账号 - Settings → LLM Provider 配置模型(OpenAI API Key 或 Ollama 地址)
- 创建 Workspace → 上传文档(PDF/Word/TXT)
- 等待文档向量化完成,在 Chat 中开始问答
- Settings → Users 添加团队成员并分配工作区权限
对比
| 维度 | AnythingLLM | Dify | FastGPT | Langflow |
|---|---|---|---|---|
| 部署门槛 | 极低 | 中 | 中 | 中 |
| 多用户权限 | ✅ 完整 | ✅ | ✅ | ❌ |
| RAG 精度 | 中 | 高 | 高 | 中 |
| Agent 编排 | 基础 | 强 | 中 | 强(可视化) |
| 模型接入 | 丰富 | 丰富 | 丰富 | 丰富 |
| 桌面应用 | ✅ | ❌ | ❌ | ❌ |
| 协议 | MIT | Apache 2.0 | FastGPT Open | MIT |
避坑
- 切片策略默认偏简单:对结构化文档(表格/代码)效果差,可调 chunk size
- LanceDB 大数据量变慢:文档超过 1 万条建议切 Qdrant 或 Chroma
- 大文件超时:调整 Docker 超时配置,或拆分文档上传
- Ollama 连接:Docker 内访问宿主机 Ollama 需用
host.docker.internal - embedding 模型选择:中文场景建议用 bge-large-zh 而非默认 OpenAI embedding
- 不要当生产级 Agent 平台用:Agent 能力是辅助,复杂编排上 Dify
适合 / 不适合
- ✅ 企业内网私有化 AI 知识库
- ✅ 团队共享 AI 助手 + 多用户权限管理
- ✅ 接 Ollama 完全离线运行
- ✅ 个人桌面端快速体验 RAG
- ✅ 需要快速验证 RAG 概念的原型项目
- ❌ 需要复杂 Agent 工作流编排(用 Dify / Langflow)
- ❌ 需要极致 RAG 召回精度(用 RAGFlow / FastGPT)
- ❌ 大规模并发生产服务(架构未做高可用)
- ❌ 需要深度文档解析(复杂表格/公式/扫描件)
FAQ
Q: AnythingLLM 和 Dify 怎么选? A: AnythingLLM 更轻量,部署快、有桌面应用、多用户权限开箱即用,适合快速搭建团队知识库。Dify 功能更全面,Agent 编排、工作流、API 发布能力更强,适合需要构建复杂 AI 应用的团队。简单知识库选 AnythingLLM,复杂应用选 Dify。
Q: 可以完全离线使用吗? A: 可以。接 Ollama 本地模型 + 用本地 embedding 模型(如 bge-large-zh)+ 内置 LanceDB 向量库,整个系统完全离线运行,数据不出内网。适合数据敏感的企业场景。
Q: 免费开源版有什么限制? A: MIT 协议开源版功能完整,无用户数 / 文档数 / API 调用限制。Cloud 版和 Enterprise 版主要是托管服务和企业管理功能(SSO / 审计日志),功能层面开源版已够用。
Q: 支持中文文档吗? A: 支持,但效果取决于 embedding 模型。默认 OpenAI embedding 对中文尚可,追求精度建议切换 bge-large-zh 或 m3e 模型。OCR 扫描件需额外配置 Tesseract 或接入外部 OCR 服务。
相关阅读
RAGFlow · Flowise · Perplexity
来源
本文的价格、版本号与性能数据均参考以下官方渠道整理,可能随时间变动,请以官方实时信息为准。
