跳到主内容
AIHO 2026 全新改版上线
TOOL · AGENT #08/11Agent 平台
AnythingLLM

AnythingLLM

开源私有部署 LLM 平台,一站式 RAG + Agent + 多用户

agent-platformopensourceself-hostragmulti-user
访问官网
能力
3
易用
4
性价比
5
中文
3
稳定
3
编辑结论 综合3.6/ 5

需要快速搭建私有化 AI 知识库且要求多用户权限管理的企业团队首选,MIT 协议 + 桌面/Docker 双模式 + 任意模型接入降低了部署门槛,但 RAG 精度和 Agent 编排能力不及 Dify/FastGPT 等专业平台。

01 / 02深度解读

TL;DR

AnythingLLM 是 Mintplex Labs 出品的开源私有部署 LLM 平台,MIT 协议,主打"一站式 RAG 知识库 + Agent + 多用户权限管理"。桌面应用 / Docker 双部署模式,接入 OpenAI / Claude / Ollama / Azure 等任意模型,Workspaces 隔离不同知识库,内置向量数据库。适合需要私有化部署 AI 知识库且不写代码的团队。

适合:企业内网知识库、团队共享 AI 助手、需要多用户权限控制的私有化场景。不适合:需要复杂 Agent 编排(用 Dify / Langflow)、需要极致 RAG 召回精度(用 RAGFlow / FastGPT)、需要大规模并发生产服务。

核心能力

  • 私有化部署:Docker / 桌面应用(Win/Mac/Linux),数据完全在内网
  • Workspaces 知识库隔离:不同工作区独立向量库 + 文档 + 对话历史
  • 多用户权限管理:管理员 / 用户 / 多工作区角色分配,适合团队使用
  • 任意模型接入:OpenAI / Claude / Azure / Ollama / LM Studio / 本地模型
  • 多向量数据库:内置 LanceDB,可选 Chroma / Pinecone / Weaviate / Qdrant
  • 文档处理:PDF / Word / Excel / TXT / Markdown / 网页链接,自动切片 + 向量化
  • Agent 能力:内置 Web 搜索 / RAG 搜索 / SQL 查询等工具调用
  • 嵌入向量:支持自定义 embedding 模型,兼容 OpenAI / 本地嵌入
  • API 接口:提供完整 REST API,可集成到外部系统

价格

方案价格核心功能
开源版$0完整功能,MIT 协议,自托管
Cloud$30/月起托管服务,免去运维,含团队协作
Enterprise联系销售SSO / 审计日志 / 私有部署支持

价格信息基于 2026-07 官网,可能调整。

体验与评测(资料整理)

说明:本节基于官方文档与公开评测整理,非本站独立实测环境,具体数据请以官方为准。 亮点:

  • Docker 部署极快,一条 docker-compose up 起来就能用
  • Workspaces 隔离设计实用,不同部门知识库互不干扰
  • 接 Ollama 本地模型完全离线运行,数据不出内网
  • 桌面应用适合个人用户,安装即用零配置
  • 文档上传后自动切片 + 向量化,问答效果在通用场景下可接受
  • 多用户权限管理是开源 RAG 平台中少有的完整实现

踩坑:

  • 文档切片策略偏简单(固定长度),复杂表格 / 图文混排召回效果一般
  • 大文件(100MB+ PDF)处理偶尔超时,需调超时参数
  • Agent 能力有限,复杂工具链编排不如 Dify
  • 向量库默认 LanceDB 在数据量大时查询变慢,建议切 Qdrant / Chroma
  • UI 偶有卡顿,文档列表加载慢
  • 中文文档的 OCR 需要额外配置,默认对扫描件支持有限

上手

  1. Docker 部署:docker-compose up -d(官方提供 docker-compose.yml)
  2. 首次访问 http://localhost:3001,创建管理员账号
  3. Settings → LLM Provider 配置模型(OpenAI API Key 或 Ollama 地址)
  4. 创建 Workspace → 上传文档(PDF/Word/TXT)
  5. 等待文档向量化完成,在 Chat 中开始问答
  6. Settings → Users 添加团队成员并分配工作区权限

对比

维度AnythingLLMDifyFastGPTLangflow
部署门槛极低
多用户权限✅ 完整
RAG 精度
Agent 编排基础强(可视化)
模型接入丰富丰富丰富丰富
桌面应用
协议MITApache 2.0FastGPT OpenMIT

避坑

  • 切片策略默认偏简单:对结构化文档(表格/代码)效果差,可调 chunk size
  • LanceDB 大数据量变慢:文档超过 1 万条建议切 Qdrant 或 Chroma
  • 大文件超时:调整 Docker 超时配置,或拆分文档上传
  • Ollama 连接:Docker 内访问宿主机 Ollama 需用 host.docker.internal
  • embedding 模型选择:中文场景建议用 bge-large-zh 而非默认 OpenAI embedding
  • 不要当生产级 Agent 平台用:Agent 能力是辅助,复杂编排上 Dify

适合 / 不适合

  • ✅ 企业内网私有化 AI 知识库
  • ✅ 团队共享 AI 助手 + 多用户权限管理
  • ✅ 接 Ollama 完全离线运行
  • ✅ 个人桌面端快速体验 RAG
  • ✅ 需要快速验证 RAG 概念的原型项目
  • ❌ 需要复杂 Agent 工作流编排(用 Dify / Langflow)
  • ❌ 需要极致 RAG 召回精度(用 RAGFlow / FastGPT)
  • ❌ 大规模并发生产服务(架构未做高可用)
  • ❌ 需要深度文档解析(复杂表格/公式/扫描件)

FAQ

Q: AnythingLLM 和 Dify 怎么选? A: AnythingLLM 更轻量,部署快、有桌面应用、多用户权限开箱即用,适合快速搭建团队知识库。Dify 功能更全面,Agent 编排、工作流、API 发布能力更强,适合需要构建复杂 AI 应用的团队。简单知识库选 AnythingLLM,复杂应用选 Dify。

Q: 可以完全离线使用吗? A: 可以。接 Ollama 本地模型 + 用本地 embedding 模型(如 bge-large-zh)+ 内置 LanceDB 向量库,整个系统完全离线运行,数据不出内网。适合数据敏感的企业场景。

Q: 免费开源版有什么限制? A: MIT 协议开源版功能完整,无用户数 / 文档数 / API 调用限制。Cloud 版和 Enterprise 版主要是托管服务和企业管理功能(SSO / 审计日志),功能层面开源版已够用。

Q: 支持中文文档吗? A: 支持,但效果取决于 embedding 模型。默认 OpenAI embedding 对中文尚可,追求精度建议切换 bge-large-zh 或 m3e 模型。OCR 扫描件需额外配置 Tesseract 或接入外部 OCR 服务。

相关阅读

RAGFlow · Flowise · Perplexity

来源

本文的价格、版本号与性能数据均参考以下官方渠道整理,可能随时间变动,请以官方实时信息为准。

02 / 02类似工具推荐