产品推荐 2026-07-28

local-LLM-with-RAG:本地文档智能问答工具(

本地运行大语言模型,智能检索文档回答问题。

开源软件跨平台工具

产品简介

local-LLM-with-RAG 这是一个本地运行大语言模型的工具,通过检索增强生成技术智能地基于您的文档回答问题。它保护数据隐私,无需云端服务,适合需要处理私人文档进行问答的研究人员和企业用户。

local-LLM-with-RAG 主界面

核心功能

  • 本地运行LLM,保护数据隐私
  • 支持多种文档格式(PDF、Word、PPT等)加载和检索
  • 智能代理RAG,模型自主决定搜索文档时机
  • 提供Streamlit Web UI,方便交互操作
  • 跨平台支持Windows、macOS和Linux

快速开始

  1. 第一步:克隆仓库到本地机器。
  2. 第二步:安装UV并创建虚拟环境,运行uv sync安装依赖。
  3. 第三步:运行命令uv run streamlit run interfaces/streamlit_app.py启动Web应用。

界面预览

local-LLM-with-RAG 界面截图

与其他方案对比

对比项local-LLM-with-RAG同类方案
模型兼容性推荐使用支持工具调用的Qwen系列模型(如qwen3.5:9b),确保智能RAG可靠运行。同类方案可能使用不支持工具调用的模型,导致RAG失败或效果差。
RAG方式采用智能代理RAG,由模型决定何时搜索文档,更灵活准确。固定RAG管道可能不够智能,容易遗漏相关文档。

适合谁用

  • 需要基于私人文档进行智能问答的研究人员
  • 希望本地处理敏感文档的企业用户
  • 测试和开发RAG应用的技术爱好者

下载与版本

当前最新版本为 main,发布于 。支持 Windows、macOS、Linux。

⚠️ 注意:本项目仅提供源代码下载,不包含可直接运行的安装包(exe/dmg/apk 等。下载后需要自行编译构建才能使用,适合有一定开发经验的用户。如果你不熟悉编译流程,建议寻找同类开箱即用的替代方案。

注意事项