产品简介
local-LLM-with-RAG 这是一个本地运行大语言模型的工具,通过检索增强生成技术智能地基于您的文档回答问题。它保护数据隐私,无需云端服务,适合需要处理私人文档进行问答的研究人员和企业用户。

核心功能
- 本地运行LLM,保护数据隐私
- 支持多种文档格式(PDF、Word、PPT等)加载和检索
- 智能代理RAG,模型自主决定搜索文档时机
- 提供Streamlit Web UI,方便交互操作
- 跨平台支持Windows、macOS和Linux
快速开始
- 第一步:克隆仓库到本地机器。
- 第二步:安装UV并创建虚拟环境,运行uv sync安装依赖。
- 第三步:运行命令uv run streamlit run interfaces/streamlit_app.py启动Web应用。
界面预览

与其他方案对比
| 对比项 | local-LLM-with-RAG | 同类方案 |
|---|---|---|
| 模型兼容性 | 推荐使用支持工具调用的Qwen系列模型(如qwen3.5:9b),确保智能RAG可靠运行。 | 同类方案可能使用不支持工具调用的模型,导致RAG失败或效果差。 |
| RAG方式 | 采用智能代理RAG,由模型决定何时搜索文档,更灵活准确。 | 固定RAG管道可能不够智能,容易遗漏相关文档。 |
适合谁用
- 需要基于私人文档进行智能问答的研究人员
- 希望本地处理敏感文档的企业用户
- 测试和开发RAG应用的技术爱好者
下载与版本
当前最新版本为 main,发布于 。支持 Windows、macOS、Linux。
⚠️ 注意:本项目仅提供源代码下载,不包含可直接运行的安装包(exe/dmg/apk 等。下载后需要自行编译构建才能使用,适合有一定开发经验的用户。如果你不熟悉编译流程,建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用,请遵守相关法律法规。
- 请尊重内容创作者版权,勿将下载内容用于商业或非法传播。
- 项目源码地址:https://github.com/amscotti/local-LLM-with-RAG