产品简介
LLMChat 基于Python FastAPI和Flutter构建，支持ChatGPT及本地LLM模型如LLaMA，提供Web浏览、文本向量嵌入和PDF处理功能，适合需要高效AI聊天和信息管理的开发者和用户。
核心功能
- 集成ChatGPT和本地LLM模型（LlamaCpp/Exllama）
- Web浏览与DuckDuckGo信息检索
- 文本和PDF文件向量嵌入
- 实时WebSocket聊天通信
- 自动对话摘要与向量存储
快速开始
- 克隆仓库：git clone --recurse-submodules https://github.com/c0sogi/llmchat.git
- 切换到项目目录：cd LLMChat
- 创建并配置.env环境文件（参考.env-sample）
- 使用docker-compose启动服务：docker-compose -f docker-compose-local.yaml up
- 在浏览器中访问http://localhost:8000/chat
界面预览
与其他方案对比
| 对比项 | LLMChat | 同类方案 |
|---|---|---|
| 本地模型支持 | 集成LlamaCpp和Exllama，支持4-bit量化本地运行 | 通常仅支持云端API调用 |
| 部署复杂度 | Docker一键部署，全栈自动化 | 可能需要手动配置前端和后端 |
| 功能扩展性 | 支持向量嵌入、Web浏览和自动摘要 | 可能仅限基础聊天功能 |
适合谁用
- 需要集成ChatGPT或本地LLM的开发者
- 希望本地运行LLaMA模型的研究人员
- 需要处理PDF文档和Web搜索的用户
下载与版本
当前最新版本为 v1.1.3.4.1，发布于 2023-07-03。支持 Windows、macOS、Linux。
⚠️ 注意：本项目仅提供源代码下载，不包含可直接运行的安装包（exe/dmg/apk 等。下载后需要自行编译构建才能使用，适合有一定开发经验的用户。如果你不熟悉编译流程，建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用，请遵守相关法律法规。
- 请尊重内容创作者版权，勿将下载内容用于商业或非法传播。
- 项目源码地址：https://github.com/c0sogi/LLMChat