企业级知识问答系统需用 BGE-M3 等开源嵌入模型 +ChromaDB/Qdrant 向量库，按业务逻辑切片文档，经重排（bge-reranker）和本地小模型生成答案，并加缓存、日志反馈与 fallback 机制。
用 Python 搭建企业级知识问答系统，核心是把非结构化文档（PDF、Word、网页等）转成向量，存进向量数据库，再通过语义相似度匹配用户问题——不是关键词搜索，而是“理解意思”后找最相关的答案。
一、选对向量数据库和嵌入模型
企业场景下推荐两个轻量但够用的组合：
- 向量数据库：ChromaDB（纯 Python、无需部署、支持持久化）或 Qdrant（本地 / 云部署都方便，性能更好）；避免直接上 Milvus（运维成本高）或 Pinecone（需网络 + 付费）。
- 嵌入模型：优先用 BGE-M3（中英双语、支持多粒度检索、免费开源）或 text2vec-large-chinese（国产、中文强、显存友好）。别用 OpenAI 的 text-embedding-ada-002（有网络依赖和费用风险）。
二、文档切片与向量化要“懂业务”
不是简单按字数切分，而是让每段能独立回答一个问题。例如合同文档，按“条款”切；产品手册，按“功能模块”切；会议纪要，按“议题”切。
- 用 LangChain 的 RecursiveCharacterTextSplitter，设置
chunk_size=512、chunk_overlap=64，再加自定义分割符如["nn", "n", "。", "；"]。 - 切完后过滤掉纯标题、页眉页脚、表格乱码；可加简单规则：长度<50 字符或含“第 X 章”但无实质内容的块直接丢弃。
三、构建问答链：检索 + 重排 + 生成
单纯向量检索容易召回不精准片段，必须加两步优化：
立即学习“Python 免费学习笔记（深入）”；
- 重排（Rerank）：用 bge-reranker-base 对初筛出的 Top10 结果重新打分，提升相关性排序。
- 上下文增强 ：把重排后的前 3 段拼成 context，喂给本地 大模型（如 Qwen2-1.5B-Instruct 或 Phi-3-mini），提示词明确要求“只基于提供的材料回答，不确定就答不知道”。
- 不建议直接调用 GPT 类 API 做生成——企业数据不出内网、成本不可控、响应延迟高。
四、上线前必须做的三件事
否则上线即翻车：
- 加缓存层：相同问题 30 分钟内重复出现，直接返回上次答案（用 Redis 或内存字典缓存 query→answer 映射）。
- 记录日志 + 人工反馈入口：记录原始问题、召回片段、最终回答，页面加个“答得不准？”按钮，点击后把这条样本进标注队列，用于后续微调重排或微调小模型。
- 设 fallback 机制：当最高相似度<0.6 或 重排后得分全<0.3，自动触发关键词检索（如 jieba 分词 +TF-IDF）或返回预设兜底话术，不抛错、不空回。
基本上就这些。不复杂但容易忽略细节——向量问答不是搭积木，关键是让每一步都贴着业务文档结构和用户真实提问习惯走。
