定义：成本视角下的模型输出质量评估
在控制成本的语境下，评估模型输出质量并非单纯追求高准确率，而是平衡投入产出比。知识库问答系统由文档切分、向量检索、上下文注入和模型生成组成，其质量直接取决于资料覆盖度、切分粒度及检索排序效果。运营人员需明确，稳定的输出依赖于结构化的提示词模板，包含角色设定、任务目标、输入字段及失败处理机制。
- 成本口径包含订阅费、API费用、数据整理、提示词维护、人工复核及安全治理
- 质量取决于资料覆盖、切分粒度、检索排序和提示词约束
- 稳定模板需包含角色、任务、输入输出格式、禁止事项及引用规则
关键要点：执行路径与核心指标
面向预算敏感场景，执行评估前必须确认目标、约束条件及可验证指标。重点核对准确率、召回率和响应延迟，同时记录幻觉输出、数据外泄及版权不清等风险信号。低代码工具常以响应延迟作为进展判断依据，而将幻觉输出视为不可逾越的风险边界。
- 先确认目标、约束条件和可验证指标再开始评估
- 重点核对准确率、召回率、响应延迟三大核心指标
- 记录幻觉输出、数据外泄、版权不清等风险信号
实施步骤：风险控制与人工复核
大模型输出适合作为初稿和辅助判断，但涉及事实、价格、医疗、法律或财务内容时，必须保留人工复核环节。严禁将模型回答直接当作权威来源，需建立明确的不可直接采信清单。通过补充适用条件、风险边界和可执行的下一步，确保在控制成本的同时维持业务安全。
- 涉及事实、价格、法律等内容时必须保留人工复核
- 严禁把模型回答直接当作权威来源
- 需明确适用条件、风险边界和可执行的下一步