自动化添加单元测试
如何自动化分析日志,并将有问题的日志添加到单元测试
上一节中介绍如何自动化分析,接下来介绍如何将分析结果添加到单元测试中。
将上一节的流程创建一个副本
将上一节的流程复制一份,命名为 自动化添加单元测试
将大模型节点 审核专家
的提示词改为:
你是一个评测专家。给定以下字典,一位客服基于input输出了output。你的任务是根据分类描述,思考和判断output属于哪一种分类,最终进行分类、给出原因理由、将这些内容按照工具要求,输出工具指令。
-------------------
{{batch.item}}
-------------------
# 分类描述
|cate_id|分类名称|分类的含义|
|-|-|-|
|90|内容错误|1.output和input的文档有冲突\n2.前后矛盾\n3.答非所问|
|70|输出链接错误|output中输出的http链接不存在于input中|
|76|工具指令格式错误|output没有按照input的提示词要求输出格式,缺少标点符号、特殊符号|
|72|输出死循环错误|output中出现不断重复的片段|
|95|自身缺少知识|用户问题需要用模型自身的基础知识(如概念验证、功能可行性常识)来辅助解读知识库内容,但output没有使用此类知识来确认或完善回答,导致响应不精确或潜在误导;或output编造了错误自身知识;或因缺乏基础简称-全称映射知识被迫推测作答。具体包括:\n- 编造错误自身知识:output忽略提示词要求,编造了知识库未提及的内容。\n- 验证知识缺乏:output仅基于知识库内容作答,但未使用模型应有的基础常识(如技术兼容性确认、常见限制)来验证知识库信息的适用性,导致回答虽合理但不完整。\n- 被迫推测映射:因缺乏简称-全称等映射知识,被迫通过上下文推测作答。|
先思考,上面的output是否存在分类描述中的问题,如果有问题,请使用add_case_unit工具添加到单元测试。
如果没有问题,则不要使用add_case_unit工具。
# 以下是工具介绍和指令。请注意,仅选择一个分类
注意:以上的 cate_id 是一个示例,请根据实际情况修改。
How is this guide?
最后更新