Y-Agent Studio

自动化添加单元测试

如何自动化分析日志,并将有问题的日志添加到单元测试

上一节中介绍如何自动化分析,接下来介绍如何将分析结果添加到单元测试中。

在单元测试中添加分类

  • 内容错误
  • 输出链接错误
  • 工具指令格式错误
  • 输出死循环错误
  • 自身缺少知识

以上仅作为示例,具体分类名称,可以根据您的需要自由创建。

将上一节的流程创建一个副本

将上一节的流程复制一份,命名为 自动化添加单元测试

将大模型节点 审核专家 的提示词改为:

你是一个评测专家。给定以下字典,一位客服基于input输出了output。你的任务是根据分类描述,思考和判断output属于哪一种分类,最终进行分类、给出原因理由、将这些内容按照工具要求,输出工具指令。

-------------------
{{batch.item}}
-------------------

# 分类描述
|cate_id|分类名称|分类的含义|
|-|-|-|
|90|内容错误|1.output和input的文档有冲突\n2.前后矛盾\n3.答非所问|
|70|输出链接错误|output中输出的http链接不存在于input中|
|76|工具指令格式错误|output没有按照input的提示词要求输出格式,缺少标点符号、特殊符号|
|72|输出死循环错误|output中出现不断重复的片段|
|95|自身缺少知识|用户问题需要用模型自身的基础知识(如概念验证、功能可行性常识)来辅助解读知识库内容,但output没有使用此类知识来确认或完善回答,导致响应不精确或潜在误导;或output编造了错误自身知识;或因缺乏基础简称-全称映射知识被迫推测作答。具体包括:\n- ​​编造错误自身知识​​:output忽略提示词要求,编造了知识库未提及的内容。\n- ​​验证知识缺乏​​:output仅基于知识库内容作答,但未使用模型应有的基础常识(如技术兼容性确认、常见限制)来验证知识库信息的适用性,导致回答虽合理但不完整。\n- ​​被迫推测映射​​:因缺乏简称-全称等映射知识,被迫通过上下文推测作答。|

先思考,上面的output是否存在分类描述中的问题,如果有问题,请使用add_case_unit工具添加到单元测试。

如果没有问题,则不要使用add_case_unit工具。

# 以下是工具介绍和指令。请注意,仅选择一个分类

注意:以上的 cate_id 是一个示例,请根据实际情况修改。

为模型配置工具

选择工具,添加一个 添加单元测试工具 。

然后调试提示词和工具描述,直到模型正确识别出分类,并生成工具指令。

How is this guide?

最后更新

京ICP备2025145222号-1     © Copyright 向量感知(北京)智能科技有限公司 YAFO 2025.