Y-Agent Studio

对回答内容评分

如何使用评分接口,对回答结果进行打分标记。

针对大模型回答的内容,我们需要人工干预判断大模型回答好坏,并且能在日志中记录评价分数,方便做数据积累和分析。

评价打分的实际应用场景一般在系统外完成,因此这部分功能我们仅提供相关api接口,需要由实际外部应用调用集成。

评分流程:

用户输入问题,调用一个流程 流程执行成功后,把结果展示给用户 用户对结果评价打分

评分标准

我们定义了三个标准。

回答非常好:10分

回答有缺陷:5分

回答错误:0分

调用流程说明

接口:/api/workflow/shareinfo/run

请求方式:POST

授权方式:使用流程的api_key授权,无需token授权

输入参数

参数说明
id要执行的工作流程id
inputs输入参数,此参数比较特殊,需要根据流程配置的输入组装json
api_key流程对应的分享的api_key密钥

inputs 参数特殊案例: json.dumps({"user_input":user_input,"其他参数":xxxx},ensure_ascii=False) user_input:流程开始节点定义的默认参数 如果流程开始节点还定义了其他参数,需要拼接到json。

返回结果中的相关参数说明:

参数说明
log_id流程执行结果的日志id
inputs用户的输入的相关参数
human_messages通常为展示给用户的多条回答内容,其中记录了回答id,message消息内容

如下为具体响应的案例(忽略了部分json内容):

{
    "inputs": {
        "user_input": 1
    },
    "human_messages": [
        {
            "id": "9464d39e-daa1-4483-8231-31568bbbec14",
            "message": "我是2号助理,您好!请问您需要帮助解决什么问题呢?",
            "from_role": "大模型_2",
            "to_role": "human",
            "send_time": "2025-09-26 12:06:01.168875"
        }
    ],
    "log_id": 178606
}

调用评分接口说明

接口:/api/workflow/rating_scor

请求方式:POST

授权方式:使用流程的api_key授权,无需token授权

输入参数

参数说明
log_id流程日志id,流程执行结果中的log_id字段
score实际评分数值
amend_answer修正后的答案,用于用户可以输入正确答案
answer_id流程执行结果,回答内容human_messages中对应的消息id
api_key流程对应的分享的api_key密钥

返回结果: 状态码:200 成功消息{"result": "success"} 其他状态码均为失败消息

How is this guide?

最后更新

京ICP备2025145222号-1     © Copyright 向量感知(北京)智能科技有限公司 YAFO 2025.