对回答内容评分
如何使用评分接口,对回答结果进行打分标记。
针对大模型回答的内容,我们需要人工干预判断大模型回答好坏,并且能在日志中记录评价分数,方便做数据积累和分析。
评价打分的实际应用场景一般在系统外完成,因此这部分功能我们仅提供相关api接口,需要由实际外部应用调用集成。
评分流程:
用户输入问题,调用一个流程 流程执行成功后,把结果展示给用户 用户对结果评价打分
评分标准
我们定义了三个标准。
回答非常好:10分
回答有缺陷:5分
回答错误:0分
调用流程说明
接口:/api/workflow/shareinfo/run
请求方式:POST
授权方式:使用流程的api_key授权,无需token授权
输入参数
| 参数 | 说明 |
|---|---|
| id | 要执行的工作流程id |
| inputs | 输入参数,此参数比较特殊,需要根据流程配置的输入组装json |
| api_key | 流程对应的分享的api_key密钥 |
inputs 参数特殊案例:
json.dumps({"user_input":user_input,"其他参数":xxxx},ensure_ascii=False)
user_input:流程开始节点定义的默认参数
如果流程开始节点还定义了其他参数,需要拼接到json。
返回结果中的相关参数说明:
| 参数 | 说明 |
|---|---|
| log_id | 流程执行结果的日志id |
| inputs | 用户的输入的相关参数 |
| human_messages | 通常为展示给用户的多条回答内容,其中记录了回答id,message消息内容 |
如下为具体响应的案例(忽略了部分json内容):
{
"inputs": {
"user_input": 1
},
"human_messages": [
{
"id": "9464d39e-daa1-4483-8231-31568bbbec14",
"message": "我是2号助理,您好!请问您需要帮助解决什么问题呢?",
"from_role": "大模型_2",
"to_role": "human",
"send_time": "2025-09-26 12:06:01.168875"
}
],
"log_id": 178606
}
调用评分接口说明
接口:/api/workflow/rating_scor
请求方式:POST
授权方式:使用流程的api_key授权,无需token授权
输入参数
| 参数 | 说明 |
|---|---|
| log_id | 流程日志id,流程执行结果中的log_id字段 |
| score | 实际评分数值 |
| amend_answer | 修正后的答案,用于用户可以输入正确答案 |
| answer_id | 流程执行结果,回答内容human_messages中对应的消息id |
| api_key | 流程对应的分享的api_key密钥 |
返回结果:
状态码:200
成功消息{"result": "success"}
其他状态码均为失败消息
How is this guide?
最后更新