网站目前提供公开开发集 100 题和 smoke 8 题,版本 2.0.0。 成绩仅用于队伍自行调试,不是正式测试成绩。
队伍登录令牌用于登录网站或调用评测 API。模型 API Key 是您的模型服务对评测请求的鉴权密钥, 提交后只保留在本次运行的进程内存中。
请提供已向组委会登记的 HTTPS API origin。模型服务实现
GET /healthz 与 POST /v1/predict,
两者均接收 Authorization: Bearer <模型 API Key>。
开发集图片需预先放在模型服务器上。健康检查与预测均使用协议 2.0;网站只发送题目、按顺序排列的图片编号、SHA-256 和作答约束,不发送图片 URL 或图片字节。模型服务按图片编号从本地 assets/ 读取图片。正式集采用相同的评测请求协议。
响应须返回
protocol_version、request_id、item_id、answer。
可参照 qwen_test_release/scripts/serve_api.py 实现。
先用 smoke 检查协议,再运行完整开发集。每队同时只能有一个运行; 每日额度以 UTC 日期重置,次数包含失败的提交。