困难样本准确率
Jev
74.1%
djev
69.5%
在 220 个模糊案例中，Jev 的错误更少。
工作流简报 · JevBench v1.3.0
下一步更看重速度、图像，还是可信的置信度？
Jev 与 djev 都提供面向决策的接口，但它们更适合工作流中的不同环节。
djev 的基准延迟更低，并支持原生视觉输入；Jev 在困难样本和校准分数上更好。先看应用拿到答案后会做什么。
影响选择的实测数据
综合分接近，真正影响上线的指标却不同
JevBench 用同一组决策测试了两个系统。以下三个维度比综合排名更接近生产环境中的实际表现。
校准分数
Jev
82.7
djev
65.4
当阈值、拒答或升级处理依赖置信度时，这项指标尤其重要。
速度分数
Jev
83.3
djev
91.4
JevBench 环境中 djev 更快；还应在自己的地域和网络下复测。
按输入内容和后续动作来分流
先问：判断结果接下来可以触发什么？
01
请求里包含截图、图片或摄像头画面。
输入更适合 djevdjev 可直接处理视觉输入。Jev 接收文本或结构化文本，图片需要先转换成文字信息。
02
概率会决定是否退款、付款或限制账号。
先验证 Jev代码依赖置信度时，校准很关键。应保留人工复核路径，并用有标签的数据统计误批率。
03
判断很简单，但每毫秒都很重要。
在自己的系统里对测模型延迟只是端到端时间的一部分。对测时应固定输入、地域、并发和 p95 目标。
实际取舍
以置信度为先的托管路径，对比多模态快速路径。
Jev · 托管决策 API
适合输出会驱动软件动作的场景
围绕类型化决策和置信度进行集成，并通过自己的阈值策略验证是否可靠。
- 困难样本准确率和校准表现是此处的优势。
- 无需维护 GPU 集群或模型服务栈。
djev · 托管预览与社区实现
适合视觉输入或延迟优先的场景
原生图片和摄像头帧能省去上游转换步骤；但还需了解预览服务条款和部署方式。
- 托管预览和开源社区仓库是两个不同的产品。
- 上线前应确认预览价格和概率质量是否满足要求。
集成边界
选接口前，先核对这些差异。
- 输入
- Jev文本、JSON 对象或数组
- djev文本、图片、图片选项和摄像头画面
- 托管中位延迟
- JevJevBench 测得 0.65 秒
- djevJevBench 测得 0.24 秒
- 置信度
- Jev校准分数 82.7
- djev校准分数 65.4；托管预览文档称其为实验性
- 自行部署
- Jev托管 API
- djev社区 djev-dev 可自托管；托管服务另行提供
数据来源与范围
基准数字来自 JevBench v1.3.0，使用相同的 534 个决策样例。延迟和校准会随硬件、网络和服务版本变化，请用自己的样例验证。