Cev 是一个单文件 C 语言实现的类型化决策引擎。它接收 state 和类型化问题,并行返回带概率的结构化决策——不聊天、不写代码、不需要 GPU。与 Jev API 完全兼容,快到可以在每次请求里直接调用。
立即开始 看性能对比Jev 证明了:路由、分流、客服分类这种决策问题,根本不需要聊天模型。Cev 把这个思路推到极致——不是按 token 计费的云 API,而是一个你可以塞进任何地方的静态二进制。
一个 .c 文件,只依赖 libc。不需要 Python、不需要运行时、不需要下载模型。编译出来约 20 KB。
热路径零 malloc。xoroshiro128+ 随机数、手写 JSON、一次 write() 系统调用刷出响应。
三种原语只会返回你 schema 里允许的值。幻觉不是"调没调好",而是根本不可能存在。
没有 $0.042/百万 token,没有限流,没有候补名单。跑在 5 美元 VPS、树莓派,或者直接内嵌进你自己的进程里。
一次请求里同时问 Choice、Score、Noul,Cev 一次性全部返回,和官方参考实现行为一致。
把随机 stub 换成真实分类器、规则引擎或本地小模型就行。HTTP 层和 API 接口完全不用动。
同一台机器、同样三个问题的工作负载。Cev 是 loopback 实测;Jev 数据来自官方公开宣传。
| Jev(云托管) | Cev(自托管) | |
|---|---|---|
| p50 延迟 | 70 – 500 ms | 0.085 ms |
| 加速比 | 1× | 约 1,000 – 5,000× |
| 单核吞吐 | 1,200 请求/分钟 | 5,000+ 请求/秒 |
| 每百万输入 token 成本 | $0.042 | $0.00 |
| 输出 token 计费 | 免费 | 无 token 概念 |
| 部署方式 | 仅云端 | 静态二进制 |
| 网络开销 | 公网往返 | loopback / 进程内 |
编译、运行、提问。API 结构和 Jev 完全兼容,改一个 URL 就能把现有客户端切过来。
# 编译 gcc -O3 -march=native -funroll-loops -o cev cev.c -lm # 运行(默认绑定 127.0.0.1:8765) ./cev 8765
# POST 一个 state + 类型化问题 curl -s http://127.0.0.1:8765/v1/decide -d '{ "state": "用户反馈: 平板 Q20 开机卡 logo, 重启两次无效", "questions": [ {"id":"category","type":"choice", "options":["硬件","软件","物流","退款"]}, {"id":"urgency","type":"score","min":1,"max":5}, {"id":"is_bug","type":"noul"} ] }'
# 返回 — 类型化、并行、schema 锁定 { "results": [ {"id":"category", "type":"choice", "value":"硬件", "probabilities":{"硬件":0.63,"软件":0.21}, "confidence":0.63}, {"id":"urgency", "type":"score", "value":3.69, "confidence":0.97}, {"id":"is_bug", "type":"noul", "value":0.79} ], "latency_ms": 0.085 }