Note: This page does not support English, using the default language version
大模型必须一个 token 接一个 token 地往外吐字吗？
9 月 15 日，前 OpenAI 研究员 Diogo Almeida 公布了他悄悄做了两年的项目：Jev，一个不生成自然语言的模型。它读进一段复杂的业务信息，吐出来的只有三类东西——选择、评分、是或否的概率。
这是我觉得值得认真聊的一个发布，原因不是它有多强，而是它问了一个很实在的问题。
Jev 出自 Almeida 创办的公司 TypeSafe AI，同期披露完成 4000 万美元种子轮融资，投后估值约 2 亿美元。官方把它归进一类新说法：System One 模型。
它的输出被限定为三种原语：
配套的训练方法叫 RLCD（Reinforcement Learning for Calibrated Decisions）。它优化的不再是「回答讨不讨人喜欢」，而是校准度：模型说「我有 90% 把握」时，统计上大约就该有 90% 的预测是对的。
公司给它的定位很好玩——smart if-statement，一句能理解语义的概率判断。为了证明延迟够低，他们甚至放了一段 Jev 玩《毁灭战士》的演示，调用频率大约每秒 10 次，一小时游戏成本约 7 美元。
过去两年，大语言模型成了 AI 应用里的万能接口。要分类？问 GPT。要审核？问 GPT。要抽字段？问 GPT。Agent 不知道下一步干什么，再问一次 GPT。
方便，但也浪费：我们在用一个「擅长生成任何东西」的模型，去干大量其实只需要「做个判断」的活。
我得说清楚，判别模型不是新东西，分类器、reranker、reward model 都比生成模型便宜得多。TypeSafe 押的是更进一步的一件事：能不能把过去高度专用的判别模型，做成一个通用的基础模型——既读得懂复杂文本和程序状态，又能跨任务做判断、给出可靠概率，同时把成本和延迟压到远低于生成模型。
如果这个假设成立，AI 软件会出现更清楚的分工：大模型继续负责开放生成、复杂推理和长程规划；另一类模型埋进代码深处，每秒完成几十次分类、路由、检查。一个 Agent 的内部，不必每一步都调用最贵的那个模型。
这可能是让 Agent 真正便宜下来的路径之一——不用等推理芯片降价。
看数据时我留了个心眼，也建议你留。
官方说「快 193.6 倍、便宜 444.6 倍」，但这个数字来自他们自己设计的 workflow eval：4 个工作流、没有现实世界的标准答案，参考值是把 GPT-6 Astra 和 Fable 5.1 的预测概率取平均算出来的。TypeSafe 自己都承认，这属于现实中「偏高端」的收益，工作流还是自家团队做的，存在选择偏差。
「0% 幻觉和类型错误」也一样。更准确的说法是：输出空间被提前限定死了，所以它不可能吐出 schema 之外的字段。但选项只有 A、B、C 时，它保证不会说 D，不代表不会在 A、B、C 里选错。
还有一个关键问题：除了「新架构」「并行采样器」「RLCD」这几个名字，参数规模、backbone、预训练方式、训练数据，一个都没公开。它内部用了多少既有的 Transformer 和语言模型技术，现在判断不了。
所以我的态度是：方向值得看，结论先别急着下。
真正让我对这件事上心的，不是那些倍数，而是 Almeida 这个人。
他此前参与的是 InstructGPT 和 RLHF 的研究——把监督微调、人类偏好数据和强化学习拼在一起，让 GPT-3 更懂人话，后来 ChatGPT 走的也是这条路。OpenAI 在 GPT-4 的贡献者名单里，把他列在「Foundational RLHF and InstructGPT work」那一栏。
也就是说，他亲手参与推动的，是「让模型更会说话」这条路线；现在他反过来问：如果 AI 最终是要进到软件后台持续做判断，还有必要每次都先写一段文字，再让程序去解析吗？
这种「从自己参与的主流里往回看」的动作，往往比又一个榜单第一更值得留意。
对普通人来说，短期的变化可能只是「AI 客服响应快了一点」「风控误判少了一点」「一些 AI 功能突然变免费了」。但长期看，如果 Jev 这一类模型真能成立，AI 的成本结构会被重写一遍。
而我最想看的指标，其实不是「快多少倍」，而是它能覆盖多少原本必须交给前沿大模型的判断。倍数只是招式，覆盖面才是内功。
Loading comments...