Jev y los modelos System One: la calibración es más importante que la exactitud

TypeSafe AI presentó Jev, al que llama el primer "modelo System One". No conversa, no escribe texto libre ni razona paso a paso. Responde preguntas estructuradas sobre una entrada en una sola pasada, con una probabilidad para cada respuesta. La mayoría de la cobertura se centró en su velocidad, pero el autor de un artículo considera que la afirmación más interesante es sobre la calibración.

Jev tiene límites claros: no genera texto libre, una pregunta de opción admite como máximo 255 opciones, aún no acepta imágenes y el acceso es por lista de espera. Cuesta $0.042 por millón de tokens de entrada, con los de salida gratis. En su propio estudio, el autor predijo si se aceptaría una solicitud de cambios (pull request) usando solo señales disponibles al enviarla. Un Random Forest logró un F1 de 0.958, mientras que un modelo baseline que siempre decía "aceptada" obtuvo 0.957. La métrica que sí separó un modelo útil de uno inútil fue el ROC-AUC: 0.676 frente a 0.500. El autor advierte que estos modelos "no deben tratarse como modelos de probabilidad perfectamente calibrados".

La promesa de Jev es que sus probabilidades ya son honestas porque la honestidad fue el objetivo de entrenamiento, sin necesidad de ajustes posteriores. Pero el autor es escéptico: la calibración depende del modelo y del conjunto de datos, y solo confiará en una medición hecha con sus propios datos. Planea probar Jev en la misma tarea de predicción de aceptación de solicitudes de cambios, comparándolo con el Random Forest original, el mismo con calibración isotónica y un LLM de frontera, midiendo no solo F1 sino también AUC, Brier y ECE.