Análisis de velocidad
Latencia medida en todas las ejecuciones de benchmark. P50 (mediana) y P95 (percentil 95) dan una imagen realista de la velocidad de respuesta bajo carga normal y máxima.
Puntuaciones de calidad
Cómo se sitúa este modelo frente al resto del campo en cada categoría de prompts, a partir de un ajuste por pares sobre los mismos prompts. La nota bruta del juez aparece debajo de cada número.
Tasa de victorias por categoría: con qué frecuencia este modelo vence a un modelo medio en un prompt de esa categoría. 50% es la media, no un suspenso. No es un porcentaje de aciertos.
Precios
Lo que pagas por millón de tokens al usar este modelo en Tokonomix, más una estimación para una conversación típica.
Tokens por segundo
Rendimiento en tokens por segundo, derivado de la latencia P50 medida. Más alto es mejor; las fluctuaciones reflejan la carga del lado del proveedor.
Estimado a partir de latencia P50 × 200 tokens de salida — el número absoluto depende de esta suposición; lo que importa es la tendencia.
Capacidades
Disponibilidad
Disponibilidad
Con qué frecuencia responde este modelo cuando lo llamamos — medido en solicitudes reales de API y pruebas en vivo durante los últimos 30 días. Esto es independiente de la calidad: estos números solo indican si el modelo responde, no qué tan buena es la respuesta.
Últimos 7 días
—
Últimos 30 días
100.0%
n=7
Tiempo de respuesta mediano
1,091ms
n=7
Basado en 387 mediciones en los últimos 30 días.
Detalles técnicos
Solo cuentan las llamadas reales a la API y las solicitudes de prueba en vivo — las sondas internas y las ejecuciones de referencia están excluidas.
Las llamadas con una clave API propia (BYOK) están excluidas: esos fallos son específicos de la clave, no una señal de inactividad del modelo.
Las llamadas fallidas NO se incluyen en las puntuaciones de calidad — la calidad se mide solo en respuestas exitosas. Disponibilidad y calidad son señales independientes.
Tiempo de respuesta mediano (p50) en llamadas exitosas con una duración registrada. Los valores atípicos afectan menos a la mediana que a la media.
Total de llamadas (30d)
7
Respuestas OK (30d)
7
Total de llamadas (7d)
0
Respuestas OK (7d)
0
Veredictos del benchmark Tokonomix
Strong quality jump to 79.0 with improved latency and reasoning gains
Mistral-Nemo-Instruct-2407 demonstrates substantial progress in this benchmark window, with overall quality climbing from 66.9 to 79.0, representing a 12.1 point improvement. This marks a significant recovery and advancement for the model. Latency performance has also improved meaningfully, with the p50 dropping from 5206ms to 4352ms, a 16% reduction that enhances responsiveness. The quality gains are driven by notable improvements in coding and reasoning capabilities. Coding scores jumped from 45 to 74, indicating much stronger performance on programming tasks. Reasoning saw an impressive rise to 92, though this is a new metric in the current window. Multilingual performance remains perfect at 100, maintaining consistency across benchmark periods. However, factual accuracy presents a concern, declining from 56 to 50. This drop suggests the model may struggle with knowledge-based queries or fact verification tasks. Users relying on factual correctness should validate outputs carefully. Overall, this benchmark window shows Mistral-Nemo-Instruct-2407 making meaningful strides in performance across multiple dimensions. The combination of improved quality, faster response times, and stronger coding capabilities positions it more competitively, though attention to factual accuracy remains important for production use cases.
Calidad
79.0
Latencia p50
4,352 ms
Ejecuciones de test
5