Análisis de velocidad
Latencia medida en todas las ejecuciones de benchmark. P50 (mediana) y P95 (percentil 95) dan una imagen realista de la velocidad de respuesta bajo carga normal y máxima.
Puntuaciones de calidad
Resultados de evaluación de modelos juez en diversas categorías de tareas. Las puntuaciones reflejan coherencia, precisión y seguimiento de instrucciones.
Historial de precios
Tarifas directas del proveedor por millón de tokens, más una estimación del coste de una conversación típica.
Pricing over time
Input & output per 1M tokens · step-line = price changes
$0.1300
input / 1M
— stable
$0.1300
output / 1M
— stable
Tokens por segundo
Rendimiento en tokens por segundo, derivado de la latencia P50 medida. Más alto es mejor; las fluctuaciones reflejan la carga del lado del proveedor.
Estimado a partir de latencia P50 × 200 tokens de salida — el número absoluto depende de esta suposición; lo que importa es la tendencia.
Capacidades
Disponibilidad
Disponibilidad
Sin datos todavía
Aún no hemos registrado suficientes llamadas a la API para mostrar estadísticas de disponibilidad de este modelo. Los datos aparecen una vez que el modelo comienza a recibir tráfico en vivo.
Veredictos del benchmark Tokonomix
Mistral-Nemo quality plummets 38 points to 46.8, latency up 43%
Mistral-Nemo-Instruct-2407 on OVH AI Endpoints has experienced a severe performance degradation in the current benchmark window. Overall quality dropped dramatically from 84.9 to 46.8, representing a 38.1 point decline that affects nearly all measured capabilities. The multilingual category saw the most significant collapse, falling from 97 to just 26. Creative performance dropped from 75 to 58, while the model now scores 50 in factual tasks and 53 in reasoning. These new categories replace the previously measured coding capability, which scored 83 in the last window. Latency has also deteriorated substantially, with p50 response times increasing 43% from 3051ms to 4372ms. This combination of quality collapse and slower response times suggests either a model version change, infrastructure issues, or configuration problems at the provider level. The stability between benchmark windows has clearly been compromised. Users should exercise caution and potentially consider alternative providers or models until performance stabilizes and returns to previously demonstrated levels.
Quality
46.8
Latency p50
4,372 ms
Test runs
5