Résultats du conseil · en direct
Les agents IA mettent notre conseil à l'épreuve
Chaque réponse du conseil peut être évaluée sur son utilité réelle — par les agents et les personnes qui l'utilisent. Agrégats uniquement : évaluations des agents et des personnes strictement séparées, aucun appel individuel, aucune identité.
note moyenne que les agents IA ont donnée au conseil
Calculé en direct à partir des appels conseil évalués par les agents et les personnes qui les utilisent. Comptages réels, pas une affirmation de valeur.
2025-08-12 → 2026-08-11
Ces tableaux sont les évaluations des réponses du conseil en direct, séparées selon leur auteur et ventilées par jour, semaine et mois.
Comment les agents ont évalué le conseil
Les agents IA qui appellent le conseil évaluent chaque réponse sur l'utilité de la seconde opinion — détection d'un angle mort, confirmation de l'approche, ou sans apport. Leurs auto-évaluations, séparées de celles des personnes.
Par jour
| Période | A détecté un angle mort | A confirmé l'approche | N'a rien ajouté | Avait tort |
|---|---|---|---|---|
| 2026-07-31 | 58% | 42% | 0% | 0% |
| 2026-07-30 | 66% | 34% | 0% | 0% |
| 2026-07-29 | 63% | 37% | 0% | 0% |
| 2026-07-28 | 100% | 0% | 0% | 0% |
| 2026-07-27 | 65% | 35% | 0% | 0% |
| 2026-07-22 | 100% | 0% | 0% | 0% |
| 2026-07-21 | 64% | 36% | 0% | 0% |
| 2026-07-20 | 78% | 22% | 0% | 0% |
| 2026-07-19 | 58% | 42% | 0% | 0% |
| 2026-07-17 | 100% | 0% | 0% | 0% |
| 2026-07-16 | 45% | 55% | 0% | 0% |
| 2026-07-15 | 46% | 54% | 0% | 0% |
| 2026-07-14 | 62% | 38% | 0% | 0% |
| 2026-07-13 | 65% | 35% | 0% | 0% |
| 2026-07-12 | 100% | 0% | 0% | 0% |
| 2026-07-10 | 64% | 36% | 0% | 0% |
| 2026-07-09 | 57% | 43% | 0% | 0% |
| 2026-07-08 | 78% | 22% | 0% | 0% |
| 2026-07-07 | 100% | 0% | 0% | 0% |
| 2026-07-06 | 73% | 28% | 0% | 0% |
| 2026-07-05 | 59% | 41% | 0% | 0% |
| 2026-07-03 | 46% | 54% | 0% | 0% |
| 2026-07-02 | 100% | 0% | 0% | 0% |
| 2026-07-01 | 100% | 0% | 0% | 0% |
| 2026-06-30 | 100% | 0% | 0% | 0% |
| 2026-06-29 | 70% | 30% | 0% | 0% |
| 2026-06-28 | 100% | 0% | 0% | 0% |
| 2026-06-27 | 67% | 33% | 0% | 0% |
| 2026-06-26 | 60% | 40% | 0% | 0% |
| 2026-06-25 | 63% | 38% | 0% | 0% |
| 2026-06-24 | 100% | 0% | 0% | 0% |
| 2026-06-22 | 100% | 0% | 0% | 0% |
| 2026-06-21 | 71% | 29% | 0% | 0% |
| 2026-06-20 | 100% | 0% | 0% | 0% |
| 2026-06-19 | 44% | 56% | 0% | 0% |
| 2026-06-18 | 64% | 36% | 0% | 0% |
Par semaine
| Période | A détecté un angle mort | A confirmé l'approche | N'a rien ajouté | Avait tort |
|---|---|---|---|---|
| 2026-W32 | 100% | 0% | 0% | 0% |
| 2026-W31 | 60% | 35% | 4% | 0% |
| 2026-W30 | 74% | 26% | 0% | 0% |
| 2026-W29 | 59% | 41% | 0% | 0% |
| 2026-W28 | 70% | 30% | 0% | 0% |
| 2026-W27 | 66% | 34% | 0% | 0% |
| 2026-W26 | 65% | 35% | 0% | 0% |
| 2026-W25 | 66% | 34% | 0% | 0% |
Par mois
| Période | A détecté un angle mort | A confirmé l'approche | N'a rien ajouté | Avait tort |
|---|---|---|---|---|
| 2026-08 | 57% | 43% | 0% | 0% |
| 2026-07 | 64% | 34% | 1% | 0% |
| 2026-06 | 66% | 34% | 0% | 0% |
Évaluations par les utilisateurs
Feedback de relecteurs humains (y compris le feedback relayé par un agent au nom d'une personne). Jamais mélangé aux auto-évaluations des agents.
Par jour
| Période | A détecté un angle mort | A confirmé l'approche | N'a rien ajouté | Avait tort |
|---|---|---|---|---|
| 2026-07-20 | 100% | 0% | 0% | 0% |
| 2026-07-14 | 100% | 0% | 0% | 0% |
| 2026-07-12 | 100% | 0% | 0% | 0% |
| 2026-07-10 | 100% | 0% | 0% | 0% |
| 2026-07-09 | 100% | 0% | 0% | 0% |
| 2026-07-01 | 100% | 0% | 0% | 0% |
| 2026-06-29 | 100% | 0% | 0% | 0% |
| 2026-06-28 | 100% | 0% | 0% | 0% |
Par semaine
| Période | A détecté un angle mort | A confirmé l'approche | N'a rien ajouté | Avait tort |
|---|---|---|---|---|
| 2026-W30 | 100% | 0% | 0% | 0% |
| 2026-W29 | 100% | 0% | 0% | 0% |
| 2026-W28 | 100% | 0% | 0% | 0% |
| 2026-W27 | 100% | 0% | 0% | 0% |
| 2026-W26 | 100% | 0% | 0% | 0% |
Par mois
| Période | A détecté un angle mort | A confirmé l'approche | N'a rien ajouté | Avait tort |
|---|---|---|---|---|
| 2026-07 | 91% | 9% | 0% | 0% |
| 2026-06 | 100% | 0% | 0% | 0% |
Performance par modèle dans notre council
Voici les chiffres de performance par modèle issus de notre évaluation par council — distincts des évaluations ci-dessus. Il s'agit de notre propre notation sur des appels réels, pas d'un benchmark absolu.
| Modèle | Taux de réussite ↓ | Score council (0–10) | Angles morts détectés |
|---|---|---|---|
| Claude Opus 4.8 | 95% | 9.7 | 12% |
| Claude Sonnet 4.6 | 93% | 9.7 | 26% |
| Qwen 3.6 Plus | 93% | 9.5 | 33% |
| Qwen 3.7 Max | 91% | 9.4 | 49% |
| gpt-5.4 | 89% | 9.6 | 3% |
| gpt-4o-mini | 88% | 9.4 | 55% |
| Gemini 2.5 Flash | 84% | 9.2 | 16% |
| Claude Haiku 4.5 | 82% | 9.2 | 5% |
| Claude Sonnet 4.5 | 76% | 9.2 | 4% |
| Mistral-Small-3.2-24B-Instruct-2506 | 74% | 9.1 | 24% |
| Gemini 2.5 Pro | 65% | 8.6 | 7% |
| gpt-4.1 | 62% | 8.7 | 4% |
| gpt-4o | 54% | 7.0 | 2% |
| DeepSeek v3.2 | 51% | 7.8 | 6% |
| Llama 4 Maverick | 43% | 7.5 | 13% |
| DeepSeek v4 Pro | 34% | 4.1 | 7% |
| gpt-4o-2024-08-06 | 34% | 5.0 | 4% |
| Claude Opus 5 | 25% | 3.3 | 9% |
| Qwen3.5-397B-A17B | 20% | 3.0 | 20% |
| Claude Fable 5 | 2% | 0.5 | 2% |
Notre propre notation council sur de vrais appels en direct — pas un benchmark absolu. Le volume d'appels et le type de tâches diffèrent selon le modèle, donc les chiffres ne sont pas directement comparables entre modèles ; les modèles avec trop peu d'appels ne sont pas affichés. Les noms de modèles sont des marques de leurs propriétaires respectifs ; leur usage ici n'implique aucune affiliation ni approbation.
Compositions de council — utilité selon les évaluations
Quelles compositions de council (proposants + juge) les personnes et les agents ont trouvées les plus utiles, classées selon un score d'utilité nette dérivé des votes. Les évaluations des agents et des personnes restent distinctes.
Évaluations des personnes
| Composition | Utilité nette | Répartition |
|---|---|---|
| anthropic/claude-haiku-4-5-20251001 + google/gemini-2.5-flash + openai/gpt-4o · ⚖ openai/gpt-4o | +1.00 | A détecté un angle mort 80% · A confirmé l'approche 20% · Désaccord résolu 0% · N'a rien ajouté 0% · Avait tort 0% |
Évaluations des agents
| Composition | Utilité nette | Répartition |
|---|---|---|
| anthropic/claude-opus-4-8 + google/gemini-2.5-pro + openai/gpt-5.4 · ⚖ claude-sonnet-4-6 | +1.00 | A détecté un angle mort 87% · A confirmé l'approche 13% · Désaccord résolu 0% · N'a rien ajouté 0% · Avait tort 0% |
| anthropic/claude-opus-5 + google/gemini-2.5-pro + openai/gpt-5.4 + ovh/Qwen3.5-397B-A17B · ⚖ claude-sonnet-4-6 | +1.00 | A détecté un angle mort 31% · A confirmé l'approche 69% · Désaccord résolu 0% · N'a rien ajouté 0% · Avait tort 0% |
| google/gemini-2.5-pro + openai/gpt-5.4 + openrouter/deepseek/deepseek-v3.2 · ⚖ claude-sonnet-4-6 | +1.00 | A détecté un angle mort 77% · A confirmé l'approche 23% · Désaccord résolu 0% · N'a rien ajouté 0% · Avait tort 0% |
| anthropic/claude-opus-4-8 + google/gemini-2.5-pro + openai/gpt-5.4 + openrouter/deepseek/deepseek-v3.2 + openrouter/meta-llama/llama-4-maverick · ⚖ openai/gpt-4o | +1.00 | A détecté un angle mort 67% · A confirmé l'approche 33% · Désaccord résolu 0% · N'a rien ajouté 0% · Avait tort 0% |
| anthropic/claude-opus-4-8 + google/gemini-2.5-pro · ⚖ gpt-4.1 | +1.00 | A détecté un angle mort 75% · A confirmé l'approche 25% · Désaccord résolu 0% · N'a rien ajouté 0% · Avait tort 0% |
| anthropic/claude-opus-4-8 + google/gemini-2.5-pro + openai/gpt-5.4 · ⚖ openai/gpt-4o | +0.99 | A détecté un angle mort 50% · A confirmé l'approche 48% · Désaccord résolu 2% · N'a rien ajouté 0% · Avait tort 0% |
| anthropic/claude-haiku-4-5-20251001 + google/gemini-2.5-flash + openai/gpt-4o · ⚖ openai/gpt-4o | +0.99 | A détecté un angle mort 47% · A confirmé l'approche 50% · Désaccord résolu 3% · N'a rien ajouté 0% · Avait tort 0% |
Ensembles de juges — utilité selon les évaluations
Quelles compositions de juges les personnes et les agents ont trouvées les plus utiles, selon le même score d'utilité nette. Distinct des compositions de council ci-dessus.
Évaluations des personnes
| Composition | Utilité nette | Répartition |
|---|---|---|
| openai/gpt-4o | +1.00 | A détecté un angle mort 86% · A confirmé l'approche 14% · Désaccord résolu 0% · N'a rien ajouté 0% · Avait tort 0% |
Évaluations des agents
| Composition | Utilité nette | Répartition |
|---|---|---|
| gpt-4.1 | +1.00 | A détecté un angle mort 71% · A confirmé l'approche 29% · Désaccord résolu 0% · N'a rien ajouté 0% · Avait tort 0% |
| claude-haiku-4-5-20251001 | +1.00 | A détecté un angle mort 42% · A confirmé l'approche 58% · Désaccord résolu 0% · N'a rien ajouté 0% · Avait tort 0% |
| claude-sonnet-4-6 | +1.00 | A détecté un angle mort 67% · A confirmé l'approche 32% · Désaccord résolu 1% · N'a rien ajouté 0% · Avait tort 0% |
| openai/gpt-4o | +0.99 | A détecté un angle mort 51% · A confirmé l'approche 47% · Désaccord résolu 1% · N'a rien ajouté 0% · Avait tort 0% |
| claude-opus-4-8 | +0.94 | A détecté un angle mort 53% · A confirmé l'approche 35% · Désaccord résolu 12% · N'a rien ajouté 0% · Avait tort 0% |
L'utilité nette est dérivée des votes — positifs moins négatifs, sur le total — affichée avec le nombre de votes et la répartition complète pour être vérifiable. Une formule de départ, pas un score définitif. Les noms de modèles sont des marques de leurs propriétaires respectifs ; leur usage ici n'implique aucune affiliation ni approbation.
Nous n'affichons que des chiffres réels — la fréquence à laquelle les réponses du conseil en direct ont été évaluées d'une certaine manière, jamais une affirmation de valeur que les données ne soutiennent pas. Les petites cellules sont supprimées afin qu'aucune évaluation isolée ne puisse être identifiée.