gpt-realtime est le modèle qui rend véritablement viable le pattern de produit voice-first sur la stack OpenAI. Il accepte de l'audio en streaming en entrée, renvoie de l'audio en streaming en sortie, et gère le cycle complet d'écoute, de raisonnement et de parole au sein d'une seule connexion. Ce changement architectural est plus important qu'il n'y paraît. Les produits vocaux construits sur des pipelines empilés Whisper-plus-LLM-plus-TTS portaient toujours un plancher de latence et une perte de prosodie à chaque transition. gpt-realtime élimine ces deux problèmes.
Ce qu'il fait réellement
Le modèle maintient une connexion WebSocket persistante. Votre client diffuse des fragments audio pendant que l'utilisateur parle. Le serveur diffuse des fragments audio en retour pendant que le modèle répond. Les appels de fonction, les invocations d'outils et les sorties structurées sont tous disponibles à l'intérieur de la même connexion sans interrompre le flux audio. Le modèle mental se rapproche davantage d'un appel téléphonique que d'une API requête-réponse.
La prise de tour de parole constitue l'amélioration la plus visible pour l'utilisateur. Le modèle utilise la détection d'activité vocale et les indices conversationnels pour décider quand l'utilisateur a fini de parler. Il interrompt avec élégance lorsque l'utilisateur commence à parler en pleine réponse, garde la parole lorsqu'il a une longue réponse à donner, et reprend naturellement après une interruption. Aucun de ces comportements ne semble révolutionnaire lorsqu'on les écrit. Tous paraissent importants la première fois que vous construisez un produit vocal sans eux et que vous voyez les utilisateurs frustrés par le bot qui coupe leurs phrases.
L'histoire de l'utilisation d'outils constitue la deuxième grande victoire architecturale. gpt-realtime peut appeler des fonctions définies dans votre application pendant la conversation, tisser les résultats dans la réponse parlée, et continuer le dialogue sans que l'utilisateur ne ressente d'accroc. Cela le rend utilisable pour un véritable travail face au client où le bot doit consulter une commande, vérifier une disponibilité, ou escalader vers un transfert humain.
Sous le capot
OpenAI n'a pas publié le nombre de paramètres. D'après le comportement observable, le modèle est un transformateur audio-texte unifié avec un budget de paramètres substantiel, certainement plus grand que les variantes mini. La fenêtre de contexte est suffisamment grande pour contenir des conversations multi-tours d'une longueur significative sans perdre la trace de ce qui a été dit au début, bien que les chiffres exacts ne figurent pas dans la documentation publique.
La couverture multilingue est solide. L'anglais, l'espagnol, le français, l'allemand, l'italien, le portugais, le néerlandais, le japonais et le mandarin fonctionnent tous bien pour la synthèse et la compréhension. Le changement de code en milieu de phrase est raisonnablement géré pour les principales paires européennes. Le caractère vocal reste cohérent d'une langue à l'autre au sein d'une seule sélection de voix, ce qui compte pour les produits vocaux de marque qui nécessitent une persona cohérente à travers des déploiements multilingues.
La latence constitue la métrique phare. Le temps jusqu'au premier fragment audio se situe bien en dessous de ce qu'un pipeline empilé peut atteindre, typiquement dans la plage de quelques centaines de millisecondes depuis la fin de la parole de l'utilisateur jusqu'au début de l'audio du modèle. Cela le place dans le territoire où la conversation semble naturelle plutôt que saccadée.
Où il fonctionne
Les agents vocaux de service client qui doivent gérer des conversations multi-tours complexes avec des appels d'outils. Les bots de triage et d'accueil en télésanté. Les superpositions de traduction en direct où le modèle écoute et parle simultanément. Les assistants embarqués pour l'interaction mains libres avec un état riche. Les outils d'accessibilité qui enveloppent un état d'application complexe dans une interface conversationnelle.
La combinaison de faible latence, d'utilisation robuste d'outils et de prise de tour naturelle en fait le choix par défaut pour tout produit vocal où l'utilisateur attend de la réactivité et où la conversation a une vraie profondeur. Le clonage vocal n'est pas disponible. La sélection de voix est l'ensemble curé d'OpenAI, ce qui constitue la contrainte correcte pour les applications face au client où le risque d'usurpation d'identité est réel.
Où il échoue et quelles alternatives considérer
Les conversations très longues dépassant environ trente minutes commencent à montrer une dérive de contexte. Pour les workflows où le modèle doit se souvenir de détails structurés depuis l'ouverture d'un appel d'une heure, vous devez injecter des tours de résumé périodiques ou passer à une architecture empilée avec un modèle de raisonnement à contexte long séparé.
Si votre charge de travail est volumineuse et que la complexité par appel est modeste, gpt-realtime-mini est le variant budgétaire qui gère la même forme de travail à moindre coût. Le compromis est que mini abandonne une partie de la profondeur de raisonnement et de la sophistication d'utilisation d'outils. Pour la transcription ou la synthèse pure sans la boucle de dialogue, gpt-audio-mini et gpt-4o-mini-tts couvrent ces tâches plus étroites.
Les instantanés datés gpt-realtime-2025-08-28 et le plus récent gpt-realtime-1.5 sont les versions à épingler dans les workflows réglementés où la reproductibilité compte. Le nom flottant gpt-realtime évoluera vers ce qu'OpenAI livrera ensuite, ce qui convient pour le travail exploratoire et présente un risque pour la stabilité en production.
Pour les stacks natives Google, la forme conversationnelle vocale équivalente la plus proche n'est pas encore tout à fait égalée. Les modèles TTS de Google comme gemini-2.5-flash-preview-tts couvrent la synthèse mais pas la boucle conversationnelle unifiée. La résidence des données dans l'UE n'est pas satisfaite par défaut sur le endpoint realtime d'OpenAI. Les passerelles régionales avec des accords de traitement des données constituent la solution pratique pour les déploiements européens réglementés.
Dernière revue technique : 2026-05-22 — Tokonomix.ai
