gpt-4o-audio-preview is OpenAI's preview-snapshot van de GPT-4o-familie die audio als invoer neemt en audio als uitvoer kan retourneren, naast de gebruikelijke tekst. Geen Whisper-dan-GPT relay. Één model, één voorwaartse doorgang, spraak aan beide kanten.
Dit is niet het realtime-endpoint. Het is de verzoek/respons-variant. Je stuurt een volledige audioclip en een prompt, je krijgt terug ofwel tekst, audio of beide. Nuttig wanneer je spraakkwaliteit van één model wilt zonder de streaming-complexiteit van de realtime API.
Wat het audio-native pad je oplevert
De traditionele spraakstack bestaat uit drie dozen: spraak-naar-tekst, dan een LLM, dan tekst-naar-spraak. Elke doos heeft latentie, elke doos verliest informatie en prosodie sterft ergens tussen Whisper en de TTS-engine. gpt-4o-audio-preview comprimeert dat in één enkel model dat de golfvorm direct ziet.
Wat er end-to-end overleeft:
- Toon en nadruk. Het model hoort dat je gefrustreerd, gehaast of sarcastisch klinkt. Een transcriptiepijplijn strip dat eruit voordat het taalmodel er ooit over kan redeneren.
- Sprekersdisfluencies. Pauzes, herstarts, opvulwoorden — het model kan ze spiegelen, gladstrijken of erop commentaar geven afhankelijk van de systeemprompt.
- Achtergrondcontext. Muziek, omgevingsgeluid, de hoest midden in een zin. Niets hiervan is noodzakelijkerwijs nuttig, maar het model heeft de optie om het mee te nemen.
Aan de uitvoerkant is het symmetrisch. Wanneer je om audio-respons vraagt, genereert het model spraak direct vanuit zijn interne representatie in plaats van tekst door te sturen naar een aparte TTS-engine. De stem heeft een natuurlijker cadans dan een stroomafwaartse TTS-doorstuur omdat het model prosodie beheerst als onderdeel van de generatie.
Architectuurnotities
GPT-4o is de "omni"-generatie van GPT-4 die tekst, visie en audio native verwerkt via modaliteitsspecifieke encoders die een gedeelde transformer-kern voeden. De audio-encoder zet golfvormen om in continue embeddings die hetzelfde aandachtsruimte innemen als teksttokens. De decoder kan ofwel teksttokens of audiotokens produceren afhankelijk van het verzoek.
OpenAI heeft geen parameteraantallen, trainingskorpusgrootte of gedetailleerde audiosampling-specificaties gepubliceerd voor deze preview. Wat waarneembaar is vanuit API-gedrag: het model accepteert WAV- en MP3-invoer, verwerkt Engels en een brede reeks Europese en Aziatische talen en produceert uitvoer in een kleine reeks vooringestelde stemmen.
De preview-tag is eerlijk. Documentatie loopt achter. Gedrag verandert tussen snapshots. De gedateerde varianten (2024-12-17, 2025-06-03) bestaan precies omdat OpenAI incrementele fixes blijft leveren die prosodie, latentie en weigerhouding beïnvloeden op manieren die implementaties vastgepind aan "de audio-preview" kunnen breken.
Waar het vandaag staat
Twee duidelijke winsten.
Ten eerste, spraakagents waarbij het model echt moet reageren op hoe de gebruiker klonk, niet alleen op wat hij zei. Klantenservice-triage waarbij een gespannen beller een ander responspad moet krijgen dan een kalme. Coaching-tools waarbij het model commentaar moet geven op levering. Toegankelijkheidsinterfaces waarbij de gebruiker verkeerd horen meer telt dan de woorden.
Ten tweede, spraakuitvoer waarbij de gesynthetiseerde spraak betekenis moet dragen, niet alleen woorden. Een gezondheids-app die medicatie-instructies voorleest met passende ernst. Een kinderverhaal-verteller die personages onderscheidend bespreekt. Alles waarbij vlakke TTS verkeerd zou aanvoelen.
Het model verwerkt ook gemengde-modus taken goed: audio in, gestructureerde JSON uit; tekst in, audio uit; audio in plus afbeelding in, audio uit. Deze combinaties zijn onhandig met een drie-dozen pijplijn en hier natuurlijk.
Waar het tekortschiet
Real-time bidirectioneel gesprek. Gebruik gpt-4o-realtime-preview daarvoor — het is de streaming-sibling ontworpen voor live beurtnemen. Het audio-preview-endpoint is verzoek/respons, wat betekent dat de gebruiker stopt met spreken, het model verwerkt, het model antwoordt. Dat is de verkeerde vorm voor een telefoongesprek-stijl interactie.
High-volume transcriptie. De transcriptie-specifieke varianten (gpt-4o-transcribe, gpt-4o-mini-transcribe) zijn geoptimaliseerd voor die enkele taak en kosten minder per minuut audio. Als je alleen tekst uit audio nodig hebt, winnen de transcriptie-endpoints.
Stabiele contracten. Dit is een preview. API-vorm, stemopties en audio-specificaties zijn allemaal veranderd over snapshots. Als je langetermijn API-stabiliteit nodig hebt, pin een gedateerde snapshot en accepteer dat je uiteindelijk moet migreren.
Zelf-gehoste of air-gapped implementatie. Niet beschikbaar. Audio-data verlaat je netwerk en raakt OpenAI's infrastructuur. Voor gereguleerde spraakwerklasten die dat niet kunnen tolereren, is de survey op /usecases/local het juiste startpunt.
Wanneer je het kiest boven de alternatieven
Gebruik gpt-4o-audio-preview wanneer:
- Je echte bidirectionele audio-verwerking in één model nodig hebt en verzoek/respons-timing acceptabel is.
- Spraakuitvoer kwaliteit genoeg telt dat de native synthese van het model een stroomafwaartse TTS-stap overtreft.
- De applicatie profiteert van het model dat toon en emotie leest als onderdeel van redenering.
Sla het over wanneer:
- Je live streaming spraak nodig hebt — gebruik de realtime preview in plaats daarvan.
- Alles wat je nodig hebt is transcriptie — gebruik de transcriptie-endpoints.
- Productiestabiliteit meer telt dan toegang tot vroege audio-capabilities.
- De implementatie on-premise moet zijn of in een regio die de OpenAI API niet bedient.
Vergelijk het naast de andere audiopaden op /usecases/voice, en naast de zelfde-dag-alternatieven van andere leveranciers op /benchmarks/leaderboard.
Implementatienotities
Standaard OpenAI Chat Completions API. Audio wordt inline doorgegeven als base64-gecodeerde inhoud of als een URL. Uitvoermodaliteit wordt gevraagd via de modalities-parameter (["text", "audio"] of alleen ["audio"]). Stemkeuze is via een voice-parameter met een kleine vaste reeks opties.
Token-facturering is gesplitst: audio-invoertokens, audio-uitvoertokens en teksttokens worden apart gemeten. Kosten-gedrag is niet gelijkwaardig aan tekst-only gebruik — audiotokens verbruiken meer factuureenheden per informatie-eenheid dan teksttokens. Plan capaciteit dienovereenkomstig.
Logs volgen de standaard OpenAI-bewaringsregels. Zero-retention vereist een enterprise-contract.
De pragmatische lezing. Deze preview is het juiste model wanneer audio-getrouwheid end-to-end het punt is, en het verkeerde model wanneer transcriptie, realtime streaming of productiestabiliteit het punt is. Draai het naast je echte prompts op /live-test voor commitment.
Laatste technische beoordeling: 2026-05-22 — Tokonomix.ai
