GPT-4o 实时语音对话是如何实现的?

1 、这不是 4o 的新功能。gpt3.5 、4 早就可以语音对聊了。
2 、语音对聊本质上就是语音识别>转换成文字上下文提交给 gpt>gpt 回复>口语化模型>文字转音频。

3 、你所谓的“可视化”，其实就是上下文增加图片附件。

之前的语音对话，都是语音->文字->问答->文字转语音

GPT-4o 改成直接使用语音训练模型。它背后直接能够根据你的语音来回答，跳过了语音转文字的这一步。

GPT-4o 是原生多模态模型，直接语音输入、语音输出，没有中间的其他步骤，现在没有应用能做到。视频里用的是 ChatGPT 客户端，把课程界面分享给 ChatGPT ，然后 ChatGPT 回答的。

gpt-4o 的 api 可以语音对话吗？

@sentinelK 可以看下他们的文章中专门有一段说了 GPT-4o 并不需要做额外的 ASR 和 TTS 而是原生的多模态模型，语音对话的延迟会明显降低

之前是文本视觉音频分开训练的，现在文本、音频、视觉丢到一起训练，用的的是一个神经网络，以前要互相转换文字转语音，音频转文字，中间的时间就更久，还有会丢失细节，现在延迟几百毫秒

现在的视觉是基于多帧图片不是真正的视觉，后面算力足够应该会加上 sora 级别的视觉感知，从视觉到视觉，有对物理世界的理解，现在只是平面图片级别的理解

特斯拉做的 FSDV12 现在应该就是端到端的视觉，八个摄像头输入,然后输出控制，还有他的人形机器人

啊？竟让不是 ASR\TTS ，这怎么做到的。。

可打断并根据要求继续输出 我觉得这个有意思 怎么做的

emmm 你们不觉得响应速度过快了吗? 所以我对背后真实的方案有存疑 仅仅他们的网络导致这么快的相应速度 以及中断速度吗?

@sentinelK 纯 API 接口? 有这么快吗?

gpt 那个没开放接口不知道，说下用过微软 Azure 语音，底层 websocket 当然可以实时语音了。

https://learn.microsoft.com/zh-cn/azure/ai-services/speech-service/index-speech-to-text

底层有可能走的是 webrtc ，直接就是端到端对话；若 gpt4o 可以 audio in audio out ，那延迟是可以做到 300ms 左右的——就是实时对话

OpenAI：“我们计划在未来几周内以 alpha 版的形式推出具有这些新功能的新语音模式，随着我们更广泛地推出，Plus 用户可以抢先体验。”

我也觉得是 WebRTC ，音视频以“流”的形式在本地和远程之间互动

多模态就是这样的呀

以后智能语音客服真假难辨喽

4o 有新增的语音对话 feature （ voice model ），还在“rolling to Plus users in the coming weeks.” （来源 openai 的社区），跟之前的模型有复用部分，单不完全是同一个东西。目前 app 里的后端模型应该有混合吧，我猜。不知道有没有什么分辨的办法。