-
|
原文 “答案是一个字一个字地吐出来” 不是因为使用了流式输出的结果吗？ |
Beta Was this translation helpful? Give feedback.
Replies: 2 comments 1 reply
-
|
不确定你说的流式输出是不是我理解的流式输出 😂 首先这个一个字一个字吐出来不是前端刻意实现的，而是模型（或者说后端）返回结果的时候，就是一个个字算出来，然后一个字一个字吐出来的。 举个例子： |
Beta Was this translation helpful? Give feedback.
-
|
GPT 原理上是根据上一文猜测下一个字符，所以确实是一个一个推断出的。生成文本这个行为像是水流从后端源头流向了前端，我们前端也是用流式接收并不断更新这个结果的。 同时，由于程序功能上的需要，肯定是把最新的结果告诉前端是最好的，不然等后端模型一句话要五六秒钟，用户失去兴趣的可能很大。 但这个并不是服务器后端强制 使用了流式输出的结果，这个形式是 模型的生成方式和程序、需求上的设计决定的。 |
Beta Was this translation helpful? Give feedback.
-
|
很清晰的回答 👍 |
Beta Was this translation helpful? Give feedback.
GPT 原理上是根据上一文猜测下一个字符，所以确实是一个一个推断出的。生成文本这个行为像是水流从后端源头流向了前端，我们前端也是用流式接收并不断更新这个结果的。
同时，由于程序功能上的需要，肯定是把最新的结果告诉前端是最好的，不然等后端模型一句话要五六秒钟，用户失去兴趣的可能很大。
但这个并不是服务器后端强制 使用了流式输出的结果，这个形式是 模型的生成方式和程序、需求上的设计决定的。