#程序员

一个GPT接口省钱小技巧。
因为 GPT 接口是无状态的,上下文需要我们自己管理,所以为了省钱,其实完全可以在输入 token 比较少时,用 GPT3.5 的 4K 模型,之后随着用户越聊越多时,才升级为 16K 模型,之后如果不够用了,再升级为 GPT4 的 32K 模型。
另外,维护上下文时,其实没必要把历史问题和回复的全文放进去,如果你想偷懒实现,可以直接截取前100个字,这种做法足够应付99%的提问。
如果你想把剩下的1%情况也做好,那么可以上 embeddings ,智能提取历史问题和回答。
 
 
Back to Top