AI学习


Embedding 模型
Rerank 模型
语音转文本模型
文本转语音模型

128k context window 是指大语言模型的上下文窗口大小为 128,000 个令牌(token)。它是衡量模型长文本处理能力的重要指标。以下是具体介绍:

含义:上下文窗口相当于模型的工作记忆,决定了模型在一次处理中能同时 “看到” 或 “记住” 的最大文本量。例如,GPT-4 Turbo、Llama 3.1 等模型就具备 128k 的上下文窗口,意味着它们可以处理最长达 128,000 个 token 的文本输入,能更好地处理长文档分析、多轮对话等任务。
作用:较大的上下文窗口使模型能够考虑更多的前文信息,从而生成更连贯、准确的回答,减少因遗忘前文导致的回答偏差。例如在处理长篇小说分析时,128k 的上下文窗口能让模型参考更多章节内容,给出更全面的分析。
影响:虽然增加上下文窗口大小有诸多好处,但也会带来计算资源需求的增加,导致成本上升,同时可能增加模型受对抗性攻击的风险。


评论