Also known as: Lost in the middle Effect
Эффект потери в середине — склонность больших языковых моделей эффективнее использовать информацию в начале или конце длинного контекста, чем информацию, расположенную в середине. Он может снижать точность ответов, когда критически важные доказательства находятся глубоко внутри длинного промпта или документа.
An LLM's tendency to use information from the start and end of a long context window more effectively than information from the middle. That is, given a long context, the lost-in-the-middle effect causes accuracy to be: - Relatively high when the relevant information to form a response is near the beginning or end of the context. - Relatively low when the relevant information to form a response is in the middle of the context. The term comes from Lost in the Middle: How Language Models Use Long Contexts.