Контекстуализированное языковое embedding — это числовое представление слова или фразы, которое меняется в зависимости от окружающего контекста. В отличие от статических embeddings, оно может представлять разные значения одного и того же слова в зависимости от того, как слово используется.
An embedding that comes close to "understanding" words and phrases in ways that fluent human speakers can. Contextualized language embeddings can understand complex syntax, semantics, and context. For example, consider embeddings of the English word cow . Older embeddings such as word2vec can represent English words such that the distance in the embedding space from cow to bull is similar to the distance from ewe (female sheep) to ram (male sheep) or from female to male . Contextualized language embeddings can go a step further by recognizing that English speakers sometimes casually use the word cow to mean either cow or bull.