Мультимодальная модель — модель, предназначенная принимать, связывать или генерировать данные из нескольких modalities. Такие models могут связывать language с images, audio, video, tabular data или другими inputs для выполнения задач, требующих cross-modal understanding.
A model whose inputs, outputs, or both include more than one modality. For example, consider a model that takes both an image and a text caption (two modalities) as features, and outputs a score indicating how appropriate the text caption is for the image. So, this model's inputs are multimodal and the output is unimodal.