LoRA, или Low-Rank Adaptation, — параметрически эффективный метод fine-tuning крупных моделей путем обучения небольшого набора дополнительных low-rank параметров при сохранении большинства весов базовой модели неизменными. Это снижает стоимость обучения и требования к хранению, позволяя модели адаптироваться к конкретным задачам или доменам.
LoRA stands for Low-Rank Adaptation. It is a method used to fine-tune large models by updating only a small, targeted part of the model. This makes it quicker and less resource-intensive to adapt the model to specific tasks or new datasets.
Abbreviation for Low-Rank Adaptability.