LoRA, oder Low-Rank Adaptation, ist eine parametereffiziente Methode zum Fine-Tuning großer Modelle, bei der ein kleiner Satz zusätzlicher Low-Rank-Parameter trainiert wird, während die meisten Gewichte des Basismodells unverändert bleiben. Dies reduziert Trainingskosten und Speicheranforderungen und ermöglicht zugleich die Anpassung eines Modells an bestimmte Aufgaben oder Domänen.
LoRA stands for Low-Rank Adaptation. It is a method used to fine-tune large models by updating only a small, targeted part of the model. This makes it quicker and less resource-intensive to adapt the model to specific tasks or new datasets.
Abbreviation for Low-Rank Adaptability.