LoRA, ou Low-Rank Adaptation, est une méthode efficace en paramètres pour le fine-tuning de grands modèles en entraînant un petit ensemble de paramètres supplémentaires de faible rang tout en laissant inchangée la plupart des poids du modèle de base. Cela réduit le coût d’entraînement et les besoins de stockage tout en permettant au modèle de s’adapter à des tâches ou domaines spécifiques.
LoRA stands for Low-Rank Adaptation. It is a method used to fine-tune large models by updating only a small, targeted part of the model. This makes it quicker and less resource-intensive to adapt the model to specific tasks or new datasets.
Abbreviation for Low-Rank Adaptability.