Начальный
Что такое LLM security?
LLM, или large language model, — это языковая модель с большим числом параметров, обученная на широких текстовых или мультимодальных данных для понимания и генерации языка.
Что такое prompt injection?
Prompt injection — это состязательный приём, при котором языковую модель заставляют следовать вредоносным или непредусмотренным инструкциям, помещённым во ввод пользователя, документы, веб-страницы или другой обрабатываемый контент.
Что такое jailbreak в LLM-системе?
Prompt injection или jailbreak означает состязательный ввод, предназначенный для обхода инструкций модели, safety-политик или операционных мер контроля. Меры снижения риска включают фильтрацию ввода, изоляцию retrieval-слоя, доступ инструментов по принципу минимальных привилегий, enforcement политик и многоуровневые guardrails.
Чем RAG отличается от fine-tuning?
Используйте RAG, когда модели нужна актуальная, основанная на источниках информация; используйте fine-tuning, когда модели нужно специализированное поведение, выполнение задач, адаптация к домену или стиль, усвоенный из данных.