Principiante
¿Qué es la seguridad de la IA?
La seguridad de la IA es el campo interdisciplinario y el conjunto de prácticas centradas en prevenir daños derivados de sistemas de IA. Incluye fiabilidad, prevención del uso indebido, mitigación de sesgos y errores, alineación con valores humanos y análisis de riesgos tanto inmediatos como a largo plazo.
¿En qué se diferencia el riesgo del daño?
Usa riesgo para resultados adversos potenciales antes o durante la evaluación; usa daño para el efecto adverso que ya ocurrió o que puede describirse de forma concreta.
¿Qué es un safety case para IA?
Un safety case de IA es un argumento documentado, respaldado por evidencia, de que un sistema de IA es aceptablemente seguro para un uso y contexto operativo definidos. Es especialmente relevante en sectores de mayor riesgo donde la garantía debe ser explícita, revisable y mantenida en el tiempo.
¿Qué es la deriva del modelo?
La deriva del modelo es la degradación o cambio del rendimiento de un modelo a lo largo del tiempo cuando los datos reales, el comportamiento de los usuarios o las condiciones operativas divergen de los datos usados durante el entrenamiento o la evaluación. Detectar la deriva es importante para decidir cuándo reentrenar, recalibrar o reemplazar un modelo.
Intermedio
¿En qué se diferencia la deriva de datos de la deriva de concepto?
Usa deriva de datos cuando cambia la distribución de los datos de entrada; usa deriva de concepto cuando cambia la relación entre las entradas y el resultado objetivo.
¿Qué es el alineamiento en la seguridad de IA?
El alineamiento es la práctica de diseñar, entrenar y gobernar un sistema de IA para que sus objetivos, salidas y comportamiento sigan siendo coherentes con las intenciones humanas, los valores y las restricciones de uso aceptable.
¿Qué es un incidente grave de IA?
Un incidente de IA es un evento o serie de eventos en los que el desarrollo, despliegue, uso o mal funcionamiento de un sistema de IA causa o podría causar daño. Ese daño puede afectar a la seguridad, la discriminación, la privacidad, el cumplimiento legal, infraestructuras críticas, propiedad, comunidades o el medio ambiente.
¿Qué es el control humano en el circuito?
HITL, o humano en el circuito, es un enfoque en el que las personas siguen participando en la configuración, revisión, aprobación o mejora de salidas o decisiones de sistemas de IA. Se usa para combinar la eficiencia de la máquina con el juicio humano, especialmente en tareas de mayor riesgo o sensibles al contexto.
¿Qué es la toxicidad de IA?
La toxicidad de IA es una salida dañina, ofensiva, falsa, sesgada o de otro modo inapropiada generada o amplificada por un sistema de IA. Puede surgir de los datos de entrenamiento, el diseño del sistema, el contexto del prompt, la falta de alineamiento o salvaguardas inadecuadas.
¿Por qué importa el seguimiento poscomercialización?
Un sistema de seguimiento poscomercialización consiste en actividades realizadas por proveedores de sistemas de IA para recopilar y revisar la experiencia de sistemas introducidos en el mercado o puestos en servicio. Su finalidad es identificar si se necesitan acciones correctivas o preventivas después del despliegue.
Avanzado
¿Qué es la detección de anomalías en la monitorización de IA?
La detección de anomalías es el proceso de identificar observaciones, eventos o patrones que difieren significativamente del comportamiento esperado. En IA y análisis de datos, se usa para señalar valores atípicos que pueden indicar errores, fraude, incidentes de seguridad, fallos del sistema u otras condiciones inusuales.
¿Qué es la seguridad desde el diseño para sistemas de IA?
La seguridad desde el diseño es un enfoque en el que los requisitos y salvaguardas de seguridad se integran desde el inicio del desarrollo del sistema. Para sistemas de IA, incluye anticipar usos indebidos, proteger datos y modelos, e incorporar controles de acceso, monitorización y resiliencia durante todo el ciclo de vida.