Un modelo de caja negra es un modelo cuyo razonamiento interno o proceso de decisión es difícil o imposible de comprender directamente por humanos. Los usuarios pueden observar entradas y salidas, pero el camino de unas a otras carece de transparencia o interpretabilidad. Muchos modelos de deep learning y modelos de lenguaje grandes se tratan como sistemas de caja negra para fines de gobernanza.
A model whose "reasoning" is impossible or difficult for humans to understand. That is, although humans can see how prompts affect responses, humans can't determine exactly how a black box model determines the response. In other words, a black box model is lacking interpretability. Most deep models and large language models are black boxes.