L’utilisateur veut comprendre les modèles de diffusion dans le contexte de l’IA générative et les appliquer à un travail pratique de gouvernance ou de compliance IA.
Un modèle de diffusion est un modèle génératif entraîné à inverser un processus qui ajoute progressivement du bruit aux données. En apprenant à débruiter depuis un bruit aléatoire vers une distribution de données cible, il peut générer des images, de l’audio, des représentations textuelles ou d’autres sorties réalistes.
Un modèle de diffusion est un modèle génératif entraîné à créer des données en apprenant à inverser un processus graduel de bruit. Pendant l’entraînement, du bruit est ajouté à des exemples comme des images, de l’audio ou d’autres données. Le modèle apprend à débruiter étape par étape, de sorte que la génération peut partir d’un bruit aléatoire et évoluer vers une sortie réaliste. Dans Caesar AI Atlas, cette page relie diffusion-model, generative-adversarial-network et generative-model, car les modèles de diffusion constituent une grande famille de modèles génératifs, tandis que les GAN en constituent une autre. Les modèles de diffusion sont largement associés à la génération d’images, mais des techniques connexes peuvent aussi s’appliquer à l’audio, à la vidéo, aux actifs 3D et aux données scientifiques. Leurs enjeux de gouvernance incluent les droits sur les données d’entraînement, les contenus dangereux ou trompeurs, la provenance, les données biométriques ou personnelles dans les sorties, le filigranage et le mésusage pour les médias synthétiques.
Un modèle de diffusion fonctionne un peu comme la restauration d’une image floue ou bruitée, sauf qu’il apprend si bien le processus de restauration qu’il peut commencer à partir d’un pur bruit et créer une nouvelle image. L’utilisateur donne un prompt, le système commence par de l’aléatoire, puis le modèle façonne progressivement cet aléatoire en quelque chose qui correspond au prompt. Le résultat n’est pas copié comme un fichier stocké unique, mais il peut tout de même refléter des motifs, styles, personnes ou matériaux protégés présents dans les données d’entraînement.
Analogie
Un modèle de diffusion ressemble à un artiste qui commence avec de la neige statique sur une toile et l’affine progressivement jusqu’à ce qu’une scène apparaisse.
Les modèles de diffusion sont importants parce qu’ils alimentent de nombreux systèmes de génération d’images et de médias de haute qualité. Ils peuvent soutenir le design, la publicité, l’éducation, le divertissement, le prototypage et l’accessibilité, mais ils peuvent aussi créer des deepfakes, des preuves trompeuses, des ressemblances non consenties, des styles contrefaisants ou des contenus synthétiques que les utilisateurs prennent pour la réalité. En matière de gouvernance, les sorties de diffusion nécessitent une politique de contenu, une provenance, une information des utilisateurs, une revue des jeux de données et des contrôles contre le mésusage. Dans le cadre de l’EU AI Act et des débats liés à la transparence, les médias synthétiques et contenus générés par IA doivent être traités comme des questions de conception et de compliance, pas seulement comme des fonctionnalités créatives.
Urgence
Passez en revue l’usage des modèles de diffusion avant d’autoriser la génération publique, les uploads utilisateurs, la génération de ressemblances biométriques ou la publication destinée aux clients.
Une revue pratique doit identifier le fournisseur du modèle, les informations disponibles sur les données d’entraînement, les contenus autorisés, les contenus bloqués, les contrôles de prompts utilisateurs, l’étiquetage des sorties, les options de filigranage ou de provenance, les règles de conservation et le processus d’escalade pour les sorties dangereuses. Si le système peut générer des personnes réalistes, des voix, des documents, des logos, des images médicales ou des matériaux ressemblant à des preuves, la gouvernance doit être plus stricte. Les équipes doivent aussi tester les contenus interdits, les biais démographiques, les sorties sensibles en matière de propriété intellectuelle et les tentatives de contournement des filtres de sécurité.
Les équipes traitent souvent les modèles de diffusion comme des outils créatifs inoffensifs parce que les sorties sont visuelles. Le risque augmente lorsque les sorties paraissent réalistes, ressemblent à de vraies personnes, imitent des marques ou styles protégés, ou sont utilisées dans des contextes réglementés ou probatoires.
Erreur 1 : autoriser la génération de ressemblances humaines réalistes sans contrôles de consentement peut créer des risques de vie privée, biométriques et réputationnels.
Erreur 2 : publier des images générées sans provenance ni revue peut tromper les utilisateurs et exposer l’organisation à des réclamations de propriété intellectuelle ou de désinformation.
Cette page relie les modèles de diffusion aux réseaux antagonistes génératifs et aux modèles génératifs. Elle soutient aussi la comparaison avec les GAN et renvoie aux pages sur les grands modèles de langage, l’IA générative, les médias synthétiques et la gouvernance des contenus générés par IA.