L’intelligence artificielle générative, ou GenAI, représente l’apogée de la technologie moderne, offrant des possibilités quasi illimitées à travers divers secteurs. Que ce soit dans la santé, l’éducation, ou même les services publics, ces systèmes sophistiqués repoussent les limites de ce que nous pensions possible. Pourtant, derrière cette façade prometteuse se cache une réalité plus sombre : l’abus potentiel de ces outils. Une étude récente menée par Google DeepMind et Jigsaw, en collaboration avec Google.org, dresse un tableau inquiétant de la mauvaise utilisation de l’IA générative.
L’étude, basée sur une analyse de près de 200 incidents documentés entre janvier 2023 et mars 2024, propose une classification des méthodes de mauvaise utilisation de GenAI. Deux grandes catégories émergent : l’exploitation des capacités de GenAI et la compromission des systèmes eux-mêmes.
Parmi les tactiques identifiées, l’usurpation d’identité est l’une des plus répandues. Imaginez des appels robotisés imitant la voix du président des États-Unis pour manipuler les électeurs ou des images de célébrités modifiées pour les montrer dans des situations compromettantes. Les sockpuppets, ces faux comptes créés de toutes pièces, prolifèrent sur les réseaux sociaux, influençant l’opinion publique de manière insidieuse.
Les images intimes non consensuelles et le matériel d’abus sexuel d’enfants figurent également parmi les abus recensés. La création de contenus sexuellement explicites utilisant l’image de personnes réelles, sans leur consentement, témoigne de la gravité de la situation.
Outre l’exploitation directe des capacités, certaines attaques visent à compromettre les systèmes GenAI eux-mêmes. Les injections de prompt, par exemple, manipulent les instructions données aux systèmes pour générer des sorties nuisibles. Le jailbreaking, ou contournement des filtres de sécurité, permet aux utilisateurs de produire des contenus toxiques ou offensants.
Les motivations derrière les abus
Les motivations des acteurs malveillants sont variées. La manipulation de l’opinion publique est la plus courante. Des images générées par IA montrant des scènes de guerre ou de déclin économique sont partagées pour influencer les perceptions politiques. Les fausses déclarations de politiciens, créées à l’aide de GenAI, prolifèrent sur les réseaux sociaux, semant le doute et la confusion.
La quête de profit est une autre motivation majeure. Les fraudeurs utilisent l’IA pour créer des livres, des articles et des annonces à grande échelle, envahissant des plateformes comme Amazon et Etsy. Les escroqueries basées sur l’usurpation d’identité sont également courantes, les voix et les vidéos générées par IA étant utilisées pour tromper les victimes et leur extorquer de l’argent.
Les implications de ces abus sont profondes. L’IA générative, bien qu’accessible et puissante, peut être utilisée pour amplifier les menaces existantes et en créer de nouvelles. Les acteurs malveillants n’ont pas besoin de compétences techniques avancées pour exploiter ces outils, ce qui démocratise l’accès à des méthodes de manipulation sophistiquées.
Pour contrer ces abus, des interventions techniques et sociales sont nécessaires. Les solutions techniques, telles que les outils de détection de médias synthétiques et les techniques de watermarking, offrent des promesses mais ne sont pas infaillibles. Les interventions sociales, comme la sensibilisation et la prébunking (préemption des manipulations d’information), sont cruciales pour renforcer la résilience des utilisateurs face aux tactiques de déception.
Manipulation de l’opinion et monétisation
L’étude révèle que l’un des objectifs principaux de l’exploitation de GenAI est de manipuler l’opinion publique. Parmi les 191 cas étudiés, 27 % visaient explicitement à influencer les perceptions politiques ou sociales. Les acteurs utilisent des images et vidéos générées par IA pour créer de fausses déclarations de politiciens, des scènes de chaos et de désordre public, ou encore des témoignages falsifiés. Ces contenus, souvent très émotionnels, sont largement diffusés sur les réseaux sociaux pour maximiser leur impact.
Par exemple, des vidéos générées par IA montrant des déclarations fictives de figures politiques clés, telles que Vladimir Poutine déclarant la loi martiale, ont été utilisées pour semer la panique et la confusion. De même, des images truquées de candidats politiques dans des situations compromettantes sont partagées pour discréditer et affaiblir leurs campagnes.
La monétisation est une autre motivation majeure derrière l’abus de GenAI. Environ 21 % des cas analysés concernaient des tentatives de générer des profits illégaux. Les fraudeurs créent des contenus en masse, tels que des articles, livres et produits publicitaires, pour les vendre sur des plateformes en ligne comme Amazon et Etsy. Cette production de masse permet de réduire considérablement les coûts tout en inondant le marché de contenus souvent de faible qualité.
Un phénomène inquiétant est l’utilisation de GenAI pour générer des images intimes non consensuelles (NCII). Des vidéos et photos sexuellement explicites de célébrités et de particuliers sont créées et vendues sans leur consentement, alimentant un marché noir florissant. Ces abus ont des conséquences psychologiques et sociales dévastatrices pour les victimes.
Les escroqueries basées sur l’usurpation d’identité représentent 18 % des cas. Grâce à la qualité et la sophistication des outputs générés par IA, les escrocs peuvent créer des arnaques extrêmement convaincantes. Les faux emails d’entreprise, les vidéos et les appels téléphoniques utilisant des voix générées par IA sont utilisés pour tromper les victimes et leur soutirer de l’argent.
Par exemple, un employé financier a été dupé en transférant 25 millions de dollars après avoir participé à une réunion vidéo avec des collègues « générés par IA ». Ces arnaques, souvent difficiles à détecter, mettent en évidence la nécessité d’une vigilance accrue et de mécanismes de vérification robustes.
Le harcèlement est une autre forme préoccupante d’abus de GenAI, représentant environ 6 % des cas. La génération non consensuelle de contenus intimes cible principalement les femmes, y compris les adolescentes. Les images et vidéos « nudifiées » sont souvent utilisées dans des campagnes de cyberintimidation, provoquant des traumatismes durables chez les victimes.
Les personnalités publiques ne sont pas épargnées. Les voix et images de célébrités et de figures publiques sont clonées pour les discréditer ou les harceler en ligne. Un cas particulièrement troublant impliquait la création de clips audio de voix d’acteurs lisant leurs propres adresses, utilisés pour les intimider.
Bien que moins fréquentes, certaines utilisations de GenAI visent à maximiser la portée des messages ou des contenus. Environ 3,6 % des cas utilisaient des techniques de « résurrection numérique », donnant une voix à des personnes décédées pour des campagnes de sensibilisation ou d’advocacy.
Par exemple, des groupes militants ont utilisé GenAI pour recréer les voix de victimes de fusillades scolaires afin de plaider pour une réforme des armes à feu. Sur TikTok, des créateurs ont donné une « voix » à des enfants décédés ou disparus pour narrer leurs expériences, souvent sans le consentement des familles, soulevant des questions éthiques profondes.
L’analyse des abus réels de GenAI met en évidence des modèles clés aux implications significatives pour les professionnels de la sécurité, les décideurs et les chercheurs. Les outils de GenAI sont principalement exploités pour manipuler l’image humaine et falsifier des preuves. Les tactiques les plus courantes sont souvent accessibles et ne nécessitent pas de compétences techniques avancées, rendant ces méthodes de manipulation plus répandues et dangereuses.
Les interventions techniques et sociales doivent être combinées pour contrer ces abus. Les solutions techniques, telles que les outils de détection de médias synthétiques et les techniques de watermarking, offrent des promesses mais ne sont pas infaillibles. Les interventions sociales, comme la sensibilisation et la prébunking (préemption des manipulations d’information), sont cruciales pour renforcer la résilience des utilisateurs face aux tactiques de déception.
L’étude de Google DeepMind et Jigsaw souligne une réalité troublante : la technologie de l’IA générative, malgré ses avancées révolutionnaires, est un couteau à double tranchant. Si elle offre des opportunités incroyables, elle présente également des risques majeurs d’abus. Il est impératif que les décideurs politiques, les chercheurs, les leaders de l’industrie et la société civile collaborent pour développer des stratégies de mitigation efficaces. Seule une approche multifacette permettra de protéger la société contre les dérives potentielles de cette technologie puissante.
