Mme Edwige Diaz attire l'attention de M. le ministre délégué auprès du ministre de l'économie, des finances et de la souveraineté industrielle et numérique, chargé du numérique, sur les dangers que représentent certaines applications, basées sur l'intelligence artificielle, alimentant le harcèlement scolaire et le cyberharcèlement. À Almendralejo, en Espagne, 22 plaintes ont récemment été déposées par 20 jeunes filles victimes du phénomène dit de deepfake porn. En effet, une certaine application propose à partir de photos ordinaires de dénuder les personnes qui y sont photographiées. Pour 10 euros, l'application produit 25 photos de ce genre. C'est ainsi que des photos pornographiques de ces jeunes filles ont été diffusées sur des groupes de discussion en ligne. La plus jeune est seulement âgée de 11 ans ; quant aux suspects, ils auraient entre 12 et 14 ans. Les parents s'inquiètent légitimement de retrouver les photos sur des sites pornographiques, alors que ces 20 adolescentes subissent les moqueries de leurs camarades. L'une d'entre elle a même confié être victime de chantage. Les conséquences sur l'état psychologique et physique de ces victimes sont dramatiques, d'autant plus à un si jeune âge. Les photos sont quasiment impossibles à faire disparaître totalement d'internet, selon le chef du groupe de protection des mineurs de l'unité centrale de cyberdélinquance en Espagne, Javier Izquierdo. On ne peut alors que s'inquiéter à l'idée que ces pratiques impactent prochainement les adolescents français. En effet, en France, 60 % des jeunes âgés de 18 à 25 ans déclarent avoir déjà été confrontés à une situation de cyber-harcèlement. Parmi eux, 51 % ont failli tomber dans des comportements d'addiction à la drogue ou à l'alcool et 49 % avouent avoir songé au suicide. Ainsi, avec une génération très connectée, se développe l'idée que le deepfake porn pourrait se propager dans les écoles françaises et participer à l'accentuation de la violence du harcèlement scolaire et du cyber-harcèlement. Il pourrait également être une arme supplémentaire pour le revenge porn, qui affecte déjà de trop nombreux Français et principalement des femmes. Ainsi, elle l'interroge sur les moyens envisagés pour anticiper et lutter contre ce nouveau fléau déjà présent en Europe et s'installant insidieusement en France.
Le Gouvernement est particulièrement attentif aux nouvelles formes de cyberharcèlement et de cyberviolences sexistes et sexuelles. La diffusion de "deepfakes" à caractère pornographique porte gravement atteinte à la dignité des personnes en les représentant dans des situations dégradantes. Ces images peuvent être utilisées pour intimider, humilier, harceler, parfois même faire chanter. L'impact de ces cyberviolences sur la santé des victimes, notamment mineures, est bien réel : troubles anxieux, dépressifs, insomnies, risques suicidaire. L'article 227-23 du code pénal punit de cinq ans d'emprisonnement et de 75 000 euros d'amende le fait de diffuser toute image ou toute représentation d'un mineur ayant un caractère pornographique. Par ailleurs, le Gouvernement a présenté dans son projet de loi sur la sécurisation de l'espace numérique (SREN) deux mesures d'encadrement des "deepfakes". Premièrement, le projet de loi adapte les interdictions de trucages prévues au sein du code pénal aux nouveaux outils d'intelligence artificielle. En effet, les hypertrucages générés par l'intelligence artificielle sans support préalable n'étaient pas compris pas dans la catégorie du "montage" telle que définie par le code pénal. Le projet de loi SREN modifie l'article 226-8 de ce code pour réguler ces nouvelles réalités qui représentent une part croissante des hypertrucages. Deuxièmement, la très grande majorité des hypertrucages recensés sont des hypertrucages à caractère sexuel ou pornographique. Ils concernent majoritairement les femmes et sont souvent utilisés pour nuire à leur réputation. Le projet de loi SREN crée un nouvel article 226-8-1 au sein du code pénal pour sanctionner tout hypertrucage à caractère sexuel diffusé sans consentement, même s'il est précisé qu'il s'agit d'un hypertrucage. De tels hypertrucages seront sanctionnés d'une peine d'emprisonnement de deux ans et de 60 0000 euros d'amende, ces peines pouvant être portées à trois ans d'emprisonnement et 75 000 euros d'amende lorsque la diffusion a été faite avec un service de communication au public en ligne. Ces dispositions ont été adoptées de façon conjointe par le Sénat et l'Assemblée nationale. Le projet de loi SREN amène également une pénalisation plus forte du chantage sexuel en ligne ("sextorsion"), qui sera désormais puni de sept ans d'emprisonnement et de 150 000€ d'amende. Enfin, le règlement sur les services numériques (DSA), adopté en 2022 durant la Présidence française de l'Union européenne, impose de nouvelles règles aux plateformes qui devront lutter beaucoup plus activement contre le cyberharcèlement et la diffusion de contenus illicites : elles devront notamment mettre mettre en place des canaux de signalement des contenus illicites facilement accessibles et utilisables et mieux coopérer avec les autorités, en les informant de toute infraction pénale présentant une menace pour la sécurité des personnes dont elles ont connaissance, et en retirant tout contenu illicite qui leur est signalé. Le DSA s'appliquera à toutes les plateformes et les intermédiaires en ligne qui offrent leurs services sur le marché européen (fournisseurs d'accès à internet, marketplaces, cloud, réseaux sociaux, etc.) le 17 février 2024.
Aucun commentaire n'a encore été formulé sur cette question.