Des chercheurs en cybersécurité ont découvert que des spammers ont utilisé l’API d’OpenAI pour générer des messages uniques, leur permettant de contourner les filtres anti-spam et d’envoyer des courriels frauduleux à plus de 80 000 sites web en quatre mois. En convainquant l’IA qu’elle agissait en tant qu’assistante marketing, les attaquants ont pu exploiter ses capacités pour créer du contenu indésirable.
Une utilisation détournée de ChatGPT
Selon un rapport de la société de cybersécurité SentinelLabs, les spammers ont utilisé AkiraBot, un framework automatisant l’envoi de messages en masse pour promouvoir des services de référencement « gris » destinés aux petites et moyennes entreprises. AkiraBot s’appuyait sur des scripts en Python pour faire tourner les noms de domaine annoncés dans les messages.
Génération de contenu unique pour tromper les filtres
Le framework exploitait également l’API de chat d’OpenAI, liée au modèle GPT-4o-mini, pour générer des messages uniques adaptés à chaque site ciblé. Cette approche a probablement aidé à contourner les filtres qui recherchent et bloquent le contenu identique envoyé à de nombreux sites. Les messages étaient envoyés via des formulaires de contact et des widgets de chat en direct intégrés aux sites visés.
Une instruction spécifique pour ChatGPT
AkiraBot donnait à GPT-4o-mini l’instruction suivante : « Vous êtes une assistante utile qui génère des messages marketing. » L’invite demandait à l’IA de remplacer les variables par le nom du site fourni lors de l’exécution. Ainsi, le corps de chaque message incluait le nom du site destinataire et une brève description des services qu’il propose.
Conséquences et réactions
OpenAI a bloqué le compte des spammers après avoir été informé par SentinelLabs, mais celui-ci était actif depuis environ quatre mois. La société a remercié les chercheurs et a réitéré que de telles utilisations de ses chatbots violent ses conditions d’utilisation. OpenAI a précédemment publié un rapport décrivant les tendances dans l’utilisation de sa plateforme par des attaquants et a supprimé des dizaines de comptes utilisant ChatGPT à des fins frauduleuses, telles que la génération de contenu faux ou d’offres d’emploi.
Défis posés par l’IA en cybersécurité
Cette situation souligne les nouveaux défis que l’intelligence artificielle crée pour la protection des sites web contre les attaques de spam. La capacité des modèles d’IA à générer du contenu à grande échelle peut être facilement détournée par des attaquants, rendant plus difficile la détection et le blocage des messages indésirables.