Pleins feux sur les menaces : contournement des mesures de protection sur l'IA générative

Deux tendances majeures se rejoignent dans le domaine des cybermenaces : 1) les applications d'IA génératives redéfinissent la façon dont nous interagissons les uns avec les autres et avec nos environnements, et 2) les acteurs de la menace abusent de ces mêmes applications d'IA génératives qui créent de nouvelles possibilités positives pour les manipuler à des fins malveillantes. (Découvrez notre dernier Pleins feux sur les menaces : IA générative, pour apprendre plus!)

À quoi ressemble le fait d'être au point de rencontre de ces deux virages technologiques ?

IA générative + marchandisation de la cybercriminalité

Dans le contexte de ces deux tendances se trouve le développement global de la marchandisation de la cybercriminalité : les acteurs malveillants réussissent à adapter le modèle « en tant que service » pour acheter et vendre des rançongiciels, des logiciels malveillants, des appareils infectés, des données utilisateur volées, etc. Cela facilite également une plus grande spécialisation : certains cybercriminels sont des experts dans la création de logiciels malveillants et d'infrastructures d'attaque, et ils les vendent à d'autres qui mènent ensuite les attaques. 

Les grands modèles de langage (LLM) comme ChatGPT et GPT-4 ont certainement créé beaucoup de buzz au cours des derniers mois. Ce niveau d'attention et de curiosité se traduit également dans les domaines illicites d'Internet, car les acteurs malveillants discutent non seulement de ce que ces outils peuvent faire pour eux maintenant, mais aussi de la manière de les altérer pour mieux répondre à leurs utilisations néfastes.

Les outils peuvent être divisés en trois camps environ. Il y a d'abord les outils open source (comme le code source pour LLaMA, qui a été volé à Meta). Ensuite, il existe des outils accessibles au public tels que Bing de Microsoft, GPT-4 d'OpenAI et la Barde de Google. Enfin, il est probable que bon nombre des principaux acteurs de l'industrie disposent d'outils propriétaires tels que LaMDA de Google. 

Il existe plusieurs approches pour supprimer les sorties nuisibles : 1) apporter des modifications à l'ensemble de données de formation, 2) apporter des modifications grâce à l'apprentissage renforcé à partir de la rétroaction humaine (RHLF), et/ou 3) filtrer les entrées et les sorties du modèle pour filtrer en fonction des correspondances de mots clés et empêcher les sorties de modèle contenant du contenu préjudiciable basé sur la correspondance sémantique. Il n'y a pas de solution simple pour supprimer complètement les résultats nuisibles, il y a donc des résultats mitigés pour contrôler cela avec succès.

Bien que l'adoption à plus grande échelle de ChatGPT en soit encore à ses débuts, selon un article récent d'IT Pro, attaques d'ingénierie sociale intégrant l'IA générative ont déjà bondi de 135 %. Nos observations de bavardage sur le dark web des acteurs de la menace sur l'exploitation de modèles d'IA génératifs pour les e-mails de phishing, les campagnes de désinformation, l'usurpation de voix, etc., corroborent ces résultats. Cette tendance alarmante est encore amplifiée alors que les acteurs malveillants tentent de surmonter davantage les limitations actuelles mises en place pour la sécurité par les plates-formes d'IA, telles que le contournement des abonnements payants et le "jailbreaking" de l'outil. 

Abuser davantage de l'IA générative en contournant les mesures de protection

Les acteurs de la menace cherchent en permanence des moyens d'exploiter davantage les outils à leur disposition. Par exemple, ils recherchent des méthodes pour contourner le modèle d'abonnement payant de GPT-4 pour utiliser les services gratuitement, et vendent également cette méthode d'accès non autorisé à d'autres cybercriminels. Ci-dessous, un acteur menaçant annonce un accès gratuit à GPT-4.

Comme mentionné précédemment, les développeurs d'applications d'IA s'efforcent de prévenir les cas d'utilisation préjudiciables et illégaux, mais des acteurs malveillants se précipitent pour les surmonter. « Jailbreaking » le modèle peut leur permettre de contourner ces limitations et contrôles. 

En contournant les restrictions et en tirant parti des capacités linguistiques extraordinaires du modèle, les cybercriminels sont en mesure d'améliorer leurs opérations illicites et de faire des ravages à une échelle sans précédent, soulignant le besoin urgent d'une vigilance et d'une surveillance réglementaire accrues.

Ce ne sont que quelques instantanés qui indiquent comment les acteurs de la menace déforment l'IA générative, une innovation qui pourrait apporter de nombreux avantages. Il se passe plus de choses chaque jour à mesure que la technologie continue d'évoluer.

IA générative et Flare : comment nous pouvons vous aider

Nous avons partagé quelques exemples d'acteurs malveillants partageant leurs tactiques qui tentent de surpasser l'infrastructure actuelle des outils d'IA générative. Bien que l'utilisation abusive soit sans aucun doute préoccupante, les capacités de LLM représentent une grande ingéniosité et un immense potentiel positif. Il est de notre responsabilité partagée de les utiliser pour le bénéfice et la protection de l'environnement numérique. 

Chez Flare, nous voyons intégrer l'IA générative dans les renseignements sur les cybermenaces comme un moyen nécessaire pour développer nos capacités parallèlement aux technologies émergentes. En intégrant les LLM dans les renseignements sur les cybermenaces, nous pouvons améliorer leurs fonctionnalités essentielles, permettant une évaluation plus rapide et plus précise des menaces.

Flare de Assistant alimenté par l'IA pouvez:

• Traduisez et contextualisez automatiquement les messages du dark web et des chaînes Telegram illicites
• Fournir des informations exploitables sur l'exposition technique
• Détecter et hiérarchiser les appareils infectés

Découvrez comment l'assistant alimenté par l'IA de Flare fonctionne aux côtés de votre cyber-équipe pour améliorez vos opérations de sécurité.