Les chercheurs de Salus Security ont testé la capacité de GPT-4 et d’autres systèmes d’intelligence artificielle à détecter sept vulnérabilités de sécurité courantes.
Deux chercheurs de Salus Security, une société de sécurité blockchain avec des bureaux en Amérique du Nord, en Europe et en Asie, ont récemment publié une recherche mettant en valeur les talents de GPT-4 en matière d’analyse et d’audit des contrats intelligents.
Il s’avère que l’intelligence artificielle (IA) est assez efficace pour générer et analyser du code, mais vous ne voudriez pas l’utiliser comme auditeur de sécurité.
Selon le journal :
« GPT-4 peut être un outil utile pour faciliter l’audit des contrats intelligents, en particulier pour l’analyse du code et la fourniture d’indices de vulnérabilité. Cependant, compte tenu de ses limites en matière de détection des vulnérabilités, il ne peut pas remplacer entièrement les outils d’audit professionnels et les auditeurs expérimentés pour le moment.
Les chercheurs de Salus ont utilisé un ensemble de données de 35 contrats intelligents (appelé bibliothèque de vulnérabilités de référence SolidiFI), qui contenait un total de 732 vulnérabilités, pour juger de la capacité de l’IA à détecter les failles de sécurité potentielles parmi sept types courants de vulnérabilités.
Selon leurs conclusions, ChatGPT est efficace pour détecter les vrais positifs, c’est-à-dire des vulnérabilités réelles qui, en dehors d’un environnement de test, mériteraient d’être étudiées. Il a atteint une précision supérieure à 80 % lors des tests.
Cependant, il semble qu’il y ait un problème avec la génération de faux négatifs. Ceci est exprimé par une statistique appelée « taux de rappel », et dans les expériences de l’équipe Salus, le taux de rappel du GPT-4 était aussi bas que 11 % (plus c’est élevé, mieux c’est).
Cela indique, comme l’ont conclu les chercheurs, « que les capacités de détection des vulnérabilités de GPT-4 font défaut, la précision la plus élevée n’étant que de 33 % ». En tant que tel, les chercheurs recommandent d’utiliser des outils d’audit dédiés et le bon vieux savoir-faire humain pour auditer les contrats intelligents jusqu’à ce que les systèmes d’IA tels que GPT-4 puissent être mis à niveau.
« En résumé, GPT-4 peut être un outil utile pour faciliter l’audit des contrats intelligents, en particulier pour l’analyse du code et pour fournir des indices de vulnérabilité. … Lorsque vous utilisez GPT-4, il doit être combiné avec d’autres méthodes et outils d’audit pour améliorer la précision et l’efficacité globales de l’audit.