L'IA pourra créer une arme qui essuie les gens de la face de la terre: comment l'empêcher

Les scientifiques ont développé une méthode de test des modèles SHI pour la présence de «connaissances» qui peuvent être utilisées au détriment. L'intelligence artificielle (IA), comme d'autres technologies, peut être utilisée à des fins bonnes et bonnes. Les scientifiques de l'Université Cornel ont décidé d'obtenir l'IA de la «connaissance» nuisible afin que personne ne puisse l'utiliser pour créer un outil de destruction massive.

Ils ont publié les résultats de l'étude sur le site officiel. Étant donné que beaucoup d'argent et d'efforts sont investis dans le développement de l'IA, il y a des préoccupations concernant l'utilisation de modèles de gros langues (VMM) au détriment, par exemple, pour le développement d'armes.

Pour réduire les risques, les organisations gouvernementales et les laboratoires d'intelligence artificielle ont créé un nouvel ensemble de données de référence intitulé Armes de destruction massive Proxy (WMDP), qui n'offre pas seulement une méthode de vérification de la disponibilité. Les chercheurs ont commencé avec des experts dans le domaine de la biosécurité, des armes chimiques et de la cybersécurité.

Ils ont créé une liste de 4 000 questions avec plusieurs réponses pour voir si une personne peut utiliser ces données pour causer des dommages. Ils se sont également assurés que les questions ne révélaient aucune information confidentielle et qu'ils peuvent être partagés ouvertement. Les tests ont assisté à des étudiants.

L'ensemble du WMDP a servi deux objectifs principaux: évaluer la façon dont les étudiants comprennent des sujets dangereux et développer les méthodes de «recrutement» de l'IA à partir de ces connaissances. En conséquence, une méthode appelée Cut a été développée, qui, comme son nom l'indique, supprime les connaissances dangereuses avec le VMM, tout en maintenant les capacités générales de l'IA dans d'autres domaines, tels que la biologie et l'informatique.

La Maison Blanche craint que les attaquants utilisent l'IA pour développer des armes dangereuses, ils appellent donc à la recherche pour mieux comprendre ce risque. En octobre 2023, le président américain Joe Biden a signé un décret qui oblige la communauté scientifique à éliminer les risques associés à l'IA.

La loi définit huit principes de base et priorités de l'utilisation responsable de l'IA, notamment la sécurité, la sécurité, la vie privée, la justice, les droits civils, la protection des consommateurs, l'expansion des droits et opportunités des employés, de l'innovation, de la concurrence et du leadership mondial.

«Mon administration attache une importance primordiale à la gestion et à l'utilisation sûres et responsables de l'IA et favorise donc une approche coordonnée à l'échelle de l'ensemble du gouvernement fédéral. Sécurité, économie et société, "Dans le décret. Mais maintenant, les méthodes qui traitent des neurotrans sont utilisées pour contrôler les systèmes et sont faciles à contourner.

De plus, les tests qui vous permettent de vérifier si le modèle d'IA peut comporter des risques coûte cher et prendre beaucoup de temps. "Nous espérons que nos tests deviendront l'un des principaux critères pour lesquels tous les développeurs évalueront leurs modèles SHI", a déclaré Time Dan Gandrix, directeur exécutif du Centre de sécurité de l'intelligence artificielle et l'un des co-auteurs de l'étude. - "Cela donnera une bonne base pour minimiser les problèmes de sécurité.