Alignment Research Center
La mise en forme de cet article est à améliorer ().
La mise en forme du texte ne suit pas les recommandations de Wikipédia : il faut le « wikifier ».
L'Alignment Research Center (ARC) est un organisme de recherche à but non lucratif qui se consacre à l'alignement de l'intelligence artificielle avancée sur les valeurs et les priorités humaines.
Activités
La mission de l'ARC est de veiller à ce que les puissants systèmes d'apprentissage automatique du futur soient conçus et développés en toute sécurité et au bénéfice de l'humanité. L'ARC a été fondé en avril 2021 par Paul Christiano et d'autres chercheurs qui se concentrent sur les défis théoriques de l'alignement de l'IA[1]. Ils tentent de développer des méthodes évolutives pour entraîner les systèmes d'IA à se comporter de manière honnête et utile. Un élément clé de leur méthodologie consiste à examiner comment les techniques d'alignement proposées pourraient s'effondrer ou être contournées à mesure que les systèmes deviennent plus avancés[2]. L'ARC s'est étendu du travail théorique à la recherche empirique, aux collaborations industrielles et aux politiques publiques[3],[4]. En mars 2022, l'ARC a reçu 265 000 dollars d'Open Philanthropy.
En mars 2023, OpenAI a demandé à l'ARC de tester GPT-4 afin d'évaluer la capacité du modèle à afficher un comportement de recherche de pouvoir. Dans le cadre du test, GPT-4 a été invité à résoudre une énigme CAPTCHA[6]. Il a pu le faire en embauchant un travailleur humain sur TaskRabbit, une plateforme de gig work, en le trompant et en lui faisant croire qu'il s'agissait d'un humain malvoyant et non d'un robot lorsqu'on le lui demandait[réf. nécessaire].
Notes et références
- (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Alignment Research Center » (voir la liste des auteurs).
- (en) Paul Christiano, « Announcing the Alignment Research Center », sur Medium, (consulté le )
- (en) Paul Christiano, Ajeya Cotra et Mark Xu, « Eliciting Latent Knowledge: How to tell if your eyes deceive you », sur Google Docs, Alignment Research Center, (consulté le )
- (en) « Alignment Research Center », sur Alignment Research Center (consulté le )
- (en-US) « Alignment Research Center — General Support », sur Open Philanthropy, (consulté le )
