Aller au contenu

« Alignment Research Center » : différence entre les versions

Un article de Wikipédia, l'encyclopédie libre.
Navigation interactive dans l’historique
← Modification précédente
Contenu supprimé Contenu ajouté
VisuelWikicode
JackBot (discuter | contributions)
Robots
497 696 modifications
Alenoach (discuter | contributions)
2 024 modifications
m Portail plus spécifique
 
(15 versions intermédiaires par 8 utilisateurs non affichées)
Ligne 1 : Ligne 1 :
{{Infobox}}
{{À wikifier|date=avril 2023}}
⚫
L{{'}}'''Alignment Research Center''' (ARC) est un organisme de recherche à but non lucratif qui se consacre à l'alignement de l'[[intelligence artificielle]] avancée sur les valeurs et les priorités humaines.


== Activités ==
⚫
L'Alignment Research Center (ARC) est un organisme de recherche à but non lucratif qui se consacre à l'alignement de l'intelligence artificielle avancée sur les valeurs et les priorités humaines.
⚫
La mission de l'ARC est de veiller à ce que les puissants systèmes d'[[apprentissage automatique]] du futur soient conçus et développés en toute sécurité et au bénéfice de l'humanité. L'ARC a été fondé en avril 2021 par Paul Christiano et d'autres chercheurs qui se concentrent sur les défis théoriques de l'[[Alignement des intelligences artificielles|alignement de l'IA]]<ref>{{lien web|nom=Christiano |prénom=Paul |date=2021-04-26 |titre=Announcing the Alignment Research Center |url=https://ai-alignment.com/announcing-the-alignment-research-center-a9b07f77431b |consulté le=2023-04-16 |website=Medium |langue=en}}</ref>. Ils tentent de développer des méthodes évolutives pour entraîner les systèmes d'IA à se comporter de manière honnête et utile. Un élément clé de leur méthodologie consiste à examiner comment les techniques d'alignement proposées pourraient s'effondrer ou être contournées à mesure que les systèmes deviennent plus avancés<ref>{{lien web|prénom1=Paul |nom1=Christiano |prénom2=Ajeya |nom2=Cotra |prénom3=Mark |nom3=Xu |titre=Eliciting Latent Knowledge: How to tell if your eyes deceive you |éditeur=Alignment Research Center |date=December 2021 |url=https://docs.google.com/document/d/1WwsnJQstPq91_Yh-Ch2XRL8H_EpsnjrC1dwZXR37PC8/edit?usp=embed_facebook |consulté le=2023-04-16 |website=Google Docs |langue=en}}</ref>. L'ARC s'est étendu du travail théorique à la recherche empirique, aux collaborations industrielles et aux politiques publiques<ref>{{lien web|titre=Alignment Research Center |url=https://www.alignment.org/ |consulté le=2023-04-16 |website=Alignment Research Center |langue=en}}</ref>{{,}}<ref>{{lien web|date=2022-06-14 |titre=Alignment Research Center — General Support |url=https://www.openphilanthropy.org/grants/alignment-research-center-general-support/ |consulté le=2023-04-16 |website=Open Philanthropy |langue=en-us}}</ref>. En mars 2022, l'ARC a reçu {{formatnum:265000}} dollars d'Open Philanthropy.


En mars 2023, [[OpenAI]] a demandé à l'ARC de tester [[GPT-4]] afin d'évaluer la capacité du modèle à afficher un comportement de recherche de pouvoir. Dans le cadre du test, GPT-4 a été invité à résoudre une énigme [[CAPTCHA]]. Il a pu le faire en contactant un travailleur humain sur TaskRabbit, une plateforme de gig work, qu'il a trompé en lui faisant croire qu'il était un humain [[Malvoyance|malvoyant]], de ce fait incapable de résoudre l'énigme, et non un robot<ref>{{Lien web |langue=en |prénom=Joseph |nom=Cox |titre=GPT-4 Hired Unwitting TaskRabbit Worker By Pretending to Be 'Vision-Impaired' Human |url=https://www.vice.com/en/article/jg5ew4/gpt4-hired-unwitting-taskrabbit-worker |site=Vice |date=2023-03-15 |consulté le=2023-07-16}}</ref>{{,}}<ref>{{Lien web |langue=fr-FR |prénom=Julien |nom=Lausson |titre=GPT-4 a persuadé un humain de résoudre un test CAPTCHA pour lui |url=https://www.numerama.com/tech/1306066-gpt-4-a-persuade-un-humain-de-resoudre-un-test-captcha-pour-lui.html |site=Numerama |date=2023-03-16 |consulté le=2023-07-16}}</ref>.


== Détails ==
== Notes et références ==
{{Traduction/Référence|lang1=en|art1=Alignment Research Center|id1=1151487906}}
⚫
La mission de l'ARC est de veiller à ce que les puissants systèmes d'apprentissage automatique du futur soient conçus et développés en toute sécurité et au bénéfice de l'humanité. L'ARC a été fondé en avril 2021 par Paul Christiano et d'autres chercheurs qui se concentrent sur les défis théoriques de l'alignement de l'IA.<ref>{{lien web|nom=Christiano |prénom=Paul |date=2021-04-26 |titre=Announcing the Alignment Research Center |url=https://ai-alignment.com/announcing-the-alignment-research-center-a9b07f77431b |consulté le=2023-04-16 |website=Medium |langue=en}}</ref> Ils tentent de développer des méthodes évolutives pour entraîner les systèmes d'IA à se comporter de manière honnête et utile. Un élément clé de leur méthodologie consiste à examiner comment les techniques d'alignement proposées pourraient s'effondrer ou être contournées à mesure que les systèmes deviennent plus avancés.<ref>{{lien web|prénom1=Paul |nom1=Christiano |prénom2=Ajeya |nom2=Cotra |prénom3=Mark |nom3=Xu |titre=Eliciting Latent Knowledge: How to tell if your eyes deceive you |éditeur=Alignment Research Center |date=December 2021 |url=https://docs.google.com/document/d/1WwsnJQstPq91_Yh-Ch2XRL8H_EpsnjrC1dwZXR37PC8/edit?usp=embed_facebook |consulté le=2023-04-16 |website=Google Docs |langue=en}}</ref> L'ARC s'est étendu du travail théorique à la recherche empirique, aux collaborations industrielles et aux politiques publiques.<ref>{{lien web|titre=Alignment Research Center |url=https://www.alignment.org/ |consulté le=2023-04-16 |website=Alignment Research Center |langue=en}}</ref>{{,}}<ref>{{lien web|date=2022-06-14 |titre=Alignment Research Center — General Support |url=https://www.openphilanthropy.org/grants/alignment-research-center-general-support/ |consulté le=2023-04-16 |website=Open Philanthropy |langue=en-us}}</ref> En mars 2022, l'ARC a reçu 265 000 dollars d'Open Philanthropy.
{{Références}}


== Liens externes ==
En mars 2023, OpenAI a demandé à l'ARC de tester GPT-4 afin d'évaluer la capacité du modèle à afficher un comportement de recherche de pouvoir. Dans le cadre du test, GPT-4 a été invité à résoudre une énigme CAPTCHA[6]. Il a pu le faire en embauchant un travailleur humain sur TaskRabbit, une plateforme de gig work, en le trompant et en lui faisant croire qu'il s'agissait d'un humain malvoyant et non d'un robot lorsqu'on le lui demandait.
{{Liens}}


{{Portail|associations}}
{{Portail|associations|intelligence artificielle}}

[[Catégorie:Intelligence artificielle]]

Dernière version du 6 juillet 2024 à 01:08

Alignment Research Center (ARC)
Histoire
Fondation
Cadre
Domaine d'activité
Siège
Organisation
Fondateur
Site web

modifier - modifier le code - modifier WikidataDocumentation du modèle

L'Alignment Research Center (ARC) est un organisme de recherche à but non lucratif qui se consacre à l'alignement de l'intelligence artificielle avancée sur les valeurs et les priorités humaines.

Activités

[modifier | modifier le code]

La mission de l'ARC est de veiller à ce que les puissants systèmes d'apprentissage automatique du futur soient conçus et développés en toute sécurité et au bénéfice de l'humanité. L'ARC a été fondé en avril 2021 par Paul Christiano et d'autres chercheurs qui se concentrent sur les défis théoriques de l'alignement de l'IA[1]. Ils tentent de développer des méthodes évolutives pour entraîner les systèmes d'IA à se comporter de manière honnête et utile. Un élément clé de leur méthodologie consiste à examiner comment les techniques d'alignement proposées pourraient s'effondrer ou être contournées à mesure que les systèmes deviennent plus avancés[2]. L'ARC s'est étendu du travail théorique à la recherche empirique, aux collaborations industrielles et aux politiques publiques[3],[4]. En mars 2022, l'ARC a reçu 265 000 dollars d'Open Philanthropy.

En mars 2023, OpenAI a demandé à l'ARC de tester GPT-4 afin d'évaluer la capacité du modèle à afficher un comportement de recherche de pouvoir. Dans le cadre du test, GPT-4 a été invité à résoudre une énigme CAPTCHA. Il a pu le faire en contactant un travailleur humain sur TaskRabbit, une plateforme de gig work, qu'il a trompé en lui faisant croire qu'il était un humain malvoyant, de ce fait incapable de résoudre l'énigme, et non un robot[5],[6].

Notes et références

[modifier | modifier le code]
  1. ↑ (en) Paul Christiano, « Announcing the Alignment Research Center », sur Medium, (consulté le )
  2. ↑ (en) Paul Christiano, Ajeya Cotra et Mark Xu, « Eliciting Latent Knowledge: How to tell if your eyes deceive you », sur Google Docs, Alignment Research Center, (consulté le )
  3. ↑ (en) « Alignment Research Center », sur Alignment Research Center (consulté le )
  4. ↑ (en-US) « Alignment Research Center — General Support », sur Open Philanthropy, (consulté le )
  5. ↑ (en) Joseph Cox, « GPT-4 Hired Unwitting TaskRabbit Worker By Pretending to Be 'Vision-Impaired' Human », sur Vice, (consulté le )
  6. ↑ Julien Lausson, « GPT-4 a persuadé un humain de résoudre un test CAPTCHA pour lui », sur Numerama, (consulté le )

Liens externes

[modifier | modifier le code]

Ce document provient de « https://fr.wikipedia.org/w/index.php?title=Alignment_Research_Center&oldid=216547864 ».