Le leader de OpenAI qui quitte ses fonctions a déclaré qu’aucune organisation n’est prête pour l’AGI.La division ‘AGI Readiness’ de OpenAI est également en train de se dissoudre.Par Kylie Robison, reporter senior en IA qui collabore avec les équipes de politique et de technologie de The Verge. Elle a occupé des postes chez Business Insider et Fortune Magazine par le passé.
Avec l’annonce de son départ le mercredi, Miles Brundage, conseiller principal de OpenAI pour la viabilité de l’AGI (également connue sous le nom d’intelligence artificielle de niveau humain), a émis un avertissement sans équivoque : personne, y compris OpenAI, n’est prêt pour l’intelligence artificielle générale.
Brundage, qui a passé six ans à contribuer au développement des initiatives de sécurité de l’IA de la société, a écrit : “Ni OpenAI ni aucun autre laboratoire de pointe n’est prêt pour l’AGI, et le monde n’est pas non plus prêt.” “Pour être parfaitement clair, je ne crois pas que ce soit une déclaration controversée parmi la direction de OpenAI. Plus important encore, c’est une question distincte de savoir si la société et le monde sont sur la bonne voie pour être prêts au moment opportun.”
Son départ est le plus récent d’une série de départs de haut niveau des équipes de sécurité de OpenAI. Après avoir affirmé que “la culture de la sécurité et les processus ont été relégués au second plan par rapport aux produits séduisants”, Jan Leike, chercheur émérite, a quitté l’entreprise. Ilya Sutskever, cofondateur, est également parti pour fonder sa propre entreprise d’IA spécialisée dans le développement d’une AGI sûre.
La dissolution de l’équipe de “Préparation à l’AGI” de Brundage, survenue quelques mois seulement après la dissolution de l’équipe de “Superalignment” de la société, souligne les tensions croissantes entre la mission initiale de OpenAI et ses aspirations commerciales. La société serait sous pression pour passer d’une organisation à but non lucratif à une société commerciale à but social dans les deux prochaines années, faute de quoi elle devrait rembourser les fonds de sa récente levée de fonds de 6,6 milliards de dollars. Cette transition vers la commercialisation a suscité des inquiétudes pour Brundage, qui a exprimé des appréhensions en 2019 lorsque OpenAI a initialement créé sa division à but lucratif.
Brundage a attribué son départ aux restrictions croissantes sur sa liberté de recherche et de publication au sein de l’organisation de premier plan. Il a souligné la nécessité de perspectives indépendantes dans les discussions sur les politiques en matière d’IA, à l’abri des biais de l’industrie et des conflits d’intérêts. Il est convaincu qu’il peut maintenant avoir une influence plus significative sur la gouvernance mondiale de l’IA depuis l’extérieur de l’organisation, ayant été conseiller de la direction de OpenAI en matière de préparation interne.
Ce départ pourrait également témoigner d’une division culturelle plus profonde au sein de OpenAI. De nombreux chercheurs se sont engagés pour faire avancer la recherche en IA, mais ils se retrouvent désormais confrontés à un environnement de plus en plus tourné vers les produits. L’allocation interne des ressources est devenue un point de friction ; des rapports suggèrent que l’équipe de Leike s’est vu refuser des capacités de calcul pour la recherche sur la sécurité avant sa dissolution ultérieure.
Brundage a reconnu qu’OpenAI lui a fait une offre de financement, de crédits API et d’accès anticipé aux modèles, sans aucune condition, malgré les frictions susmentionnées.
