Des chercheurs reçoivent un financement pour identifier les risques potentiels liés aux systèmes d'IA au milieu de rapports faisant état de la dissolution d'unités internes de gestion des risques
Dans un geste crucial, OpenAI a dévoilé un programme de bourses de sécurité, offrant une allocation hebdomadaire substantielle de 3 850 $ aux chercheurs externes chargés d'examiner les risques potentiels associés à l'IA avancée. Cette annonce, faite le 6 avril, a coïncidé avec une enquête révélatrice du New Yorker, qui a révélé qu'OpenAI avait démantelé ses équipes de sécurité internes et supprimé le terme « en toute sécurité » de sa déclaration de mission déposée auprès de l'IRS. La bourse, conçue comme un programme pilote, vise à favoriser la recherche indépendante sur la sécurité et l'alignement, tout en encourageant la prochaine génération de talents dans ce domaine critique.
Les généreuses incitations du programme comprennent une allocation hebdomadaire de 3 850 $, soit l'équivalent de plus de 200 000 $ par an, en plus d'environ 15 000 $ de ressources informatiques et du mentorat des chercheurs experts d'OpenAI. Les boursiers auront la possibilité de travailler depuis l'espace de travail de Constellation à Berkeley ou à distance, les candidatures étant clôturées le 3 mai. Notamment, la bourse n'est pas limitée aux spécialistes de l'IA, car OpenAI recherche activement des candidats issus de divers horizons, notamment la cybersécurité, les sciences sociales et l'interaction homme-machine, en plus de l'informatique.
Le moment choisi pour cette annonce est particulièrement remarquable, car il fait suite au rapport d'enquête de Ronan Farrow dans le New Yorker, qui documentait la disparition de trois équipes de sécurité internes consécutives chez OpenAI sur une période de 22 mois. L'équipe de superalignement a été la première à être dissoute en mai 2024, suivie de l'équipe de préparation AGI en octobre 2024 et enfin de l'équipe d'alignement de mission en février 2026. Une remarque frappante d'un représentant d'OpenAI, en réponse à une enquête d'un journaliste sur les chercheurs en sécurité existentielle, a souligné le changement apparent des priorités de l'entreprise : « Qu'entendez-vous par sécurité existentielle ?
Il est essentiel de noter que la Safety Fellowship n’a pas pour objectif de remplacer l’infrastructure interne qui a été dissoute. Au lieu de cela, les boursiers recevront des crédits API et des ressources informatiques, mais n'auront pas d'accès direct aux systèmes d'OpenAI, positionnant le programme comme une forme de financement de recherche indépendant. Le programme de recherche de la bourse couvre sept domaines clés, notamment l'évaluation de la sécurité, l'éthique, la robustesse et les mesures d'atténuation évolutives. À la fin du programme en février 2027, chaque boursier devrait produire un résultat substantiel, tel qu'un document de recherche, une référence ou un ensemble de données. OpenAI a souligné qu'elle donne la priorité à la capacité de recherche, au jugement technique et à la capacité d'exécution par rapport aux diplômes universitaires spécifiques.
Les implications de cette évolution s’étendent bien au-delà du secteur de l’IA, car elle a des répercussions importantes sur le marché au sens large. La confiance dans les engagements des entreprises pionnières de l’IA en matière de sécurité constitue un signal crucial pour le marché, influençant l’allocation des capitaux dans l’infrastructure de l’IA, les jetons d’IA et les protocoles DePIN et d’agents d’IA, qui se situent à l’intersection de la crypto-monnaie et de l’intelligence artificielle. Alors que les investisseurs surveillent de près la trajectoire des dépenses et les priorités opérationnelles d’OpenAI, le succès de ce programme de bourses sera vivement observé. La question de savoir si les chercheurs externes, travaillant sans accès interne, peuvent avoir un impact significatif sur le développement de modèles commencera à trouver une réponse lorsque les recherches de la première cohorte seront dévoilées début 2027.