Publication des employés de certaines des plus grandes sociétés mondiales d’IA une proposition inhabituelle mardi, exigeant que les entreprises leur accordent « un droit d’alerte sur l’intelligence artificielle avancée ».
Qui veulent-ils avertir ? Toi. Le public. Quiconque veut écouter.
Les 13 signataires sont des employés actuels et anciens d’OpenAI et de Google DeepMind. Ils croient que l’IA a un énorme potentiel pour faire le bien, mais ils craignent que sans mesures de protection appropriées, la technologie puisse provoquer un large éventail de dommages.
“J’ai peur. Je serais fou de ne pas l’être », m’a dit cette semaine Daniel Kokotajlo, un signataire qui a quitté OpenAI après avoir perdu confiance dans la capacité des dirigeants de l’entreprise à gérer leur technologie de manière responsable. Plusieurs autres employés soucieux de la sécurité ont récemment quitté l’entreprise pour des raisons similaires, intensifiant ainsi les inquiétudes selon lesquelles OpenAI ne prend pas suffisamment au sérieux les risques liés à la technologie. (Divulgation : Vox Media est l’un des nombreux éditeurs à avoir signé des accords de partenariat avec OpenAI. Nos reportages restent indépendants sur le plan rédactionnel.)
Comprendre l’IA et les entreprises qui la fabriquent
L’intelligence artificielle est sur le point de changer le monde, des médias à la médecine et au-delà – et Future Perfect est là pour le couvrir.
Il peut être tentant de considérer la nouvelle proposition comme une simple lettre ouverte de plus, publiée uniquement par des « pessimistes » qui veulent faire une pause dans le domaine de l’IA parce qu’ils craignent qu’elle ne devienne une entité malveillante et n’anéantisse l’humanité. Ce n’est pas tout. Les signataires partagent les préoccupations du camp de « l’éthique de l’IA », qui s’inquiète davantage des méfaits actuels de l’IA comme les préjugés raciaux et la désinformation, et du camp de « la sécurité de l’IA », qui s’inquiète davantage de l’IA en tant que risque existentiel futur.
Ces camps s’opposent parfois les uns aux autres. Mais l’objectif de la nouvelle proposition est de modifier les incitations des principales sociétés d’IA en rendant leurs activités plus transparentes pour les étrangers – et cela profiterait à tout le monde.
Les signataires appellent les entreprises d’IA à les laisser exprimer leurs préoccupations concernant la technologie – aux conseils d’administration des entreprises, aux régulateurs, aux organisations d’experts indépendants et, si nécessaire, directement au public – sans représailles. Six des signataires sont anonymes, dont quatre employés actuels et deux anciens d’OpenAI, précisément parce qu’ils craignent des représailles. La proposition est soutenue par certains des plus grands noms du domaine : Geoffrey Hinton (souvent appelé « le parrain de l’IA »), Yoshua Bengio et Stuart Russell.
Pour être clair, les signataires ne disent pas qu’ils devraient être libres de divulguer des droits de propriété intellectuelle ou des secrets commerciaux, mais tant qu’ils les protègent, ils veulent pouvoir exprimer leurs inquiétudes quant aux risques. Pour garantir la protection des lanceurs d’alerte, ils souhaitent que les entreprises mettent en place un processus anonyme par lequel les employés peuvent signaler leurs préoccupations « au conseil d’administration de l’entreprise, aux régulateurs et à une organisation indépendante appropriée possédant l’expertise pertinente ».
Un porte-parole d’OpenAI a déclaré à Vox que les employés actuels et anciens disposent déjà de forums pour exprimer leurs réflexions lors des heures de bureau de la direction, des séances de questions-réponses avec le conseil d’administration et une réunion anonyme. ligne d’assistance pour l’intégrité.
Ces accords étaient si inhabituellement restrictifs qu’ils ont tiré la sonnette d’alarme même pour les employés quittant l’entreprise dans de bonnes conditions, comme Jacob Hilton, l’un des signataires de la proposition du « droit d’avertir ». Il n’était pas particulièrement inquiet de l’approche d’OpenAI en matière de sécurité au cours de ses années de travail là-bas, mais lorsqu’il est parti début 2023 pour poursuivre des recherches ailleurs, l’accord de délocalisation l’a inquiété.
“En gros, cela menaçait de me retirer une grande partie de ma rémunération à moins que je ne signe un accord de non-sollicitation et de non-dénigrement”, m’a dit Hilton. « Je pensais que l’application aussi large de ces accords aurait un effet dissuasif sur la capacité des anciens employés à formuler des critiques raisonnables. »
Ironiquement, c’est la tentative d’OpenAI de le faire taire qui l’a poussé à s’exprimer.
Hilton a signé la nouvelle proposition, a-t-il déclaré, parce que les entreprises doivent savoir que les employés les dénonceront s’ils parlent d’un grand jeu sur la sécurité en public – comme le souligne OpenAI. a fait – pour ensuite contredire cela à huis clos.
« Les engagements publics sont souvent rédigés par des employés de l’entreprise qui s’en soucient vraiment, mais l’entreprise n’est alors pas vraiment incitée à respecter ses engagements si le public ne le découvre pas. [about violations]”, a déclaré Hilton. C’est là qu’intervient la nouvelle proposition. « Il s’agit de créer une structure dans laquelle l’entreprise est incitée à respecter ses engagements publics. »
Il s’agit de modifier les incitations pour l’ensemble du secteur de l’IA
Les chercheurs en sécurité de l’IA s’inquiètent souvent du désalignement des modèles d’IA, c’est-à-dire de la poursuite d’objectifs qui ne correspondent pas à nos valeurs. Mais vous savez ce qui est vraiment difficile à aligner ? Humains. Surtout quand toutes les incitations les poussent dans la mauvaise direction.
On se souvient rarement de ceux qui terminent deuxièmes dans la Silicon Valley ; être le premier à sortir de la porte est récompensé. La culture de la concurrence incite fortement à construire rapidement des systèmes d’IA de pointe. Et l’impératif du profit signifie qu’il existe également une forte incitation à commercialiser ces systèmes et à les lancer dans le monde.
Les employés d’OpenAI l’ont de plus en plus remarqué. Jan Leike, qui dirigeait l’équipe d’alignement de l’entreprise jusqu’à son départ le mois dernier, dit dans un article X selon lequel « la culture et les processus de sécurité ont pris le pas sur les produits brillants ».
Carroll Wainwright, qui travaillait sous la direction de Leike, a démissionné la semaine dernière pour des raisons similaires. « Au cours des six derniers mois environ, je suis de plus en plus préoccupé par le fait que les incitations qui poussent OpenAI à faire certaines choses ne sont pas bien mises en place », m’a-t-il dit. « Il existe des incitations très, très fortes pour maximiser les profits et les dirigeants ont succombé à certaines de ces incitations au prix d’un travail davantage aligné sur leur mission. »
La grande question est donc la suivante : comment pouvons-nous modifier la structure d’incitation sous-jacente qui anime tous les acteurs de l’industrie de l’IA ?
Pendant un certain temps, on a espéré que la création d’entreprises d’IA dotées de structures de gouvernance inhabituelles suffirait. OpenAI, par exemple, a commencé comme une organisation à but non lucratif, avec un conseil d’administration dont la mission n’était pas de satisfaire les actionnaires mais de sauvegarder les meilleurs intérêts de l’humanité. Wainwright a déclaré que c’était en partie la raison pour laquelle il était enthousiaste à l’idée de travailler là-bas : il pensait que cette structure maintiendrait les incitations en ordre.
Mais OpenAI s’est vite rendu compte que pour mener des expériences d’IA à grande échelle de nos jours, il fallait une tonne de puissance de calcul – plus de 300 000 fois ce dont vous aviez besoin il y a dix ans – et cela coûte incroyablement cher. Pour rester à la pointe, l’entreprise a dû créer une branche à but lucratif et s’associer à Microsoft. OpenAI n’était pas seul dans ce cas : la société rivale Anthropic, créée par d’anciens employés d’OpenAI parce qu’ils voulaient se concentrer davantage sur la sécurité, a commencé par affirmer que nous devions changer la structure d’incitation sous-jacente dans l’industriey compris l’incitation au profit, mais il a fini par s’associer à Amazon.
Quant au conseil d’administration chargé de sauvegarder les meilleurs intérêts de l’humanité ? Cela semble bien en théorie, mais le drame du conseil d’administration d’OpenAI en novembre dernier – lorsque le conseil d’administration a tenté de licencier le PDG Sam Altman pour le voir rapidement revenir au pouvoir – a prouvé que cela ne fonctionnait pas.
«Je pense que cela montre que le conseil d’administration n’a pas le pouvoir qu’on aurait pu espérer», m’a dit Wainwright. «Cela m’a amené à me demander dans quelle mesure le conseil d’administration peut demander des comptes à l’organisation.»
D’où cette déclaration dans la proposition sur le « droit d’avertir » : « Les sociétés d’IA sont fortement incitées financièrement à éviter une surveillance efficace, et nous ne pensons pas que des structures de gouvernance d’entreprise sur mesure soient suffisantes pour changer cela. »
Si le sur mesure ne fonctionne pas, qu’est-ce qui fonctionnera ?
La réglementation est une réponse évidente, et il ne fait aucun doute qu’il en faut davantage. Mais cela ne suffit peut-être pas à lui seul. Souvent, les législateurs ne comprennent pas suffisamment bien les technologies en évolution rapide pour les réglementer de manière très sophistiquée. Il existe également une menace de capture réglementaire.
C’est pourquoi les dirigeants des entreprises revendiquent le droit d’avertir le public. Ils sont aux premières loges du développement technologique et ils le comprennent mieux que quiconque. Si elles sont libres de s’exprimer sur les risques qu’elles voient, les entreprises seront peut-être davantage incitées à prendre ces risques au sérieux. Cela serait bénéfique pour tout le monde, quel que soit le type de risque lié à l’IA qui les empêche de dormir la nuit.
