BOSTON – Une gigantesque industrie a émergé ces dernières années, depuis que la Chine, les États-Unis, le Royaume-Uni et l’Union européenne ont fait de la sécurité de l’intelligence artificielle une priorité majeure. Toute technologie – de l’automobile jusqu’aux produits pharmaceutiques, en passant par les machines-outils et les tondeuses à gazon – doit bien entendu être conçue dans un souci de sécurité maximale (nous aurions d’ailleurs espéré que ce soit davantage le cas pour les réseaux sociaux à leurs débuts).
Pour autant, la seule formulation de préoccupations de sécurité ne suffit pas. Dans le cas de l’IA, le débat se concentre beaucoup trop sur la « sécurité contre les risques catastrophiques liés à l’intelligence artificielle générale (IAG) », une superintelligence capable de surpasser l’ensemble des êtres humains dans la plupart des tâches cognitives. L’enjeu nous est présenté comme celui de « l’alignement » : les modèles d’IA produisent-ils des résultats conformes aux objectifs et valeurs de leurs utilisateurs et concepteurs ? Cette interrogation conduit à divers scénarios de science-fiction dans lesquels une IA superintelligente apparaîtrait et anéantirait l’humanité. Le best-seller de Brian Christian, The Alignment Problem, se concentre principalement sur l’IAG, et ces mêmes préoccupations ont conduit Anthropic, l’une des principales entreprises dans ce domaine, à créer des modèles appliquant leur propre « Constitution », intégrant des valeurs et principes éthiques.
Ces approches sont en réalité malavisées, et cela pour deux raisons au moins. Premièrement, non seulement le débat actuel sur la sécurité anthropomorphise inutilement l’IA, mais il nous conduit également à nous concentrer sur les mauvais objectifs. N’importe quelle technologie pouvant être utilisée pour le meilleur comme pour le pire, ce qui importe en fin de compte, ce sont les personnes aux commandes de la technologie, les objectifs poursuivis, et les réglementations mises en place.
Aucune recherche sur la sécurité n’aurait pu empêcher qu’un véhicule ne soit utilisé comme une arme lors du rassemblement suprémaciste blanc de Charlottesville, en Virginie, en 2017. Lorsque nous nous basons sur l’hypothèse selon laquelle les systèmes d’IA revêtent leur propre personnalité, nous sommes amenés à conclure que notre seule option consiste à faire en sorte que ces systèmes appliquent les bonnes valeurs et les règles adéquates de manière abstraite. Or, cette hypothèse est erronée, et la solution proposée très loin de suffire.
Beaucoup formulent ici un contre-argument selon lequel, si l’IAG devenait un jour une réalité, il serait absolument nécessaire que ce système soit « aligné » sur les objectifs humains, dans la mesure où plus aucun garde-fou n’existerait pour contenir la malice d’une superintelligence. Or, cette conception nous conduit au deuxième problème du débat sur la sécurité de l’IA : quand bien même nous nous orienterions vers l’IAG (ce qui semble hautement improbable), le danger le plus immédiat résiderait ici encore dans une mauvaise utilisation de l’IA autre que superintelligente par les êtres humains.
Supposons qu’il existe un instant (T) dans le futur (disons en 2040) auquel l’IAG sera inventée, et qu’avant cette date les systèmes d’IA non généraux demeurent non autonomes (s’ils devenaient autonomes avant l’IAG, cette date serait T). Songeons maintenant à la situation un an avant T. À ce stade, les systèmes d’IA seront devenus très performants (puisqu’ils se seront rapprochés de la superintelligence), et la question que nous serons amenés à nous poser sera la suivante : qui est au contrôle à ce moment précis ?
Project Syndicate is returning to Climate Week NYC with an even more expansive program. Join us live on September 22 as we welcome speakers from around the world at our studio in Manhattan to address critical dimensions of the climate debate.
Register Now
Des agents humains seraient bien entendu au contrôle, soit individuellement, soit collectivement sous une forme de gouvernement, de consortium ou d’entreprise. Pour simplifier le raisonnement, désignons comme l’entreprise X les agents humains au contrôle de l’IA à ce stade. L’entreprise X (ou plusieurs entreprises, ce qui n’est sans doute pas souhaitable, comme nous le verrons) serait en mesure d’utiliser ses capacités d’IA pour les finalités de son choix. Si elle entendait détruire la démocratie ou asservir les êtres humains, elle pourrait le faire. Ainsi, la menace que tant d’observateurs associent à l’IAG existerait déjà avant l’arrivée de celle-ci.
La situation serait d’ailleurs probablement pire que dans cette description, puisque l’entreprise X pourrait aboutir à un résultat similaire même si son intention n’avait pas été l’anéantissement de la démocratie. Si ses propres objectifs n’étaient pas pleinement alignés avec la démocratie (ce qui est inévitable), la démocratie pourrait en souffrir par une causalité non intentionnelle (comme cela a été le cas avec les réseaux sociaux).
À titre d’exemple, l’inégalité au-delà d’un certain seuil pourrait menacer le fonctionnement de la démocratie. Or, cette possibilité n’empêcherait pas l’entreprise X de tout accomplir pour s’enrichir, elle-même ou ses actionnaires. Les garde-fous intégrés dans ses modèles d’IA pour prévenir les utilisations malveillantes n’auraient aucune importance, puisque l’entreprise X pourrait utiliser sa technologie pour les finalités de son choix.
De même, si deux entreprises, X et Y, contrôlaient les modèles d’IA hautement performants, l’une ou l’autre, ou les deux, pourraient toujours poursuivre des finalités dommageables pour la cohésion sociale, la démocratie et la liberté humaine (l’argument n’étant pas convaincant selon lequel les deux entreprises se contraindraient mutuellement ; leur concurrence pourrait même les rendre plus implacables encore).
Ainsi, même si nous obtenons ce à quoi aspirent la plupart des chercheurs en sécurité de l’IA – un juste alignement et des limites à l’IAG – nous ne serons pas en sécurité. Les implications de cette conclusion sont évidentes : nous avons besoin d’institutions beaucoup plus solides pour réfréner les entreprises technologiques, ainsi que de formes beaucoup plus puissantes d’action démocratique et civique pour imposer aux gouvernements qui contrôlent l’IA de rendre des comptes. Ce défi est tout à fait distinct de la question des biais dans les modèles d’IA, ou de leur alignement avec les objectifs humains.
Pourquoi alors nous concentrons-nous à ce point sur le comportement potentiel d’une IA anthropomorphisée ? Une partie de la réponse réside dans le battage médiatique, qui permet à l’industrie technologique d’attirer toujours plus de talents et d’investissements. Plus nous discourrons sur la manière dont une IA superintelligente pourrait agir, plus l’opinion publique commencera à penser que l’IAG est imminente. Les investisseurs particuliers et institutionnels afflueront alors vers le prochaine grande nouveauté, et les dirigeants technologiques qui ont grandi avec les représentations science-fictionnelles d’une IA superintelligente auront carte blanche. Nous devons commencer à prêter davantage attention aux risques les plus immédiats.
To have unlimited access to our content including in-depth commentaries, book reviews, exclusive interviews, PS OnPoint and PS The Big Picture, please subscribe
The International Monetary Fund’s surcharge policy has led to an unseemly state of affairs: countries in financial distress have become the largest source of net revenue to the Fund in recent years. These surcharges must be eliminated or, at the very least, adjusted to reduce the excessive burden on highly indebted countries.
decry the counterproductive practice of imposing additional fees on countries in debt distress.
When it comes to alleviating the severe demographic crisis that China faces, prohibiting international adoptions of Chinese children amounts to a mere drop in the bucket. Still, the government's decision to do so is significant, as it reflects a long-overdue recognition that people should not be viewed as a burden.
welcomes the government's apparent recognition that a severe demographic crisis looms.
With less than two months to go until the US presidential election, the candidates’ opposing worldviews, objectives, and priorities – and their implications for international relations, the economy, and democracy – have come into sharper focus. While it is impossible to know exactly what a leader will do once in office, the contours of both a Donald Trump and a Kamala Harris presidency are remarkably well defined.
BOSTON – Une gigantesque industrie a émergé ces dernières années, depuis que la Chine, les États-Unis, le Royaume-Uni et l’Union européenne ont fait de la sécurité de l’intelligence artificielle une priorité majeure. Toute technologie – de l’automobile jusqu’aux produits pharmaceutiques, en passant par les machines-outils et les tondeuses à gazon – doit bien entendu être conçue dans un souci de sécurité maximale (nous aurions d’ailleurs espéré que ce soit davantage le cas pour les réseaux sociaux à leurs débuts).
Pour autant, la seule formulation de préoccupations de sécurité ne suffit pas. Dans le cas de l’IA, le débat se concentre beaucoup trop sur la « sécurité contre les risques catastrophiques liés à l’intelligence artificielle générale (IAG) », une superintelligence capable de surpasser l’ensemble des êtres humains dans la plupart des tâches cognitives. L’enjeu nous est présenté comme celui de « l’alignement » : les modèles d’IA produisent-ils des résultats conformes aux objectifs et valeurs de leurs utilisateurs et concepteurs ? Cette interrogation conduit à divers scénarios de science-fiction dans lesquels une IA superintelligente apparaîtrait et anéantirait l’humanité. Le best-seller de Brian Christian, The Alignment Problem, se concentre principalement sur l’IAG, et ces mêmes préoccupations ont conduit Anthropic, l’une des principales entreprises dans ce domaine, à créer des modèles appliquant leur propre « Constitution », intégrant des valeurs et principes éthiques.
Ces approches sont en réalité malavisées, et cela pour deux raisons au moins. Premièrement, non seulement le débat actuel sur la sécurité anthropomorphise inutilement l’IA, mais il nous conduit également à nous concentrer sur les mauvais objectifs. N’importe quelle technologie pouvant être utilisée pour le meilleur comme pour le pire, ce qui importe en fin de compte, ce sont les personnes aux commandes de la technologie, les objectifs poursuivis, et les réglementations mises en place.
Aucune recherche sur la sécurité n’aurait pu empêcher qu’un véhicule ne soit utilisé comme une arme lors du rassemblement suprémaciste blanc de Charlottesville, en Virginie, en 2017. Lorsque nous nous basons sur l’hypothèse selon laquelle les systèmes d’IA revêtent leur propre personnalité, nous sommes amenés à conclure que notre seule option consiste à faire en sorte que ces systèmes appliquent les bonnes valeurs et les règles adéquates de manière abstraite. Or, cette hypothèse est erronée, et la solution proposée très loin de suffire.
Beaucoup formulent ici un contre-argument selon lequel, si l’IAG devenait un jour une réalité, il serait absolument nécessaire que ce système soit « aligné » sur les objectifs humains, dans la mesure où plus aucun garde-fou n’existerait pour contenir la malice d’une superintelligence. Or, cette conception nous conduit au deuxième problème du débat sur la sécurité de l’IA : quand bien même nous nous orienterions vers l’IAG (ce qui semble hautement improbable), le danger le plus immédiat résiderait ici encore dans une mauvaise utilisation de l’IA autre que superintelligente par les êtres humains.
Supposons qu’il existe un instant (T) dans le futur (disons en 2040) auquel l’IAG sera inventée, et qu’avant cette date les systèmes d’IA non généraux demeurent non autonomes (s’ils devenaient autonomes avant l’IAG, cette date serait T). Songeons maintenant à la situation un an avant T. À ce stade, les systèmes d’IA seront devenus très performants (puisqu’ils se seront rapprochés de la superintelligence), et la question que nous serons amenés à nous poser sera la suivante : qui est au contrôle à ce moment précis ?
PS Events: Climate Week NYC 2024
Project Syndicate is returning to Climate Week NYC with an even more expansive program. Join us live on September 22 as we welcome speakers from around the world at our studio in Manhattan to address critical dimensions of the climate debate.
Register Now
Des agents humains seraient bien entendu au contrôle, soit individuellement, soit collectivement sous une forme de gouvernement, de consortium ou d’entreprise. Pour simplifier le raisonnement, désignons comme l’entreprise X les agents humains au contrôle de l’IA à ce stade. L’entreprise X (ou plusieurs entreprises, ce qui n’est sans doute pas souhaitable, comme nous le verrons) serait en mesure d’utiliser ses capacités d’IA pour les finalités de son choix. Si elle entendait détruire la démocratie ou asservir les êtres humains, elle pourrait le faire. Ainsi, la menace que tant d’observateurs associent à l’IAG existerait déjà avant l’arrivée de celle-ci.
La situation serait d’ailleurs probablement pire que dans cette description, puisque l’entreprise X pourrait aboutir à un résultat similaire même si son intention n’avait pas été l’anéantissement de la démocratie. Si ses propres objectifs n’étaient pas pleinement alignés avec la démocratie (ce qui est inévitable), la démocratie pourrait en souffrir par une causalité non intentionnelle (comme cela a été le cas avec les réseaux sociaux).
À titre d’exemple, l’inégalité au-delà d’un certain seuil pourrait menacer le fonctionnement de la démocratie. Or, cette possibilité n’empêcherait pas l’entreprise X de tout accomplir pour s’enrichir, elle-même ou ses actionnaires. Les garde-fous intégrés dans ses modèles d’IA pour prévenir les utilisations malveillantes n’auraient aucune importance, puisque l’entreprise X pourrait utiliser sa technologie pour les finalités de son choix.
De même, si deux entreprises, X et Y, contrôlaient les modèles d’IA hautement performants, l’une ou l’autre, ou les deux, pourraient toujours poursuivre des finalités dommageables pour la cohésion sociale, la démocratie et la liberté humaine (l’argument n’étant pas convaincant selon lequel les deux entreprises se contraindraient mutuellement ; leur concurrence pourrait même les rendre plus implacables encore).
Ainsi, même si nous obtenons ce à quoi aspirent la plupart des chercheurs en sécurité de l’IA – un juste alignement et des limites à l’IAG – nous ne serons pas en sécurité. Les implications de cette conclusion sont évidentes : nous avons besoin d’institutions beaucoup plus solides pour réfréner les entreprises technologiques, ainsi que de formes beaucoup plus puissantes d’action démocratique et civique pour imposer aux gouvernements qui contrôlent l’IA de rendre des comptes. Ce défi est tout à fait distinct de la question des biais dans les modèles d’IA, ou de leur alignement avec les objectifs humains.
Pourquoi alors nous concentrons-nous à ce point sur le comportement potentiel d’une IA anthropomorphisée ? Une partie de la réponse réside dans le battage médiatique, qui permet à l’industrie technologique d’attirer toujours plus de talents et d’investissements. Plus nous discourrons sur la manière dont une IA superintelligente pourrait agir, plus l’opinion publique commencera à penser que l’IAG est imminente. Les investisseurs particuliers et institutionnels afflueront alors vers le prochaine grande nouveauté, et les dirigeants technologiques qui ont grandi avec les représentations science-fictionnelles d’une IA superintelligente auront carte blanche. Nous devons commencer à prêter davantage attention aux risques les plus immédiats.