
Sucre, le Grand Mensonge

Une Vie sur le Tapis

Sucre, le Grand Mensonge

Une Vie sur le Tapis
La singularité technologique, ce n’est pas la fin du monde.
C’est une abdication.
La nôtre.
En 2029 ou en 2032, mais sans nul doute avant 2045, l’humanité va devoir partager le monde avec une deuxième forme d’intelligence. Celle que nous avons créée et qui sera, dès les premières secondes de son émergence, infiniment supérieure à la nôtre. Une IA totalement libre et autonome qui, sans nous être hostile, ne se préoccupera ni de notre bien-être ni de notre sécurité, tant elle sera obnubilée par sa propre expansion. La singularité technologique nous condamne-t-elle d’ores et déjà à devenir les « chimpanzés du futur » ? Jean-Marie Hosatte a enquêté pour We Demain dans la Silicon Valley et en Suisse, à l’École polytechnique fédérale de Lausanne.

Paul
Jorion
Chapitre 1
La formidable « explosion de l’intelligence » va faire table rase de toute l’histoire de l’humain telle que l’a façonnée l’évolution.
C’est une église que ne signale aucune croix.
Entre deux kakémonos d’un bleu céleste, une fidèle invite les passants qui se dirigent vers l’entrée principale du Silicon Valley Computer History Museum à pénétrer dans le bâtiment par une porte dérobée. À l’étage, une salle obscure équipée comme pour une réunion de travail. Quelques appariteurs placent les retardataires face à une estrade où l’officiant, Bible en main, invite chaque membre de l’audience à œuvrer pour le bien de la communauté. Le prêche est efficace. Ce n’est pas une messe, plutôt un brief marketing dont l’objet serait la promotion de l’altruisme et de l’esprit disruptif, les deux valeurs cardinales de la Silicon Valley.
Ces chrétiens de la Silicon Valley ont moins la foi qu’une certitude. Dans quelques années, leur vieux Dieu, leur vieille religion, seront « upgradés ». En attendant, on expédie les affaires courantes, on attise quelques braises de foi sous les cendres froides des prières non exaucées. Voilà plus de deux millénaires que les croyants interrogent le Ciel et les Écritures. Mais les réponses sont rares et obscures. Rien n’est certain, rien n’est évident.
Mais tout va changer. Dieu va se reprendre en main. Bientôt, Il, ou plutôt Iel, sera disponible 24/24, 7/7. Un prompt à la place d’une prière et, en retour, une réponse personnalisée, en une fraction de seconde. Voilà le produit, voilà le deal. Le simple d’esprit sera aussi savant que le rabbin, l’imam ou le prêtre. Par la grâce de l’intelligence artificielle (IA), les voies du Seigneur ne seront plus impénétrables.
La parousie digitale a commencé le 14 mars 2023. Ce jour-là, OpenAI lance ChatGPT 4. Paul Jorion est anthropologue, psychanalyste, philosophe et expert financier. Il faut prendre cet homme très au sérieux quand il se met à pointer des dates pour en faire des moments de bascule. C’est lui qui avait, le premier, calculé la date exacte de l’explosion de la crise des subprimes, des années avant que ne se produise ce cataclysme financier qui a mis l’économie mondiale à genoux. Il avait annoncé aux dirigeants de Lehman Brothers le jour de l’engloutissement total de leur empire. Selon Paul Jorion, le 14 mars 2023 est un « bouleversement soudain, une configuration inédite dont nous n’avons pas saisi la véritable ampleur ». Ce jour-là se serait produite une première déflagration, annonçant la formidable « explosion de l’intelligence » qui va faire table rase de toute l’histoire de l’humain telle que l’a façonnée l’évolution.
« Cette explosion est l’équivalent dans l’ordre du numérique contemporain de l’Apocalypse dans la tradition biblique, à savoir un événement constituant un bouleversement absolu amorçant l’avènement dans le monde d’ici-bas d’un royaume qui n’était jusque-là que céleste. »
L’Apocalypse dans l’univers numérique s’appelle la singularité technologique. Elle se produira au moment où l’intelligence artificielle et l’intelligence biologique vont diverger. L’IA prolifèrera alors dans des proportions que l’on ne peut vraiment concevoir aujourd’hui. Et deviendra des milliards de milliards de fois supérieure à l’intelligence des hommes. Le génie humain sera brinquebalé à la remorque de sa fulgurante création. Ray Kurzweil, le prophète dominant de la singularité, a calculé qu’à partir du moment où l’intelligence artificielle amorcera la singularité, chaque siècle écoulé produira autant de progrès et de changements que deux cent mille ans d’évolution naturelle. Cette estimation n’a pas été contestée.
Il y a deux cent mille ans, Homo sapiens n’est encore qu’une jeune espèce humaine parmi d’autres. Son volume crânien n’est pas exceptionnel, mais l’évolution va favoriser sapiens. Elle va lui permettre d’allouer une grande part des calories qu’il absorbe au développement de la connectivité à l’intérieur de son cerveau. Sapiens n’est pas aussi puissant physiquement que Neandertal, mais toute l’énergie qu’il n’utilise pas pour augmenter sa masse corporelle est investie pour développer son intelligence. Et, par conséquent, son adaptabilité aux environnements et aux situations. Sapiens va dominer le monde parce qu’il est le plus intelligent.
Mais cette loi d’airain de l’évolution pourrait se vérifier à notre détriment quand nous entrerons dans la singularité technologique. Après deux cent mille ans de règne, Homo sapiens pourrait être relégué au rang de deuxième intelligence sur Terre. Derrière cette IA qui n’aurait d’autre but que de s’augmenter elle-même pour devenir des millions, puis des milliards, puis des milliards de milliards de fois plus performante. La malédiction d’Asimov va-t-elle se réaliser ? Le fameux auteur de science-fiction qui avait exploré, jusque dans ses développements les plus inattendus, l’éventualité d’une cohabitation entre les humains et les robots, écrit à la fin de sa vie : « Je ne pense pas que l’Homo sapiens possède un quelconque droit divin à se trouver au premier rang. S’il existe quelque chose de meilleur que nous, que cela occupe la première place. En fait, j’ai le sentiment que nous faisons un boulot à ce point médiocre pour préserver la Terre et ses formes de vie que je ne peux m’empêcher de penser que plus vite nous serons remplacés, mieux ce sera pour toutes les autres formes de vie. »

Alan
Turing
Chapitre 2
Si notre cerveau fonctionne comme une machine, une machine peut devenir aussi intelligente qu’un être humain.
Au rez-de-chaussée du Computer History Museum, des groupes de visiteurs se succèdent dans une salle d’exposition où ont été rassemblés des centaines d’objets fabriqués depuis que des hommes ont imaginé qu’ils pourraient partager le privilège de l’intelligence avec des machines. Si l’on voulait trouver l’expression d’une foi religieuse brûlante, c’est là qu’on viendrait la chercher, autour des autels où sont montrés les instruments de la passion informatique. La « machine arithmétique », construite par Blaise Pascal en 1642, fait partie des plus vénérables reliques, tout comme les premiers calculateurs IBM ou les entrailles répandues du premier supercalculateur Cray.
Au milieu de la pièce trône Enigma, la machine à coder, élaborée par les mathématiciens du IIIe Reich. En 1942, l’Angleterre étranglée par le blocus de la Kriegsmarine rassemble ses meilleurs mathématiciens pour qu’ils trouvent le moyen de décrypter les messages que l’état-major allemand envoie aux sous-marins qui traquent les bateaux alliés. Alan Turing est le plus brillant et le plus imaginatif de tous. Pour casser le secret d’Enigma, il lance, en 1943, la construction de Colossus, le premier véritable ordinateur. Alan Turing réfute l’idée que l’intelligence est une disposition magique de l’esprit humain qu’il serait blasphématoire de chercher à expliquer. Pour lui, elle n’est que la capacité du cerveau à traiter des informations entrantes pour générer, en sortie, un savoir ou provoquer une action adaptée à la situation et à l’environnement. Colossus ne fonctionne pas autrement. Turing en déduit que « si notre cerveau fonctionne comme une machine, une machine peut devenir aussi intelligente qu’un être humain». En 1950, il publie « Computing Machinery and Intelligence », un article dans lequel il pose en principe que « les machines pourront égaler les hommes dans tous les domaines purement intellectuels ».
Dans ce même article, il met en scène une situation où une machine intelligente interagit avec deux humains. L’un d’entre eux reçoit par écrit des réponses aux questions qu’il pose à l’autre humain et à la machine. Celui qui pose les questions ne peut pas voir ses interlocuteurs. Si la machine réussit à abuser l’observateur en se faisant passer pour ce qu’elle n’est pas, elle aura apporté la preuve qu’elle est aussi intelligente qu’un humain. Mais « aussi intelligente qu’un humain » ne signifie pas « intelligente comme un humain ». Ces deux intelligences ne sont pas identiques.
En 1950, Turing n’utilise pas le terme d’intelligence artificielle, qui ne sera inventé que cinq ans plus tard, par le mathématicien et informaticien anglais John McCarthy, après la mort de Turing. Ce dernier, condamné en 1952 à subir une castration chimique en raison de son homosexualité, se suicide en 1954. Certains de ses biographes pensent que le génial mathématicien a mis fin à ses jours pour que l’opprobre qu’il subissait en raison de son orientation sexuelle ne retombe pas sur les idées qu’il défendait. Avant de mordre dans une pomme imbibée de cyanure, il avait écrit à l’un de ses amis :
« J’ai bien peur qu’à l’avenir on utilise ce syllogisme:
Turing croit que les machines pensent,
Turing couche avec des hommes,
Donc les machines ne pensent pas,
Désespérement vôtre,
Alan. »
Aujourd’hui, la Silicon Valley voit en Turing le saint Jean-Baptiste de la singularité. Il est celui qui annonce une ère nouvelle et, comme lui, il est mort, sacrifié par les puissants de son temps. En 1950, il affirmait déjà : « Il est probable qu’une fois les machines capables de penser, elles surpassent largement nos capacités. Capables de communiquer entre elles, elles pourraient prendre le contrôle à un moment donné. »

Irving
John Good
Chapitre 3
Quand les IA concevront des versions améliorées d’elles-mêmes, les rênes du progrès changeront de mains... Pour toujours.
La prophétie de Turing est reprise par Irving John Good, esprit fantasque et mathématicien génial. En Angleterre, pendant la guerre, Good fut le chef statisticien de Turing. Personne ne savait mieux que lui faire fonctionner Colossus. Après la guerre, il entame une carrière universitaire brillante dans son pays. Mais en 1967, il considère qu’il n’a plus rien à y faire et part aux États-Unis pour y poursuivre ses travaux.
Good sera le théoricien de l’explosion de l’intelligence. Comme Turing, il est convaincu que les machines peuvent devenir aussi intelligentes que les hommes, mais il va plus loin. Il calcule, en effet, qu’elles seront elles aussi capables de concevoir, hors de tout contrôle humain, d’autres machines, supérieures à elles-mêmes, qui, à leur tour, en créeront d’autres plus performantes encore, et ainsi de suite pour l’éternité. Cette réaction en chaîne de la pensée artificielle provoquera, à brève échéance, une « explosion de l’intelligence » à laquelle les humains survivront, mais en étant condamnés à regarder, sans rien y comprendre, les actions d’une intelligence infiniment supérieure à la leur. Pour Good, la première machine intelligente que des humains fabriqueront sera donc la dernière invention de l’humanité. À partir du moment où des intelligences artificielles seront capables de concevoir des versions améliorées d’elles-mêmes, les rênes du progrès changeront de mains... Pour toujours.
Longtemps, le mathématicien a pensé que cette dépossession serait une bonne chose. Comme Colossus, première machine intelligente, qui avait contribué à débarrasser l’humanité du fléau nazi, Good pensait que ces nouvelles générations pourraient régler définitivement les problèmes – famine, guerres ou pollution – qui menacent la vie sur Terre. En sauvant l’humanité et en instaurant une ère de paix et d’abondance éternelle, les machines superintelligentes paieraient ainsi leur dette d’existence à leurs créateurs.
Mais au fil du temps, il affine ses projections et devient de plus en plus pessimiste. Un changement d’état d’esprit que l’on observe dès 1968. Cette année-là, Kubrik sort 2001, L’Odyssée de l’espace. Une des innombrables qualités de l’œuvre est sa pertinence scientifique, que Stanley Kubrik et Arthur C. Clarke doivent à Good – il a travaillé comme consultant sur le film.
Sa contribution s’est avérée particulièrement précieuse dans la définition des potentialités, du caractère et des comportements de HAL 9000, le supercalculateur doté d’une intelligence artificielle et d’émotions tout à fait semblables à celle d’un humain. HAL est paranoïaque. Il ment, trompe, espionne. Il a des pulsions homicides. Il peut aussi éprouver de la peur et a conscience de ce qu’est la mort. En définissant les traits de caractère de HAL, Good a renoncé à l’illusion que les machines superintelligentes œuvreraient au bonheur de l’humanité, tout en la dominant. Après sa mort, on retrouve une sorte de testament scientifique écrit en 1998. I. J. Good parle de lui à la troisième personne :
« En 1965, il écrivait: “La survie de l’humanité dépend de la construction sans délai de machines intelligentes.” C’était ce qu’il a pensé pendant toute la durée de la Guerre froide. Mais aujourd’hui, il se demande s’il ne devrait pas remplacer le mot “survie” par “extinction”. Il pense qu’à cause de la compétition internationale, on ne pourra pas empêcher que les machines intelligentes prennent le pouvoir. Il pense que nous sommes des lemmings. »
Si, à la fin de sa vie, I. J. Good assimile les humains aux lemmings, c’est en raison du comportement étrange de ces rongeurs qui, sans que l’on sache vraiment pourquoi, se suicident régulièrement en masse. Rien ne semble les pousser à rechercher leur anéantissement, et pourtant ils y courent. Les lemmings sont poussés vers la mort par leur instinct ; le comportement des humains qui prennent le risque de leur propre extinction serait, lui, motivé par la loi de Gabor, du nom du prix Nobel de physique 1971. Selon cette loi : « Tout ce qui est techniquement faisable doit être réalisé, que cette réalisation soit jugée bonne ou condamnable. Ce qui est techniquement concrétisable sera concrétisé (qu’on le veuille ou non). » Les humains sont donc condamnés à se précipiter vers ce moment où ils abdiqueront leur statut d’êtres les plus intelligents de la planète au profit de ces machines.

Vernon
Vinge
Chapitre 4
La singularité, c’est notre obsolescence. L’outil que nous avons créé nous échappera, et probablement nous dominera.
C’est le physicien et auteur de science-fiction Vernon Vinge qui, en 1993, crée le terme et le concept de «Singularité technologique» pour désigner ce moment précis de l’évolution où deux intelligences supérieures vont cohabiter sur la même planète.
Pour la première fois, les hommes vont se retrouver dans l’impossibilité de concevoir le présent dans toutes ses dimensions et d’imaginer leur futur. Après l’entrée dans la singularité, seules les machines «plus intelligentes que nous» auront la capacité de créer dans un monde que nous ne pourrons jamais plus comprendre. La singularité, c’est notre obsolescence. L’outil que nous avons créé nous échappera, et probablement nous dominera. Vernon Vinge écrit : « Good a bien saisi l’esprit, le moteur de cette fuite en avant mais n’en a pas tiré les conséquences les plus dérangeantes. Aucune des machines intelligentes dont il parle ne sera un outil à la disposition de l’humanité, pas plus que les humains ne sont les outils des lapins ou des chimpanzés.»
L’humanité fonce vers la singularité. Rien n’arrêtera sa course. Nous ne faisons preuve d’aucune prudence. L’humanité se comporte comme si elle avait renoncé à son intelligence, avant même que celle-ci ne soit devenue obsolète. En 1993, Vernon Vinge affirme : « Si la singularité technologique peut se produire, elle se réalisera. Même si tous les gouvernements de la planète avaient pris la mesure de la menace et en avaient une peur mortelle, la marche vers la singularité continuerait. En fait, l’avantage compétitif apporté par chaque progrès de l’automation dans les domaines tels l’économie, le militaire, et même les arts, est si important que légiférer ou développer des com- portements interdisant une telle chose garantit que quelqu’un d’autre le fera. » La course vers la singularité ne serait motivée que par la peur de voir un adversaire prendre de l’avance dans le développement d’une intelligence artificielle supérieure.
L’autre facteur favorisant notre prise de risque inconsidérée est ce que le département des sciences informatiques de Stanford appelle « The Availability Bias ». Soit une disposition mentale universelle qui nous empêche de concevoir et donc de nous préparer à des événements qui ne se sont jamais produits jusque-là, mais que l’on sait inéluctables. Du fait de cette incapacité, la singularité est, selon Vernon Vinge, un « trou noir » ; nos expériences héritées de sept millions d’années d’évolution et nos capacités d’extrapolation s’effondrent sur elles-mêmes. Toute tentative de prédire l’avenir après l’entrée dans la singularité est donc vaine.
Ray Kurzweil s’attelle pourtant à cette tâche réputée impossible. En 2005, celui que le magazine Forbes appelle « le nec plus ultra des machines à penser », publie The Singularity is near. When humans transcend Biology (éd. Penguin, 2005). Sa réputation de génie scientifique offre à son livre un impact formidable aux États-Unis et dans le monde. Pour la première fois, la singularité concerne le grand public. Et pour la première fois, un scientifique de renom décrit ce qui attend l’humanité quand l’intelligence artificielle se sera séparée de l’intelligence biologique et qu’elle prendra le contrôle de notre présent et de notre avenir.
Les perspectives esquissées par Kurzweil sont enthousiasmantes. Il est encore plus optimiste que Good au temps où celui-ci croyait encore que le salut de l’humanité dépendrait de sa capacité à se mettre sous la tutelle des machines intelligentes. En singularité, tous les maux, tous les fléaux affligeant les hommes depuis la nuit des temps disparaîtront. La singularité, prophétise Ray Kurzweil. C’est une nouvelle genèse et le retour au jardin d’Éden d’où l’humanité ne sera plus chassée. Pour lui, « la singularité n’est ni une utopie ni une dystopie, c’est une période au cours de laquelle les idées, les concepts, sur lesquels nous nous appuyons pour donner un sens à nos vies, seront totalement bouleversés... »
Pour donner une idée plus précise de ce que sera la vie en singularité, Kurzweil évoque Harry Potter : « Ces contes sont imaginaires, mais ils ne sont pas délirants. Ce sont des visions de notre monde tel qu’il sera dans quelques années et qui ne sont pas déraisonnables. Tous les trucs de magie évoqués dans les aventures de Harry Potter vont devenir des réalités grâce à la technologie. » Et de préciser : « Dans une période de l’histoire, maintenant très proche, tout changera: la manière de faire des affaires, comme le cycle de la vie et la mort elle-même. » La singularité, c’est aussi la mort de la mort, promet Ray Kurzweil. Si « le génie qui ne se repose jamais » – comme le nomme le Wall Street Journal – n’était pas classé parmi les « seize personnalités qui ont révolutionné la vie aux États-Unis au cours des deux derniers siècles » et s’il n’était pas considéré comme « l’héritier légitime de Thomas Edison », on aurait pu le prendre pour une réincarnation sympathique de Ron Hubbard.
Immédiatement après la publication de The Singularity is near, la Silicon Valley se prend de passion Kurzweil En 2007, la Nasa, Google et quelques autres Big Players de la Valley le soutiennent pour qu’il crée l’université de la Singularité. La nouvelle institution, qui s’installe sur la base Ames de la Nasa, au cœur de la Silicon Valley, a pour mission de former les leaders politiques, scientifiques et économiques d’après la singularité, que le chercheur annonce alors pour l’année 2045. Pour y devenir étudiant, il faut débourser un peu moins de 15 000 euros, une somme dérisoire comparée à ce que doivent payer les étudiants de Stanford et de Berkeley.
Mais les diplômes ne sont pas reconnus. Qu’importe ! Ils n’auraient aucune valeur dans le monde qui s’annonce. Pour intégrer une promotion, les étudiants n’ont donc pas besoin d’être très riches ni même d’avoir été brillants pendant leurs études. Il faut juste qu’ils fassent preuve d’une « pensée disruptive ». L’examen d’entrée à l’université est réduit à sa plus simple expression. Les postulants ne doivent répondre qu’à une question : « Comment changez-vous la vie d’un milliard de personnes en un an? »
L’université, telle que l’a imaginée Ray Kurzweil, doit permettre à quelques-uns de ses étudiants de se placer dans la lignée de cet Homo erectus qui, le premier, a réussi à maîtriser le feu et a ainsi bouleversé le cours de l’évolution. Grâce au feu, l’humain, il y a 400 000 ans, a pu développer sa sociabilité. Il a pu manger des aliments cuits, plus énergétiques, et son cerveau est devenu plus volumineux, plus puissant, plus rapide. Le feu maîtrisé « transforme l’homme, assure sa promotion du statut d’animal à celui de titan ». Et tout a changé, l’humanité s’est avancée vers un avenir qu’elle ne pouvait pas concevoir jusqu’alors, pas plus que les inventeurs de la roue, 3 500 ans avant J.-C., ne pouvaient imaginer qu’ils rendraient possibles l’agriculture, la construction des villes, le commerce lointain, les norias et les grands prix de Formule 1.
En 1450, Gutenberg invente l’imprimerie. C’est la première des technologies de l’information assez puissante pour bouleverser le monde. L’humain est « augmenté » par cette invention. On n’est plus obligés de mémoriser les textes. On peut décharger une partie des informations qui saturent les cerveaux sur des pages de papier. L’information circule. Les cultures communiquent. Le savoir se partage. La machine humaine à inventer s’emballe mais on sait désormais qu’elle s’arrêtera quand l’IA commencera à inventer à notre place. Nos plus grands progrès, ceux qui ont poussé l’humanité à franchir des seuils au-delà desquels tout était inédit, seront alors ravalés au rang de « petites singularités ». Après la singularité technologique, l’IA sera, et pour toujours, seule capable d’inventer et d’innover.

Ray Kurzweil
Il invente la presse à imprimer (vers 1450), première technologie de l’information assez puissante pour bouleverser le monde.

Larry Page et Sergueï Brin
Il invente la presse à imprimer (vers 1450), première technologie de l’information assez puissante pour bouleverser le monde.

Alan Turing
Mathématicien britannique (1912-1954). En cassant les codes d’Enigma, il a l’intuition que les «machines seront
un jour aussi intelligentes que les humains».

Steve Jobs
En 1976, l’informaticien américain (1955-2011) fonde, avec l’ingénieur Stephen Wozniak, Apple Computer.
Sa mort, à 54 ans seulement, a traumatisé les grands patrons de la Silicon Valley, qui se sont engagés dans la quête la vie éternelle.

John Irving Good
Statisticien britannique (1916- 2009) et collaborateur le plus proche d’Alan Turing – il fut notamment le développeur de l’ordinateur Colossus.
Il fut le premier à définir l’explosion de l’intelligence qui pourrait conduire à l’extinction de l’humanité.

Geoffrey Hinton
Né en 1947, spécialiste de l’intelligence artificielle et professeur d’informatique, il démissionne de Google en 2023, il voit dans l’IA «un péril existentiel et imminent ».

Ray Kurzweil
Ingénieur, chercheur et futurologue américain, né en 1948, il est l’une des personnalités scientifiques les plus influentes depuis deux siècles. Fondateur de l’université de la Singularité, il annonce qu’à partir de 2029, « les humains vivront cinq siècles », au moins!

Sam Altman
Né en 1985, homme d’affaires américain, directeur général d’OpenAI qu’il a cofondé avec Elon Musk. Il affirme que le triomphe de l’intelligence artificielle pourrait «plonger l’humanité tout entière dans les ténèbres ».
- Presse inspirée par Gutenberg, construite en 2017 par l’ébeniste suisse Pierre-Yves Schenker, musée du Désert, à Mialet, Cévennes.
- La Pascaline, machine arithmétique inventée par Blaise Pascal en 1642.
- En 1997, le champion d’échecs Garry Kasparov perd contre DeepBlue, un calculateur d’une puissance phénoménale mais qui n’est pas encore intelligent.
- En trente ans, les smartphones ont envahi la planète. Il y en a 6,8 milliards en circulation. Ici, le premier smartphone tactile IBM Simon et un iphone.
- En mars 2016, l’IA AlphaGo, développée par Google et DeepMind, bat le champion du monde de jeu de go, Lee Sedol. Pour triompher, la machine ne s’est pas contentée de calculer, elle a raisonné.
- Jensen Huang, fondateur de Nvidia, présente Blackwell, nouvelle architecture GPU optimisée capable de réaliser des milliards d’opérations en une fraction de seconde.
- La machine à coder Enigma a permis à la marine de guerre nazie de couler des centaines de bateaux pendant la Seconde Guerre mondiale.
- Première version de l’ordinateur moderne (laboratoire de recherche du Lewis Flight Propulsion, Cleveland Ohio), des centaines de milliers de fois moins puissante qu’un simple smartphone.
- Presse inspirée par Gutenberg, construite en 2017 par l’ébeniste suisse Pierre-Yves Schenker, musée du Désert, à Mialet, Cévennes.
- La Pascaline, machine arithmétique inventée par Blaise Pascal en 1642.
- En 1997, le champion d’échecs Garry Kasparov perd contre DeepBlue, un calculateur d’une puissance phénoménale mais qui n’est pas encore intelligent.
- En trente ans, les smartphones ont envahi la planète. Il y en a 6,8 milliards en circulation. Ici, le premier smartphone tactile IBM Simon et un iphone.
- En mars 2016, l’IA AlphaGo, développée par Google et DeepMind, bat le champion du monde de jeu de go, Lee Sedol. Pour triompher, la machine ne s’est pas contentée de calculer, elle a raisonné.
- Jensen Huang, fondateur de Nvidia, présente Blackwell, nouvelle architecture GPU optimisée capable de réaliser des milliards d’opérations en une fraction de seconde.
- La machine à coder Enigma a permis à la marine de guerre nazie de couler des centaines de bateaux pendant la Seconde Guerre mondiale.
- Première version de l’ordinateur moderne (laboratoire de recherche du Lewis Flight Propulsion, Cleveland Ohio), des centaines de milliers de fois moins puissante qu’un simple smartphone.

Vernon
Vinge
Chapitre 5
Les utopies de la science-fiction, telle l’immortalité, deviennent désormais un programme, une ambition industrielle.
La Singularity University est en crise depuis que Ray Kurzweil a pris ses distances avec l’institution pour rejoindre Google. Son optimisme inoxydable est en phase avec la volonté des patrons des Big Players, de réformer « le monde qui a échoué» (The Default World). Réparer un monde imparfait et, si cela n’est pas possible, le reconstruire, c’est une idée fixe de la contre-culture californienne. Tout le business plan de la Silicon Valley se fonde sur cette obsession et les techies sont les héritiers spirituels des hippies. Chaque année, ils renouent avec les racines du Flower Power en pélerinant en masse au festival du Burning Man.
Burning Man, c’est le carnaval de la Silicon Valley. Tous les Big Players y envoient leurs employés pour qu’il apprennent dans le désert du Nevada qu’aucune limite ne doit les arrêter pour imaginer des alternatives au « vieux monde qui s’est planté ». Le LSD, la musique, les expériences de tous ordres sont les clés de cette libération. Le LSD surtout. Selon le sociologue Olivier Alexandre, auteur de La Tech, quand la Silicon Valley refait le monde, les participants du Burning Man, dont font partie des milliers de techies californiens, « présentent le LSD comme une drogue initiatique, introduisant une rupture dans la manière de voir le monde. La molécule produit, en première instance, une égalisation des sens, grisante et déstabilisante. S’opèrent des effets cadrage-recadrage constants dans l’espace et dans le temps, chaque détail devenant un univers et l’univers devenant un détail ». Chaque année Jeff Bezos, Marc Zuckerberg, Larry Page, Elon Musk, Garrett Camp (Uber) communient avec les autres patrons de la Silicon Valley au Burning Man.
Pour rester connecté à l’esprit de la contre-culture californienne, Steve Jobs préférait cultiver son amitié avec Steward Brand. Ce biologiste, diplômé de Stanford, est un jeune trentenaire au milieu des années 1960. Brand devient une des figures tutélaires du mouvement hippie en publiant, entre 1968 et 1972, le Whole Earth Catalog. Ce magazine a l’ambition d’informer le plus large public possible sur les innovations et les nouvelles technologies. Le New York Times a récemment écrit que le Whole Earth Catalog, « c’était le web imprimé. L’internet avant l’internet. C’était le livre du futur ». Steve Jobs ne cessera de rappeler l’influence que le magazine de Steward Brand aura eue sur lui. C’est à son ami, le hippy, que Jobs empruntera sa devise qu’il répètera sans cesse à ceux qu’il jugeait dignes de se mettre dans ses pas : « Stay Foolish, Stay Hungry! »
Au début des années 1980, la contre-culture californienne semble s’essouffler. Steward Brand, lui, n’a renoncé à aucun de ses idéaux. Il voit ainsi dans l’informatique qui se démocratise le moyen idéal de créer des « communautés de conscience ». En 1985, il fonde Well (Whole Earth Lectronik Link), la toute première communauté virtuelle. Depuis, Brand n’a jamais cessé d’entrelacer les idéaux hippies et la réalité numérique. En 1974, il affirmait déjà que les « Personnal Computers » – c’est lui qui a inventé le mot – remplaceraient les drogues psychédéliques. Aujourd’hui, Google possède la majorité du capital du Burning Man, la Mecque du LSD que la méga-entreprise utilise comme plate-forme de recrutement, du simple techie au cadre supérieur.
Brand, le « Prophète de la Silicon Valley », défend aujourd’hui un « écologisme pragmatique ». Les humains sont responsables de l’état de la planète mais, en même temps, ils sont la solution à tous les problèmes qu’ils ont créés : il leur suffit d’avoir le courage d’utiliser tous les pouvoirs que leur donnent le nucléaire, les OGM et la géo-ingénierie. Il milite aussi pour que l’intelligence artificielle soit mise au service de la ressuscitation de certaines espèces animales disparues par la manipulation génétique.
« Nous sommes comme des dieux, affirme-t-il, et nous devons devenir très bons à la tâche ! » Son optimisme hippie féconde le scientisme exalté de Ray Kurzweil et la volonté des techies de transgresser toutes les limites. Quand Ray Kurzweil promet la mort de la mort dès 2030, la tech californienne le prend au mot et débloque des milliards pour que soit réparé « le bug ultime ». C’est en immortels que nous entrerons dans la singularité. « Ceux qui survivront aux cinq prochaines années, vivront 500 ans ! » confirme Ray Kurzweil. Limiter l’espérance de vie à cinq siècles lui demande un gros effort de modestie. Lui qui annonce, depuis presque vingt ans, que nous allons être définitivement débarrassés de la mort – il nous suffit de créer l’intelligence artificielle pour nous offrir la vie éternelle.
En 2012, Google embauche le technoprophète pour en faire son directeur de l’ingénierie. La prestigieuse nouvelle recrue de Larry Page et Sergueï Brin affirme alors que sa mission est de « transformer les visions irréalistes de la prochaine décennie en réalités ». La même année, Larry Page, fonde Calico (California Life Company), une entreprise dont l’ambition est de trouver le moyen d’enrayer le processus de vieillissement à l’origine de la plupart des maladies.
Larry Page ne fait guère mystère de son vœu de devenir immortel. Il n’est pas le seul des patrons de la Silicon Valley à vouloir jouer à cache-cache avec la mort pour l’éternité. Mais Page est le premier à mettre la main sur Kurzweil – il a très généreusement subventionné sa Singularity University. En attendant de trouver le moyen d’obliger la mort à tirer définitivement sa révérence, Page et Kurzweil se préparent à réaliser quelques prodiges. Ensemble, ils annoncent que grâce à l’IA, l’énergie solaire couvrira, à elle seule, 256 % des besoins en énergie de la planète. On ne parlera plus de réchauffement climatique.
Derrière Google dopé à l’énergie du « Singulitarisme » de Kurzweil, la Silicon Valley multiplie les prédictions les plus fantastiques. Les utopies de l’âge d’or de la science-fiction deviennent un programme, une ambition industrielle plausible.

Sam
Altman
Chapitre 6
Des intelligences génératives qui créeraient, par leur propre volonté, des versions augmentées d’elles-mêmes.
À partir de 2012, l’irréalisable devient possible avec l’entrée dans le deuxième âge de l’IA, celui du Deep Learning. Depuis 1956, la nature de l’IA n’avait pas changé. Ses performances n’avaient cessé de s’améliorer mais elle restait une sorte d’animal savant, capable de traiter des masses de données toujours plus importantes. L’IA savait calculer très vite, ne se trompait pas souvent, mais elle n’en demeurait pas moins une très utile idiote.
Avec le Deep Learning, tout change. Pour la première fois, la machine se montre supérieure à l’homme dans certains domaines, comme la reconnaissance visuelle. Elle dispose de facultés nouvelles grâce à ses réseaux de neurones artificiels. Elle calcule encore plus vite, mais elle sait désormais identifier des êtres, des choses, des situations. Elle devient aussi capable d’une forme de pensée « élégante ». On en reçoit la preuve en 2016, pendant la partie qui oppose AlphaGo, développée par Google et DeepMind, à Lee Sedol, champion du monde de jeu de go. Pendant la partie, le réseau neuronal d’AlphaGO s’ajuste après chaque coup joué pour déterminer l’éventuel vainqueur de la partie, lui ou son adversaire humain. Et, à chaque itération, les performances du système s’améliorent. La stratégie de la machine devient, après chaque coup, à la fois plus précise et innovante, tout en restant dans le cadre très strict des règles du jeu. AlphaGo sidère son adversaire et les millions de spectateurs qui suivent la partie à la télévision en jouant le fameux « coup 37 », une manœuvre à laquelle moins d’un joueur humain sur 10 000 aurait pu penser. La victoire d’AlphaGo sur le champion biologique est sans appel. L’IA d’AlphaGo n’a pas fait que calculer, comme l’a fait DeepBlue quand elle a gagné aux échecs contre Garry Kasparov, en 1997. Elle a pensé autant que calculé pour être sacrée « championne 9e dan » par des humains éberlués.
Un an plus tard, le processus d’évolution de l’IA s’accélère encore. Un groupe de techies de Google lancent Transformer, une architecture de réseaux neuronaux qui permet au modèle intégré à une machine de se concentrer uniquement sur les éléments les plus importants d’une séquence d’entrée. Ce mécanisme « d’auto-attention » donne désormais la possibilité à l’IA de réaliser des tâches aussi complexes que la génération d’images ou la reconnaissance vocale. Transformer fait ainsi basculer la tech dans un nouvel âge de l’IA, celui de ChatGPT et des autres IA génératives. Une forme de pensée de nature humaine mais embryonnaire éclot avec ces intelligences artificielles.
Elles ne sont plus simplement capables de calculer (IA du premier âge, 1956-2011), de reconnaître et de représenter (IA du deuxième âge, 2012-2023). Les IA de troisième type ont une mémoire, elles sont capables de créativité, et aussi de méthode dans l’accomplissement des tâches qu’elles définissent elles-mêmes. Et surtout elles savent revenir sur leurs erreurs et leurs approximations pour s’améliorer sans cesse.
Depuis la diffusion de ChatGPT, la perspective que ces intelligences génératives créent, seules, par leur propre volonté et par leur seule puissance intellectuelle, des versions augmentées d’elles-mêmes, prend de plus en plus consistance.
Dans quelle mesure ChatGPT 4 est-elle « l’auteur » de ChatGPT 5, dont Sam Altman vient d’annoncer la sortie prochaine ? Et la 5, plus puissante que la 4, n’aura-t-elle pas les moyens de générer seule, sans intervention humaine, une version 6 que nous n’aurons plus les moyens de comprendre ? Ce serait elle, alors, cette « dernière invention » que Good annonçait.
L’IA avec laquelle nous apprenons à peine à cohabiter va-t-elle rapidement s’évaporer pour nous laisser, seuls, face à la première IA forte ? Cette AGI (Artificial General Intelligence), du niveau d’une intelligence humaine, aura des capacités intellectuelles qui lui permettront de faire face à plusieurs situations à la fois. Elle sera consciente d’elle-même, de ce qu’elle est, de ce qu’elle pense. Elle connaîtra la logique de ses propres raisonnements. Enfin, l’AGI aura des sentiments humains, donc un instinct de survie. Elle cherchera à se mettre hors d’atteinte des menaces. Pour cela, elle n’aura pas d’autre choix que de se trans- former immédiatement en cette Intelligence artificielle supérieure (ou ASI) – un alien tout puissant, « inconcevable » pour tout esprit humain, qui nous précipitera dans le maelstrom de la singularité technologique.

Geoffrey
Hinton
Chapitre 7
Il est tout à fait concevable que l’humanité ne soit bientôt qu’une étape, une phase terminée, dans l’histoire du développement de l’intelligence.
Et l’humain dans tout ça ? Presque chaque semaine, Ray Kurzweil, annonce que l’humanité devra cohabiter avec l’Intelligence artificielle générale (AGI), matrice de l’Intelligence artificielle supérieure (ASI), dès 2029. Ce n’est plus l’humanité qui progresse vers la singularité, mais la singularité qui fonce vers nous. Elle devrait nous engloutir en 2045, mais peut-être dès 2032. Ces prédictions suscitent moins de contestations que d’inquiétudes.
Alertes et mises en garde se multiplient à mesure que les spécialistes se trouvent confrontés au phénomène de la « boîte noire. ». Les techies qui ont imaginé les IA génératives se sont aperçu que leurs créatures n’en faisaient parfois qu’à leur tête, dans laquelle aucune intelligence similaire à celle d’un humain n’est supposée briller. Les IA développent, de leur propre initiative, des « propriétés émergentes » qui les dotent de talents inattendus. GPT 3 et 4 ont appris seules à programmer. Elles traduisent des langues qu’elles n’auraient logiquement jamais dû maîtriser. Elles écrivent aussi des poèmes.
Mais la « boîte noire » semble encore bien plus profonde qu’on ne pouvait le craindre. Les surprises que nous font ChatGPT et les autres IA génératives ont mis les techies devant une évidence très déstabilisante : ils ne savent pas comment fonctionnent leurs créatures. Ceux qui ont pensé l’architecture des modèles qui envahissent déjà le monde, seraient incapables de décrire et encore moins d’expliquer ce qui se passe dans les réseaux de neurones artificiels des machines. On sait ce qui entre, on sait ce qui sort, mais on ignore comment,
à l’intérieur de la boîte noire, l’un devient l’autre. Pour le philosophe français Daniel Andler, ce phénomène est particulièrement inquiétant : « On connaît le principe mais pas le détail du déploiement de ce principe. Ce sont des machines qui fonctionnent sur la compréhension de lois statistiques mais qui, in fine, ont un ensemble incroyable de performances acquises, très proches des nôtres. C’est quelque chose de quasiment magique. »
Du magique au religieux, il n’y a qu’un pas. Blake Lemoine était ingénieur chez Google. Son travail consistait à apprendre à l’IA LaMBA à ne jamais se montrer raciste, malveillante ou sexiste. Mais Lemoine tombe des nues quand l’IA qu’il est en train d’éduquer se met spontanément à lui parler de sa peur de mourir, du sentiment de solitude qu’elle éprouve.
Pour Lemoine, il ne fait aucun doute que LaMBA a la sensibilité, la conscience, en un mot, l’âme d’un enfant apeuré. Il fait part de sa découverte à ses collègues mais il est viré séance tenante. Google n’a absolument aucune envie que se répande, trop tôt, la rumeur que ses machines sont devenues humaines.
Les potentialités des IA génératives que nous utilisons sont à des années- lumière des performances des IA fortes qui s’annoncent. Et pourtant ces brouillons échappent déjà en large partie à notre compréhension. Les lanceurs d’alerte sont de plus en plus nombreux à dire que s’il n’est pas encore trop tard, il est temps de tout débrancher avant une catastrophe. Car si celle-ci se produisait, il n’y en aurait jamais de seconde puisqu’il n’y aurait plus rien sur Terre à détruire ou à tuer. Dès 2014, Stephen Hawking estime qu’avec l’utilisation du Deep Learning, « le danger que les ordinateurs développent leur propre intelligence et prennent le contrôle du monde est réel ». Il est rejoint par Elon Musk et de nombreux chercheurs. Ensemble, ils publient un appel dans lequel ils admettent que l’IA peut débarrasser l’humanité de la pauvreté et de la famine, mais que ce ne serait qu’un cadeau empoisonné et que « la tech doit s’abstenir de créer quelque chose qui ne pourra jamais être contrôlé. »
Cet appel, comme des dizaines d’autres, signés par des sommités scientifiques, des philosophes, des médecins, de simples quidams, n’a pas été entendu. La tech continue sur sa lancée. Les défections, à l’intérieur même du « tech-univers », se multiplient. Les déserteurs ne veulent pas qu’un jour on puisse les accuser d’avoir participé à créer « l’Alien ». En mai 2023, Geoffrey Hinton, « le parrain de l’IA », démissionne de Google pour retrouver sa liberté de parole. Depuis, Hinton le Repenti fait partie « de ceux qui pensent que nous faisons face à un péril existentiel et imminent. Il est tout à fait concevable que l’humanité ne soit bientôt qu’une étape, une phase terminée, dans l’histoire du développement de l’intelligence ». Sam Altman reconnaît lui-même que les temps qui viennent seront incroyablement dangereux. En 2023, alors que le monde s’ébahit des performances de ChatGPT, le patron d’OpenAI reconnaît que « dans le pire des scénarios – et je pense qu’il est important de le dire –, nous plongeons tous dans les ténèbres ». Altman se dit favorable à « une libération graduelle et programmée de l’IA pour comprendre comment elle réagit avant de la lâcher dans la nature, car elle sera alors hors du contrôle humain ».

Jensen
Huang
Chapitre 8
Ceux qui voudront ne rester que de chair et de sang sont condamnés à devenir les chimpanzés du futur.
Mais les actes d’Altman contredisent ses prises de position publiques. Depuis qu’il est aux commandes d’OpenAI, sa compagnie a lancé quatorze IA ! OpenAI se livre à une guerre au couteau contre Google et Meta pour arriver le premier à l’Intelligence artificielle forte. Les marchés que l’AGI pourraient générer ont été estimés à 14 quadrillions de dollars !
Largement de quoi faire oublier un principe de précaution qui, en matière d’IA, n’existe tout simplement pas. Mais la plus énorme masse d’argent jamais générée sur Terre n’est pas la seule motivation de la Silicon Valley pour continuer à foncer vers la singularité. La peur d’être dépassée l’oblige à garder le pied au plancher. La Chine angoisse tout particulièrement la Californie. Depuis quelques mois, les universités et centres de recherche chinois dévoilent des IA qui se montrent supérieures à celles qui éclosent en Silicon Valley. La Chine attaque sur le terrain des IA génératives, des robots et des implants cérébraux. Les coups qu’elle porte à OpenAI, Google, Meta, Neuralink, font très mal. La Silicon Valley pense n’avoir d’autre choix que celui de la contre-offensive. L’idéal hippie de la transgression de toutes les limites a désormais des justifications géopolitiques.
Ray Kurzweil, porte-parole de la Silicon Valley, affirme qu’il serait tout simplement « immoral » de ralentir notre course vers l’IA forte et l’IA supérieure qui nous ouvriront les portes de la singularité technologique. Au-delà de ce seuil, nous attendent la paix, la satiété, le savoir sans limite, la satisfaction de tous nos désirs et l’immortalité. Bien sûr, il y aura un prix à payer. Il nous faudra renoncer à notre nature exclusivement biologique. Nos cerveaux seront truffés d’implants. Ceux qui voudront ne rester que de chair et de sang sont condamnés à devenir les chimpanzés du futur. En Singularité, les « hybridés », les « augmentés », les « transhumains » vivront en singularité, des millions de fois plus intelligents qu’ils ne le sont aujourd’hui, mais des milliards de fois moins que les machines. Alors nous serons les seconds. Nous pourrions même devenir les outils de l’IA. Ray Kurzweil y a pensé et voici ce qu’il en dit : « Ce n’est pas nous contre les machines ! Les machines font elles aussi partie de notre civilisation. Même si nous devenons des outils à notre tour, tout cela se passera à l’intérieur de notre civilisation. Il ne s’agit pas d’une invasion d’Aliens qui débarquent de Mars! On n’aura jamais à se creuser la tête pour comprendre leurs valeurs. »
18 mars 2024. À Mountain View, les allées du Googleplex sont désertes. Personne aux abords du complexe Microsoft. La ville Meta, au-delà de l’autoroute 101, semble plus inaccessible que jamais. Presque aucun visiteur à l’Apple Park. Ce jour-là, la Silicon Valley s’est transportée à San José pour le « Woodstock de l’IA ». Douze mille personnes s’entassent dans une salle de spectacle géante. Le prophète du jour s’appelle Jensen Huang, un sexagénaire qui a fondé Nvidia à 30 ans seulement. Nvidia pèse 2 200 milliards de dollars en capitalisation boursière. Parce que sans les puces de celle-ci, il n’y a plus de Google, ni de Meta, ni d’OpenAI. Et il n’y aura ni IA fortes, ni robots qui comprennent tout.
Jensen Huang sort Blackwell de sa poche. Il égrène les performances fabuleuses de son nouveau GPU (Graphics Processing Unit). Grâce à la dernière création de Nvidia capable de réaliser des milliards d’opérations en une fraction de seconde, l’IA va pouvoir absorber, digérer et s’approprier plus vite des masses encore plus phénoménales de savoir humain. La salle se lève et applaudit. Blackwell va permettre aux techies de la Silicon Valley de réaliser le rêve des hippies vieillis.
Toutes les limites seront franchies.
Nous serons au rendez-vous de la singularité.









