La lune

Manicore

Documentation > Lectures > Articles > Gare aux robots cinglés (Libération, août 2000)

Gare aux robots cinglés

Bill JOY, directeur de la Recherche de Sun Microsystems

Article publié dans le journal Libération du 24 août 2000.

article mis en ligne en février 2001

Contacter le webmaster : jean-marc@manicore.com

***

 

L'impact des technologies de l'information sur les cinquante prochaines années sera plus important que tout ce que nous connaissions jusqu'alors, puisque les ordinateurs nous permettent de modéliser puis de transformer le monde physique. Le Human Genome Project marque les débuts de la biologie en tant que science de l'information, et la nanotechnolologie, qui offrira les moyens de concevoir et de manufacturer des produits à l'échelle de l'atome, n'est pas loin derrière.

J'ai été récemment invité à m'exprimer devant une conférence, parrainée par le Département américain de la Défense, où l'on discutait des technologies de l'avenir. J'y ai évoqué la possibilité prochaine, grâce à la biologie informatique, de modéliser le comportement des cellules sur un ordinateur. Un biologiste de renom m'a répondu qu'il ne croyait pas qu'on y parvienne au cours du nouveau siècle - bref, que les fonctions et les interactions des protéines et autres composants cellulaires resteraient certainement hors d'atteinte. Et pourtant, quelques semaines plus tard, un article de la revue scientifique Nature signalait que des phytogénéticiens avaient reçu des crédits pour déterminer, vers 2010, la fonction de toutes les protéines agissant dans une cellule végétale spécifique, et donc pour proposer une modélisation informatique de cette cellule.

Pourquoi tant de personnes intelligentes ont-elles des opinions aussi divergentes sur l'avenir? Je crois que la réponse tient dans l'incroyable accélération du progrès que nous constatons. Cette accélération est telle que le progrès des cent prochaines années sera comparable à celui, non pas du siècle passé, mais de tout le dernier millénaire.

Ce progrès dans la technologie de l'information, ajouté à celui des sciences physiques et biologiques, nous aidera à redessiner le monde entier. En biologie, l'ingénierie génétique et celle des protéines nous permettront de guérir de nombreuses maladies et d'allonger sensiblement l'espérance de vie ; la possibilité de fabriquer industriellement des produits à l'échelle atomique nous donnera de nouveaux matériaux, abondants et bon marché. Les avancées de la robotique devraient, enfin, nous délivrer des travaux physiques les plus durs, voire nous permettre, si nous le voulons, de construire de nouvelles espèces de robots. Une perspective que certains trouvent excitante mais qui est clairement dangereuse si ces robots devaient prendre notre succession comme espèce dominante de la planète.

Ces nouvelles sciences du XXIè siècle - génétique, nanotechnologie et robotique (nous abrégerons en GNR) - pourraient bien créer une masse gigantesque de richesses, peut-être de l'ordre d'un million de milliard de dollars. Cette prodigieuse création de richesses, accompagnée des autres impacts des nouvelles technologies, débouchera sur des changements infiniment plus importants que ceux des deux premières phases de la révolution industrielle.

La plupart d'entre nous sous-estiment très certainement l'impact de cet «âge de l'information». Il apportera de véritables bienfaits à long terme, mais des changements à cette échelle peuvent aussi provoquer des fractures à court terme, lesquelles mettront en péril nos institutions, nos valeurs et jusqu'à notre survie.

Nos institutions sont, de toute évidence, menacées par la vitesse du progrès. La globalisation suppose l'acceptation mondiale du modèle du marché et adapte à l'économie la formule de Darwin sur la survie des plus forts. La sélection naturelle est un processus lent. Par le langage et la culture, l'espèce humaine évolue à un rythme infiniment plus rapide. L'extinction de certaines espèces dues à nos activités est le résultat de ce contraste entre l'adaptation biologique lente de ces espèces et notre capacité d'évolution, infiniment plus rapide.

Or la technologie évolue plus vite que la culture, avec comme conséquence la déstabilisation des institutions culturelles. On peut prendre l'exemple de nos lois sur la propriété intellectuelle, qui sont une construction culturelle manifestement menacée par l'avènement de l'Internet, quand des programmeurs utilisent la technologie existante pour élaborer des systèmes comme Napster.

Nos institutions culturelles - gouvernements, tribunaux - pourront-elles protéger la propriété intellectuelle face à la technologie? La question reste pendante. De semblables changements dans le domaine biologique (organismes génétiquement modifiés, pratique du clonage) et ceux à venir dans la nanotechnologie et la robotique menacent tout autant notre capacité collective à protéger démocratiquement nos choix culturels.

Nos valeurs elles-mêmes sont menacées. Notre contrat social accorde une place privilégiée à l'individu. Voici vingt-cinq siècles, Périclès a soutenu que l'on devait faire confiance à l'individu, ce qui a mené à la naissance de la liberté avec la démocratie athénienne. Cette même confiance inspire la philosophie des Lumières et le capitalisme démocratique. C'est généralement une bonne idée que de laisser les individus choisir, pour autant que ces choix soient limités, de sorte qu'ils n'empiètent pas sur les droits et les libertés d'autrui. Quant ils ont inventé la liberté, les Grecs ont fait une grande découverte : en laissant à chacun une marge de manoeuvre, en soumettant chacun à une société réglée par des lois et non par des pouvoirs, les gains étaient énormes. Au cours des siècles passés, nous avons créé des institutions collectives qui expriment et renforcent nos volontés communes tout en préservant un large champ d'action pour les individus.

Désormais, l'Internet et les nouvelles technologies «GNR» menacent de renverser ces institutions. Saurons-nous, dans le nouvel âge de l'information, créer les institutions qui expriment démocratiquement nos valeurs collectives? Savoir si nous pourrons préserver les lois sur la propriété intellectuelle n'est qu'un simple exemple précurseur de cette problématique.

Très certainement, l'ingénierie génétique pourra permettre l'eugénisme, ce qui nous obligera à décider qui nous voulons être ; les spécialistes de la nanotechnologie pourront changer arbitrairement le monde physique, et il nous reviendra de décider dans quel genre de monde nous souhaitons vivre ; les ingénieurs de la robotique pourront mettre en marche des machines plus puissantes et plus intelligentes, dont le pouvoir nous menacera, de sorte que nous devrons décider, avant de créer de telles espèces, si nous (du genre Homo sapiens) voulons continuer à exister.

Je garde l'espoir fervent que nous pourrons décider collectivement de ces sujets difficiles, mais j'ai bien peur que nous n'en ayons pas la possibilité démocratique. Au contraire, comme les technologies GNR sont des technologies de l'information, qui ne demandent pas d'équipement spécial ni de matières premières rares, ces technologies pourront être appliquées depuis un ordinateur personnel utilisant les informations accessibles sur l'Internet. L'utilisation de ces technologies, dans les cinquante prochaines années, devrait devenir aussi facile que de sortir aujourd'hui une page d'un texte sur une imprimante laser.

Tant que de nombreuses inventions utiles seront possibles, cette évolution est une bonne chose. C'en est aussi une mauvaise, car cela signifie que des individus ou des groupes malintentionnés pourront inventer de nouveaux fléaux. La «peste blanche» rivaliserait avec la «peste noire». Grace aux biotechnologies, les nanotechnologies seraient à même de détruire la biosphère ; une armée de robots complètement cinglés comme nous n'en voyons encore que dans les films pourrait débouler.

Si des individus peuvent réaliser de telles choses en dehors de tout contrôle démocratique, notre contrat social sera manifestement déchiré, puisque nos institutions collectives ne seront pas capables de nous protéger des ravages provoqués par quelques individus pris de folie. Qu'une technique si puissante soit accessible à tous, même aux cinglés, qui existent forcément, menace certainement notre survie.

Pour réduire les risques de telles technologies, nous pouvons faire des choses simples.

Nous pouvons encourager les cultures scientifique et technologique à élaborer leur propre serment d'Hippocrate ; nous pouvons ouvrir un débat public pour évaluer ces nouvelles technologies, ce qui permettra de comprendre les risques qui leur sont associés; nous pouvons contraindre les entreprises qui souhaitent utiliser ces techniques dangereuses à souscrire des polices d'assurance élevées de sorte qu'elles empruntent les chemins les moins risqués. Pour quelques-unes de ces expériences extrêmement dangereuses - comme le travail sur le génome de la variole ou d'autres maladies mortelles -, nous devrions les cantonner dans des laboratoires sécurisés et sous contrôle international, même si ces recherches sont menées dans un cadre commercial. Plus encore, certaines technologies sont si dangereuses - les nanotechnologies illimitées, par exemple - que nous devrions purement et simplement en interdire la pratique, comme le reconnaissent certains des nanotechniciens les plus en pointe.

Si nous savons surmonter ces risques, l'avenir qui s'ouvre à nous est incroyable de richesse, de longévité, et nous pourrions même aboutir à l'éradication de la pauvreté matérielle. Dans cette société d'après la rareté, que l'on pourrait atteindre en moins d'un siècle, il nous restera à trouver un sens à nos vies, un sens au-delà de la simple compétition économique. Mais ne pas nous perdre, d'ici là, sur ce chemin problématique, c'est le plus grand défi que nous ayons à relever.

En cette époque où les raisons d'espérer ne sont pas moins nombreuses que les dangers, un véritable défi nous attend: donner forme à nos souhaits collectifs pour éviter d'être dominés par nos propres outils et par leurs effets.

Wendell Berry, dans son merveilleux livre La vie est un miracle, a remarquablement exprimé mon sentiment: «La science et l'art ne sont ni fondamentaux ni immuables. Ils ne font pas partie du monde, ils sont des outils. La seule raison pour laquelle nous avons besoin de cette caisse d'outils, c'est d'assurer notre séjour sur Terre.» Fascinés par l'incroyable feu d'artifice de la science et de la technologie au XXIè siècle, nous ne devons pas perdre de vue qu'elles ne sont que des outils. Nous devons veiller à ce qu'elles ne deviennent pas une fin en soi qui finirait par nous détruire.

Retour vers le haut de la page