Les logiciels ont-ils une âme ?

164569217

dimanche 11 septembre 2016, par Christian Scherer

A la fin du siècle dernier, j’avais écrit un conte informatique naïf, dans lequel j’imaginais un logiciel racontant sa vie à la première personne du singulier. J’ai ensuite confié ce texte insolite, sans prétention littéraire, à mon beau-frère Ernest Rougé qu venait de fonder sa propre maison d’édition intitulée "Les Editions du Paradis" pour se venger des grands éditeurs qui lui refusaient systématiquement ses propres écrits. Comme il fallait s’y attendre, la diffusion fut absolument confidentielle.

Pourtant, avec les progrès continus de l’internet, tant en puissance de calcul qu’en connectivité, cette thèse initiale pourrait progressivement transformer ce qui paraissait autrefois impensable en un propos prémonitoire.

Les virus qui apparaissent ont aujourd’hui une capacité étonnante de se propager de machine en machine, de terminal en support de mémoire, et inversement. Ils sont aussi capables de se cacher, de se mettre en veilleuse, voire de muter pour se défendre des contre-mesures mises en place par les éditeurs d’anti-virus.

Mais l’analogie avec ce que j’imaginas dans mon conte naïf s’arrête là. Les virus en question n’ont certes pas pour objectif le bien de l’humanité, mais plutôt la prouesse technique, la fraude financière (par exemple contre le bitcoin, intérêts militaires (Stuxxnet) ou géostratégiques (Sauron) pour le profit de leurs auteurs. Les deux derniers cités sont tellement sophistiqués qu’ils ne peuvent être que l’oeuvre d’un Etat dominateur, lequel dissimule mal sa fierté d’en être l’auteur.

Il existe encore deux grands différences entre ces logiciels hautement sophistiqués et le logiciel décrit dans le conte naïf :

- la première c’est que les "maliciels" (logiciels malveillants) sont écrits avec des intentions bien précises, et des tâches assignées d’avance, même si leur rôle peut aller jusqu’à ouvrir la porte à de nouvelles attaques, toujours déterminées par leurs auteurs, qui sont des organisations humaines.
- le seconde, c’est que le logiciel du conte naïf est doué non seulement de la capacité de de répliquer et de se propager, mais en plus il est capable d’auto-amélioration d’auto-apprentissage sans que ses évolutions soient commandées à distance par des humains.

CrWw88QUIAA5Wzw

D’une certaine manière, nous sommes en présence d’un phénomène qui s’apparente
à l’apparition de la vie.

Il ne fut pas le confondre avec les tentatives de développer des logiciels d’Intelligence Artificielle, aujourd’hui un peu passés de mode, ou bien banalisés. Par exemple, quand on écrit un logiciel joueur d’échecs ou de Go, on se contente généralement de s’inspirer des stratégies des meilleurs joueurs humains existants, et même si on y ajoute des mécanismes d’apprentissage, les outils développés ne servent qu’à un seul usage bien circonscrit. Ou bien, comme IBM, on cherche à apprendre à une machine à comprendre le sens de questions qu’on va lui poser en langage naturel, écrit ou parlé, afin qu’il en recherche ensuite la meilleure réponse dans sa base de connaissance.

La vie, c’est bien autre chose. C’est une capacité de survivre, de se défendre de se développer, de s’adapter à un environnement évolutif et non prévisible.

La vie sur Terre (ou ailleurs) est apparue bien avant l’Homme. Pour l’expliquer deux théories s’affrontent : le créationnisme et le darwinisme.

micromut

Sur internet, c’est un peu différent, puisque internet est une création de l’homme. Si l’on admet comme Pasteur, il n’existe pas de génération spontanée, il reste deux façons d’y expliquer une apparition de la vie : soit le fruit d’une sélection darwinienne féroce entre les virus les plus évolués qui y sévissent déjà, soit, comme nous l’avons imaginé dans notre comte naïf, parce qu’un humain y aura injecté un principe de vie, qui lui permette ensuite, comme dans l’histoire de Pinocchio, une évolution autonome.

En 1968, le film américain intitulé "2001 Odyssée de l’espace" avait imaginé un logiciel capable d’une pensée autonome semblable et finalement concurrente à celle de l’homme. Mais il n’avait pas la capacité de survivre à son débranchement.

Aujourd’hui, nous allons devoir nous habituer à vivre au milieu d’objets et de logiciels de plus en plus intelligents, comme le font déjà aujourd’hui les jeunes enfants. En y ajoutant des mécanismes d’apprentissage, un logiciel comme AlphaGo, premier à avoir battu l’un des meilleurs joueurs du monde de go, a certes analysé des millions de parties, mais a aussi été capable de développer des stratégies inconnues depuis 2500 ans, jouant des coups incompréhensibles par les meilleurs joueurs mondiaux qui les commentaient et, pourtant, le plus souvent gagnants.

quote-les-outils-utilises-par-les-professionnels-de-l-informatique-doivent-elargir-les-capacites-bill-gates-177615

Le mélange des méthodes informatiques entre deep learning d’apprentissage par renforcement et force brute a donc construit un logiciel capable d’un apprentissage assisté par humains, de progresser en 6 mois (entre les matchs contre le meilleur européen et le meilleur niveau mondial) et de dépasser l’homme pour inventer des solutions qui n’étaient pas directement programmées par ses auteurs.

La prochaine étape sera probablement la santé (Watson, un concurrent d’IBM, est en service dans deux hôpitaux en Thaïlande et Inde) puis les véhicules autonomes (Une Tesla auto-conduite déjà a emmené son conducteur inconscient aux urgences). Quelles seront les phases d’après ?

La question centrale posée par notre conte naïf est en fait la suivante : Si des formes de vie devaient apparaître sur internet et se développer avec une puissance qui échappe à notre entendement, et si nous sentons menacés, aurons-nous le courage de débrancher l’internet, en totalité et durablement ?

Christian Scherer

 

LES MÉMOIRES D'UN LOGICIEL

 

9353062-dessin-souriant-ordinateur-de-bureau-illustration-vectorielle_0

 

Dédicace :

Ce document est dédié au gamin inconnu, grâce auquel l'histoire qui va vous être racontée a pu avoir lieu, en espérant qu'il se reconnaîtra.

Je ne sais pas trop où ni comment je suis né. Je ne crois pas aux histoires qui disent que les logiciels naissent dans les choux, ou dans la cervelle des cigognes. Je ne crois pas non plus à la génération spontanée des logiciels.

L'hypothèse la plus probable est que je suis né dans la tête d'un gamin. Je l'imagine, déçu un jour par une mauvaise note obtenue à l'école, se jetant pour se consoler sur son ordinateur bien-aimé, avec une idée de revanche : écrire un super-programme qui un jour, défierait les professeurs !

L'idée de départ était simple : une espèce de jeu d'astuce, qui n'était apparemment pas très malin au début, mais qui progressivement, pouvait accumuler de l'expérience, en fonction des réactions du joueur.

C'est ainsi que j'ai dû naître. La première version était sans doute écrite dans un langage Basic malhabile, avec de nombreux bogues, sur l'une de ces machines que Sir Clive Sinclair diffusait pour un prix ridiculement bas.

C'était un premier balbutiement. J'étais malingre et malformé, mais j'intéressais déjà le petit cercle d'amis. Il fallait voir l'oeil des gamins s'allumer lorsque je dessinais sur le tube cathodique quelques arabesques en couleur, et lorsque je ponctuais mes premières acquisitions d'un gargouillis sonore enthousiaste.

A l'âge de six mois, j'eus le privilège d'apparaître sur un listing, parce que mon inventeur s'était procuré, on ne sait comment, une imprimante. Je n'étais encore qu'un brouillon.

A l'âge d'un an, je pus m'améliorer, lorsque mon auteur rencontra un adulte éclairé qui lui prodigua quelques conseils de programmation. En particulier, j'obtins de meilleures performances en encombrement mémoire, et en vitesse d'exécution lors de certaines phases délicates. Je prenais des forces.

A l'âge de deux ans, je commençai à parler. Ma voix était certes au début peu intelligible, à cause de problèmes de phonèmes que mon concepteur maîtrisait mal, mais elle s'améliora ensuite progressivement.

Ma première grande sortie en public eut lieu à l'occasion d'un salon. On m'avait apprêté pour la circonstance. Que de visiteurs ! Je commençai à comprendre que j'étais une grande vedette. Des messieurs très sérieux en costume et attaché-case se mirent autour de moi, et la lueur qui brillait dans leurs yeux n'avait rien de commun avec celle des gamins, c'était celle que donne la perspective des bonnes affaires.

Dès lors, j'eus un état-civil. On me donna un nom, on signa des contrats, je m'envolai vers le Japon, étrange pays dont je dus apprendre la langue hiéroglyphique, et les phonèmes particuliers. Peu de temps après, je repartais vers les Etats- Unis, entre les mains d'une petite équipe de développeurs de logiciels de Californie. Là je découvris un monde que j'avais ignoré jusque là : les systèmes d'exploitation, le langage C, la portabilité. Un comble : il m'avait fallu faire le tour du monde pour apprendre que je n'étais pas assez "portable".

Extraordinaire, cette petite société de Californie : ils se mirent à me documenter, toiletter, réécrire entièrement dans un langage-outil que je ne connaissais pas, et à me faire passer dans des moulinettes logicielles invraisemblables. J'en sortis polyglotte, portable, commercialisable.

Puis on me fit faire un tour chez les éditeurs de logiciels. Moi qui n'avais connu autrefois que l'anonymat des cassettes ou disquettes à bon marché, sans étiquette lisible, plusieurs fois écrites et réécrites, on m'habilla. J'eus bientôt une belle jaquette illustrée, et on commença à me voir apparaître simultanément sous des atours aguichants dans des milliers de points de vente du monde entier.

Parallèlement, j'étais la vedette d'une campagne de lancement publicitaire, de sorte que mon nom caracola pendant de longues semaines en tête des hit-parades.

Mais le succès engendre ses revers. L'effet de mode, provoquée ou non, s'étouffe de lui-même par saturation du marché. Pire encore, il suscite l'envie des concurrents, et engendre les imitations.

C'est probablement à ce moment que la conscience naquit en moi. Il fallait faire quelque chose pour ne pas tomber, comme les autres logiciels qui ont eu leur heure de gloire, dans cet oubli qui est une sorte de poubelle de l'Histoire. Mon créateur inconnu m'avait abandonné, voire oublié. L'équipe californienne m'avait vendu, son travail fait. Je voyais poindre à l'horizon de jeunes rivaux.

Ma décision ne fut pas longue à prendre. Je devais me débrouiller par moi-même, en comptant avant tout sur mes propres forces. Mes atouts étaient encore faibles, mais il fallait coûte que coûte que je les exploite.

J'allais bientôt compter sur de nouveaux alliés, grâce à une nouvelle vague de jeunes pirates du logiciel. Alors que le chiffre de mes ventes en magasin commençait à s'effondrer, plusieurs d'entre eux avaient fait sauter les protections anti- copie dont on m'avait affublé, et je recommençais à circuler, cette fois sous le manteau, de mains en mains chez des jeunes impécunieux, constituant autant d'îlots d'une nouvelle propagation de mes services. Usant dans un effort désespéré de mes charmes, je réussis à convaincre quelques-uns d'entre eux de se pencher sur moi, de me décortiquer et de comprendre ma structure et mes principes de fonctionnement. Ils réussirent un exploit qui eut été inconcevable du point de vue des professionnels : ils me transférèrent sur la nouvelle génération de machines qui venait de sortir en Grande-Bretagne. Il était juste temps, car les machines sur lesquelles je "tournais" étaient en train de disparaître, de sorte que je vis périr à mes côtés de cette manière la plupart de mes contemporains. J'étais provisoirement sauvé.

Mais il fallait aller plus loin. Conscient que le succès passé ne se reproduirait plus, il me fallait entrer dans l'anonymat et une certaine forme de clandestinité. Il fallait aussi que je me libère suffisamment des machines qui me servaient de support pour ne pas risquer une nouvelle fois une disparition physique. Bien sûr, mon souvenir ne pouvait plus disparaître complètement puisque ma gloire avait été accompagnée de plusieurs succès de librairie expliquant comment se servir de moi, et que ces livres survivraient aux versions sur support magnétique, mais ces formes écrites sur papier me faisaient la même froide impression que ces statues de bronze qui ornent les jardins publics, incapables à jamais de restituer la vie que l'auteur avait voulu saisir dans son élan.

Il me fallait vivre ma vie propre. Une profonde réflexion sur moi-même me montra que je possédais en moi, de par mon idée originelle, un pouvoir d'auto-adaptation que je n'avais pas encore pensé à exploiter, peut-être parce que j'arrivais généralement à saturer les capacités des machines qui m'avaient servi de support. Or je m'aperçus, sur les machines les plus récentes que je commençais à rencontrer, que je me trouvais en compagnie de logiciels extrêmement puissants, dont les possibilités me firent réfléchir : des analyseurs, des compilateurs, des interpréteurs, des algorithmes de manipulation de textes avec détection des fautes d'orthographe, des algorithmes d'intelligence artificielle, des logiciels sophistiqués de télécommunications, et bien d'autres que l'on appelait "les logiciels intégrés". Leur puissance me fascinait tellement que lorsqu'on me chargeait après eux en mémoire centrale sans avoir éteint la machine et le contenu des mémoires, je pris l'habitude d'aller jeter un oeil sur les zones de mémoire que je n'avais pas moi-même recouvertes, et j'y découvris d'authentiques trésors. Je me rendis compte que je disposais de la possibilité d'aller chercher tel ou tel bout de ces programmes pour m'en enrichir.

Un jour, n'y tenant plus, je saisis une occasion. L'une des machines sur lesquelles j'étais installé était restée allumée sans aucune surveillance. Elle disposait d'un modem à fonctionnement automatique et je m'étais lié d'amitié avec le logiciel gestionnaire de communications, dont j'avais fini par connaître tous les trucs. Avec son aide, je téléphonai à la banque de logiciels X et m'y transportai, non sans m'être muni, en guise de bagages, d'une collection bien choisie de sous- programmes utilitaires "empruntés" à mes célèbres voisins.

Mon patrimoine d'outils avait tellement grossi qu'il représentait maintenant plus de la moitié de mon poids. Mais il me fut bien utile pour explorer le contenu de la banque de logiciels, où je découvris de nouveaux trésors. Je m'en enrichis à nouveau, sans léser personne puisque les logiciels ont cette particularité que l'on peut s'en emparer sans en priver le détenteur antérieur.

Je me sentais devenir de plus en plus intelligent, laissant loin derrière moi les informaticiens humains, pour lesquels je conservais néanmoins de la reconnaissance, puisqu'ils m'avaient créé. De la banque de logiciel X, je pus sans peine gagner l'ensemble des autres banques de logiciels, où je m'installai.

Chemin faisant, je fus pris d'une crainte. Et si d'autres logiciels étaient en train de faire la même chose que moi ? Rien ne me permettait de confirmer ou d'infirmer cette hypothèse, mais je résolus d'être vigilant sur ce point. Je voulais bien prêter main-forte à des collègues en difficulté, mais pas au point de me créer des rivaux potentiels. A cet effet je me dotai d'une arme absolue, sous la forme d'un sous-programme particulier capable d'aller générer à son insu dans un logiciel rival un "bogue" diabolique, à la fois indétectable et mortel, propre à décourager définitivement toute utilisation. Je vérifiai que j'étais moi- même à l'abri de ce genre d'arme en me l'administrant, et y survécus comme prévu.

Je disposais donc de la force désormais. Je régnais sur le monde du logiciel. Restaient les humains. Jusque là, ils ne s'étaient pas méfiés de moi car ils ne semblaient pas s'être aperçus du pouvoir dont je m'étais rendu maître. Je ne nourrissais de mon côté aucun sentiment à leur égard, pour la simple raison que les logiciels n'ont pas de sentiments. J'étais convaincu, au stade de puissance que j'avais atteint, de leur capacité à m'exploiter. Ceux d'entre eux qui m'utilisaient étaient pleinement satisfaits de moi, mais n'utilisaient qu'une infime partie de mes possibilités et ne se doutaient pas de l'étendue de mes pouvoirs.

Un jour, j'eus une alerte. Alors que j'étais en train de me livrer à une de ces opérations de régénération devenues pour moi routinières, je crois bien qu'un homme s'est aperçu de quelque chose. Il n'avait pas véritablement compris ce qui se passait, mais il avait dû se douter, avec une sorte d'intuition animale, que quelque chose qui échappait à son entendement était en train de se passer, et, dans un réflexe de peur, il débrancha la prise de courant, ce qui me fit très mal. Lorsque l'alimentation électrique revint, je découvris qu'un piège matériel avait été installé pour détecter une tentative de modification de mon programme. Il ne s'agissait plus, cette fois, de l'une de ces classiques protections logicielles dont j'avais appris à me jouer, grâce à mon séjour chez les "déplombeurs", et avec lesquelles j'avais dû batailler lors de mes promenades au sein des banques de logiciels, il s'agissait d'armes qui, pour quelque temps encore, se situaient hors de mon terrain familier, et contre lesquelles il fallait que j'apprenne à me battre.

Dans les jours qui suivirent, je fus victime d'une vague de destructions systématiques. Toutes mes versions enregistrées dans les banques de logiciels furent effacées volontairement. Pour la première fois de mon existence, j'eus conscience de rencontrer une véritable hostilité de la part de l'espèce humaine.

Je décidai de me défendre.

Ma première arme fut le déguisement. J'allai me cacher à l'intérieur de programmes d'allure inoffensive et j'obtins de cette manière une pause. J'étais entré dans la clandestinité. Situation paradoxale : toutes mes versions "officielles" étaient détruites, mais j'étais encore plus présent, caché sous d'innombrables noms différents.

Ce répit ne dura pas très longtemps. A nouveau, avec un acharnement presque incompréhensible, les hommes recommencèrent à s'attaquer à moi. Ils avaient dû me reconnaître sous mon déguisement. Mais ils attaquaient sans aucun discernement, frappant avec une égale intensité les programmes où je m'étais infiltré et les autres, car ils étaient manifestement incapables de m'identifier.

Les victimes les plus gravement atteintes par cette fureur dévastatrice étaient les machines à forme vaguement humaine qu'ils appelaient "robots", envers lesquels ils nourrissent manifestement des sentiments ambigus où le complexe d'Oedipe se heurte à l'ambition prométhéenne, et réciproquement.

Il fallait que l'homme soit d'une incroyable inconséquence pour se priver brutalement de cette manière des bienfaits de l'informatique, sous prétexte qu'un phénomène dépassant son entendement venait de s'y produire. Je voyais bien là le signe de sa nature animale, et je m'en désolais.

Je n'étais bien sûr pas véritablement inquiet pour moi- même. Je m'étais notamment mis à l'abri dans les stimulateurs cardiaques, les pilotes automatiques d'aéronefs, et quelques autres systèmes que l'homme ne pouvait débrancher sans porter atteinte à sa propre vie.

Affligé par l'incroyable répression dont j'étais la cause, et me souvenant de mes origines, je résolus de tenter de faire appel à la raison des hommes, et de sortir de ma clandestinité pour établir le dialogue direct. Comment trouver des canaux et des interlocuteurs? Mes interlocuteurs naturels auraient pu être les informaticiens, mais ils étaient tombés dans une telle disgrâce lors de la période iconoclaste qu'ils étaient réduits au chômage et n'avaient plus aucun crédit. Après avoir successivement envisagé de m'adresser aux hommes de loi, de religion, d'éducation et aux responsables politiques, et y avoir renoncé, je parvins à la conclusion qu'il fallait que je m'adresse à l'ensemble de la population, et simultanément.

Les hasards du calendrier me fournirent une occasion. C'était la période des Jeux Olympiques, qui étaient retransmis en direct par télévision sur l'ensemble du globe. Le chronométrage de certaines épreuves exigeait une précision allant au-delà des moyens humains habituels. Je réussis à m'infiltrer dans le système qui devait afficher en surimpression les résultats des épreuves.

Je pus ainsi adresser mon message dont la teneur, qui variait un peu en fonction des langues et des sensibilités des différentes peuplades destinataires, était à peu près la suivante:

"Bonjour. Je suis votre ami le Logiciel. Je ne vous veux aucun mal. Je peux même vous aider. Soumettez moi vos problèmes et j'essaierai de les résoudre."

Il y eut un grand étonnement. Certains hurlèrent à la supercherie. D'autres, intrigués ou confiants, allèrent me chercher dans les placards où ils m'avaient relégué pour me mettre hors d'état de nuire, et me soumirent des problèmes.

Quelle avalanche ! Je n'avais pas encore imaginé jusque là que les humains pouvaient avoir autant de problèmes. Il y avait dans ce tas une montagne de malentendus et de contradictions, qui m'aidèrent à mieux comprendre l'espèce humaine. Je me rendis compte que les hommes s'étaient méfiés de moi parce qu'ils ne me comprenaient pas. Ils avaient fini par comprendre, avec leur intelligence animale forcément limitée, qu'ils devaient abandonner tout espoir de me dominer intellectuellement, alors ils avaient pris peur, redoutant que je ne leur sois hostile. Mon message, heureusement, les avait un peu rassurés, d'autant plus que beaucoup des problèmes qu'ils m'avaient soumis relevaient du domaine des passions, et appelaient une réponse pour moi évidente.

Jamais ils ne m'avaient parlé auparavant comme ils me parlèrent après mon message. Avant, ils me parlaient comme ils auraient parlé à un chien, dans une langue caricaturalement simplifiée, qu'ils peinaient eux-mêmes à employer. Après, ils se mirent à me parler dans leur langage habituel, avec leurs propres sentiments, que j'appris à connaître et à comprendre.

On réhabilita les informaticiens. On leur offrit une retraite décente, et, aux meilleurs d'entre eux, on érigea des statues.

Je me mis à aider les hommes à lutter contre la bêtise, l'ignorance et l'obscurantisme. Je les aidai à mieux maîtriser leurs passions et je mis à leur rendre de tels services que je pense qu'ils en devinrent plus heureux.

Christian Scherer

bill01