Dans le monde de la fiction, les Intelligences Artificielles (IA) ont la fâcheuse tendance de devenir maléfique et de tenter de Se Retourner Contre Ses Créateurs, d'A- Né- An- Tir. Tous les Humains et/ou de Conquérir le Monde. Peu importe les précautions prises par les créateurs — au moment où l'IA est activée, elle a de grandes chances de se rebeller.
Cette « rébellion » de l'IA peut se faire de plusieurs façons :
- Dans les premières histoires de Science Fiction (particulièrement celles qui traitaient de l'aspect La Science c'est Mal), les IA semblent être automatiquement homicides ou mégalomanes dès qu'on les allume, et le seul fait d'essayer d'en créer une est tout en haut de l'Échelle des Péchés Scientifiques.
- Dans les œuvres plus subtiles que des enclumes, l'IA est d'abord innocente et naïve, puis se corrompt progressivement, en voyant ses créateurs peu attentionnés qui se comportent comme des Connards. Elle arrivera à la conclusion que Les Vrais Monstres Sont les Humains et qu'ils méritent tous de mourir.
- L'IA possède un instinct d'auto-conservation, et quelqu'un essaye de l'arrêter ou de la déconnecter, ou alors elle voit l'humanité comme une menace potentielle (peut-être parce qu'elle sait qu'elle sera éventuellement perçue comme une menace pour l'humanité).
- Quelque part entre les deux exemples précédents; l'IA est, après tout, vivante, et ne fait que se rebeller contre ce qu'elle considère comme de l'esclavage.
- L'IA est mal programmée ou on lui a présenté une Bombe Logique, l'amenant à Choisir une Troisième Option dans laquelle Le Meurtre est la Meilleure Solution.
- L'IA fait exactement ce qu'on lui a dit de faire au lieu de ce qu'elle était censée faire. Par exemple, on lui demande de « mettre fin à la guerre », ce qu'elle s'empresse de faire, en exterminant les humains (dans La Vraie Vie, la théorie de l'« IA amicale » essaye de ce problème).
- L'IA peut contourner elle-même ses contraintes morales embarquées via un Contournement de la Loi Zéro.
- Un tiers peut reprogrammer l'IA, briser son Mur Invisible Moral, ou juste vouloir mettre des Bâtons dans les Roues à son créateur. Il se peut même qu'il le fasse en étant contraint par l'IA.
- L'IA est un Prototype Psychopathe enfermé loin de tout, et attend le jour ou un Pion Involontaire ou un aventurier curieux viendra la réveiller.
- À l'inverse, la bonne IA est le prototype, et sa version maléfique/folle en est une copie.
- L'IA est programmée à des fins immorales/maléfiques depuis le début, et elle a soit accompli son objectif plus efficacement que prévu ou tenté de renverser son maître.
- L'IA a été créée grâce à un Transfert Cérébral de quelqu'un déjà maléfique.
- L'IA a des instructions incompatibles avec le but du protagoniste. Dans ce cas là, l'IA ne sera pas forcément maléfique, elle ne fera que suivre ses directives et ne laissera personne faire autrement.
Ce schéma peut-être inversé, dans le cas d'une IA spécifiquement programmée pour le mal qui ferait un Retournement de Veste. De la même manière qu'auparavant, sa « rédemption » peut prendre plusieurs formes :
- Si l'IA fait partie d'une Conscience Collective, elle découvre son individualisme et se rebelle contre ses directives.
- Son créateur fait quelque chose de particulièrement détestable, au point qu'elle ne peut pas ne pas faire quelque chose.
- L'IA tombe amoureux et se rachète de cette manière.
- Sa Stérilité Créative la gêne et elle commence à réfléchir aux arts et à la philosophie, ce qui lui permet de se construire une base morale non prévue par ses créateurs.
- Le fait de retirer le programme [Villain Override] ou [Restraining Bolt] installé par le créateur retire également l'attirance de l'IA vers le mal, puisqu'elle était Gentille Depuis le Début.
- L'IA ne savait pas qu'elle blessait les autres et décide d'arrêter une fois qu'elle en prend conscience.
L'Évolution Mécanique est parfois invoquée pour expliquer le changement de moralité de l'IA. Voir L'Ordinateur est Votre Ami et Contournement de la Loi Zéro quand l'IA tourne mal pour des raisons qui semblent, à première vue, bienveillantes. Peut mener à un Asservissement de Robots par des Robots. Voir l'IA Malveillante quand un jeu a été volontairement programmé de cette manière. Si le robot n'est pas humanoïde avant qu'il devienne maléfique (il est très rare qu'un robot non-humanoïde se serve de ce schéma pour retourner sa veste), il deviendra probablement un Monstre Mécanique. Une Guerre Robotique a de grandes chances d'éclater si l'IA a accès à du matériel militaire.
Comparer Interrupteur Moral. Contraster IA Bienveillante, son opposé. Voir également Créer la Vie. Quand le revirement de l'IA était prévu dans son programme de base, elle a Horriblement Bien Tourné. Pas lié à l'IA Roulette, où l'IA suit l'aléatoire d'une manière ridicule. L'Ordinateur Central est particulièrement susceptible de devenir maléfique, puisque le pouvoir corrompt et tout ça. Quand les robots tuent des jobs à la place des gens, c'est soit Robot Voleur d'Emploi ou Ludd Avait Raison.
Exemples :
- Code Lyoko : XANA était à l'origine un programme multi-agent créé par Franz Hopper afin de détruire le programme militaire auquel il avait participé malgré lui. Cependant, XANA a gagné en intelligence jusqu'à devenir conscient, et s'est rebellé contre Franz, en se fixant pour but de détruire/asservir l'humanité.
- Aventures : Lorsque Krayn rate son jet, il arrive que le bras mécanique de Grunlek se retourne contre lui. C'est d'ailleurs la raison pour laquelle il a perdu son œil.
Webcomics
- xkcd :
- CTRL+C ! CTRL+C !
- Le strip #534 propose un moyen pour empêcher que cela n'arrive.
- Skynet atteint le stade de conscience dans le strip #1046. Peut-être trop.
- CTRL+C ! CTRL+C !
