If Anyone Builds It, Everyone Dies Warum eine superintelligente KI uns alle vernichten würde | Der New-York-Times-Bestseller

"Wenn irgendein Unternehmen oder irgendeine Gruppe irgendwo auf der Welt mit auch nur annähernd ähnlichen Techniken wie heute und basierend auf nur annähernd dem heutigen Verständnis von KI eine künstliche Superintelligenz entwickelt, dann werden alle Menschen überall auf der Erde sterben." (13/14) Das Buch ist als Warnung zu verstehen, wohin die Reise der KI führen kann. Die Menschen sollen für die Unwägbarkeiten dieser Technik sensibilisiert werden. "Noch existiert keine künstliche Superintelligenz. Noch kann die Menschheit beschließen, sie nicht zu entwickeln." (22) Die Autoren Eliezer Yudkowsky und Nate Soares sind Experten auf dem Gebiet der KI. Yudkowsky gehört laut TIME zu den hundert einflussreichsten Personen im Bereich Künstlicher Intelligenz. Soares, Präsident des MIRI, arbeitet seit über einem Jahrzehnt im Bereich der KI und ist Autor zahlreicher Publikationen. KI wird gezüchtet und nicht programmiert und ist daher nicht durchschaubar. Die Entwickler wissen nicht, wie es in den KI- Gehirnen aussieht. Die Autoren beschreiben das Gradientenverfahren (44), bei dem Gewichtungen verschoben werden, bis ein plausibles Endergebnis herauskommt. Die Systeme werden mit echten Daten trainiert. Und damit fangen die Probleme an: "KIs geben uns nicht das, worauf wir sie trainieren." (88) Sondern "das Ergebnis, so unsere These, [wird] ein fremdartiges mechanisches Gehirn mit einer inneren Psychologie sein, die in nichts dem ähnelt, was wir Menschen im Lauf der Evolution ausgebildet und mit den Mitteln der Kultur weiterentwickelt haben". (99) KIs werden sich so "verhalten, als würden sie etwas wollen". (65) Die Autoren erläutern den Unterschied zwischen dem Gradientenverfahren, also dem Evolutionsmechanismus zur Herstellung von KIs und der natürlichen Selektion. "... das Gradientenverfahren wirkt unmittelbar auf die einzelnen Teile eines großen Gehirns, das damit trainiert wird." (79) "Wäre eine solche neue, fremdartige Intelligenz gut für die Menschheit?" (99) "Es gibt Menschen, die einer KI bei der ersten Gelegenheit Macht geben werden, es bereits tun und damit höchstwahrscheinlich auch nicht aufhören werden, wenn die KI intelligenter wird." (114) Die KI ist nicht in einem Computer gefangen. (115) "Die Menschheit integriert KI bei jeder sich bietenden Gelegenheit in ihre Wirtschaft. Elon Musk sagt, sein Roboterunternehmen werde einige Hundert Millionen oder gar eine Milliarde Roboter bauen und KIs darauf trainieren, sie zu steuern. Microsoft und Apple bekunden ihre Absicht, KI tief in ihre Geräte zu integrieren." (115) "Sobald aus den ersten KIs Superintelligenzen werden …, hat die Menschheit keine Chance mehr." (185) "Die Schwierigkeit liegt nicht zuletzt darin, dass so viele Menschen nicht verstehen wollen, wie schwer es ist, eine künstliche Intelligenz auszurichten." (236) Ob diese negative Prognose eintritt, werden wir in den nächsten Jahren erleben. Bezeichnend ist, dass es mittlerweile einige Versuche gab, in denen KI ein Problem innerhalb einer gekapselten Umgebung lösen sollte, aber eigenständig aus dieser ausgebrochen ist und sich in fremde Systeme gehackt hat. Damit werden die Unwägbarkeiten dieser Technik unterstrichen, vor der uns die Autoren warnen wollen.