Bei Electronic Arts arbeitet und forscht die SEED-Abteilung (Search for Extraordinary Experiences Division) an der “Zukunft der interaktiven Unterhaltung” und hat in einen selbstlernenden KI-Agenten entwickelt, der sich das Spielen von Battlefield 1 (im Multiplayer-Modus) komplett selbst beigebracht hat – allerdings mit Vereinfachungen, Einschränkungen und Anpassungen. Gelernt hat die Künstliche Intelligenz durch “Zuschauen” bzw. Imitationslernen.
Technical Director Magnus Nordin sagt: “Als ich erfuhr, dass eine KI von DeepMind sich selbst beigebracht hatte, alte Atari-Spiele zu spielen, hat mich das total umgehauen. Das war 2015, und ich fing an, darüber nachzudenken, wie viel Aufwand es wäre, einen selbstlernenden Agenten dazu zu bringen, dass er lernt, wie man ein moderneres und komplexeres First-Person-AAA-Spiel wie Battlefield spielt. Als ich dann zu SEED kam, habe ich mit diesem Gedanken im Hinterkopf ein eigenes Deep-Learning-Team eingerichtet und Mitarbeiter rekrutiert. Zunächst haben wir uns mit den Grundlagen beschäftigt und einen einfachen, dreidimensionalen Ego-Shooter entwickelt, um unsere Algorithmen zu testen und das Netzwerk darauf auszurichten. Nachdem wir damit einige gute Ergebnisse erzielt hatten, haben wir den Agenten zusammen mit dem Team von DICE in eine Battlefield-Umgebung integriert.”
Der maschinelle Lernvorgang wird folgendermaßen beschrieben: “Um dem selbstlernenden Agenten einen Einstieg in grundlegende Aktionskombinationen zu ermöglichen, lassen wir ihn 30 Minuten lang das Spiel von Menschen beobachten – man nennt das Imitationslernen -, bevor wir ihn sich selbst überlassen. Die Agenten in unserer Demo haben anschließend sechs Tage lang gegen Versionen von sich selbst und einfache, altmodische Bots trainiert, und das parallel auf mehreren Geräten. Insgesamt entspricht das einer gesamten Gameplay-Erfahrung von ungefähr 300 Tagen. Sie verbessern sich kontinuierlich, lernen aber nicht sonderlich schnell. Der Agent verfügt über das gleiche Sichtfeld wie ein menschlicher Spieler und wird durch eine Minikarte unterstützt. Wir haben allerdings rasch gemerkt, dass Battlefield visuell für den Agenten zu komplex ist, das heißt, wir mussten vereinfachen, was er sieht.”
Den praktischen Nutzen dieser Technologie zum jetzigen Zeitpunkt erklärt Magnus Nordin (Technical Director) so: “Unser kurzfristiges Ziel bei diesem Projekt war, dem DICE-Team beim Skalieren seiner Qualitätssicherung und Tests zu helfen, damit das Studio mehr Absturzursachen und Bugs finden kann. Bei zukünftigen Titeln, wenn die Deep-Learning-Technologie den Kinderschuhen entwächst, gehe ich davon aus, dass selbstlernende Agenten Teil des Spiels selbst sein werden. Wirklich intelligente NPCs können dann zahlreiche Aufgaben erfüllen und sich mit der Zeit anpassen und weiterentwickeln, weil sie durch die Interaktion mit menschlichen Spielern Erfahrung sammeln. (…) Ich habe keinen Zweifel daran, dass neurale Netze in den kommenden Jahren Stück für Stück ihren Weg in die Spiele finden werden. (…) Ich hänge mich mit dieser Vorhersage jetzt weit aus dem Fenster, aber ich rechne damit, dass KI-Agenten menschliche Spieler in einem limitierten Wettkampfmodus – mit kleineren Karten, überschaubaren Teams und klaren Einsatzzielen – schon in wenigen Jahren besiegen werden.”
Future (oder Present?) is here! Today is a good day (: