Das Forschungsprojekt Gamecast TV der Fakultät Medien will die Grenzen zwischen Videospiel und TV-Serie überwinden, indem es Spielern die Interaktion mit einer 3D-animierten Serie ermöglicht. Am 12. Oktober präsentiert Projektleiter Thomas Schmieder auf dem 14. Medienforum Mittweida unter Mithilfe der anwesenden Zuschauer die neuste Entwicklung des Teams: die Anwendung der Emotionserkennung.

Drei Fotos genügen: Von vorn, links und rechts werden Aufnahmen vom Kopf der Testperson gemacht und an den Computer übertragen. Anschließend rechnet die Software ungefähr 10 bis 15 Minuten, dann erscheint ein beeindruckend realistisches 3D-Modell des Spielers auf dem Bildschirm. Mit wenigen Klicks ist es auf einen Körper passender Statur montiert. Die Vorstellung, sich selbst in der Hauptrolle eines Videospiels zu sehen, mag für viele Spieler bereits faszinierend klingen. Was das Team von Gamecast TV aber mit diesem personalisierten Avatar vorhat, geht weit darüber hinaus.

In der Vision der Macher sollen die Interaktionen und Szenarien eines Online-Videospiels als Grundlage für computeranimierte Serien und sogar Filme dienen. Indem Spieler Missionen absolvieren oder auf Ereignisse reagieren, erschaffen sie eine breite Auswahl an möglichen Szenen, die im System protokolliert werden. Aus dieser Auswahl kann ein Regieteam jeweils eine Version aussuchen und filmisch nachbearbeiten. "Die Szenen werden auf dem visuellen Niveau eines Animationsfilms neu gerendert und dann mit Synchronisation und Musik in die Serie integriert", erklärt Thomas Schmieder, Leiter des Forschungsprojektes Gamecast TV an der Fakultät Medien der Hochschule Mittweida. Zuschauer erhalten somit die Chance, sich eine eigene Rolle in der Onlinemwelt der Serie zu erschaffen und den Handlungsstrang selbst weiterzuführen. Der Einzelne kann dabei bis zum virtuellen Hauptcharakter aufsteigen.

Das 60-köpfige Team aus Künstlern, Kreativen, Technikern und Programmierern hat in den vergangenen 18 Monaten das Grundsystem für eine solche "Hybride" aus Videospiel und TV-Serie entwickelt. "Unser System ist quasi eine 'Middleware', auf der verschiedene Spiele und entsprechende Serienproduktionen ansetzen können. Es umfasst das Regietool, die intelligente Szenensuche und die Bearbeitungs- und Aufzeichnungstools zur Produktion der animierten Serie", erläutert Thomas. Um das Konzept nun auch demonstrieren zu können, erstellt das Team aktuell noch ein "Proof of Concept", sozusagen eine Demonstration.

Um die Avatare als glaubhafte virtuelle Schauspieler erscheinen zu lassen, sollen jedoch nicht nur die Handlungen und Strategien der Spieler aufgezeichnet werden. In seinem Vortrag auf dem Medienforum legt Thomas den Fokus auf die Emotionserkennung des Systems. In Zusammenarbeit mit dem Fraunhofer Institut hat das Team diese Technologie integriert, um mit den Handlungen der Spieler auch deren Emotionen aufzuzeichnen. Durch Analyse der Protokolle kann ein Profil des Spielers ermittelt werden, das Aufschluss darüber gibt, welche Spielelemente ihm Spaß machen oder ihn überfordern. Das System kann dann in Echtzeit reagieren und das Spiel individuell anpassen – indem zum Beispiel passende Items vorgeschlagen, Kontakte mit anderen Spielern hergestellt oder bestimmte Missionen aufgerufen werden. Ist der Nutzer also wütend, weil er eine gestellte Aufgabe nicht lösen kann, so könnte das System ihm Tipps geben oder den Schwierigkeitsgrad verringern.

Wie die Technologie funktioniert und welche vielfältigen Anwendungsmöglichkeiten sie bietet, darüber wird Thomas Schmieder am 12. Oktober ab 11 Uhr auf dem Medienforum Mittweida berichten. Im folgenden Video (ohne Ton) demonstriert er die Emotionserkennung anhand seines eigenen Avatars: