Das ZHAW Institut f\u00fcr Marketing Management erforscht regelm\u00e4ssig die Wahrnehmung und Akzeptanz neuer Technologien (z.B. Virtual Reality, Augmented Reality, AI-Anwendungen) aus Kundensicht und untersucht, wie diese f\u00fcr Marketingzwecke genutzt werden k\u00f6nnen.<\/p>\n
Eine solche Anwendung stellt die Facial Reenactment Software<\/a> dar, die es erm\u00f6glicht, Mimik und Lippenbewegungen eines Menschen zu erfassen und \u2013 das ist geradezu revolution\u00e4r \u2013 das Ganze in Echtzeit auf das Videobild einer anderen Person zu \u00fcbertragen. Entwickelt hat die Technologie Justus Thies, Doktorand an der Friedrich-Alexander Universit\u00e4t Erlangen-N\u00fcrnberg (FAU)<\/a> am Lehrstuhl f\u00fcr Graphische Datenverarbeitung, in Zusammenarbeit mit Forschern der FAU<\/a>, der Universit\u00e4t Stanford<\/a> und des Max-Planck-Instituts f\u00fcr Informatik<\/a>.<\/p>\n Wir haben uns mit Justus Thies \u00fcber die Chancen und Risiken der Software unterhalten.<\/p>\n <\/p>\n Herr Thies, Ihre <\/i><\/b>Facial Reenactment Software<\/i><\/b><\/a> mutet geradezu unglaublich an. Was leistet diese Software und wie funktioniert sie?<\/i><\/b><\/p>\n Im Mittelpunkt unserer Entwicklung steht bzw. stand die Weiterentwicklung von Gesichtstrackern, also Software die die Mimik einer Person verfolgen kann. Dabei wurde darauf geachtet das keine speziellen Kameras von N\u00f6ten sind und stattdessen eine gew\u00f6hnliche Webcam benutzt.<\/i><\/p>\n Um die Mimik einer Person zu verfolgen, wird das Gesicht einer Person dreidimensional erfasst. Dazu verwenden wir ein statistisches Modell, das auf einer Datenbank von ca. 200 Personen besteht, die mit Hilfe eines Laserscanners dreidimensional erfasst wurden.<\/i><\/p>\n Nach der Rekonstruktion der Gesichtsform und Gesichtsfarbe wird ein Ansatz der Analyse durch Synthese verwendet, um die Mimik einer Person in einem Bild zu sch\u00e4tzen. Das heisst das Gesichtsmodell wird solang verformt, bis jedes Pixel des synthetischen Bildes mit dem originalen Bild bestm\u00f6glich \u00fcbereinstimmt.<\/i><\/p>\n Als Demonstration f\u00fcr die Genauigkeit unseres Gesichtstracker haben wir das Facial Reenactment gew\u00e4hlt. Dabei demonstrieren wir einerseits die Geschwindigkeit unseres Trackers, aber auch andererseits die erreichte Rekonstruktionsqualit\u00e4t.<\/i><\/p>\n Um das Facial Reenactment zu erm\u00f6glichen werden zwei Videos ben\u00f6tigt. Ein Video mit dem „Source Actor“, also dem treibenden Schauspieler, und einem zweiten Video mit dem „Target Actor“, also dem Schauspieler, dem eine neue Mimik gegeben wird. Beide Personen werden mit unserer Software dreidimensional erfasst. Nun wird die Mimik des „Source Actors“ auf den „Target Actor“ \u00fcbertragen. Das neue Gesicht des „Target Actors“ wird anschliessend mit Standard Computergraphik- Techniken auf das Ursprungsvideo<\/i> <\/i>gezeichnet.<\/i><\/p>\n Wo liegen die Schwierigkeiten bei der Software? Wo gibt es noch Entwicklungsbedarf?<\/i><\/b><\/p>\n Die Software kann nur solche Mundbewegungen wiedergeben, die in dem Video des „Target Actors“ vorhanden sind. Das liegt vor allem daran, dass der Mundinnenraum nicht dreidimensional rekonstruiert wird. Anstelle dessen wird eine Datenbank von Mundinnenr\u00e4umen aufgebaut.<\/i><\/p>\n Wenn nun der Mund eine bestimmte Pose einnehmen soll, wird in dieser Datenbank nach einem passenden Mundinnenraum gesucht und dieser in das Bild eingef\u00fcgt.<\/i><\/p>\n In Zukunft planen wir auch den Mundinnenraum dreidimensional zu rekonstruieren, dadurch wird es m\u00f6glich sein auch Mundposen zu synthetisieren, die nicht in dem Beispielmaterial vorhanden sind.<\/i><\/p>\n In unserer digitalisierten Welt sind manipulierte Bilder und Fake Videos sehr verbreitet. Ihre Software k\u00f6nnte auch missbr\u00e4uchlich genutzt werden, indem man z.B. Politikern oder Konzernchefs falsche Worte in den Mund legt. Wie sehen Sie diese Problematik und was tun Sie gegen Missbrauch?<\/i><\/b><\/p>\n Unsere Software ist zurzeit nur in der Lage die Mimik einer Person zu ver\u00e4ndern. Sie ist nicht f\u00e4hig Sprache einer Person zu synthetisieren. D.h. die Software kann so noch nicht eingesetzt werden um jemanden ein falsches Wort in den Mund zu legen.<\/i><\/p>\n Uns ist bewusst, dass die Synthese von Stimmen auch grosse Fortschritte macht, in gleichem Masse wird aber auch an Programmen entwickelt, die F\u00e4lschungen erkennen. Dieses Teilgebiet der Informatik nennt sich digitale Forensik. Dabei werden Spuren von Manipulationen gesucht. Dies kann zum einen durch falsche physikalische Effekte (insbesondere Beleuchtung, Schatten) in einem Bild erkannt werden, aber auch durch statistische Effekte (insbesondere Rauschverhalten einzelner Kameras). Wir arbeiten auch an solcher Software, da unser Tracking-Algorithmus nicht nur die Mimik und Gesichtsform, sondern auch die Beleuchtung in einem Bild sch\u00e4tzen kann.<\/i><\/p>\n K\u00f6nnte diese Software auch f\u00fcr das Marketing genutzt werden, wo gerade Augmented und Virtual Reality ein grosses Thema sind?<\/i><\/b><\/p>\n Die Anwendungsgebiete sind zahlreich. Marketing geh\u00f6rt sicherlich auch dazu. Ich hatte bereits interessante Anfragen von Sozialwissenschaftlern, die analysieren m\u00f6chten, wie Menschen auf bestimmte Nachrichten reagieren, wenn sie visuell von verschiedenen Personen vermittelt werden.<\/i><\/p>\n Im Bereich Augmented und Virtual Reality haben wir unsere Forschung bereits weitergebracht, siehe dazu unser aktuelles <\/i>Projekt FaceVR<\/i><\/a>. <\/i><\/p>\n <\/p>\n Mehr Informationen zur Facial Reenactment Software<\/a><\/p>\n http:\/\/lgdv.cs.fau.de\/publications\/publication\/Pub.2016.tech.IMMD.IMMD9.face2f\/<\/a><\/p>\n Friedrich-Alexander Universit\u00e4t Erlangen-N\u00fcrnberg (FAU)<\/a><\/p>\n <\/p>\n Blogautoren:<\/p>\n Rolf Rellstab<\/a> und Michael Klaas<\/a><\/p>\n","protected":false},"excerpt":{"rendered":" Das ZHAW Institut f\u00fcr Marketing Management erforscht regelm\u00e4ssig die Wahrnehmung und Akzeptanz neuer Technologien (z.B. Virtual Reality, Augmented Reality, AI-Anwendungen) aus Kundensicht und untersucht, wie diese f\u00fcr Marketingzwecke genutzt werden k\u00f6nnen. Eine solche Anwendung stellt die Facial Reenactment Software dar, die es erm\u00f6glicht, Mimik und Lippenbewegungen eines Menschen zu erfassen und \u2013 das ist geradezu […]<\/p>\n","protected":false},"author":306,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"ngg_post_thumbnail":0,"footnotes":""},"categories":[1],"tags":[],"features":[],"class_list":["post-111","post","type-post","status-publish","format-standard","hentry","category-allgemein"],"yoast_head":"\n