Swiss Biodesign – Ein anwendungsorientiertes Trainingskonzept für radikale MedTech Innovationen in Kooperation mit der Stanford University

Fortschritt in der Medizin ist eng verbunden mit medizintechnischen Innovationen. Meist erst durch diese wird es möglich klinische Ergebnisse oder die Kosteneffizienz deutlich zu verbessern. Doch wie können Behandler und Produktentwickler im zunehmend regulierten, kostenintensiven Gesundheitswesen noch radikal neuartige Produktideen entwickeln?

Dieser Herausforderung widmeten sich im vergangenen Herbst zwei internationale Teams im ersten Swiss Biodesign Bootcamp. Dieses wurde organisiert von der ZHAW und dem Kantonsspital Winterthur. Das übergeordnete Ziel dieses Innovationsmanagementkurses: Intra- und Entrepreneuren einen systematischen Prozess zu vermitteln, um Bedürfnisse und Marktchancen jenseits existierender Produktlösungen zu identifizieren. Der berufsbegleitende Kurs basiert dabei auf dem international bewährten, praxisorientierten Biodesign Trainingsprogramm der renommierten Stanford University. Neben Prof. Tom Krummel und Dr. Orestis Vardoulis aus Stanford, kamen ausgewiesene MedTech-Innovationsexperten von ETH, ZHAW, Unternehmen, Start-ups und Early-Stage Investoren zum Einsatz. Die maximal 12 Teilnehmenden aus Medizin, Technik und Betriebswirtschaft bilden während der Weiterbildung drei- bis vierköpfige, interdisziplinäre Projektteams und arbeiten ab dem ersten Tag wie im Start-up: Mit dem Ziel ein konkretes Medizinprodukt zu konzeptionalisieren und die Managementaufgaben eines Produktentwicklers unter realen Bedingungen kennenzulernen. Mit diesem anwendungsorientierten Ansatz ist es Biodesignern aus Stanford gelungen bereits Dutzende neuer MedTech-Produkte und sehr erfolgreicher Startups zu erschaffen.

Die Teilnehmer des ersten Swiss Biodesign Bootcamps

Beobachten statt Befragen als Erfolgsrezept

Aus der Design Thinking Forschung ist bekannt, dass Menschen die wenigsten ihrer Bedürfnisse verbal kommunizieren. Daher fokussiert Biodesign darauf Patienten und Behandelnde nicht nur zu befragen, sondern ihr Verhalten und Behandlungsumfeld genau zu beobachten. Doch wie funktioniert das konkret? Dazu der Studiengangleiter, Dr. Jens Haarmann: «In der Clinical Immersion-Phase begleiten die Teilnehmenden Operationen, Konsultationen und Fallbesprechungen. Es ist dabei erstaunlich wie schnell sich der Blick schärft, scheinbar Selbstverständliches hinterfragt wird und die Projektteams auf 30-40 Ansatzpunkte für potenzielle Innovationen kommen.»

Der Blick wird geschärft und scheinbar Selbstverständliches wird hinterfragt.

Im vergangenen Jahr erfolgte dies in der Viszeralchirurgie am Kantonsspital Winterthur (KSW), in der die Teilnehmenden über mehrere Tage sämtliche Aspekte des Alltags in einer grossen chirurgischen Abteilung hautnah erleben konnten. Seitens des KSW wurde der Kurs von Chefarzt Prof. Dr. Michel Adamina begleitet, welcher den Nutzen aus seiner Sicht prägnant zusammenfasst: «Die Clinical Immersion war für die Teilnehmer und die Klinik eine spannende Zeit regen Austausches zu unterschiedlichsten klinischen Bedürfnissen, sowie neuen Einblicken in die technischen und marktseitigen Aspekte einer globalen Produktentwicklung.»

Clinical Immersion als wichtiger Teil des Bootcamps.

Während der anschliessenden Entwicklung der eigentlichen Produktideen wurden die Projektteams von branchenerfahrenen Experten zu Marktanalysen, Intellectual Property, Regulatory, Market Access, Health Economics und zur Business Plan-Entwicklung intensiv gecoacht. Aus der schrittweisen Konkretisierung und Priorisierung resultierten am Schluss zwei innovative Produktlösungen: Ein Smart Stoma Device und ein neues GERD Antireflux-Implantat. Prof. Krummel, Stanford Biodesign Co-Director und Gastreferent im Swiss Biodesign Programm meint dazu: «Da Biodesign in Stanford ein mehrmonatiges Vollzeitprogramm ist, wussten wir nicht genau, welche Ergebnisse wir in einem Teilzeitkurs erwarten konnten. Dass ein Projektteam in der vergleichsweise kurzen Zeit sogar bis zu einer Patentanmeldung kam, zeigt mir, dass der Biodesign-Prozess auch im hocheffizienten Swiss Biodesign-Format funktioniert.»

Nach dem erfolgreichen Piloten wird das Bootcamp im Jahre 2020 als ausgewachsener CAS Swiss Biodesign for MedTech Innovators fortgeführt. Der genaue, medizinische Themenbereich für die Clinical Immersion variiert jedes Jahr und wird erst zum Kursbeginn bekannt gegeben. Soviel kann aber bereits gesagt werden: Der diesjährige Hauptpartner der Clinical Immersion ist die Balgrist Universitätsklinik in Zürich.

Kantonsspital Winterthur – Swiss Biodesign Fellowship Award

Die medizinischen Partnerkliniken des Swiss Biodesign Programms vergeben jedes Jahr einen Innovation Fellowship Award. Dieser ermöglicht es Jungmedizinern mit ausserordentlichem, klinischem Leistungsausweis und Interesse an MedTech/HealthTech Innovationen eine gebührenfreie Teilnahme am Managementkurs.

Der KSW – Swiss Biodesign Fellowship Award ging im Jahre 2019 an Dr. Jonathan Douissard vom Universitätsspital Genf (zweiter von links).

English Version

Swiss Biodesign – An application-oriented training concept for radical MedTech innovation in cooperation with Stanford University

Progress in medicine is closely linked to innovations in medical technology. It is oftentimes through new medical devices that clinical results or cost efficiency can be significantly improved. But how can clinicians and product developers still develop radically new product concepts in an increasingly regulated, cost-intensive healthcare system?

This challenge was addressed by two international teams at the first Swiss Biodesign Bootcamp last autumn. The part-time program was organized by the ZHAW and the Kantonsspital Winterthur. The overall goal of this innovation management course: To give intra- and entrepreneurs a systematic process to identify needs and market opportunities beyond existing product solutions. The extra-occupational course is based on the internationally proven, practice-oriented Biodesign training program of the renowned Stanford University. In addition to Prof. Tom Krummel and Dr. Orestis Vardoulis from Stanford, proven MedTech innovation experts from ETH, ZHAW, companies, start-ups and early-stage investors were involved.

The participants from the fields of medicine, technology and business administration formed interdisciplinary project teams of three persons during the training and worked from day one as if they were in a start-up: with the aim of conceptualising a concrete medical product and getting to know the management tasks of a product entrepreneur under real conditions. With this application-oriented approach, biodesigners from Stanford have already succeeded in creating dozens of new medtech products and very successful start-ups.

Observing instead of interviewing as a recipe for success

From design thinking research, it is known that only a small part of individual needs are communicated verbally. Therefore, Biodesign focuses on not only interviewing patients and caregivers, but also observing their behavior and treatment environment. But how does this work in practice? Jens Haarmann, head of the course, says: „In the clinical immersion phase, participants accompany operations, consultations and case discussions. It is astonishing how quickly the participants sharpen their view, question seemingly self-evident facts and the project teams come up with 30-40 starting points for potential innovations.“

Last year, this took place in the Visceral Surgery Department at the Cantonal Hospital Winterthur (KSW), where the participants were able over several days to experience up close all aspects of everyday life in a large surgical department. On the part of the KSW, the course was accompanied by Chief Physician Prof. Dr. Michel Adamina, who summarized the benefits from his point of view: „The Clinical Immersion was an exciting time of lively exchange on the most varied clinical needs, as well as new insights into the technical and market aspects of global product development.

During the subsequent development of the actual product ideas, the project teams were coached closely by industry experienced experts on market analysis, intellectual property, regulatory, market access, health economics and business plan development. The gradual prioritization of needs and concepts resulted in two innovative product solutions: A Smart Stoma Device and a new GERD anti-reflux implant. Prof. Krummel, Stanford Biodesign Co-Director and guest speaker in the Swiss Biodesign Program comments: „Since Biodesign at Stanford is a full-time program lasting several months, we did not know exactly what results we could expect in a part-time course. The fact that a project team even managed to apply for a patent in the comparatively short time shows me that the biodesign process also works in the highly efficient Swiss Biodesign format„.

After the successful pilot, the Bootcamp will be continued in 2020 as a full-fledged CAS Swiss Biodesign for MedTech Innovators. The exact medical subject area for the Clinical Immersion varies each year and will be announced at the beginning of the course. But this much can already be said: This year’s main partner for Clinical Immersion is Balgrist University Hospital in Zurich.

Winterthur Cantonal Hospital – Swiss Biodesign Fellowship Award 2019

The medical partner clinics of the Swiss Biodesign Programme offer two Innovation Fellowship Awards every year. This award is available to young doctors and researchers with an outstanding clinical track record and interest in MedTech/HealthTech innovation.

In 2019, the KSW – Swiss Biodesign Fellowship Award went to Dr. Jonathan Douissard of the University Hospital of Geneva (second from left).

Fremde Lippen auf Donald Trump und Wladimir Putin? Die Facial Reenactment Software

Bildbearbeitung ist mittlerweile allen bekannt, weniger gut kennen die meisten die Möglichkeiten von Veränderungen an Videos. In Hollywood wurden mit grafischen Programmen schon diverse Filme animiert, aber aus dem Bereich der Forschung kommt nun eine völlig neue Software. Justus Thies ist Doktorand an der Friedrich-Alexander Universität Erlangen-Nürnberg (FAU) am Lehrstuhl für Graphische Datenverarbeitung, und hat die Facial Reenactment Software entwickelt. Damit ist es möglich Mimik und Lippenbewegungen eines Menschen zu erfassen und – das ist geradezu revolutionär – das Ganze in Echtzeit auf das Videobild einer anderen Person zu übertragen. Entstanden ist die Technologie in Zusammenarbeit mit Forschern der FAU, der Universität Stanford und des Max-Planck-Instituts für Informatik.

Herr Thies, Ihre Facial Reenactment Software mutet geradezu unglaublich an. Was leistet diese Software und wie funktioniert sie?

Im Mittelpunkt unserer Entwicklung steht bzw. stand die Weiterentwicklung von Gesichtstrackern, also Software die die Mimik einer Person verfolgen kann. Dabei wurde darauf geachtet das keine speziellen Kameras von Nöten sind und stattdessen eine gewöhnliche Webcam benutzt.

Um die Mimik einer Person zu verfolgen, wird das Gesicht einer Person dreidimensional erfasst. Dazu verwenden wir ein statistisches Modell, das auf einer Datenbank von ca. 200 Personen besteht, die mit Hilfe eines Laserscanners dreidimensional erfasst wurden.

Nach der Rekonstruktion der Gesichtsform und Gesichtsfarbe wird ein Ansatz der Analyse durch Synthese verwendet, um die Mimik einer Person in einem Bild zu schätzen. Das heisst das Gesichtsmodell wird solang verformt, bis jedes Pixel des synthetischen Bildes mit dem originalen Bild bestmöglich übereinstimmt.

Als Demonstration für die Genauigkeit unseres Gesichtstracker haben wir das Facial Reenactment gewählt. Dabei demonstrieren wir einerseits die Geschwindigkeit unseres Trackers, aber auch andererseits die erreichte Rekonstruktionsqualität.

Um das Facial Reenactment zu ermöglichen werden zwei Videos benötigt. Ein Video mit dem „Source Actor“, also dem treibenden Schauspieler, und einem zweiten Video mit dem „Target Actor“, also dem Schauspieler, dem eine neue Mimik gegeben wird. Beide Personen werden mit unserer Software dreidimensional erfasst. Nun wird die Mimik des „Source Actors“ auf den „Target Actor“ übertragen. Das neue Gesicht des „Target Actors“ wird anschliessend mit Standard Computergraphik- Techniken auf das Ursprungsvideo gezeichnet.

Worin unterscheidet sich die Software von Filmproduktionen, wo animierte Filme bereits gang und gäbe sind?

Unsere Software benötigt keinen komplizierten Aufbau von Spezial-Kameras und auch keine Marker die in das Gesicht geklebt werden müssen.

Wir benötigen lediglich eine gewöhnliche Kamera oder Webcam, um die Gesichtszüge einer Person zu erfassen.

Wo liegen die Schwierigkeiten bei der Software? Wo gibt es noch Entwicklungsbedarf?

Die Software kann nur solche Mundbewegungen wiedergeben, die in dem Video des „Target Actors“ vorhanden sind. Das liegt vor allem daran, dass der Mundinnenraum nicht dreidimensional rekonstruiert wird. Anstelle dessen wird eine Datenbank von Mundinnenräumen aufgebaut.

Wenn nun der Mund eine bestimmte Pose einnehmen soll, wird in dieser Datenbank nach einem passenden Mundinnenraum gesucht und dieser in das Bild eingefügt.

In Zukunft planen wir auch den Mundinnenraum dreidimensional zu rekonstruieren, dadurch wird es möglich sein auch Mundposen zu synthetisieren, die nicht in dem Beispielmaterial vorhanden sind.

(c) Justus Thies

In unserer digitalisierten Welt sind manipulierte Bilder und Fake Videos sehr verbreitet. Ihre Software könnte auch missbräuchlich genutzt werden, indem man z.B. Politikern oder Konzernchefs falsche Worte in den Mund legt. Wie sehen Sie diese Problematik und was tun Sie gegen Missbrauch?

Unsere Software ist zurzeit nur in der Lage die Mimik einer Person zu verändern. Sie ist nicht fähig Sprache einer Person zu synthetisieren. D.h. die Software kann so noch nicht eingesetzt werden um jemanden ein falsches Wort in den Mund zu legen.

Uns ist bewusst, dass die Synthese von Stimmen auch grosse Fortschritte macht, in gleichem Masse wird aber auch an Programmen entwickelt, die Fälschungen erkennen. Dieses Teilgebiet der Informatik nennt sich digitale Forensik. Dabei werden Spuren von Manipulationen gesucht. Dies kann zum einen durch falsche physikalische Effekte (insbesondere Beleuchtung, Schatten) in einem Bild erkannt werden, aber auch durch statistische Effekte (insbesondere Rauschverhalten einzelner Kameras). Wir arbeiten auch an solcher Software, da unser Tracking-Algorithmus nicht nur die Mimik und Gesichtsform, sondern auch die Beleuchtung in einem Bild schätzen kann.

Könnte diese Software auch für das Marketing genutzt werden, wo gerade Augmented und Virtual Reality ein grosses Thema sind?

Die Anwendungsgebiete sind zahlreich. Marketing gehört sicherlich auch dazu. Ich hatte bereits interessante Anfragen von Sozialwissenschaftlern, die analysieren möchten, wie Menschen auf bestimmte Nachrichten reagieren, wenn sie visuell von verschiedenen Personen vermittelt werden.

Im Bereich Augmented und Virtual Reality haben wir unsere Forschung bereits weitergebracht, siehe dazu unser aktuelles Projekt FaceVR.

Ein Verkauf dieser Software würde sicherlich einen hohen finanziellen Gewinn generieren. Sind Pläne angedacht, die Software auch kommerziell zu vermarkten? Sehen wir Sie nach erfolgreichem Abschluss der Doktorarbeit als zukünftigen Geschäftsführer, oder wollen Sie sich weiterhin der Forschung und Entwicklung widmen?

Zu dem Projekt wurden von dem Max Planck Institut Informatik (MPII) Patente eingereicht. Eine Kommerzialisierung steht aber zurzeit nicht auf der Tagesordnung.

In Zukunft werde ich mich vorerst auf Forschung und Entwicklung konzentrieren.

 

Mehr Informationen zur Facial Reenactment Software

http://lgdv.cs.fau.de/publications/publication/Pub.2016.tech.IMMD.IMMD9.face2f/

Friedrich-Alexander Universität Erlangen-Nürnberg (FAU)