Messen, wohin Piloten blicken

Forscher der ETH Zürich entwickelten in einer Kooperation mit Swiss, Nasa und weiteren Partnern eine Eye-Tracking-Software für die Ausbildung von Piloten. Instruktoren k?nnen damit das Blickverhalten von Flugschülern im Cockpit auswerten.

Im Cockpit eines A320-Flugsimulators zeichnet ein Eye-Tracking-System aus Kameras und Infrarot-Sensoren laufend die Blicke des Piloten auf.
Im Cockpit eines A320-Flugsimulators zeichnet ein Eye-Tracking-System aus Kameras und Infrarot-Sensoren laufend die Blicke des Piloten (links) auf. (Bild: David Rudi / ETH Zürich) 

Wer schon einmal in einem Cockpit sass, weiss: Ein Flugzeug steuern ist geistig anspruchsvoll. Denn beim Fliegen müssen Pilotinnen und Co-Piloten eine enorme Menge an visuellen, akustischen und r?umlichen Informationen verarbeiten. Fordernd ist, laufend die zahlreichen Instrumente im Cockpit zu überwachen. Bei einem Man?ver gilt es, rasch die richtigen Anzeigen und das oft in einer bestimmten Reihenfolge zu beachten.

Dieses ?Scanning? der Flugsysteme verinnerlichen Pilotinnen bereits in der Ausbildung. Doch selbst für erfahrene Instruktoren ist es schwierig zu beurteilen, ob ein Flugschüler im entscheidenden Moment die richtigen Instrumente betrachtet. In einer Kooperation mit der Fluggesellschaft Swiss wendeten Forscher um ETH-Professor Martin Raubal nun erstmals Eye-Tracking-Technologien an, um nachzuvollziehen, wie Piloten die Automatik eines modernen Verkehrsflugzeugs überwachen.

Sehen, was die Pilotin sieht

Eye Tracking erm?glicht es, die Augenbewegungen einer Person mittels kamerabasierter Blickmessger?te exakt zu erfassen. ?Da die Augenbewegungen eines Menschen Rückschlüsse über seine Denkprozesse erlauben, kam Swiss mit der Idee auf uns zu, Eye-Tracking für die Pilotenausbildung nutzbar zu machen?, sagt Martin Raubal, Professor für Geoinformations-Engineering an der ETH Zürich.

Aus der Idee wurde eine mehrj?hrige Wirtschaftskooperation. Daran beteiligten sich neben der ETH Zürich auch die Nasa, Lufthansa Aviation Training sowie die University of Oregon. Das gemeinsame Ziel war, das Training im Flugsimulator zu verbessern und so die Sicherheit im Cockpit zu erh?hen. Raubals Team entwickelte eine Software namens ?iAssyst?, die Fluglehrer bei der Schulung angehender Piloten unterstützt. Darüber berichteten die Forschenden kürzlich in der Fachzeitschrift externe Seite Ergonomics.

Entlastung für Instruktoren

?iAssyst? steht für ?Instructor Assistant System?. Das Programm verknüpft Video, Audio-, und Simulator-Aufnahmen und stellt gleichzeitig das Blickmuster der Piloten dar. Um Letztere nicht zu st?ren, wurde im Cockpit eines A320-Flugsimulators eigens ein Eye-Tracking-System aus fest installierten Kameras und Infrarot-Sensoren installiert. ?Das Aufsetzen des Systems und die Kalibrierung für jeden Flugschüler sind zwar aufw?ndiger als bei Eye-Tracking-Brillen, aber wir erreichten damit bessere Resultate?, erkl?rt David Rudi, der die Anwendung w?hrend seines Doktorats am Geogaze-Lab der Professur für Geoinformations-Engineering realisierte.

Ihre Software haben die ETH-Forschenden im engen Austausch mit Aviatik-Experten der Projektpartner konzipiert und sp?ter mithilfe von sieben aktiven Swiss-Instruktoren evaluiert. W?hrend eines Trainingsflugs sitzt der Instruktor im hinteren Teil des Cockpits. Dort bedient er den Simulator, agiert als Fluglotse und beobachtet gleichzeitig den Piloten genau. ?Das führt dazu, dass Instruktoren manchmal relevante Informationen verpassen oder falsch einsch?tzen, die für die Auswertung des Trainings mit dem Piloten bedeutend sind?, sagt Rudi.

Mit dem Abspielen des Videos akzeptieren Sie die Datenschutzerkl?rung von YouTube.Mehr erfahren OK

Die Rückmeldungen aus der Studie zeigten, dass die Instruktoren das Flugverhalten der Piloten mit iAssyst tats?chlich pr?ziser analysieren konnten. ?Das Werkzeug hilft uns, Schw?chen im systematischen Scannen zu erkennen und Wahrnehmungslücken in bestimmten Flugphasen zu orten?, best?tigt Benedikt Wagner. Der Swiss-Pilot ist selber Instruktor und hat das Eye-Tracking-Projekt seitens Swiss betreut. Mit der Software k?nnten Ausbilder die Ursachen für allf?llige Pilotenfehler besser einsch?tzen und das Training gezielt anpassen.

Auf individuelle Ziele fokussiert

Es ist das erste Mal, dass ein Forschungsprojekt die blickbasierten Interaktionen von Piloten in einem Flugsimulator analysiert. Als Teil der Kooperation war es für Raubals Team wichtig, einen eigenst?ndigen wissenschaftlichen Nutzen zu generieren, da für die ETH eine optimierte Pilotenausbildung per se als Ziel nicht reichte. ?Deshalb haben wir den Fokus auf die Entwicklung der Software gelegt?, resümiert Rudi.

Der Swiss wiederum ging es im Projekt prim?r um das Scanning im Cockpit. Das konnten sie dank dem Eye-Tracking-System gemeinsam mit Aviatik-Psychologen der Nasa und der University of Oregon separat untersuchen. Die Erkenntnisse mündeten in eine neue Richtlinie für die visuelle ?berwachung der Flugautomatik. Lufthansa Aviation Training stellte dem Konsortium technisches Know-how und die Infrastruktur im Simulator zur Verfügung. Schliesslich hat das Bundesamt für Zivilluftfahrt BAZL rund 40 Prozent der Projektkosten übernommen.

Ein Werkzeug – viele M?glichkeiten

Die naheliegende Anwendung von iAssyst sehen Raubal und Rudi im Evaluierungsgespr?ch nach einem Trainingsflug im Simulator. Langfristig k?nnte das Programm auch in echten Cockpits zum Einsatz kommen. Bis dahin ist es aber noch ein weiter Weg.

Die Luftfahrt ist jedoch nicht das einzige Forschungsgebiet, in dem Eye Tracking dazu beitragen kann, die Interaktion zwischen Benutzer und technischen System zu verbessern. Laut Raubal und Rudi ist eine Anwendung ihrer Software beispielsweise auch in der Medizinausbildung denkbar, wo ?rzte mithilfe von Simulatoren chirurgische Eingriffe am künstlichen K?rper trainieren.

Literaturhinweis

Rudi D, Kiefer P, & Raubal M. (2019). externe Seite The Instructor Assistant System (iASSYST) Utilizing Eye Tracking for Aviation Training Purposes. Ergonomics 08 Nov 2019. DOI: 10.1080/00140139.2019.1685132

Rudi D, Kiefer P, Giannopoulos I, & Raubal M (2019). externe Seite Gaze-based interactions in the cockpit of the future: a survey. Journal of Multimodal User Interfaces. 19 July 2019. DOI: 10.1007/s12193-019-00309-8

JavaScript wurde auf Ihrem Browser deaktiviert