Исследование: взгляд пилота выдаёт его роль

Новое исследование с использованием технологий отслеживания взгляда доказывает: по тому, куда смотрят оба члена лётного экипажа, точно можно вычислить, кто из них держит штурвал, а кто смотрит за процессом. Выяснилось, что характер движения глаз говорит о том, чем конкретно занят пилот и какая у него роль на борту. Это открытие важно для совершенствования систем автоматизации управления авиалайнерами и может повысить уровень безопасности в гражданской и военной авиации.

Авторами работы стали Софи-Мари Шташ, Янник Хилла и Вольфганг Мак из Университета Бундесвера в Мюнхене и Цюрихского университета. Учёные подчеркивают: хотя экипажи почти всегда летают вдвоём, большинство исследований пилотской загруженности касаются только одиночек. Между тем, в реальных полётах лётчикам приходится разрываться на множество задач из-за непредвиденных обстоятельств и непогоды, хотя по документам работа будто бы чётко разделена.

Группа исследователей задумалась: а можно ли понять, кто какую роль выполняет прямо сейчас — просто по метрикам движения глаз? Если такой способ сработает, то можно будет создавать умные системы-помощники, которые сами будут видеть, когда кому нужна помощь, и вовремя подключаться.

В исследовании участвовали 28 человек — в основном курсанты-офицеры из Университета Бундесвера, возрастом около 23 лет, половина из которых имели опыт полётов. Тестировали их на симуляторе openMATB, заставляя одновременно делать четыре разных задачи, имитируя типичное полётное многозадачие: удерживать курс с помощью джойстика, следить за показателями приборов и уровнем топлива, и реагировать на радиосигналы. Сначала добровольцы работали поодиночке, потом парами.

В паре один управлял джойстиком ("pilot flying"), а второй подбадривал и наблюдал ("pilot monitoring") — как в реальной кабине. На голову всем надели очки Tobii Glasses 3, которые 100 раз в секунду фиксировали, куда направлен взгляд.

Анализировали длительность фиксаций, количество перескоков взгляда между задачами и даже коэффициент К — эта штука показывает, насколько внимательно пилот вглядывается в отдельные детали или просто "скользит" взглядом по обстановке (это называют фокальным и амбиентным восприятием). К тому же смотрели на так называемую "энтропию" — насколько хаотично или равномерно распределяется внимание.

Результаты живописные: пилот-наблюдатель дольше следил за манёврами, чем тот, кто управлял — видно, что он прям "болеет" за коллегу. У наблюдателя и переключений внимания заметно больше — свободные руки дают возможность глянуть на все приборы сразу, а не уставиться в одну точку. А у пилота, который управляет, наоборот: взгляд прилипал к ключевым индикаторам и системам коммуникации, что неудивительно — там не до широты кругозора.

Коэффициент К подтвердил догадки: у наблюдающего — минус, то есть амбиентное восприятие, внимание рассеивается по всему кокпиту. У управляющего — плюс, значит, он "ныряет" в детали. По сути, это два разных типа мышления прямо в одной кабине.

Дошли до машин: смогла ли программа отличить пилотов по этим метрикам? Легко: алгоритм на основе Random Forest с точностью 97% определял, кто "в теме", а кто "сидит на подхвате" — главным сигналом были длительность и количество фиксаций на задаче наведения курса.

Реальный итог: система адаптивной автоматизации может уже сейчас понимать по глазам, кому из пилотов нужна помощь, и автоматически брать часть задач на себя. Например, если заметит, что пилот слишком уткнулся в контроль полёта, – можно автоматически переключить радиосвязь на напарника.

Пара ложек дёгтя: использовался симулятор на компьютере, а не настоящий самолёт, да и тестируемых изначально было 40 человек, но из-за техсбоев остались данные только от 28. И почти все — не опытные командиры, а будущие военные, что ограничивает универсальность выводов. К тому же очки на голове — не самый надёжный способ слежения в реальном полёте, тут нужны встроенные в приборную панель датчики. Плюс анализ шёл кусками по 30 секунд, а это для ЧП может быть слишком медленно.

Учёные предлагают расширять исследования, привлекать профи и тестировать метрики в реальных условиях. Ещё советуют подключать пульс и другие биосигналы, чтобы система помощи принимала решения мгновенно и надёжно.

Главный итог: по движениям глаз компьютер теперь может "читать мысли" пилотов, что открывает эру по-настоящему умных авиационных систем и может заметно повысить безопасность полётов.