Peter the Great Saint-Petersburg Polytechnic University (Research Laboratory of Ergonomics of Complex Systems, Head)
St Petersburg, St. Petersburg, Russian Federation
St. Petersburg, St. Petersburg, Russian Federation
St. Petersburg, St. Petersburg, Russian Federation
UDC 001.891
The authors propose a concept of perceptual-cognitive interfaces (PCIs) for modern complex ergatic technical systems (MCETSs), which are dynamic cognitive ecosystems comprising humans, AI agents, sensors, and robots. Traditional interfaces fail to cope with uncertainty and the high speed of decision-making. The PCI concept addresses this problem by introducing an autopoietic cognitive partner embedded in the perception-action-reflection loop. PCIs amplify human capabilities through: 1) Bayesian predictive models of the activity world; 2) multimodal data fusion (video, biosignals, eye-tracking, tactile signals); 3) synergistic real-time interaction; 4) formation of emergent affordances. The theoretical basis of the PCI concept is the enactive approach, predictive processing, autopoiesis, and extended cognition. The following postulates are formulated: embodiment of cognition, predictivity of perception, enactive interaction, affordance specificity, cognitive optimality, social enaction, dynamic adaptability, and ecological validity. By synthesizing these theories, PCIs minimize the operator’s cognitive load (internal/external/productive), construct dynamic knowledge network graphs, and support multi-agent for collective cognition. The methodology includes multimodal integration and human-centred design, consisting of four phases: enactive analysis, predictive modelling, affordance-based design, and adaptive implementation. Effectiveness is evaluated according to the criteria of cognitive efficiency, enactive naturalness, predictive coherence, adaptive flexibility, social support, and emergent synergy. The PCI concept sets a paradigm for the transition from local interfaces to distributed cognitive ecosystems, shifting the focus from information transfer to creating a shared space for cognitive activity.
perceptual-cognitive interface, enactive approach, autopoiesis, predictive processing, affordances, cognitive load, multimodal integration, ergatic systems
Введение
Современные сложные эргатические технические системы (СЭТС) – это не просто «человеко-машинные комплексы», а динамические, саморазвивающиеся сети агентов, в которых человек, ИИ, датчики, сенсорные системы, мехатронные модули и роботы образуют единую когнитивную экосистему [1], [2]. Они предъявляют повышенные требования к интеграции когнитивных ресурсов человека-оператора с интеллектуальной средой интерфейса, реализуя концепцию интеллектного симбиоза [3,] [4], [5]. В условиях неопределенности, неполноты данных и необходимости в высокой скорости принятия решений традиционные интерфейсы (GUI, CLI, VUI) становятся узким местом: они не успевают адаптироваться к состоянию оператора, не прогнозируют его намерения и действия, не расширяют когнитивные возможности в реальном времени, а создают информационную перегрузку ведущую к информационному стрессу. Классические варианты решения проблемы повышения эффективности сложных систем человек-машина (СЧМ) связаны с профессиональной подготовкой и использованием тренажеров, моделирующих реальную деятельность в сложной системе [6]. Однако возникает спектр задач психологического и технологического плана, связанных с необходимостью точного моделирования среды деятельности и учета специфики виртуального погружения и обучения оператора в ней [7], [8], [9], [10], [11]. В результате развивается индустрия систем профессиональной подготовки и средств обучения, как реакция на требование повышения качества человеческого звена в СЧМ.
Ответ на этот вызов может быть дан концепцией перцептивно-когнитивных интерфейсов (ПКИ), рассматриваемой в настоящей статье. Под ПКИ нами понимается интерфейс, включающий оператора во все формы мультимодальных информационных взаимодействий со средой деятельности, – не как «окно в систему», а как аутопоэтический когнитивный партнер, встроенный в петлю «восприятия-действия-рефлексии». Его цель – реализация концепции умножения человеческих возможностей в СЧМ [5], [9], [10] за счет:
- предсказательной модели мира деятельности (на базе байесовских ИИ-агентов);
- мультимодальной интеграции данных (видео, аудио, айтрекинга, вибротактильных сигналов);
- синергетического взаимодействия с оператором в режиме реального времени;
- формирования эмерджентных аффордансов – новых возможностей действия, которые не существуют вне интерфейса;
- интеллектуальной обработки информации, формирующей оптимальную модель мира деятельности, решения ситуативных задач методами ИИ и предоставления оператору в различных формах и модальностях дополнительных в текущем и стратегическом времени справочных, консультационных и управляющих решений и действий.
Фундаментальной особенностью ПКИ является рассмотрение психофизиологической и когнитивной системы человека как аутопоэтической самоорганизующейся системы, энактивированной (встроенной, воплощенной) в среду, которая может включать активные когнитивные агенты на базе ИИ, вступающие в синергетические симбиотические отношения с субъектом деятельности [4].
1. Теоретические основания: энактивный подход и ключевые постулаты
Теоретический базис концепции ПКИ покоится на энактивном подходе к познанию, утверждающем, что познание возникает из динамического взаимодействия тела, мозга и среды, а восприятие является активным процессом, направленным на генерацию действий [12], [13], [14]. Этот подход противостоит классическим моделям пассивной, реактивной обработки информации и является развитием экологического подхода Дж. Гибсона постулирующего когнитивное единство среды и субъекта [15].
На основе энактивной парадигмы нами сформулированы ключевые постулаты ПКИ:
1. Воплощенности познания: Интерфейсы должны учитывать телесную природу познания, обеспечивая естественное сенсомоторное взаимодействие. Познание возникает не из чисто мозговых процессов, а из динамического взаимодействия тела, мозга и среды, где тело играет конститутивную роль, а не рассматривается лишь как носитель сенсоров и эффекторов.
2. Предсказательности и активности восприятия: Интерфейсы должны поддерживать формирование точных предсказательных моделей у пользователя, минимизируя ошибки предсказания за счет последовательной обратной связи. Восприятие – это активный процесс генерации и уточнения предсказаний о сенсорном потоке, где тело играет конститутивную роль в минимизации ошибки предсказания, и восприятие с действием неразрывно связаны.
3. Энактивности взаимодействия: Значение возникает из паттернов взаимодействия. ПКИ должны создавать прямые возможности для действия, а не требовать предварительной символической интерпретации. Познание реализуется как динамическое взаимодействие организма и среды, где граница между организмом и средой становится интерфейсом для контакта, и смысл рождается в самом взаимодействии.
4. Аффордансной специфичности: Интерфейсы должны поддерживать развитие новых аффордансов (возможностей для действия) через практику и обучение, эволюционируя вместе с экспертизой пользователя. Аффордансы – это непосредственно воспринимаемые возможности для действия [16], [17], позволяющие действовать без сложных умозаключений, и их развитие – функция состояния оператора, контекста и истории взаимодействия.
5. Когнитивной оптимальности: ПКИ должны минимизировать непродуктивную внешнюю когнитивную нагрузку и максимизировать продуктивную, действуя как «когнитивная ортопедия». Проектирование должно учитывать ограничения рабочей памяти и направить психические ресурсы с решения навигационных задач интерфейса на решение собственно предметной задачи.
6. Социальной энактивности: Интерфейсы должны поддерживать совместную деятельность, обмен опытом и коллективное смыслообразование. Социальное познание реализуется не через ментальные репрезентации, а через совместное действие и совместное осмысление, где понимание других возникает из динамической, телесной координации в реальном времени [18].
7. Динамической адаптивности: ПКИ должны непрерывно адаптироваться к изменяющемуся когнитивному состоянию пользователя на основе мультимодальных данных (ЭЭГ, движение глаз, физиологические сигналы, биосигналы). Интерфейсы должны динамически меняться в реальном времени на основе состояния пользователя и контекста.
8. Экологической валидности: Проектирование должно опираться на естественные, эволюционно сформированные паттерны восприятия и действия человека, а не на искусственные метафоры. Естественные навыки восприятия и действия, изученные Гибсоном, позволяют сделать взаимодействие с комплексными системами интуитивным и соответствующим врожденным человеческим способностям [15].
2. Системный понятийный базис: интеграция теорий
Концепция ПКИ синтезирует несколько современных теорий:
Теория предсказательной обработки: Мозг рассматривается как иерархическая система предсказаний [19], [20], [21], [22], [23], [24], [25]. ПКИ должны быть спроектированы для соответствия этим байесовским механизмам, обеспечивая последовательное обновление «убеждений» пользователя о системе. Иерархическая байесовская модель (HBM) строится на лету для каждого оператора. Агент-прогнозатор (LSTM + Normalizing Flows) генерирует гипотезы о том, что оператор воспринимает, делает и чего не замечает. Ошибка предсказания используется как сигнал внимания – интерфейс подсвечивает критические зоны.
Теория аффордансов (расширенная): Аффордансы понимаются динамически, как возможности, формирующиеся в процессе обучения и взаимодействия [26]. Задача ПКИ – создавать богатую среду прямых аффордансов. Аффорданс представляет собой функцию состояния оператора, контекста и истории. Граф аффордансов строится в топологическом пространстве, а обучение аффордансам реализуется через обучение с обратным подкреплением (Inverse Reinforcement Learning) из экспертных траекторий.
Теория когнитивной нагрузки: Управление внутренней, внешней и продуктивной нагрузкой является центральным для проектирования ПКИ, требующего адаптивного распределения когнитивных ресурсов между человеком и системой [27], [28], [29]. Внутренняя нагрузка связана со сложностью задачи и решается путем разбиения на подзадачи и адаптивного уровня детализации. Внешняя нагрузка, порождаемая неудобным пользовательским интерфейсом (UI), устраняется через удаление визуального шума и автоматическое сокрытие лишней информации. Продуктивная нагрузка, необходимая для построения схемы понимания, усиливается метакогнитивными подсказками.
Теория аутопоэзиса и аутопоэтической коммуникации: Одно из базовых положений концепции. ПКИ рассматривается не как канал передачи информации, а как аутопоэтическая система, совместно с оператором циклически воспроизводящая сеть смыслов и действий [30], [31], [32], [33]. По аналогии с концепцией Н. Лумана [34], коммуникация в системе «человек-ПКИ-среда» является самопорождающим процессом, где каждый акт взаимодействия рекурсивно изменяет саму систему, поддерживая ее целостность и способствуя самообучению.
Теория расширенного сознания (Extended Mind): Когниция выходит за пределы черепной коробки и включает внешние когнитивные артефакты [35]. ПКИ служит когнитивным протезом: Виртуальные подсказки, голограммы и гаптические интерфейсы становятся частью расширенной когнитивной системы оператора, не заменяя, а усиливая человеческую активность.
Теория социальной энактивности (Social Enaction): Смысл рождается в совместном действии [36], [37], [38]. Реализация коллективных форм познания достигается через многоагентное с общей политикой обучение с подкреплением, позволяя нескольким операторам, ИИ и роботам образовать единую аутопоэтическую суперсистему с общей базой знаний и коллективным предсказательным полем.
В таблице 1 представлены ключевые особенности теорий, составляющих базис концепции ПКИ.
3. Методологические принципы и рамка проектирования
Создание ПКИ базируется на следующих методологических принципах:
1. Мультимодальная интеграция: Синтез зрительной, слуховой, тактильной и иной информации для формирования единого перцептивного опыта (напр., зумируемые интерфейсы – ZUI). Мультимодальное взаимопроникновение данных (видео, аудио, тактильных и сигналов глазодвигательной активности) обеспечивает единый перцептивный опыт.
2. Человеко-ориентированное проектирование: Глубокое изучение когнитивных процессов целевой аудитории, часто через соучаствующее смыслообразование (participatory sense-making) с конечными пользователями. Пример применения: реализация ПКИ для систем визуальной аналитики задействует моторные, аудиальные и другие модальности, чтобы ускорить семантическую фильтрацию данных, что соответствует принципам воплощенности и мультимодальности [39].
Таблица 1.
Базовые теории, составляющие концепцию ПКИ
Table 1.
The basic theories that make up the concept of PKI
|
Подход |
Роль в ПКИ |
Технологическая реализация |
|
Энактивизм (Varela, Thompson, Rosch, 2017) |
Познание это действие + тело + среда |
Эмбодированные агенты с сенсомоторными петлями |
|
Предсказательная обработка (Friston, 2008, 2010) |
Мозг – это иерархический байесовский предиктор |
Инференция на Variational Autoencoders + RNN |
|
Аутопоэзис (Maturana & Varela) |
Система самопроизводит свои границы и смысл |
Самомодифицирующиеся графы знаний (dynamic KG) |
|
Extended Mind (Clark & Chalmers, 1998) |
Когниция выходит за черепную коробку |
Когнитивные протезы: AR-надписи, голограммы, haptics |
|
Социальная энактивность (De Jaegher & Di Paolo, 2010) |
Смысл рождается в совместном действии |
Multi-agent reinforcement learning с shared policy |
3. Адаптивность и персонализация: Использование физиологических показателей и поведенческого анализа для адаптации интерфейса в реальном времени к индивидуальным когнитивным состояниям и особенностям человека [40].
3.1. Фазы проектирования ПКИ
Можно выделить следующие фазы проектирования:
- Фаза 1. Энактивный анализ: Изучение естественных паттернов взаимодействия в предметной области, выявление сенсомоторных схем и аффордансов.
- Фаза 2. Предсказательное моделирование: Построение байесовских моделей пользователя, проектирование иерархий информации и обратной связи.
- Фаза 3. Аффордансное проектирование: Создание интерфейса как среды прямых возможностей для действия с поддержкой развития экспертизы.
- Фаза 4. Адаптивная реализация: Внедрение систем мониторинга состояния и алгоритмов динамической адаптации, обеспечение социальных функций.
3.2. Критерии оценки эффективности ПКИ
Эффективность перцептивно-когнитивных интерфейсов оценивается по комплексу критериев представленных в таблице 2.
Таблица 2.
Критерии оценки эффективности ПКИ
Table 2.
Criteria for evaluating the effectiveness of PKI
|
Критерий |
Определение |
Метрика |
|
Когнитивная эффективность |
Снижение общей когнитивной нагрузки при росте производительности |
Соотношение производительности к когнитивной нагрузке |
|
Энактивная естественность |
Соответствие естественным сенсомоторным паттернам и минимальное время обучения |
Время овладения, интуитивность действий |
|
Предсказательная согласованность |
Точность ментальных моделей пользователя и минимальный уровень ошибок предсказания |
Уменьшение ошибок предсказания, точность ментальной модели |
|
Адаптивная гибкость |
Способность системы к динамической персонализированной адаптации |
Скорость адаптации, релевантность рекомендаций |
|
Социальная поддержка |
Эффективность инструментов для совместной деятельности и коллективного познания |
Качество кооперации, успешность коллективных задач |
|
Эмерджентная когнитивная синергия |
Превышение суммарных возможностей человека и ИИ при совместном взаимодействии и решении задач |
1 + 1> 2 в задачах восприятия, прогноза и действия |
Заключение
Концепция перцептивно-когнитивных интерфейсов предлагает целостный теоретико-методологический базис для проектирования интерфейсов сложных эргатических систем. ПКИ – это не следующая версия GUI, а новая парадигма: интерфейс становится аутопоэтической системой, совместно с человеком порождающей смысл и действие. Интегрируя передовые достижения когнитивной науки (энактивность, предективный мозг) с системным подходом, включающим процессы самоорганизации (аутопоэзис), она смещает фокус с передачи информации на совместное создание когнитивного пространства операторской деятельности.
ПКИ представляет собой не просто инструмент межсистемной связи, а является аутопоэтическим когнитивным партнером (агентом), который, будучи встроенным в среду деятельности, расширяет человеческие возможности через воплощенное, адаптивное и социально обогащенное взаимодействие. ИИ-агенты становятся «метакогнитивными протезами», не заменяя, а усиливая человеческие возможности. Критерий успеха в задачах восприятия, прогноза и действия – эмерджентная когнитивная синергия.
Данная концепция задает вектор развития интерфейсов, направленный на достижение интеллектного симбиоза между человеком и технологической средой. Следующий шаг – переход от ПКИ к распределенным когнитивным экосистемам, где несколько операторов, ИИ и роботы образуют единую аутопоэтическую суперсистему с общей базой знаний и коллективным предсказательным полем.
Теоретико-методологический базис ПКИ, основанный на энактивной парадигме, имеет подтверждение в современных исследованиях по воплощенному познанию, предсказательной обработке, аффордансам, социальной энактивности, адаптивным интерфейсам и экологическому дизайну. Дальнейшая разработка концепции требует дополнительного критического анализа существующих интерфейсов через призму постулатов ПКИ и экспериментальных исследований для проверки гипотез о влиянии дизайна интерфейса на когнитивную нагрузку, обучаемость и производительность.
1. Sergeev S.F. Engineering and Psychological Design of Complex Ergatic Environments: Methodology and Technologies. In: Bodrov V.A., Zhuravlev A.L., editors. Actual Problems of Labour Psychology, Engineering Psychology and Ergonomics. Issue 1. Moscow: Publishing House Institute of Psychology RAS; 2009. p. 429-449.
2. Sergeev S.F. Intelligent’s Symbiotes Organized by Technogenic Environments in the Management of Mobile. Mechatronics, Automation, Control. 2013;(9):30-36.
3. Sergeev S.F. Symbionts of Intellects in Ergatic Systems. Scientific and Technical Journal of Information Technologies, Mechanics and Optics.2013;84(2):149-154.
4. Sergeev S.F. Intelligent Technosymbiosis in Complex Human-Machine Systems. Ergodesign. 2021;1(11):70-76. DOIhttps://doi.org/10.30987/2658-4026-2021-1-70-76.
5. Sergeev S.F. The Human Factor Aircraft of the 6th Generation: Problems of Technosymbiosis. Mechatronics, Automation, Control. 2018;19(12):806-811. DOIhttps://doi.org/10.17587/mau.19.806-811.
6. Sergeev S.F., Zakharevich A.P. Problems of Training Flight Operators of Advanced Aviation Systems. Mir Avioniki. 2006;(3):58-62.
7. Sergeev S.F., Zakharevich M.A., Sokolov V.N. The Similarity Problem in Simulators. Russian Scientific Journal. 2011;25(6):102-109.
8. Sergeev S.F. Immersiveness, Presence, and Interactivity in Learning Environments. School Technologies. 2006;(6):36-42.
9. Sergeev S.F. Educational and Professional Immersive Environments. Moscow: Narodnoe obrazovanie; 2009. 434 p.
10. Sergeev S.F. Ergonomics of Immersive Environments: Methodology, Theory, Practice. Abstract Thesis for the Degree of Doctor of Psychology. Saint Petersburg; 2010. 42 p.
11. Sergeev S.F. Methodology of Immersive Learning Environments Simulator Design. Scientific and Technical Journal of Information Technologies, Mechanics and Optics. 2011;71(1):109-114.
12. Gurov O.N. Rethinking the Nature of Cognition and Experience: Enactivism in the Context of Modern Technological Transformations. Tekhnologos. 2024;4:63-79. DOIhttps://doi.org/10.15593/perm.kipf/2024.4.05.
13. Stanzhevsky F.A. Notion “Mental Content” in the Context of S. Hurley’s Enactivism. Manuscript. 2021;14(1):153-158. DOIhttps://doi.org/10.30853/mns200597.
14. Varela, F. J., Thompson E., Rosch E. The Embodied Mind, Revised Edition: Cognitive Science and Human Experience. MIT Press; 2017. 388 p.
15. Gibson J. The Ecological Approach to Visual Perception. Moscow: Progress; 1988. 461 p.
16. Baber C. Designing Smart Objects to Support Affording Situations: Exploiting Affordance Through an Understanding of Forms of Engagement. Frontiers in Psychology. 2018;9:292. DOIhttps://doi.org/10.3389/fpsyg.2018.00292.
17. Liao Y.C., Holz C. Redefining Affordance via Computational Rationality. In: Proceedings of the 30th International Conference on Intelligent User Interfaces: 2025. p. 1188-1202. DOIhttps://doi.org/10.1145/3708359.3712114.
18. De Jaegher H., Di Paolo E. Participatory Sense-Making: An Enactive Approach to Social Cognition. Phenomenology and the Cognitive Sciences. 2007;6:485-507. doi:https://doi.org/10.1007/s11097-007-9076-9.
19. Friston K. Hierarchical Models in the Brain. PLoS Computational Biology. 2008;4(11). DOIhttps://doi.org/10.1371/journal.pcbi.1000211.
20. Friston K. The Free-Energy Principle: A Unified Brain Theory? Nature Reviews Neuroscience. 2010;11(2):127-138. DOIhttps://doi.org/10.1038/nrn2787.
21. Sprevak M., Smith R. An Introduction to Predictive Processing Models of Perception and Decision-Making. Topics in Cognitive Science. 2023;15(4):667-690. DOIhttps://doi.org/10.1111/tops.12704.
22. Chen B, Xing L, Zhao L. Prediction Model of Commercial Economic Index Based on BPNN Optimization Algorithm. In: Proceedings of the 2020 IEEE International Conference on Computer Engineering and Application (ICCEA); 2020 Mar18 – Mar 20: 2020. p. 529-532. DOIhttps://doi.org/10.1109/ICCEA50009.2020.00117.
23. Keller G.B., Mrsic-Flogel T.D. Predictive Processing: A Canonical Cortical Computation. Neuron. 2018;100(2):424-435. DOIhttps://doi.org/10.1016/j.neuron.2018.10.003.
24. Millidge B., Seth A., Buckley C.L. Predictive Coding: A Theoretical and Experimental Review; 2021. DOIhttps://doi.org/10.48550/arXiv.2107.12979.
25. Sprevak M., Smith R. An Introduction to Predictive Processing Models of Perception and Decision‐Making. Topics in Cognitive Science. 2023;15(4):667-690. DOIhttps://doi.org/10.1111/tops.12704.
26. Gao Y., Song D., Liu L., et al. Nested Affordance-Based Intuitive Design Tool: Affordance Interaction Matrix. Cogent Engineering. 2023;10(1):2231723. DOIhttps://doi.org/10.1080/23311916.2023.2231723.
27. Darejeh A. A Critical Analysis of Cognitive Load Measurement Methods for Evaluating the Usability of Different Types of Interfaces: Guidelines and Framework for Human-Computer Interaction. DOIhttps://doi.org/10.48550/arXiv.2402.11820.
28. Sweller J. Cognitive Load During Problem Solving: Effects on Learning. Cognitive Science. 1988;12(2):257-285. DOIhttps://doi.org/10.1207/s15516709cog1202_4.
29. Liu Y, Gong Q, Gong X. Research on Interface Design of Meteorological Cloud Radars Based on Cognitive Load Theory. In: The Proceedings of the 2020 IEEE 3rd International Conference of Safe Production and Informatization (IICSPI): 2020. p. 88-92. DOIhttps://doi.org/10.1109/IICSPI51290.2020.9332415.
30. Maturana H.R., Varela F.J. Autopoiesis and Cognition: The Realization of the Living. Volume 42. Springer Science & Business Media; 2012. 146 p.
31. Knyazeva E.N. Autopoiesis of Thought. Tomsk State Pedagogical University Bulletin. 2008;1:46-55.
32. Sergeev S.F. Mechanisms of Autopoiesis in the Systemic Basis Man-Made World. Open Education. 2014;6:8-14.
33. Bianchini F. Autopoiesis of the Artificial: From Systems to Cognition. BioSystems. 2023;230:104936. DOIhttps://doi.org/10.1016/j.biosystems.2023.104936.
34. Luhmann N. What is Communication? Sociological Journal. 1995;3:114-124.
35. Clark A., Chalmers D. The Extended Mind. Analysis. 1998;58(1):7-19. DOIhttps://doi.org/10.1093/analys/58.1.7.
36. De Jaegher H., Di Paolo E., Gallagher S. Can Social Interaction Constitute Social Cognition? Trends in Cognitive Sciences. 2010;14(10):441-447.
37. Di Paolo E., De Jaegher H. The Interactive Brain Hypothesis. Frontiers in Human Neuroscience. 2012;6:163. DOIhttps://doi.org/10.3389/fnhum.2012.00163.
38. Kahl S., Kopp S. Intertwining the Social and the Cognitive Loops: Socially Enactive Cognition for Human-Compatible Interactive Systems. Philosophical Transactions of the Royal Society B. 2023;378(1875):20210474. DOIhttps://doi.org/10.1098/rstb.2021.0474.
39. Ryabinin K.V., Belousov K.I., Chuprina S.I., et al. Perceptual-Cognitive User Interface for Visual Analytics Systems. In: Proceedings of the International Conference on Computer Graphics and Vision “Graphicon”. 2019; vol. 29. p. 93-98. DOIhttps://doi.org/10.30987/graphicon-2019-1-93-98.
40. Pérez-Verdugo M., Barandiaran X.E. Personal Autonomy and (Digital) Technology: An Enactive Sensorimotor Framework. Philosophy & Technology. 2023;36(4):84.
