Voronezh, Voronezh, Russian Federation
Voronezh, Voronezh, Russian Federation
Voronezh, Voronezh, Russian Federation
UDC 331.101.1
The paper presents the experience of developing an algorithm that allows for the creation of a scale to assess the psychological characteristics of a potential operator of an existing ergatic system. This is achieved by combining questions from existing psychological tests. The approach is based on using multivariate statistical algorithms, which identify, from the set of questions in each psychological test including the Spielberger-Khanin test, the Eysenck Personality Questionnaire, and the Melbourne Decision-Making Questionnaire (MDMQ), as well as a set of techniques aimed at identifying individual sensory and cognitive preferences, those specific questions and characteristic answers that provide the best predictive result for the required parameters of a potential operator within the context of developing simulators for this ergatic system. To reduce the number of questions, sequential application of methods based on multiple correspondence analysis is used, followed by clustering using the farthest neighbour method and hierarchical procedures in Euclidean space. The results show that while the initial accuracy, obtained through cross-validation, was 80-83%, the accuracy after applying the developed algorithm reaches 83-100% (cross-validation data). Furthermore, the volume of testing questions is reduced by a factor of four.
ergatic system, simulator, psychological testing
Введение
При отборе и подготовке операторов эргатических систем широко применяются методы психофизиологического и психологического тестирования, направленные на выявление соответствия индивидуальных психофизиологических характеристик требованиям, предъявляемым к оператору конкретной системы [1], [2]. Однако, применение обширной и разнообразной батареи тестов, включающей множество методик и заданий, может оказывать негативное влияние на точность результатов вследствие утомляемости испытуемых, снижения их мотивации, а также приводить к значительным трудозатратам, как со стороны тестируемых, так и со стороны специалистов, проводящих оценку. Учитывая многоэтапную структуру отбора операторов эргатических систем [3], предполагающую поэтапное сужение числа кандидатов, использование развернутых комплексов тестирования становится наиболее целесообразным на поздних этапах, когда необходимо получить максимально детализированную и дифференцированную информацию о наиболее перспективных кандидатах [2].
В тоже время, одним из ключевых моментов является способность тренажеров, на которых ведётся подготовка операторов к воспроизведению реальных ситуаций управления [4]. Недостаточно проработанная модель имитации в рамках тренажера задач управления или искаженное представление данных об окружающей среде, или управляемой системе, могут привести к формированию неадекватных стратегий поведения оператора и его ошибочным решениям в реальных условиях. [5] Очевидно, что эффективность тренажера, как метода обучения, может существенно различаться в зависимости от индивидуальных особенностей самого оператора [2], [6]. Для одних операторов тренажер является адекватной моделью реальных рабочих условий, позволяющей эффективно формировать необходимые навыки, в то время как другие операторы демонстрируют чувствительность к отклонениям тренажера от реальной обстановки, выявляя несоответствия в процессах, моделируемых тренажером [7]. В связи с этим, необходимо разрабатывать процедуры, позволяющие оценить степень соответствия тренажера реальным рабочим процессам и данным, которые оператор будет получать в своей деятельности. [8] Это требует разработки: А) новых методов создания тренажеров, основанных на глубоком понимании психофизиологических процессов, задействованных в работе оператора, и учете индивидуальных особенностей восприятия и обработки информации. Б) новых методов отбора людей для работы с тренажерами и, в конечном итоге, для работы в эргатической системе. Необходимо учитывать, что восприятие тренажера как отображающего реальный процесс управления, или с отклонениями от него может сильно варьироваться в зависимости от индивидуальных особенностей оператора [9], [6]. В связи с этим представляется актуальным выявление и обоснование такого состава выборки из существующих психологических скринингов, которая, обеспечивала бы приемлемую точность, при минимизации когнитивной нагрузки на оператора на начальных этапах отбора.
Исходя из сказанного выше возникает необходимость отработать алгоритм отбора вопросов из существующих психологических методик для формирования «смешанного» опросника, обеспечивающего приемлемый уровень точности для тестирования потенциальных операторов эргатических систем в аспекте их способности выделять на тренажерах реальные или искусственно сгенерированные паттерны активности [14].
Цель исследования – разработать алгоритм сокращения комплекса психологического скрининга из набора стандартных психологических тестов, обеспечивающего сопоставимую точность и информативность по сравнению с использованием полного объема тестовых заданий, но требующий меньших временных и ресурсных затрат.
1. Материалы, модели, эксперименты, методы и методики
Для оценки психофизиологических особенностей и сбора тестовых данных было обследовано 43 испытуемых обоего пола (23 юноши, 20 девушек) в возрасте 17-24 лет, без неврологических и психиатрических патологий, был применен стандартизированный комплекс психологических скринингов. В частности, использовалась Шкала тревоги Спилбергера-Ханина (STAI) [1] для оценки ситуативной и личностной тревожности, позволяющая выявить как временные состояния тревоги, так и устойчивые личностные особенности. Личностный опросник Айзенка (EPI) [1] применялся для оценки экстраверсии-интроверсии и нейротизма, а также для выявления тенденции к социально желательным ответам с помощью шкалы лжи. Для оценки индивидуальных стилей принятия решений в стрессовых и неопределенных ситуациях использовался Мельбурнский опросник принятия решений (MDMQ) [1], определяющий доминирующие стратегии, такие как бдительность, уклонение, паника и самоуверенность. Кроме того, проводился анализ ведущего органа чувств и преобладающего полушария мозга с помощью комплекса методик, направленных на выявление индивидуальных сенсорных и когнитивных предпочтений испытуемых [10]. Считается, что учет доминирующего канала восприятия информации (зрительный, слуховой, кинестетический) и особенностей межполушарной асимметрии может способствовать оптимизации обучения и повышению эффективности профессиональной деятельности операторов [11]. В ходе эксперимента испытуемый должен был различать искусственно сгенерированный сигнал ЭЭГ и реальную ЭЭГ. [12] На первом этапе с обратной связью происходило обучение, на втором этапе – обратная связь отсутствовала. Всего было проведено 120 экспериментов с каждым из испытуемых.
Для прогноза разделения оператором реальной и искусственно синтезированной ЭЭГ был обучен пул искусственных нейронных сетей. Многослойная нейросеть архитектуры многослойного перцептрона (MPL), имеющая 18 входных нейронов, от 4 до 14 нейронов скрытого слоя. В качестве функций активации для скрытого и выходного слоев были выбраны экспоненциальная функция и функция Softmax, соответственно, как продемонстрировавшие лучшие результаты.
2.Результаты
Результаты показали, что лучшая точность на валидационной выборке составила 83% для работы испытуемых в режиме с обратной связью, и от 83 до 85% для работы без обратной связи. Такие же показатели были получены для сетей схожей архитектуры, что позволяет рассматривать его как опорный для сравнения с последующими результатами.
В случае если же входными данными служили не шкалы психологических тестов, а вся совокупность ответов на вопросы батареи психологических тестов результаты лучших кросс-валидационных проверок так же составил от 80 до 83%. Очевидное решение снижения числа вопросов в виде отбора переменных, наиболее значимых для с пользуемой архитектуры ИНС сталкивается со значительным падением точности прогноза: лучшие результаты не превосходили 70%, что нельзя признать удовлетворительным.
В свете сказанного выше использовался другой подход. Для выявления взаимосвязей между категориальными переменными, представляющими ответы, полученные в ходе комплексного психологического тестирования, был применен метод множественного анализа соответствий (multiple correspondenceanalysis, MCA) [13]. Использование MCA обусловлено его способностью представлять категориальные переменные в многомерном пространстве и выявлять доминирующие факторы, определяющие сходства и различия между различными категориями ответов. В рамках исследования было выделено две группы данных, обозначенных как Ls и Lb, отражающих результаты тестовых испытаний, проведенных на разных этапах подготовки испытуемых с обратной и без обратной связи соответственно. Для каждой из указанных групп был сформирован массив расстояний (L), отражающий меру удаленности между анализируемыми переменными в пространстве признаков, полученном в результате применения MCA. Параметр, определяющий количество осей (измерений), используемых для представления данных в многомерном пространстве MCA, был установлен равным 50. Выбор данного значения обусловлен необходимостью сохранения максимально возможной дисперсии исходных данных и отражения сложности структуры взаимосвязей между исследуемыми переменными.
Для дальнейшей систематизации полученных результатов и выявления групп переменных, характеризующихся высокой степенью сходства, был использован метод иерархической кластеризации с применением древовидной структуры [4]. Иерархическая кластеризация позволяет последовательно объединять объекты в кластеры на основе меры близости, формируя древовидную структуру (дендрограмму), визуализирующую процесс кластеризации. В качестве критерия связи между кластерами был выбран метод полной связи. Данный метод обеспечивает формирование относительно компактных и хорошо разделенных кластеров. Анализировались расстояния между результатами тренажера с функцией обратной связи, а также между значениями тренажера без функции обратной связи. Полученные значения расстояний были ранжированы в порядке убывания, и в дальнейший анализ включались 25% значений, характеризующих наибольшие дистанции между анализируемыми объектами.
Рис.1. Варианты нахождения точек для вопроса №38 Шкалы тревоги Спилбергера-Ханина (STAI)
Fig.1. Options for finding points for question No. 38 of the Spielberger-Khanin Anxiety Scale (STAI)
На рисунке 1 представлены результаты МСА, демонстрирующие пространственное расположение вариантов ответов на вопрос №38 Шкалы тревоги Спилбергера-Ханина (STAI). Анализировались следующие варианты ответов на данный вопрос: «иногда», «почти всегда», «часто», «почти никогда». Отбор осуществлялся по ответам на вопросы психологических тестов, дающим наибольшую разницу между расстояниями до двух групп целевых точек: 1). Правильного и неправильного разделения сигналов тренажера без обратной связи для испытуемого (БОС) 2). Та же задача, но с обратной связью (ОС). Нетрудно заметить, наибольшую значимость представляют варианты ответов «почти никогда» и «часто», поскольку именно они показывают максимальную величины расстояния между правильными и неправильными ответами для каждой серии экспериментов (БОС, ОС). Следовательно, данные варианты ответов могут рассматриваться как наиболее информативные для определения различий между успешностью и неуспешностью решения испытуемым этих задач.
Таблица 1.
Результаты ранжирования расстояний (L), полученных на основе анализа вариантов ответа на вопросы Мельбурнского опросника принятия решений (MDMQ)
Table 1.
The results of the distance ranking (L) obtained based on the analysis of the answer options to the questions of the Melbourne Decision-making Questionnaire (MDMQ)
|
С обратной связью |
Без обратной связи |
||
|
№21 Мельбурнский опросник: неверно для меня |
1,50 |
№17 Мельбурнский опросник: иногда верно |
1,10 |
|
№20 Мельбурнский опросник: неверно для меня |
1,45 |
№5 Мельбурнский опросник: верно для меня |
0,98 |
|
№13 Мельбурнский опросник: иногда верно |
1,41 |
№22 Мельбурнский опросник: неверно для меня |
0,93 |
|
№18 Мельбурнский опросник: неверно для меня |
1,40 |
№3 Мельбурнский опросник: иногда верно |
0,89 |
|
№2 Мельбурнский опросник: иногда верно |
1,36 |
№8 Мельбурнский опросник: иногда верно |
0,89 |
|
№3 Мельбурнский опросник: иногда верно |
1,36 |
№9 Мельбурнский опросник: иногда верно |
0,89 |
|
№8 Мельбурнский опросник: иногда верно |
1,36 |
№8 Мельбурнский опросник: неверно для меня |
0,87 |
|
№17 Мельбурнский опросник: иногда верно |
1,36 |
№21 Мельбурнский опросник: неверно для меня |
0,87 |
|
№15 Мельбурнский опросник: неверно для меня |
1,32 |
№12 Мельбурнский опросник: верно для меня |
0,86 |
В таблице 1 представлены, в качестве примера, результаты ранжирования расстояний (L), полученных на основе анализа вариантов ответа на вопросы Мельбурнского опросника принятия решений (MDMQ). Анализ представленных данных указывает на то, что определяющую роль в формировании дистанции между вариантами, зарегистрированными при использовании тренажера с обратной связью и без обратной связью, играет не сам вопрос опросника, а выбранный вариант ответа на него. Наблюдается, что один и тот же вопрос может приводить к различным значениям расстояния Lв зависимости от выбранного варианта ответа, что свидетельствует о значимости индивидуальных особенностей оператора, а не только содержание вопроса.
В итоге был выявлен пул из вопросов, объём которых составлял 25% от исходной совокупности всех вопросов скринингового исследования. При этом ответы испытуемых были перекодированы в бинарную матрицу, где ответ, не вошедший в отбор кодировался как «0», а вошедший как «1». Вновь были использовании искусственные нейронные сети в топологии MLP. В общей сложности было проведено 50 вычислительных эксериментв в которых результаты кросс-валидационной проверки не опускались ниже 83%, достигая в 36 случаях 100%. Безусловно, общее количество испытуемых невелико, и требуется более детальное рассмотрение алгоритма на больших группах. Тем не менее, полученные результаты, хотя и рассматриваются как предварительные показывают принципиальную возможность метода по сокращению объёма опросников для испытуемых в четыре раза, с сохранением полученной точности.
Заключение
В работе рассмотрен подход к сокращению объема психологического скрининга для оценки операторов эргатических систем, направленный на повышение эффективности отбора с сохранением высокой точности. В качестве метода использовались статистические и аналитические подходы, такие как множественный анализ соответствий и иерархическая кластеризация, которые позволили выявить наиболее информативные вопросы и ответы на них и, как результат, уменьшить число тестовых вопросов без потери диагностической точности. В сравнении с анализом всей батареи тестов, получены сопоставимые результаты по точности, что подтверждает эффективность предложенного метода. Таким образом, разработанный алгоритм сокращения комплекса тестовых заданий позволяет снизить временные и ресурсные затраты при сохранении высокой информативности, способствуя оптимизации процесса отбора операторов эргатических систем.
1. Album of Psychological Tests. Moscow: CSP Publ.; 1995. p. 92-94.
2. Korochkin V.V., Lyakh V.V. Akmeological Approach to Selecting Ergatic System Operators. European Social Science Journal, 2016;11-1:96-101.
3. Poltavskiy A.V., Yurkov N.K. Selection of Operators of Automated Workplaces of Multifunctional Complexes of Unmanned Aerial Vehicles. Reliability and Quality of Complex Systems. 2019;1(25):70-76. DOIhttps://doi.org/10.21685/2307-4205-2019-1-8.
4. Kislyakov A.N., Polyakov S.V. Hierarchical Clustering Methods in a Task to Find Abnormal Observations Based on Groups with Broken Symmetry. Administrative Consulting. 2020;5(137):116-127. DOIhttps://doi.org/10.22394/1726-1139-2020-5-116-127.
5. Tyukalov D.E., Danilov A.M. Modelling and Training Transport Ergatic System Operators. Young Scientist. 2015;3:247-249.
6. Rytov M.Yu., Spasennikov V.V. Theoretical and Applied Issues of Selection and Training of Operators of Human-Machine Complexes in Domestic Ergonomics. Ergodesign. 2020;4(10):203-223. DOIhttps://doi.org/10.30987/2658-4026-2020-4-203-223.
7. McFarland D., Wolpaw J. Brain-Computer Interfaces for Communication and Control. Communications of the ACM. 2011;54(5):60-66.
8. Blaginin A., Sinelnikov S., Smolyaninova S. Features of Assessing the Operators’ Function with Consideration of Their Individual Psychological Characteristics. Human Physiology. 2017;43(1):11-17. DOIhttps://doi.org/10.7868/S0131164616060035.
9. Klimov R.S. Method for Assessing the Professional Preparedness of Operators of Robotic Complexes. Trends and Management. 2016;4:430-437.
10. Wolpaw J.R., Birbaumer N., McFarland D.J. Brain-Computer Interfaces for Communication and Control. Clinical Neurophysiology. 2002;113(6):767-791. DOIhttps://doi.org/10.1016/s1388-2457(02)00057-3.
11. Salvendy G. Handbook of Human Factors and Ergonomics. 4th ed. John Wiley & Sons; 2012. 1760 p.
12. Zenkov L.R. Clinical Electroencephalography (With Elements of Epileptology). Manual for Physicians. 8th ed. MEDpressinform; 2017. 360 p.
13. Sazhin Yu.V., Saraikin Yu.V. Application of Multiple Correspondence Analysis for the Investigation of Structure of the Scientific and Pedagogical Personnel of the Research University. Vestnik NSUEM. 2012;3:121-131.
14. Dergacheva E.A., Sheroburko E.N. Socio-humanitarian expertise of artificial intelligence development // Bulletin of the South-russian state technical university (NPI). Series: Socio-economic sciences. 2025;18(6):6-15. DOIhttps://doi.org/10.17213/2075-2067-2025-6-6-15. EDN KMKGPI.
