Saint-Petersburg, St. Petersburg, Russian Federation
Saint-Petersburg, St. Petersburg, Russian Federation
Saint-Petersburg, St. Petersburg, Russian Federation
UDC 159.98
This article examines methods for estimating the degree of similarity (distance) between student and reference responses as a primary step in assessing knowledge in automated learning systems. The work represents student and reference responses by string images (i.e., a sequence of numeric, alphanumeric, or symbolic primitives). Distance estimation is considered as the required number of transformations (i.e., insertions, deletions, and substitutions of primitives) required for obtaining the reference response string from the student’s response string. The distance estimation algorithm takes into account the non-equivalence of primitives and their various representations, and presents an algorithm that allows for responses in natural language.
knowledge assessment, string image, primitive, dichotomous, ordinal, and rank grading scales, distance between response and reference string images, Levenshtein algorithm
Введение
Одним из основных блоков специализированного математического обеспечения автоматизированных обучающих систем (далее – АОС) является блок контроля ответов обучающихся. В случае применения тестового способа контроля знаний этот блок функционирует следующим образом: при вводе ответа обучающимся выделяются некоторые признаки, в соответствии с анализом которых введенная обучающимся информация относится в дихотомической шкале оценок, к категории правильных или неправильных, а в порядковой шкале – оценивается соответствующими баллами. Один из основоположников научного подхода к проблеме тестирования В.С. Аванесов показал, что виды всех типов ответов обучающихся могут быть сведены к следующим [1]:
1) выборочный, когда выбор варианта ответа осуществляется в произвольном порядке по отношению к задаваемым вопросам.
2) порядковый, когда варианты возможных ответов соответствуют порядку задаваемых вопросов.
3) открытый (конструируемый), когда ответ представлен на основе определенных символов или выражен в форме текста.
4) множественный, представленный множеством ответов одновременно на все вопросы теста.
По мнению авторов предлагаемой статьи из перечисленных выше методов, в ряде случаев, наиболее эффективным представляется открытый (конструируемый) способ ответа для контроля знаний. Данный способ может быть использован, например, при определении порядка выполнения расчетов физических величин или параметров систем по изученной ранее технологии их получения, проведения регламентных работ на технике, контроля ее функционирования и т.д.
В этом методе обучающийся формирует (конструирует) ответ в виде определенной последовательности знаков, формирующих строковые образы и обозначающие отдельные элементы (примитивы). Эти образы могут быть представлены в виде буквенной, цифровой, символьной или смешанной последовательности знаков. Ответ в этом случае может быть сформулирован также в виде математических или синтаксических правил.
Процедура формирования оценки обучающегося в той или иной шкале оценок в случае получения ответа в конструируемой форме сводится к двум этапам, а именно: на первом – вычисляется расстояние между ответом обучающегося, представленным строковым образом и его эталоном (эталонами), на втором – вычисленное расстояние переводится в выбранную шкалу оценок (дихотомическую, порядковую, относительную, ранговую).
Решение задач второго этапа представляет самостоятельный интерес. Частично они раскрыты в предыдущих работах авторов [1], [10], [11], [12], [13]. В рамках этой статьи будут рассмотрены только задачи первого этапа.
Метод оценки близости эталона и образа ответа обучающегося, выраженных строковыми образами
Форма записи в виде строкового образа, которым представляется ответ обучающегося, предложена в работе [16], который ввел понятие «расстояния» (т.е. возможной регулируемой разницы между строковыми образами, отражающими текущие и окончательные решения какой-либо задачи, представленной в виде символов). Это «расстояние» определяло число преобразований (вставок, удалений и замещений примитивов образа) необходимых для приведения записи текущего строкового образа к его окончательному варианту.
В строковом образе важным является не только значение отдельного примитива, но и его положение в нем, что позволяет использовать строковый образ, например: при записи логической структуры решения контрольных задач; описания изучаемого объекта или ситуации, инициирующей принятие определенного решения; для определения последовательности выполнения операций при контроле функционирования аппаратуры, поиске неисправностей и т.д.
Рассмотрим алгоритм формирования оценки расстояния d между двумя строковыми образами ответа обучающегося Х и эталоном ответа М. В общем случае эталонов может быть несколько 
, т.е. d определяется как наименьшее число преобразований, требуемых для получения строки эталона ответа M из строки ответа обучающегося X (с учетом их сходства S). Преобразования состоят из вставок, удаления и замещений примитивов образа. Алгоритм оценки расстояния между примитивами строки ответа обучающегося и эталона сводится к расчету следующего рекуррентного выражения [1], [12]:
|
|
(1) |
где:
– примитив предыдущей строки сравниваемый с текущим значением атрибута;
– примитив предыдущей строки предыдущего столбца сравниваемый с текущим значением атрибута;
– примитив предыдущего столбца сравниваемый с текущим значением атрибута;
γ, j – примитивы образа ответа обучающегося и образа эталона соответственно;
n1, n – число примитивов в образе эталона и ответа обучающегося соответственно.
В общем случае справедливо неравенство 
. Расстояние между строковыми образами соответствует сумме преобразований необходимых для достижения эталона. Соответственно, чем больше эта сумма, тем большее несоответствие строкового образа ответа обучающегося и его эталонного варианта.
Рассмотрим несколько примеров.
1. Допустим, что в ходе контроля качества усвоения учебного материала обучающемуся предлагается записать последовательность операции решения задачи. Для этой цели используется ряд символов, обозначающих отдельные операции ее решения. Эталон ответа М подобной записи содержит следующую последовательность:
Ответ обучающегося Х выразился следующим образом:
Пользуясь алгоритмом (1), определим расстояние между этими двумя последовательностями. Формально это означает, что, при сравнении ответа и эталона, обучающимся была допущена ошибка в одном месте (в третьем символе последовательности). Таким образом, для данного образа ответа обучающегося необходимо одно преобразование, чтобы получить требуемый эталон правильного ответа на поставленную задачу.
Преобразования в соответствии с алгоритмом (1) построчно (для первой строки) могут быть представлены в следующем виде:
,
,
,
,
.
Для второй строки:
Аналогичные преобразования проводят для каждого примитива строки ответа
обучающегося X.
Таблица 1
Преобразования, требуемые для получения столбца эталона ответа M из ответа обучающегося X
Table 1
Transformations required to obtain the reference column of the answer M from the student's answer X
|
Эталон ответа (M) |
Ответ обучающегося (X) |
a |
a |
a |
b |
a |
|
|
№ |
примитива ответа |
||||||
|
Примитива эталона |
0 |
1 |
2 |
3 |
4 |
5 |
|
|
a |
1 |
0 |
0 |
0 |
0 |
0 |
|
|
a |
2 |
1 |
0 |
0 |
0 |
0 |
|
|
b |
3 |
2 |
1 |
1 |
0 |
0 |
|
|
b |
4 |
3 |
2 |
2 |
1 |
1 |
|
|
a |
5 |
4 |
3 |
2 |
2 |
1 |
|
Значение в ячейке правом нижнем углу – это есть искомое расстояние между эталоном ответа M из строки ответа обучающегося X.
Пользуясь подобным подходом, можно представить строковыми образами эталоны решения контрольных задач по различным дисциплинам, причем эталоны и ответы образов могут быть представлены, в виде наборов эталонов используемых в конкретных дисциплинах.
2. Предположим, что в задании обучающемуся предлагается записать алгоритм действий оператора станции слежения, осуществляющей обнаружение и сопровождение целей с помощью метки маркера на экране индикатора. При этом ответ обучающегося должен быть представлен порядковыми номерами, определяющими набор качественных признаков оптимального функционирования объекта или его описания.
Для записи алгоритма обучающемуся выданы списки элементарных операций и логических условий
где:
А1 – обнаружение отметки цели на экране индикатора при первичном обзоре;
А2 – совмещение метки маркера с отметкой цели и присвоение ей порядкового номера;
А3 – снятие цели с сопровождения;
Р1 – наличие отметки цели в следующем обзоре на экране индикатора;
Р2 – проверка совпадения отметки цели с положением метки маркера;
Р3 – отсутствие отметки цели в следующем обзоре на экране индикатора.
Эталон в виде строкового образа, определяющий суть деятельности оператора при обнаружении и сопровождении целей, с учетом введенных обозначений может быть представлен следующим образом:
.
Как видно, он содержит два равнозначных варианта решения задачи. Ответ
обучающегося записывается в тех же символах элементарных операций и логических условий.
.
Далее для оценки расстояния между образами используется рассмотренный выше алгоритм.
3. Рассмотренные выше подходы могут быть применены для решения задач, связанных с анализом ответов, представляющих фрагменты участков в программном обеспечении и определяющих логику последовательности обработки информации. Например, задача обучающемуся сформулирована следующим образом: написать программу для вычисления суммы нечетких чисел от единицы до десяти с использованием оператора DO и TO. Задача имеет три варианта решения, образующих массив эталонов :
А. {DO K=1 BY2 TO 10; S=S+K; END;}.
Б. {DO K=1 TO 10; S=S+K; K=K+2; END;}.
В. {M1:IF K <10 THEN DO; S=S+K; K=K+2; GO TOM 1; END;}.
Допустим, что ответ обучающегося имеет вид:
Х={DO K=1 ТО 10; S=S+K; END}.
Для оценки расстояния между образом ответа и эталона можно воспользоваться алгоритмом (1). Таким образом, в первом случае, для получения обучающемуся правильного ответа, по сравнению с эталоном из варианта А, необходимо выполнить два действия: удалить первую символьную запись (DO K=1 TO 10) в своей программе и вставить первую символьную запись (DO K=1 BY 2 TO 10) из варианта А.
Во втором случае, для получения правильного ответа (вариант Б), обучающемуся необходимо выполнить одно действие: добавить третью символьную запись (К=К+2) из варианта Б.
В третьем случае, для получения правильного ответа (вариант В), обучающемуся необходимо выполнить четыре действия: одно удаление и три вставки.
Вычисленные расстояния для каждого эталона будут равны:
Результаты анализа показывают, что обучающийся допустил ошибку в ответе, величина которой, определяемая расстоянием будет равна:
Метод оценки мер близости эталона и образа ответа обучающегося, выражаемых предложениями естественного языка
Автоматизированные обучающие системы, содержащие элементы системы искусственного интеллекта, представляют собой один из видов вопросно-ответных систем. В данном случае под искусственным интеллектом (ИИ) понимается система, обладающая возможностями накопления и обобщения информации о внешнем мире и способная к целенаправленному поведению на основе «собственного опыта». В таких системах значительно расширяются возможности, как организации самого процесса обучения, так и организации контроля знаний обучающихся. Системы с ИИ, как правило, содержат два вида знаний: предметные и лингвистические. Благодаря их взаимному использованию и сочетанию в процессе обучения обеспечивается качественный скачок эффективности применения АОС подобных типов [16].
Под предметными знаниями следует понимать информацию о предметной области, в которой реализована обучающая программа системы (например, математика, теоретическая механика, программирование и т.п.) [2], [3].
Под лингвистическими знаниями понимаются информация о значении слов, грамматике, значении отдельных предложений, фраз и их сочетаний, правил построения семантических конструкций.
При использовании системы для обработки ответа обучающегося, представленного в форме естественного языка, необходимо обеспечить [4], [5], [6], [7]:
а) понимание входного предложения (образа) ответа обучающегося, которое связано с преобразованием этого предложения (образа) из представления на естественном языке обучающегося в представление на внутреннем языке системы;
б) оценивание системой оценки близости образа ответа обучающегося имеющемуся эталону (или массиву эталонов) правильного ответа;
в) реакцию системы по результатам анализа образа ответа обучающегося, заключающаяся либо в продолжении опроса обучающегося системой (в виде предъявления очередного контрольного вопроса), либо в прекращении опроса обучающегося (в случае несоответствия образа ответа обучающегося соответствующим эталонам правильного ответа в системе).
При осуществлении контролирующей процедуры можно выделить следующие уровни понимания образа ответа обучающегося, выраженного в форме естественного языка: морфологический, синтаксический, семантический. В зависимости от типа и содержания контрольных вопросов, а также в зависимости от целей контроля, обработка ответа обучающегося будет затрагивать все уровни или только часть уровней понимания ответа.
Морфологический анализ имеет следующие цели [4]:
а) уточнить объем словаря, предназначенного для выбора и осуществления контролирующих процедур в конкретной предметной области;
б) реализовать возможность расширения и корректировки словаря системы для максимального охвата терминологии естественного языка, на основе которого формируется образ ответа обучающегося.
Синтаксический анализ предназначен для облегчения работы по восприятию образа ответа обучающегося посредством введения процедуры распознавания грамматических категорий, используя приставки, суффиксы и окончания [14].
В результате морфологического анализа для части слов входного предложения (образа ответа) приписывается информация, с помощью которой устанавливается синтагматические отношения между словами входного предложения, являющегося эталоном правильного ответа. Выделенные слова рассматриваются далее в качестве ключевых для эталонного ответа на заданный вопрос. Синтагматические отношения между словами определяют возможный порядок следования ключевых слов в ответе.
Морфологический анализ образа ответа обучающегося, в этом случае, будет состоять в установлении принадлежности слов или словосочетаний во входном предложении (образе ответа) к ключевым словам.
Для облегчения работы у каждого ключевого слова выделяется основа, по которой далее осуществляется его поиск в ответе обучающегося.
Семантический анализ предназначен для определения смысла входного предложения. Основная трудность семантического анализа это проблема многозначности ответов. Для уменьшения многозначности ответов обучаемых обычно используют два приема:
а) предварительный отбор контрольных вопросов, не допускающих многозначных ответов;
б) определение «скелета» конструкции ответа обучающегося, жестко формирующего структуру ответа (например, ответ обучающегося должен начинаться словами: «объектом …. называется …и т.п.»). На основе этого анализа выделяются ключевые слова и словоформы, составляющие основу смыслового содержания эталона ответа.
Например, в процессе контроля обучающийся должен дать определение полосы схватывания для систем автоматического регулирования (далее – САР), используя следующие ключевые слова (словоформы):
1) НОРМально ФУНКЦИОНирует;
2) МАКСИМально ДОПУСТИМая;
3) ПОСЛЕ ВКЛЮЧения;
4) НАЧАЛЬНая ОШИБка.
Cловоформы, определенные в результате морфологического анализа эталона, выделены путем подчеркивания ключевых слов (напечатано большими буквами). Обучающемуся необходимо, используя ключевые слова и фразы, дать определения полосы схватывания, начиная его словами: «Полоса схватывания САР есть…».
Эталон определения, записанный в системе, представлен следующим образом [6, 7]: «Полоса схватывания САР есть МАКСИМАЛЬНО ДОПУСТИМАЯ (2) величина НАЧАЛЬНОЙ ОШИБКИ (4) системы автоматического регулирования, при которой система НОРМАЛЬНО ФУНКЦИОНИРУЕТ (1) ПОСЛЕ ВКЛЮЧЕНИЯ (3)».
Синтагматические отношения между ключевыми словами определяют порядок их использования в ответе и задают структуру (образ) эталона ответа на внутреннем языке контролирующей подсистемы АОС. Образ эталона имеет вид: М ={2, 4, 1, 3}.
В алгоритме оценки осуществляется поиск ключевых слов и определяется порядок их следования в ответе обучающегося. Выделенная таким образом последовательность порядковых номеров ключевых слов определяет строковый образ ответа обучающегося.
Например, для определения (ответа), данного обучающегося, – «полоса схватывания есть максимально допустимая ошибка после включения САР, при которой она нормально функционирует», образ ответа обучающегося будет иметь вид: Х={2, 4, 3, 1}. Применяя далее алгоритм оценки расстояния между строковыми образами, получим оценку расстояния между ответом обучающегося и эталоном, т.е.: d(x, m)=1. Таким образом, видно, что обучающийся допустил одну ошибку в определении. Степень ее значимости, выраженной в той или иной шкале оценок, определяется отдельным алгоритмом, в общем случае, учитывающим нечеткость их представления. В данном методе оценки возможен также и учет весовых коэффициентов значимости ключевых слов эталона.
Заключение
Увеличение сложности подготовки специалистов в вузе и формирования у них профессиональных компетенций, обеспечивающих успешное освоение ими современных технических систем, определяет необходимость разработки и применения на практике новых методов контроля знаний, в том числе при анализе результатов тестирования обучающихся с использованием АОС. Для контроля знаний умений и навыков в тренажной подготовке целесообразно использовать эрготехнические решения [8], [9], [15]. Конструируемый метод формирования ответов обучающегося существенно расширяет спектр возможных контрольных задач, предлагаемых ему в АОС. Такие задачи в большей степени оказываются направленными на выявление у обучающихся способностей к нестандартному мышлению, чем обычные шаблонные вопросы теста, формируя и повышая, тем самым, их компетентностный уровень.
1. Bagretsov S.A., Mishchenko E.V., Rozanova L.V. A Methodology for Monitoring Students’ Knowledge Based on a Binomial Estimate of the Random Number of Incorrect Answers, Considering Their Detection Probability. Ergodesign. 2024;2(24):127-133. DOIhttps://doi.org/10.30987/2658-4026-2024-2-127-133.
2. Logovsky A.S., Lepeshkin S.A., Shulga I.N. et al. The Concept of Construction and Application of Automated Training Equipment in the Educational Process for Training Specialists in the Exploitation of Long-Range Radar. T-Comm. 2016;10(4):4-8.
3. Onufrei A.Yu., Kakaev V.V., Kurakin S.Z., et al. Perspectives of Application of Educational-Trainer Means for Training of Military Specialists in Higher Educational Institutions. High-Tech Earth Space Research. 2018;10(4):55-63. DOIhttps://doi.org/10.24411/2409-5419-2018-10097.
4. Pechnikov A.N., Shikov A.N., Kotova E.E. Ergonomic Approach to the Solution of Problems of E-Didactics. Biotechnosphere. 2015;1(37):52-61.
5. Rytov M.Yu., Spasennikov V.V. Theoretical and Applied Issues of Selection and Training of Operators of Human-Machine Complexes in Domestic Ergonomics. Ergodesign. 2020;4(10):203-223. DOIhttps://doi.org/10.30987/2658-4026-2020-4-203-223.
6. Sergeev S.F., Nikiforov G.S., Zaplatkin Yu.Yu. et al. Engineering Psychology Problems of Aviator’s Professional Education. Russian Scientific Journal. 2012; 3(28):109-115.
7. Khalin A.F. The Concept of Development of Training Aids Complex for Assimilation of Weaponry, Military and Special Equipment. Software and Systems. 2018;1:177-183.
8. Karasev A.M., Lvov V.M., Pavlyuchenko V.M., et al. Device for Controlling the Level of Operator Training. Patent SU No. 903940 A1; 1982 Feb 7.
9. Gerasimov B.M., Lozhkin G.V., Nemtinov V.N., et al. Device for Estimating Working Capability of Operator of Automatic Control System. Patent SU No. 1068975; 1984 Jan 23.
10. Vorobev V.A., Bagretsov S.A. System for Training Operator of Radar Systems. Patent SU No. 1166165 A1; 1985 Jul 7.
11. Bagretsov S.A. Training Device for Operators. Patent SU No. 1280428 A1; 1986 Dec 30.
12. Bagretsov S.A., Gaydukov V.L., Spasennikov V.V., et al. Device to Assess the Professional Suitability of Operators of Automated Control Systems. Patent SU No. 1437898; 1988 Nov 15.
13. Bagretsov S.A., Popov G.M., Davydov I.S. Training Device for Group Leader Operators. Patent SU No. 1714653 A1; 1992 Feb 23.
14. Spasennikov V.V., Smirnov Yu.I., Torbin S.I., et al. Device for Estimating Psychological Compatibility of Persons Under Test. Patent SU No. 1809455 A1; 1993 Apr 15.
15. Spasennikov V, Androsov K, Golubeva G. Ergonomic Factors in Patenting Computer Systems for Personnel’s Selection and Training. In: CEUR Workshop Proceedings : 30; 2020 Sep 22-25; Saint Petersburg. Saint Petersburg: 2020. p. 1.
16. Vangelova A., Gancheva V. AI-Based Automated Scoring Layer Using Large Language Models and Semantic Analysis. Applied Sciences. 2026;16(7):3537. DOIhttps://doi.org/10.3390/app16073537.
