Vestnik of Don State Technical UniversityVestnik of Don State Technical UniversityВестник Донского государственного технического университета1992-59801223810.12737/20222Информатика, вычислительная техника и управлениеINFORMATION TECHNOLOGY, COMPUTER SCIENCE AND MANAGEMENTИнформатика, вычислительная техника и управлениеСlustering method for quality verification of experts’ Unified State Examination checking Метод кластеризации в системе оценки результатов работы экспертов по проверке экзаменов в форме ЕГЭГранков Михаил Васильевич Grankov Mikhail Васильевич Щербинин Тимофей АлександровичShcherbinin Timofey Александрович2106201621062016163110118https://zh-szf.ru/en/nauka/article/12238/view
Цель данного исследования — рассмотрение возможности использования метода нечеткой кластеризации в автоматизи-рованной системе оценивания эффективности работы экспертов по проверке результатов государственной итоговой аттестации в форме ЕГЭ. Представлены различные показатели результатов работы экспертов и их расчетные формулы. Параметры разбиты на следующие группы: базовые, статистические оценки базовых, нормированные и качественные. Применение метода нечеткой кластеризации с использованием взвешенной метрики Евклида показано на примере оценивания работы экспертов предметной комиссии по математике (профильный уровень). Эксперименты проводились с учетом и без учета шумов с последующими выводами о влиянии, которое оказывают шумы на результаты. Также по результатам экспериментов были представлены таблицы и графики с разбиением экспертов на кластеры.
The possibilities of using the fuzzy clustering method in the automated system of evaluation working efficiency of the experts’ validation status on the assessment of the state final certification in the form of the Unified State Exam (USE) are considered. Various parameters of experts’ evaluation and their calculation formula are presented. The parameters are divided into the following groups: basic statistical parameters, advanced statistical parameters, normalized parameters, and quality parameters. The application of the fuzzy clustering method using a weighted Euclidean metric is illustrated by the case of the assessment of the experts’ work in the subject commission on mathematics (profession-oriented level). The experiments are performed with and without noises with the subsequent conclusions of the impact of noises on the results. Besides, the experimental results are presented in tables and graphs with partitioning of experts into clusters.
нечеткая логикакластерный анализЕГЭоцениваниешумы в данныхтерм-множества.fuzzy logiccluster analysisUnified State Examevaluationnoise in the dataterm-sets.
С 2009 года в России единый государственный экзамен (ЕГЭ) является единственной формой государственной итоговой аттестации обучающихся в организациях общего среднего образования и одновременно вступительных испытаний в вузы.По большинству предметов задания делятся на три группы в зависимости от их сложности. Первая группа — задания области А, самые простые. В них предлагается выбрать правильный ответ из предложенных вариантов. Вторая группа — задания области В. Они сложнее, предполагают самостоятельное написание краткого ответа. Ответы на задания групп А и В вносятся в бланк и проверяются с помощью компьютера. Третья группа — задания области С, самые сложные. Они требуют развернутых ответов. Например, предлагается написать эссе, привести решение задачи, дать обоснованный ответ на вопрос и т. д. Тексты ответов вносятся в бланк и проверяются экспертами региональной экспертной комиссии. Следует отметить, что нередки случаи некорректного выставления баллов экспертами при проверке заданий области С. В связи с этим конечный балл, полученный экзаменуемым, зависит не только от правильности выполненных им заданий, но и от компетентности проверяющих [1]. Таким образом, важной задачей является формирование квалифицированной экспертной комиссии, проверяющей задания области С.
Гранков, М. В. Оценка параметров работы экспертов предметной комиссии по проверке экзамена в форме ЕГЭ / М. В. Гранков, Т. А. Щербинин // Системный анализ, управление и обработка информации : тр. 5-го Междунар. семинара / под общ. ред. Р. А. Нейдорфа. - Ростов-на-Дону : Изд. центр ДГТУ, 2014. - С. 282-285.Grankov, M.V., Shcherbinin, T.A. Otsenka parametrov raboty ekspertov predmetnoy komissii po proverke ekza-mena v forme EGE. [Parameter estimation of experts’ work in the subject commission on the assessment of the exam in the form of USE.] Sistemnyy analiz, upravlenie i obrabotka informatsii: Trudy 5 Mezhdunarodnogo seminara. [System analysis, management and information processing: Proc. 5th Int. workshop.] Neydorf, R.A., ed. Rostov-on-Don: DSTU Publ. Centre, 2014, pp. 282-285 (in Russian).Щербинин, Т. А. Оценка качества работы экспертов, проверяющих экзамены в форме ЕГЭ, с помощью си-стемы кластеризации / Т. А. Щербинин, М. В. Гранков // Автоматизация технологических объектов и процессов. Поиск молодых : сб. науч. работ ХV науч.-техн. конф. аспирантов и студентов. - Донецк : ДонНТУ, 2015. - C. 208-211.Shcherbinin, T.A., Grankov, M.V. Otsenka kachestva raboty ekspertov, proveryayushchikh ekzameny v forme EGE, s pomoshch´yu sistemy klasterizatsii. [Assessment of the quality of experts checking examination in the form of in the form of USE through clustering system.] Avtomatizatsiya tekhnologicheskikh ob´´ektov i protsessov. Poisk molodykh. Sbornik nauchnykh rabot KhV nauchno-tekhnicheskoy konferentsii aspirantov i studentov. [Automation of technological objects and processes. Search of the Young: Coll. Sci. papers XV Sci.-Tech. Conf. of graduate and undergraduate students.]Donetsk: DonNTU, 2015, pp. 208-211 (in Russian).Гмурман, В. Е. Теория вероятностей и математическая статистика / В. Е. Гмурман. - Москва : Высшая школа, 2003. - 479 с.Gmurman, V.E. Teoriya veroyatnostey i matematicheskaya statistika. [Theory of probability and Mathematical statistics.] Moscow: Vysshaya shkola, 2003, 479 p. (in Russian).Zadeh, L.-A. The Concept of a Linguistic Variable and its Application to Approximate Reasoning-I / L.-A. Za-deh // Information Sciences. - 1975. -Vol. 8. - P. 199-249.Zadeh, L.-A. The Concept of a Linguistic Variable and its Application to Approximate Reasoning-I. Information Sciences, 1975, vol. 8, pp. 199-249.Zadeh, L.-A. The Concept of a Linguistic Variable and its Application to Approximate Reasoning-III / L.-A. Zadeh // Information Sciences. - 1975. - Vol. 9. - P. 43-80.Zadeh, L.-A. The Concept of a Linguistic Variable and its Application to Approximate Reasoning-III. Information Sciences, 1975, vol. 9, pp. 43-80.Fuzzy Cluster Analysis: Methods for Classification, Data Analysis and Image Recognition / F. Hoppner [et al.]. - New York : John Wiley & Sons Inc. - 1999. - 300 p.Hoppner, F., et al. Fuzzy Cluster Analysis: Methods for Classification, Data Analysis and Image Recognition. New York: John Wiley & Sons Inc., 1999, 300 p.Kaushik, K. Extension of the fuzzy c means clustering algorithm to fit with the composite graph model for web document representation / K. Kaushik, K. Hemanta // International Journal of Cognitive Research in science, engineering and education. -2013. - Vol. 1, № 2. - 8 p.Kaushik, K., Hemanta, K. Extension of the fuzzy c means clustering algorithm to fit with the composite graph model for web document representation. International Journal of Cognitive Research in science, engineering and education, 2013, vol. 1, no. 2, p. 8.Рутковский, Л. Методы и технологии искусственного интеллекта / Л. Рутковский. - Москва : Горячая Ли-ния - Телеком, 2010. - 520 с.Rutkovskiy, L. Metody i tekhnologii iskusstvennogo intellekta. [Methods and technologies of artificial intelli-gence.] Moscow: Goryachaya Liniya - Telekom, 2010, 520 p. (in Russian).Анализ данных и процессов / А. А. Баргесян [и др.]. - 3-е изд., перераб. и доп. - Санкт-Петербург : БХВ-Петербург, 2009. - 512 с.Bargesyan, A.A., et al. Analiz dannykh i protsessov. [Analysis of data and processes.] 3rd revised and enlarged ed. SPb.: BVKh-Peterburg, 2009, 512 p. (in Russian).Щербинин, Т. А. The method of assessing the quality of work of the Commission to verify exams / Т. А. Щербинин, М. В. Гранков, Е. В. Краснова // Стратегии устойчивого развития мировой науки : тр. V Междунар. науч. конф. Евразийского научного объединения. - Москва : ЕНО, 2015. - С. 31-33.Shcherbinin, T.A., Grankov, M.V., Krasnova, E.V. The method of assessing the quality of work of the Commission to verify exams. Strategies for sustainable development of the world science: Proc. V Int. Sci. Conf. Eurasian scientific associ-ation. Moscow: ЕNО, 2015, pp. 31-33.