The possibilities of using the fuzzy clustering method in the automated system of evaluation working efficiency of the experts’ validation status on the assessment of the state final certification in the form of the Unified State Exam (USE) are considered. Various parameters of experts’ evaluation and their calculation formula are presented. The parameters are divided into the following groups: basic statistical parameters, advanced statistical parameters, normalized parameters, and quality parameters. The application of the fuzzy clustering method using a weighted Euclidean metric is illustrated by the case of the assessment of the experts’ work in the subject commission on mathematics (profession-oriented level). The experiments are performed with and without noises with the subsequent conclusions of the impact of noises on the results. Besides, the experimental results are presented in tables and graphs with partitioning of experts into clusters.
fuzzy logic, cluster analysis, Unified State Exam, evaluation, noise in the data, term-sets.
С 2009 года в России единый государственный экзамен (ЕГЭ) является единственной формой государственной итоговой аттестации обучающихся в организациях общего среднего образования и одновременно вступительных испытаний в вузы.
По большинству предметов задания делятся на три группы в зависимости от их сложности. Первая группа — задания области А, самые простые. В них предлагается выбрать правильный ответ из предложенных вариантов. Вторая группа — задания области В. Они сложнее, предполагают самостоятельное написание краткого ответа. Ответы на задания групп А и В вносятся в бланк и проверяются с помощью компьютера. Третья группа — задания области С, самые сложные. Они требуют развернутых ответов. Например, предлагается написать эссе, привести решение задачи, дать обоснованный ответ на вопрос и т. д. Тексты ответов вносятся в бланк и проверяются экспертами региональной экспертной комиссии. Следует отметить, что нередки случаи некорректного выставления баллов экспертами при проверке заданий области С. В связи с этим конечный балл, полученный экзаменуемым, зависит не только от правильности выполненных им заданий, но и от компетентности проверяющих [1].
Таким образом, важной задачей является формирование квалифицированной экспертной комиссии, проверяющей задания области С.
1. Grankov, M.V., Shcherbinin, T.A. Otsenka parametrov raboty ekspertov predmetnoy komissii po proverke ekza-mena v forme EGE. [Parameter estimation of experts’ work in the subject commission on the assessment of the exam in the form of USE.] Sistemnyy analiz, upravlenie i obrabotka informatsii: Trudy 5 Mezhdunarodnogo seminara. [System analysis, management and information processing: Proc. 5th Int. workshop.] Neydorf, R.A., ed. Rostov-on-Don: DSTU Publ. Centre, 2014, pp. 282-285 (in Russian).
2. Shcherbinin, T.A., Grankov, M.V. Otsenka kachestva raboty ekspertov, proveryayushchikh ekzameny v forme EGE, s pomoshch´yu sistemy klasterizatsii. [Assessment of the quality of experts checking examination in the form of in the form of USE through clustering system.] Avtomatizatsiya tekhnologicheskikh ob´´ektov i protsessov. Poisk molodykh. Sbornik nauchnykh rabot KhV nauchno-tekhnicheskoy konferentsii aspirantov i studentov. [Automation of technological objects and processes. Search of the Young: Coll. Sci. papers XV Sci.-Tech. Conf. of graduate and undergraduate students.]Donetsk: DonNTU, 2015, pp. 208-211 (in Russian).
3. Gmurman, V.E. Teoriya veroyatnostey i matematicheskaya statistika. [Theory of probability and Mathematical statistics.] Moscow: Vysshaya shkola, 2003, 479 p. (in Russian).
4. Zadeh, L.-A. The Concept of a Linguistic Variable and its Application to Approximate Reasoning-I. Information Sciences, 1975, vol. 8, pp. 199-249.
5. Zadeh, L.-A. The Concept of a Linguistic Variable and its Application to Approximate Reasoning-III. Information Sciences, 1975, vol. 9, pp. 43-80.
6. Hoppner, F., et al. Fuzzy Cluster Analysis: Methods for Classification, Data Analysis and Image Recognition. New York: John Wiley & Sons Inc., 1999, 300 p.
7. Kaushik, K., Hemanta, K. Extension of the fuzzy c means clustering algorithm to fit with the composite graph model for web document representation. International Journal of Cognitive Research in science, engineering and education, 2013, vol. 1, no. 2, p. 8.
8. Rutkovskiy, L. Metody i tekhnologii iskusstvennogo intellekta. [Methods and technologies of artificial intelli-gence.] Moscow: Goryachaya Liniya - Telekom, 2010, 520 p. (in Russian).
9. Bargesyan, A.A., et al. Analiz dannykh i protsessov. [Analysis of data and processes.] 3rd revised and enlarged ed. SPb.: BVKh-Peterburg, 2009, 512 p. (in Russian).
10. Shcherbinin, T.A., Grankov, M.V., Krasnova, E.V. The method of assessing the quality of work of the Commission to verify exams. Strategies for sustainable development of the world science: Proc. V Int. Sci. Conf. Eurasian scientific associ-ation. Moscow: ЕNО, 2015, pp. 31-33.
