The decomposition of knowledge into an array of “micro-knowledge” permitting a single-valued binary test score is studied. In this case, the test task is formulated as a set of micro-knowledge responses jointly revealing the knowledge level of the specific subsection. It allows presenting the development of a set of responses to a test question as the objective of investigating the multifactor dependence. Thus, the development process of a set of responses can be considered from the perspective of planning a multifactor two-level experiment. This approach allows a good formalization of the test construction, and its result estimation which becomes available to the teachers who do not specialize in the test task development. The method is illustrated by an example of the test construction, and application to assess the knowledge level on the automatic control theory. The data statistics has shown the respondents’ knowledge level, as well as the degree of a tester’s belief to the response awareness.
knowledge factors, experiment planning, two-level multifactor experiments, factor variability, planning matrix.
УДК 517.977:62
Методология организации тестирования на основе алгоритмов планирования и обработки двухуровневых многофакторных экспериментов[1]
Р. А. Нейдорф, Е. Н. Обухова
Исследуется декомпозиция знаний на множество «микрознаний», допускающих однозначную двоичную тестовую оценку. В таком случае задание теста формулируется как набор микрознаний ответов, совокупно раскрывающих уровень знания определенного подраздела. Это позволяет представить разработку набора ответов на тестовый вопрос как задачу исследования многофакторной зависимости. Таким образом, процесс разработки набора ответов можно рассматривать с позиций планирования многофакторного двухуровневого эксперимента. При таком подходе создание теста и оценка его результатов хорошо формализуются и становятся доступны преподавателям, не специализирующимся на разработках тестовых заданий. Методика проиллюстрирована примером построения и применения тестов для оценки уровня знаний по теории автоматического управления. Статистическая обработка результатов тестирования показала уровень знаний испытуемых, а также степень доверия тестирующего к осознанности ответа.
Ключевые слова:факторы знания, планирование эксперимента, двухуровневые многофакторные эксперименты, варьирование факторов, матрица планирования.
[1] Статья написана при поддержке работ темплана Минобра № 2.3.13 «Метод сбалансированной дискретизации для задач имитационного моделирования динамических процессов в распределённых объектах»
1. Yefremova, N.F. Testovyy kontrol v obrazovanii. [Test check in education.] Moscow: Logos: Universitetskaya kniga, 2007, 386 p. (in Russian).
2. Robitalle, D., gen.ed. Curriculum Frameworks for Mathematics and Sci-ence. TIMMS Monograph № 1. Vancouver: Pacific Educational Press, 2003, 616 p.
3. Measuring student knowledge and skills. A New Framework for Assess-ment. Organization for Economic Co-operation and Development (OECD). Paris: OECD Publications Service, 1999, 84 p.
4. Neydorf, R.А., Obukhova, E.N. Metodologiya postroyeniya testov na osnove algoritma planirovaniya dvukhurovnevykh mnogofaktornykh eksperimentov. [Methodology of test construction based on planning algorithm for two-level multifactor experiments.] Informatsionnyye tekhnologii v upravlenii: sb. trudov V Rossiyskoy mezhdunar. konf. [Information technologies in management: Proc. V Rus. Int. Sci. Conf.] 1 electronic optical disc (CD). Saint Petersburg, 2012 (in Russian).
5. Neydorf, R.А., Obukhova, E.N. Metodika sostavleniya testovykh zadaniy na osnove algoritma planirovaniya dvukhurovnevykh mnogofaktornykh eksperimentov i analiz ikh ispolzovaniya v obrazovatelnom protsesse. [Methods of test task preparation based on planning algorithm for two-level multifactor experiments, and analysis of their application in educational process.] Metodiki i tekhnologii obespecheniya i otsenki kachestva obrazovaniya: sb. materialov mezhdunar. nauch. konf. (Kiyev, 26-28 iyunya). [Methods and technologies of ensuring and assessing quality of education: Proc. Int. Sci. Conf. Kiev, 26-28 June.] 1 electronic optical disc (CD-ROM) Kirov: MTsNIP, 2013 (in Russian).
6. Chernova, N.А., Nalimov, V.V. Statisticheskiye metody planirovaniya ekstremalnykh eksperimentov. [Statistical methods of extreme experiment plan-ning.] Moscow: Nauka, 1965, 340 p. (in Russian).
7. Adler, Y.P., Markova, E.V., Granovsky, Y.V. Planirovaniye eksperimenta pri poiske optimalnykh usloviy. [Experiment design in search for optimal conditions.] Moscow: Nauka, 1976, 274 p. (in Russian).
8. Neydorf, R.А., Obukhova, E.N Analiz primeneniya trekhfaktornykh drob-nykh testov v uchebnom protsesse. [Analysis of three-factor fractional test appli-cation in educational process.] Matematicheskiye metody v tekhnike i tekhnologiyakh - MMTT-26: sb. trudov XXVI mezhdunar. nauch. konf. [Bolshakov, A.A., ed. Mathematical methods in engineering and technologies - MMTT-26: Proc. XXVI Int. Sci. Conf.] Nizhny Novgorod, 2013, vol. 9, sec. 11, pp. 320-323 (in Russian).
9. Ventzel, Е.S., Ovcharov, L.A. Teoriya veroyatnostey i yeye inzhenernyye prilozheniya. [Probability theory and its engineering applications.] 3rd ed. Moscow: Akademiya, 2003, 464 p. (in Russian).
10. Neydorf, R.А., Obukhova, E.N. Metodika statisticheskogo rascheta balla testiruyemogo s vydeleniyem oblasti neuverennosti znaniy [Statistical methods of testee’s credit points calculation with selection of knowledge uncertainty.] Sistemnyy analiz, upravleniye i obrabotka informatsii: sb. trudov IV Mezhdunar. nauch. seminara (p. Divnomorskoye, 29 sent. - 3 okt. 2013) [System analysis, management, and information processing: Proc. IV Int. Sci. Seminar (Divnomorskoye, 29 Sept. - 3 Oct.)] 1 electronic optical disc (СD-ROM) (in Russian).
