Vestnik of Don State Technical UniversityVestnik of Don State Technical UniversityВестник Донского государственного технического университета1992-5980269210.12737/4539Инженерное дело, технологии и технические наукиEngineering, Technology and Technical SciencesИнженерное дело, технологии и технические наукиTesting design methodology based on two-level multifactor experiment planning and data processingМетодология организации тестирования на основе алгоритмов планирования и обработки двухуровневых многофакторных экспериментовНейдорфРудольф АнатольевичNeydorfRudolf Анатольевичran_pro@mail.ruОбуховаЕлена НиколаевнаObukhovaElena Николаевнаelena21@spark-mail.ru0606201406062014142https://zh-szf.ru/en/nauka/article/2692/view
Исследуется декомпозиция знаний на множество «микрознаний», допус-кающих однозначную двоичную тестовую оценку. В таком случае задание теста формулируется как набор микрознаний ответов, совокупно раскрывающих уровень знания определенного подраздела. Это позволяет представить разработку набора ответов на тестовый вопрос как задачу исследования многофакторной зависимости. Таким образом, процесс разработки набора ответов можно рассматривать с позиций планирования многофакторного двухуровневого эксперимента. При таком подходе создание теста и оценка его результатов хорошо формализуются и становятся доступны преподавателям, не специализирующимся на разработках тестовых заданий. Методика проиллюстрирована примером построения и применения тестов для оценки уровня знаний по теории автоматического управления. Статистическая обработка результатов тестирования показала уровень знаний испытуемых, а также степень доверия тестирующего к осознанности ответа.
The decomposition of knowledge into an array of “micro-knowledge” permitting a single-valued binary test score is studied. In this case, the test task is formulated as a set of micro-knowledge responses jointly revealing the knowledge level of the specific subsection. It allows presenting the development of a set of responses to a test question as the objective of investigating the multifactor dependence. Thus, the development process of a set of responses can be considered from the perspective of planning a multifactor two-level experiment. This approach allows a good formalization of the test construction, and its result estimation which becomes available to the teachers who do not specialize in the test task development. The method is illustrated by an example of the test construction, and application to assess the knowledge level on the automatic control theory. The data statistics has shown the respondents’ knowledge level, as well as the degree of a tester’s belief to the response awareness.
УДК 517.977:62 Методология организации тестирования на основе алгоритмов планирования и обработки двухуровневых многофакторных экспериментов[1] Р. А. Нейдорф, Е. Н. Обухова Исследуется декомпозиция знаний на множество «микрознаний», допускающих однозначную двоичную тестовую оценку. В таком случае задание теста формулируется как набор микрознаний ответов, совокупно раскрывающих уровень знания определенного подраздела. Это позволяет представить разработку набора ответов на тестовый вопрос как задачу исследования многофакторной зависимости. Таким образом, процесс разработки набора ответов можно рассматривать с позиций планирования многофакторного двухуровневого эксперимента. При таком подходе создание теста и оценка его результатов хорошо формализуются и становятся доступны преподавателям, не специализирующимся на разработках тестовых заданий. Методика проиллюстрирована примером построения и применения тестов для оценки уровня знаний по теории автоматического управления. Статистическая обработка результатов тестирования показала уровень знаний испытуемых, а также степень доверия тестирующего к осознанности ответа.Ключевые слова:факторы знания, планирование эксперимента, двухуровневые многофакторные эксперименты, варьирование факторов, матрица планирования. [1] Статья написана при поддержке работ темплана Минобра № 2.3.13 «Метод сбалансированной дискретизации для задач имитационного моделирования динамических процессов в распределённых объектах»
Ефремова, Н. Ф. Тестовый контроль в образовании / Н. Ф. Ефремова. - Москва : Логос : Университетская книга, 2007. - 386 с.Yefremova, N.F. Testovyy kontrol v obrazovanii. [Test check in education.] Moscow: Logos: Universitetskaya kniga, 2007, 386 p. (in Russian).Curriculum Frameworks for Mathematics and Science / general editor D. Robitalle // TIMMS Monograph № 1. - Vancouver : Pacific Educational Press, 2003. - 616 p.Robitalle, D., gen.ed. Curriculum Frameworks for Mathematics and Sci-ence. TIMMS Monograph № 1. Vancouver: Pacific Educational Press, 2003, 616 p.Measuring student knowledge and skills. A New Framework for Assess-ment / Organization for Economic Co-operation and Development (OECD). - Paris : OECD Publications Service, 1999. - 84 p.Measuring student knowledge and skills. A New Framework for Assess-ment. Organization for Economic Co-operation and Development (OECD). Paris: OECD Publications Service, 1999, 84 p.Нейдорф, Р. А. Методология построения тестов на основе алгоритма планирования двухуровневых многофакторных экспериментов [Электронный ресурс] / Р. А. Нейдорф, Е. Н. Обухова // Информационные технологии в управлении : сб. трудов V Российской междунар. конф. - Санкт-Петербург, 2012. - 1 электрон. опт. диск (CD).Neydorf, R.А., Obukhova, E.N. Metodologiya postroyeniya testov na osnove algoritma planirovaniya dvukhurovnevykh mnogofaktornykh eksperimentov. [Methodology of test construction based on planning algorithm for two-level multifactor experiments.] Informatsionnyye tekhnologii v upravlenii: sb. trudov V Rossiyskoy mezhdunar. konf. [Information technologies in management: Proc. V Rus. Int. Sci. Conf.] 1 electronic optical disc (CD). Saint Petersburg, 2012 (in Russian).Нейдорф, Р. А. Методика составления тестовых заданий на основе алгоритма планирования двухуровневых многофакторных экспериментов и анализ их использования в образовательном процессе [Электронный ресурс] / Р. А. Нейдорф, Е. Н. Обухова // Методики и технологии обеспечения и оценки качества образования : сб. материалов междунар. науч. конф. (Киев, 26-28 июня). - Киров : МЦНИП, 2013. - 1 электрон. опт. диск (CD-ROM).Neydorf, R.А., Obukhova, E.N. Metodika sostavleniya testovykh zadaniy na osnove algoritma planirovaniya dvukhurovnevykh mnogofaktornykh eksperimentov i analiz ikh ispolzovaniya v obrazovatelnom protsesse. [Methods of test task preparation based on planning algorithm for two-level multifactor experiments, and analysis of their application in educational process.] Metodiki i tekhnologii obespecheniya i otsenki kachestva obrazovaniya: sb. materialov mezhdunar. nauch. konf. (Kiyev, 26-28 iyunya). [Methods and technologies of ensuring and assessing quality of education: Proc. Int. Sci. Conf. Kiev, 26-28 June.] 1 electronic optical disc (CD-ROM) Kirov: MTsNIP, 2013 (in Russian).Чернова, Н. А. Статистические методы планирования экстремальных экспериментов / Н. А. Чернова, В. В. Налимов. - Москва : Наука, 1965. - 340 с.Chernova, N.А., Nalimov, V.V. Statisticheskiye metody planirovaniya ekstremalnykh eksperimentov. [Statistical methods of extreme experiment plan-ning.] Moscow: Nauka, 1965, 340 p. (in Russian).Адлер, Ю. П. Планирование эксперимента при поиске оптимальных условий / Ю. П. Адлер, Е. В. Маркова, Ю. В. Грановский. - Москва : Наука, 1976. - 274 с.Adler, Y.P., Markova, E.V., Granovsky, Y.V. Planirovaniye eksperimenta pri poiske optimalnykh usloviy. [Experiment design in search for optimal conditions.] Moscow: Nauka, 1976, 274 p. (in Russian).Нейдорф, Р. А. Анализ применения трехфакторных дробных тестов в учебном процессе / Р. А. Нейдорф, Е. Н. Обухова // Математические методы в технике и технологиях - ММТТ-26 : сб. трудов XXVI междунар. науч. конф. / под общ. ред. А. А. Большакова. - Нижний Новгород, 2013. - Т. 9, секция 11. - С. 320-323.Neydorf, R.А., Obukhova, E.N Analiz primeneniya trekhfaktornykh drob-nykh testov v uchebnom protsesse. [Analysis of three-factor fractional test appli-cation in educational process.] Matematicheskiye metody v tekhnike i tekhnologiyakh - MMTT-26: sb. trudov XXVI mezhdunar. nauch. konf. [Bolshakov, A.A., ed. Mathematical methods in engineering and technologies - MMTT-26: Proc. XXVI Int. Sci. Conf.] Nizhny Novgorod, 2013, vol. 9, sec. 11, pp. 320-323 (in Russian).Вентцель, Е. С. Теория вероятностей и ее инженерные приложения / Е. С. Вентцель, Л. А. Овчаров. - 3-е изд. - Москва : Академия, 2003. - 464 с.Ventzel, Е.S., Ovcharov, L.A. Teoriya veroyatnostey i yeye inzhenernyye prilozheniya. [Probability theory and its engineering applications.] 3rd ed. Moscow: Akademiya, 2003, 464 p. (in Russian).Нейдорф, Р. А. Методика статистического расчета балла тестируемого с выделением области неуверенности знаний [Электронный ресурс] / Р. А. Нейдорф, Е. Н. Обухова // Системный анализ, управление и обработка информации : сб. трудов IV Междунар. науч. семинара (п. Дивноморское, 29 сент. - 3 окт. 2013). - 1 электрон. опт. диск (СD-ROM).Neydorf, R.А., Obukhova, E.N. Metodika statisticheskogo rascheta balla testiruyemogo s vydeleniyem oblasti neuverennosti znaniy [Statistical methods of testee’s credit points calculation with selection of knowledge uncertainty.] Sistemnyy analiz, upravleniye i obrabotka informatsii: sb. trudov IV Mezhdunar. nauch. seminara (p. Divnomorskoye, 29 sent. - 3 okt. 2013) [System analysis, management, and information processing: Proc. IV Int. Sci. Seminar (Divnomorskoye, 29 Sept. - 3 Oct.)] 1 electronic optical disc (СD-ROM) (in Russian).