Брянск, Брянская область, Россия
Бендере, Приднестровская Молдавская Республика
Бендеры, Приднестровская Молдавская Республика
ГРНТИ 12.09 Развитие науки
Приведена классификация электронных тестов, которые играют значительную роль в процессе образовательной деятельности. Дана характеристика и описаны возможности программного обеспечения для создания тестов. Выделены уровни и соответствующие им способы оценки эффективности образовательного процесса, установлены основные требования к разработке кафедральных обучающих тестов. Разработаны критерии эффективности использования обучающих тестов на примере одного из занятий. Намечены перспективы электронного обучения в инженерном образовании.
знания, электронное тестирование, программные продукты, стандартизация, оценка квалификаций, инженерное оборудование
Конструирование и использование электронных тестов и оценки знаний обучаемых на основе статистической обработки результатов тестирования относятся к категории наиболее значимых процессов образовательной деятельности. Развитие электронного обучения обусловило необходимость разработки и стандартизации процессов электронного обучения на международном (ИСО/МЭК) и национальном (ГОСТ Р) уровнях. Основываясь на этих стандартах, необходима разработка программной модели электронного обучения и детальные функциональные модели для процессов разработки электронных тестов, реализации тестирования и обработки результатов. [5, 20, 21, 22].
На основе опроса преподавателей универ
ситетов и экспертов Б.М. Поздеевым с соавтором [11] была составлена классификация электронных тестов по целевому назначению в образовательном процессе(рис.1) и специфике получения информации о знаниях обучаемых.
Адекватное оценивание степени и глубины усвоения требуемых знаний является одной из актуальных научных задач в условиях внедрения информационных и телекоммуникационных технологий [1,2,3,7 и др.]
Как показано в целом ряде работ в настоящее время в России используется несколько программных продуктов, позволяющих создавать разно уровневые тесты оценки знаний [4, 16, 19], которые приведены в табл.1.
Рис. 1. Классификация электронных тестов в образовательном процессе
Таблица 1.Программные продукты для создания тестов и возможности программного обеспечения
|
Возможности программного обеспечения |
Название программ для создания тестов |
|||
|
TestBuilder |
TestGoldStudio |
PCTest |
«Контроль знаний» |
|
|
Создание вопросов и вариантов ответов |
+ |
+ |
+ |
+ |
|
Возможность выбора нескольких вариантов ответа на один вопрос |
+ |
+ |
- |
- |
|
Наличие инструкции по выполнению теста |
- |
+ |
- |
- |
|
Кол-во вопросов в базе не менее 30 |
- |
+ |
- |
+ |
|
Длина вопросов/ответов не менее 400 символов |
- |
+ |
+ |
+ |
|
Вариантов теста не менее четырех |
- |
+ |
+ |
+ |
|
Вариантов ответа на вопрос не менее трех |
+ |
+ |
+ |
+ |
|
Защита от изменений/просмотра конструкций теста/правильных ответов |
- |
+ |
- |
+ |
|
Возможность генерации теста из вариантов случайным образом |
- |
- |
- |
+ |
|
Наличие именной строки данных (создание пользователей)/ многопользовательский режим |
+ |
+ |
- |
+ |
|
Нумерация вопросов/текущего вопроса/общее кол-во вопросов |
|
+ |
+ |
+/- |
|
Ограничение по времени на вопрос/на все тестирование |
- |
+ |
+ |
+ |
|
Создание аудио-,видео вопросов |
- |
+ |
- |
- |
|
Вставка рисунков в тексте вопроса и/или варианты ответов |
|
+ |
- |
- |
|
Создание ответов в свободной форме (открытых ответов) |
- |
+ |
- |
- |
|
Кол-во полученных баллов/правильных ответов |
+ |
+ |
+ |
+ |
|
Сохранение результатов (по имена тестируемых) |
- |
+ (-) |
+ (-) |
+ |
|
Выдача по окончании результатов о прохождении тестов с вариантами верных/неверных ответов |
+ |
+ |
- |
- |
|
Возможность вывода результата в баллах/процентах |
+/- |
+/+ |
-/+ |
+/- |
|
Вывод результатов на принтер |
- |
+ |
- |
+ |
В таблице представлены наиболее популярные программные продукты, которые занимают большую часть рынка данного вида продуктов. Из других средств создания и проведения тестов в электронном виде, которые также заслуживают внимания, следует отметить программные продукты под названиями: Examinator, TestRunner, Программа «Ассистент 2», SunRavTestOfficePro, Тест знаний студентов (test), ABCSoftTest, TestMan, TestSystem, и некоторые другие [2,8,13,17,18]
Использование различных программных продуктов для тестового контроля знаний тесно связано с вопросами стандартизации образовательного процесса, данной проблеме как в России, так и за рубежом уделяется неослабное внимание [9, 11, 14, 22].
В монографии А.П.Свиридова [13] показано, что эффективность образовательного процесса имеет неразрывную связь с понятием его качества, определяемого как расхождение между запланированными задачами обучения и достигнутыми результатами. В рамках образовательного процесса выделяют следующие уровни и соответствующие им способы оценки эффективности:
• отдельной учебной программы;
• отдельного учебного курса;
• отдельного учебного модуля;
• отдельного учебного занятия;
• отдельного учебного (педагогического) приема.
На рис. 2 представлена структура образовательного процесса определенного таким образом.
Кроме того, могут быть выделены понятия эффективности и точности различных педагогических средств контроля, среди которых можно выделить уровни:
• отдельного педагогического теста;
• отдельного тестового вопроса (задачи).
Понятие эффективности имеет для тестов и их элементов другой смысл, заключающийся в способности выявлять латентные (ненаблюдаемые) параметры уровня подготовленность испытуемого [12] при заданных ограничениях: по времени прохождения в объёме испытаний, а точность – в способности получения адекватных вероятностных характеристик этих параметров с заданной разрешающей способностью [10].
Рис.2. Структура образовательного процесса
Роль различных видов тестов в образовательном процессе определяется их назначением (рис.1), при этом в психолого-педагогической и эргономической литературе основное внимание уделяется контролирующим тестам, в том числе в электронной форме [2, 7, 11, 16 и др.].
Международные стандарты в области электронного тестирования [15, l6] также в основном описывают требования к разработке и применению именно контролирующих тестов, сосредотачиваясь на их особом виде — электронных тестах, имеющих важные последствия для испытуемого (англ. high-stakee-Test) [5].
Примером активно используемых тестов подобной направленности могут служить государственные экзамены на получение водительских прав, единый государственный экзамен для школьников, профессиональные сертификационные экзамены таких фирм, как 1ВМ, Microsoft, Cisco, lC. Ряд из подобных экзаменов уже сейчас проводится в электронной форме, что предъявляет дополнительные требования не только самим тестам, но и к сервисам электронного тестирования, среди которых важно отметить необходимость юридически значимой идентификации испытуемого. [3, 9, 17, 19].
При описании основных характеристик качественных контролирующих тестов обычно указывается, что они должны быть надежны (англ. reliable), т.е. позволять стабильное измерение и дифференциацию различных уровней подготовленности, и валидное (англ. valid), т.е. поставлять полезные сведения относительно именно того объекта, для проверки которого они предназначены. Кроме того, контролирующие тесты должны быть узнаваемы (англ. recognizable), т.е. должны получать все необходимые инструкции по их прохождению, и реалистичными (англ.realistic) т.е. ограничивать необходимое время и усилия на их выполнение разумными пределами. Совокупность указанных характеристик способна сделать контролирующие тесты объективными (англ. objective), т.е. избавленными от любых субъективных влияний экзаменаторов на полученные оценки [5].
В имеющейся учебно-методической литературе [посвященной вопросам тестирования, выделяются понятия тестовых заданий, каждое из которых имеет определенную форму и предназначено для проверки какого-то определенного знания или умения, и теста, представляющего собой некоторую совокупность (систему, композицию) тестовых знаний.
Рассматривается как правило, только контролирующие тесты, среди которых выделяются следующие типы по их отношению к отдельной дисциплине:
• гомогенный — измеряет знание по одной учебной дисциплине;
• гетерогенный — включает в себя несколько гомогенных тестов по нескольким дисциплинам;
• интегративный — состоит из заданий, для ответа на которые требуются знания нескольких учебных дисциплин.
С точки зрения композиции за даний выделяются следующие типовые системы:
• цепные задания — задания, в которых правильный ответ на последующее задание зависит от ответа на предыдущее;
• тематические задания — совокупность заданий любой формы, созданных для контроля знаний по изучаемой теме;
Ситуационные задания – задания, разрабатываемые для проверки знаний и умений испытуемых действовать в практических,
экстремальных и других ситуациях.
Основное внимание уделяется, как правило, заданиям в тестовой форме, имеющим следующие основные преимущества (В.Н. Друженник с соавторами, 2004) [6].
• утвердительная форма предложениях воспринимается лучше, чем вопросительная;
• в тестах лучше понятен смысл и значение заданий;
• четкая и быстрая дифференцируемость правильного ответа от неправильного.
Среди различных форм тестовых заданий большинство отечественных и зарубежных авторов выделяют шесть типовых [13,14,19]
• с выбором одного правильного ответа (число ответов от 2 до 5);
• с выбором одного наиболее правильного ответа;
• с выбором нескольких правильных ответов (число ответов от 5 до 14).
• открытой формы;
• на установление соответствия;
• на установление правильной последовательности.
В зависимости от формы задания к его результату могут быть применены самые разные методики расчета оценки, включая использования весовых коэффициентов. Основное внимание при разработке контролирующих тестов традиционно рекомендуется уделять качеству дистракторов (вариантам ответов в заданиях с выбором, не являющихся правильными решениями), которые статистически должны запутывать примерно половину тестируемых, а также информационной изолированности одних тестовых заданий от других, не позволяющей испытуемому получить из них какие-либо дополнительные подсказки. В более современных и точных требованиях, относящихся к разработке сертифицированных учебных курсов [11], уже выделяются требования не только к контрольным, но и другим видам тестов, в частности:
• доступ к материалам курса должен предваряться перечислением требований к входному уровню знаний слушателя. Рекомендуется проводить его проверку входным тестом, по результатам которого формируется прогноз успешности обучения и дается соответствующее методическое указание. Входной тест в зависимости от целевой аудитории может быть как обязательным для прохождения, так и необязательным;
• курс должен содержать учебные и контрольные тесты, а также практические занятия для самостоятельной работы, обеспечивающие контроль усвоения теоретических материалов. Неправильные ответы к вопросам теста выбираются из числа типовых ошибок, допускаемых слушателями в ходе очного обучения. Вопросы или задания учебных тестов должны содержать комментарии к ответам, которые приводят верный ход решения или указывают вероятную причину совершения ошибки. Вопрос теста рекомендуется сопровождать иллюстрацией, например, копией соответствующей экранной формы.
Для учебных тестов рекомендуется отказ от большинства типовых ограничений, присущих методикам разработки контрольных тестов. Подобный отказ имеет в образовательном процессе очень существенное значение, в том числе психологическое, поскольку позволяет осуществить переход от роли и психологической позиции преподавателя-контролера к роли и позиции преподавателя-наставника. Кроме того, дальнейшее»; ее развитие этом направлении может быть с успехом применено для создания «дружелюбных» электронных тестов и передачи роли наставника компьютерным системам.
С учетом указанных замечаний, были сформулированы следующие общие рекомендации по составлению тестовых заданий
в кафедральных тестах [1, 3, 4].
• использовать утвердительные, а не вопросительные предложения при формулировке задания (вопроса);
• не использовать более одного придаточного предложения в задании;
• не допускать двоякого толкования задания (вопроса); каждый вопрос сопровождать краткой инструкцией;
• ответы к заданиям с выбором одного правильного ответа, с выбором наиболее правильного ответа, с выбором нескольких правильных ответов должны относиться к одной предметной области (тезаурусу);
• для заданий на установление соответствия:
- названия групп, между элементами которых устанавливается соответствие, должны быть короткими,
- все элементы группы должны соответствовать заголовку,
- элементы в каждой группе должны быть пронумерованы;
В качестве надежных источников следует выбирать федеральные законы (ФЗ), международные (ИСОМЭК), межгосударственные. (ГОСТ) и национальные (ГОСТ Р) стандарты. Надежными источниками могут служить также учебные пособия и монографии, другие авторские публикации с подтвержденной надежностью и адекватностью проверяемой в тесте теме;
- при использовании переводных материалов следует самостоятельно проверять точность перевода, обращаясь к источникам на языке оригинала;
- наименования источников следует приводить очные и полные, по возможности указывать URL доступного электронного ресурса. В обучающих (развивающих) тестах важна последовательность и безошибочность тестовых заданий (вопросов), поэтому на уровне кафедры установлены требования по их разработке в два приема [7,13].
1) разрабатывается документ формата эссе, в котором приводится общая структура теста — определяется полный набор заданий с правильными ответами, перед каждым блоком заданий приводится краткая теория с аргументированными пояснениями (доказательствами) правильности ответа, в конце документа указываются все использованные источники;
2) после обсуждения и согласования структуры теста с кафедрой в тестовые задания вносятся необходимые дистракторы.
Указанные требования, кроме всего прочего, позволяют подключать к разработке учебно-методических материалов самих обучаемых, особенно старших курсов. С точки зрения повышения эффективности учебного процесса подобный подход ориентирован не столько на экономию времени преподавателей. Сколько на вовлечение самих обучаемых в учебный процесс: возрастает их самостоятельность и ответственность при разработке документов, предназначенных для контроля знаний в письменной форме; снижается психологический разрыв с преподавателями.
Поскольку обучающие (развивающие) тесты часто используются как входные, основное внимание при их разработке должно уделяться знанию, пониманию и умению пользоваться соответствующей терминологией. Кроме того, за счет подключения обучающих к разработке тестов может быть в какой-то степени решена проблема приобретения ими необходимых навыков структурирования научных публикаций, что особенно важно для выпускных квалификационных работ и диссертаций. Исходя из указанных рассуждений на кафедральном уровне требования по обязательному наличию в обучающих тестах следующих 8 блоков [14, 15]:
l. Проверка знания точных формулировок
определений. Знание определений проверяется в заданиях с выбором одного правильного ответа. При этом первым проверяется более общее определение, затем его частные случаи.
2. Проверка понимания определений. Подробный разбор каждого определения производится в заданиях с выбором нескольких правильных ответов.
З. Проверка использования терминологии в устной и письменной речи. В заданиях на установление соответствия определения связываются с примерами из реальной практики.
4. Проверка использования терминологии при планировании. В заданиях на установление последовательности проверяется знание правильного порядка шагов (действий, работ).
5. Проверка использования терминологии при решении задач. Задачи в основном должны быть математические, связанные с понятными примерами и потенциально решаемыми в уме. Приветствуется экономическая направленность задач.
6. Проверка знания истории. Проверяется знание дат возникновения и фамилий авторов соответствующих теорий.
7. Проверка знания текущего состояния развития теории в России и в мире, а также связи теории с экономикой и бизнесом.
8. Проверка знания более общей и смежной терминологии (эрудицией). Дополнительные рекомендации [6, 13], которые позволяют исключить задания открытой формы:
• составлять и располагать вопросы так, чтобы ответы на одни вопросы служили подсказкой к ответам на другие, причём правильные ответы на следующие вопросы могут таким образом выводиться из предыдущих и наоборот,
• использовать в обучающих тестах только явные дистракторы;
• строго соблюдать закон исключенного третьего (из двух высказываний — «А» или «не А» — одно обязательно является истинным);
• исключить в тесте любые внутренние логические противоречия и разночтения.
Рассмотрим пример оценки эффективности образовательного процесса на примере одного занятия, которое состоит их трех частей [7]:
1) вводная часть, где происходит установление между преподавателем и обучаемыми;
2) основная часть, где объясняется основной материал; Каждая часть может быть охарактеризована шестью независимыми событиями, происходящими с соответствующими вероятностями;
P1 — вероятность того, что обучаемые присутствуют на занятии;
Р2 — вероятность того, что готовы воспринимать материал;
Р3 --- вероятность того, что обучаемые знакомы с терминологией, которой пользуется преподаватель;
Р4 — вероятность ого, что преподаватель присутствует на месте;
Р5— вероятность того, что преподаватель готов объяснять материал;
Р6 — вероятность того, что преподаватель изъясняется в терминологии, понятной обучаемым.
Пусть в рассматриваемой модели ситуации все описанные выше события наступают с равной вероятностью 90 %. Это означает, что 90 % обучаемых присутствуют на занятии, каждый из них готов к восприятию на протяжении 90 % времени занятия, каждых 100 слов преподавателя обучаемым понятны 90 и т.д. Тогда после каждой части занятия успешно усвоивших материал этой части, можно определить следующим образом: , что в описанной ситуации составляет 53 % от присутствующих. Общее количество обучаемых T, усвоивших материал к концу занятия, составляет
, что в описанной ситуации составляет 15 % от числа всех обучаемых. Если выбрать некоторый порог числа обучаемых T, которые должны успешно усвоить материал отдельного занятия, можно посчитать число занятий с повторным объяснением одного и того же материала, следующим образом:
. К примеру если установить T = 50 % , то
, округляя вверх, для успешного усвоения материала половиной обучающихся потребуется всего 5 занятий, из которых 4- повторных).
Для упрощения вычислений рассмотрим эффективность одного занятия как отношение количества усвоивших материал в процентном отношении к общему числу времени, затраченному преподавателем на проведение занятия. Далее учтем тот факт, что описанные выше в работе тесты применимы в качестве наставника и могут быть использованы в первой (подготовительной) части занятия, тем самым позволяя увеличить количество , успешно усвоивших материал в первой части, до 100 %, а также уменьшить количество времени, затрачиваемое преподавателем на проведение занятия. Таким образом, в описанной модели ситуации, Nl = 1, N = 28 %, 
= 2,1 (при пороге Т = 50 %), что в 2 раза меньше соответствующего числа занятий без использования, обучающих тестов. Применяемая формула расчета эффективности иллюстрирует, как использование обучающих тестов позволяет увеличить эффективность одного занятия как минимум вдвое. В табл.2 приведены значения эффективности при различных порогах Т для ситуаций с применением обучающих тестов и без их применения.
Таблица 2. Эффективность одного занятия при различных порогах
|
T |
Np |
Без применения обучающих тестов |
С применением обучающих тестов |
||
|
N |
Nc |
N |
Nc |
||
|
0,5 |
53% |
15% |
4,3 |
28% |
2,1 |
|
0,3 |
53% |
15% |
7,4 |
28% |
3,6 |
|
0,1 |
53% |
15% |
14,2 |
28% |
6,9 |
Из данной таблицы видно, что количество занятий, необходимых для усвоения некоторым количеством обучающихся заданного материала, увеличивается, примерно в два раза. Стоит заметить, что для ситуаций, когда обучение и (или) контроль происходят в формах, отличной от традиционной (очной), при применении обучающих тестов эффективность также возрастает.
В заключение следует отметить, что стандартизация процесса тестирования знаний в электронном обучении требует постановки целого ряда перспективных задач инженерного образования, которые необходимо решать в системе e-learning с учетом как отечественных, так и зарубежных разработок [5, 20, 21, 22]:
Стандартизация сертификация компонентов информационно-коммуникационной среды для e-learning в инженерном образовании;
- Создание интегрированной информационно-коммуникационной среды для распределённой и трансграничной системы инженерного образования на основе технологий e-learning;
- Обеспечение качества и защита интеллектуальной собственности, в системе распределённого и трансграничного образования,
- Опыт применения e-learning в целевой
подготовке и переподготовке инженерных кадров для предприятий;
- Разработка электронных учебно-методических комплексов для инженерного образования;
- Создание учебных тренажеров, учебно-лабораторных практикумов с удалённым доступом и коллективного пользования;
Аппаратно-программные комплексы для моделирования и автоматизации. Перспективные научные задачи должны рассматриваться с учетом общих инициатив в области развития информационного общества, электронного государства, единого информационного образовательного пространства.
1. Аванесов, В.С. Проблема конструирования дидактических тестов в отечественных и зарубежных исследованиях: ретроспективный анализ [Текст] / В.С. Аванесов // Труды 1-й Всероссийской научно-практической интернет-конференции по вопросам нострификации образовательных документов и сертификация тестовых технологий под редакцией В.В. Спасенникова. - Брянск: БГУ имени академика И.Г. Петровеного. - 2004. - С. 3-12.
2. Аверченков, В.И. Модель адаптивного формирования образовательной траектории с учетом индивидуальных особенностей студентов [Текст] / В.И. Аверченков, С.В. Кондратенко, В.В. Спасенников // Вестник БГТУ. - 2017. - №8. - С. 34-40.
3. Андросов, К.Ю. Разработка унифицированного комплекта тестов и его программная адаптация при решении задач профессионального отбора в операторской и водительской деятельности [Текст] / К.Ю. Андросов, А.Н. Сударик, С.Н. Федотов // Эргодизайн. - 2018. - №1(01). - С. 28-35. - doi:https://doi.org/10.30987/article_5bbf0a94ce8661.09550385.
4. Голубева, Г.Ф. Массовые открытые онлайн-курсы в России и за рубежом с позиций глобального информационно-го пространства [Текст] / Г.Ф. Голубева, А.А. Тришин // Эргодизайн. - 2018. - №2(02). - С. 8-14. - doi:https://doi.org/10.30987/article_5bf98b63306ed0.91342378.
5. ГОСТ Р ИСО/МЭК 2382-36-2011 Информационные технологии. Словарь. Часть 36. Обучение, образование и подготовка [Электронный ресурс]. - URL: http://protect.gost.ru/v.aspx?control=7&id=179614 (дата обращения: 29.05.2019).
6. Дружинин, В.Н. Конструирование психодиагностических и дидактических тестов [Текст] / В.Н. Дружинин, А.В. Никитин, В.В. Спасенников. - Брянск: из-во «Лидомир». - 2004. - 181 с.
7. Жадаев Д.С. Особенности нейроносетевого анализа уровня подготовки студентов в процессе адаптивного тестирования их профессиональных компетенций [Текст] / Д.С. Жадаев, А.А. Кузьменко, В.В. Спасенников. // Вестник Брянского государственного технического университета. - 2019. - №2(75). - С. 90-98.
8. Калабухова В.Н. Информационно-образовательная среда в системе современных методов подготовки к ЕГЭ по истории [Текст] / В.Н. Калабухова // Образование и наука в России и за рубежом. - 2019. - №1(49). - С. 307-312.
9. Кожановская, Т. В. Учет междисциплинарных связей экономической психологии управления человеческими ресурсами с позиций образовательных стандартов [Текст] / Т.В. Кожановская, М.М. Новиков, В.В. Спасенников // Психология в экономике и управлении. - 2012. - №1. - С. 78-80.
10. Кожемякина, М.П. Анализ психологической составляющей подготовки учеников к единому государственному экзамену [Текст] / М.П. Кожемякина, В.В. Спасенников // Психология в экономике и управлении. - 2011. - №2. - С. 72-77.
11. Поздеев, Б.М. Моделирование структуры и оценка качества процессов электронного обучения [Текст] / Б.М. Поздеев, М.В. Сутячин, О.Н. Селиванцев // Вестник МГТУ «Станкин». - 2012. - №1(19). - С. 60-65.
12. Савина, И.В. Проблема оценки качества образования [Текст] / И.В. Савина, М.В. Быкова, А.Н. Шишкин // Информационно-коммуникационные технологии в педагогическом образовании. - 2019. - №1(58). - С. 135-138.
13. Свиридов А.П. Стандартизированные методы на примере контроля и диагностирования знаний [Текст] / А.П. Свиридов. - М.: изд-во РГСУ. - 2011. - 294 с.
14. Спасенников, В.В. Конструирование использование психодиагностических и дидактических тестов. [Текст] / В.В. Спасенников. - Калуга: КГПУ им. К.Э. Циолковского. - 1993. - 101 с.
15. Спасенников В.В. Влияние образовательной рекламы на мотивационную готовность старшеклассников к профессиональному выбору [Текст] / В.В. Спасенников // Современное образование: содержание, технологии, качество. -2012. - Т.1. - С. 244-246.
16. Хохлова, М.В. Дизайн образования на протяжении всей жизни при использовании массовых открытых онлайн-курсов [Текст] / М.В. Хохлова, О.Н. Трутнев // Эргодизайн. - 2019. - №2(04). - С. 61-67. - doihttps://doi.org/10.30987/article_5cb221643ff220.06269222.
17. Шкаберин, В.А Особенности проектирования визуального интерфейса для web-сайта «БГТУ-абитуриента» [Текст] / В.А. Шкаберин, А.Г. Подвесовский, А.А. Азарченков, Д.А. Коростелёв, А.О. Трубаков // Вестник БГТУ. - 2017. - №1(54). - С. 185-191.
18. RJY.Bangert-Drowns, R.L. Effects of Coaching Programs on achievement Test Performance [Текст] / R.L. RGY.Bangert-Drowns, J.A. Kulik, C.-L.C. Kulik // Review of Educational Research. - 1983. - Vol. 53. - No 4. - P. 571-585.
19. Davis-Kean P.E. The influence of parent education and family income on child achievement: t e Indirect role of parental expectations and the home environment [Текст] / P.E. Davis-Kean // Journal of family psychology. - 2005. - vol. 19. - no.2. - P. 294-304.
20. Domingue, B. Using Linear Regression and Propensity Score Matching estimate the Effect of Coaching on the SAT / B. Domingue, D.C. Briggs // Multiple Linear Regression Viewpoints. - 2009. - Vol. 35. - No l. - P. 12-29.
21. SO/IEC CD 30119-1 Information technology - Learning, education and training - Quality standard for the creation and delivery offair, valid and reliable e-Tests. Part I : Quality process reference model for e-Tests [Электронный ресурс]. - URL: http://www.iso.org/iso/ru/catalogue_detail.htm?csnumb.. (дата обращения: 29.05.2019).
22. ISO/IEC CD 30119-2 Information technology - Learning, education and training - Quality Standard for the Creation and Delivery of Fair, Valid and Reliable e-Tests - Part 2: Application guide with use cases [Электронный ресурс]. - URL: http://www.iso.org/iso/ru/home/store/catalogue_tc/catalogue_detai l.htm?csnumb=62865 (дата обращения: 30.05.2019).
23. IMS Question and Test Interoperability Specification. Version 2.1 - Public Draft Specification Version 2 by IMS Global Leaming Consortium. Inc. [Электронный ресурс]. URL: http://www.imsglobal.org/question/ (дата обращения: 30. 05. 2019).
