Bryansk, Bryansk, Russian Federation
Bryansk, Bryansk, Russian Federation
Problem of appliance and generation methods of measuring for state final certification was described in this article. The typical coring were used for obtain the possible levels of education results on the example of the formed soft skills. Indexed indicators and evaluation criteria are given.
education standards, attestation skills, methods of scoring
В целом ряде работ показано, что одним из актуальных и не в должной мере проработанных направлений деятельности отечественных образовательных учреждений является формирование и практическое использования фонда оценочных средств (ФОС) для государственной итоговой аттестации (ГИА) [1, 4, 6, 8, 10 и др.]
При обосновании общего формата ФОС ГИА можно исходить из того, что данный вид аттестации направлен на оценку сформированности у выпускников общекультурных, общепрофессиональных и профессиональных компетенций, систематизацию, обобщение и закрепление теоретических знаний, практических умений и владений. В соответствии с общими нормативными требованиями фонды оценочных средств для ГИА были разработаны как часть нормативно-методического обеспечения соответствующих образовательных программ и предназначены для оценки качества освоения ОПП. ФОС используется обучающимися, вузом, сторонними организациями для оценивания результативности, качества учебного процесса и образовательной программы, степени их адекватности условиям будущей профессиональной деятельности, требованиям востребованности, конкурентоспособности и мобильности выпускника на рынке труда [3].
Рассмотрим общие методические принципы и процедуру практического использования ФОС ГИА на примере направления 09.03.02 – информационные системы и технологии в дизайне, разработанного в соответствии с требованиями образовательного стандарта. Итоговая аттестация по данному направлению – это подготовка и защита выпускной квалификационной работы (ВКР), которая представляет собой законченную разработку актуальной дизайнерской проблемы. ВКР включает в себя как теоретическую часть, где бакалавр демонстрирует знания теоретических положений по разрабатываемой проблеме, так и практическую, в которой изображается умение использовать для решения поставленных в работе задач комплекса дизайнерских компетенций, сформированных за период обучения.
Рабочим учебным планом ФГБОУ ВО БГТУ по направлению 09.03.02 информационные системы и технологии в дизайне предусмотрено, что ГИА предполагает оценивание всего спектра компетенций. В связи с этим при определении ожидаемых результатов образования в ходе ГИА было решено отказаться от процедуры последовательного оценивания каждой общекультурной, общепрофессиональной, профессиональной компетенции выпускника только членами ГЭК. В результате целесообразно сформировать 6 укрупненных групп показателей, предназначенных для оценки ожидаемых результатов освоения ОПОП [3,6,12,13]:
- уровень готовности к осуществлению основных видов профессиональной деятельности в соответствии с квалификационной ха-
рактеристикой; - уровень освоения материала, предусмотренного образовательной программой;
- уровень знаний и умений, позволяющих решать типовые задачи и профессиональной деятельности;
- уровень обоснованности, четкость изложения результатов ВКР и полнота выполнения задания;
- научная и практическая значимость ВКР;
- уровень информационной и коммуникативной культуры.
Для каждой группы показателей определена совокупность общекультурных общепрофессиональных и профессиональных компетенций, подлежащих оцениванию. При этом одна и та же компетенция может быть отнесена более чем к одной группе показателей.
На следующем этапе разработки ФОС для ГИА были определены возможные результаты образования, каждому из которых поставлена в соответствие определённая бальная оценка. В таблице 1 представлен фрагмент описываемой системы для ОПК – 5.
1. Соответствие между показателем для оценивания ожидаемых результатов образования, возможные уровни результатов и соответствующие им баллы для ОПК – 5
|
Показатель оценивания ожидаемых результатов |
Формируемая компетенция |
Уровни результатов образования |
Баллы |
|
Способность использовать современные компьютерные технологии поиска информации для решения поставленной задачи, критического анализа этой информации и обоснования принятых идей и подходов к решению |
ОПК – 5 |
высокий |
10 |
|
достаточный |
8-9 |
||
|
удовлетворительный |
6-7 |
||
|
неудовлетворительный |
Менее 6 |
При определении критериев оценивания результатов образования было выявлено, что высокий уровень результатов образования оценивается в 10 баллов. Это означает, что студент обнаружил высокий уровень готовности к осуществлению основных видов профессиональной деятельности, всестороннее, систематическое и глубокое знание учебного материала, предусмотренного образовательной программой, умение свободно решать типовые задачи профессиональной деятельности. Выполненная ВКР обладает высокой научной и практической значимостью. Студентом обоснованно и четко изложены результаты ВКР и полностью выполнено задание на неё.
Достаточный уровень результатов образования (8-9 баллов) означает, что студент обнаружил хорошую готовность к осуществлению основных видов профессиональной деятельности, знание учебного материала, предусмотренного образовательной программой, умение решать типовые задачи профессиональной деятельности. Выполненная ВКР имеет научную и практическую значимость. Студент вполне обоснованно и достаточно четко изложил результаты ВКР, выполнил задание, обладает хорошим уровнем использования современных компьютерных технологий.
Удовлетворительный уровень результатов образования (6-7 баллов) означает, что в целом студент обнаружил необходимый уровень готовности к осуществлению основных видов профессиональной деятельности, продемонстрировал основные знания по учебному материалу, предусмотренному образовательной программой, но имеет в них проблемы. Выполненная ВКР в определенной мере имеет практическую значимость. В целом студент обладает навыками решения типовых задач профессиональной деятельности. Однако он недостаточно обоснованно и четко изложил результаты ВКР, не в полной мере выполнил задание на неё, обладает невысоким уровнем овладения современными компьютерными технологиями.
Неудовлетворительный уровень результатов образования (ниже 6 баллов) означает, что студент не обнаружил необходимый уровень готовности к осуществлению основных видов профессиональной деятельности, имеет существенные проблемы в знании учебного материала, предусмотренного образовательной программой, отсутствуют навыки решения типовых задач профессиональной деятельности. Выполненная ВКР не имеет практической значимости. Студентом не выполнено задание на ВКР, обладает низким уровнем овладения компьютерными технологиями.
Итоговая сумма баллов, набранных при ГИА по всем группам показателей, переводится в итоговую оценку и является основанием для последующей оценки уровня форсированности компетенций выпускника в ГЭК (таблица 2).
2. Соответствие уровня сформированности компетенций итоговой оценке при ГИА,
в том числе по системе ECTS
|
Уровень сформированности компетенций |
Игровая оценка при ГИА |
Сумма баллов |
Оценка ECTS |
|
высокий |
отлично |
90-100 |
А |
|
достаточный (средний) |
хорошо |
85-89 |
В |
|
75-84 |
С |
||
|
удовлетворительный (пороговый) |
удовлетворительный |
65-74 |
D |
|
60-64 |
Е |
||
|
неудовлетворительный (недостаточный) |
неудовлетворительный |
Ниже 60 |
F |
Оценка сформированности компетенций по этапам государственной итоговой аттестации в процессе написания и защиты выпускных квалификационных работ.
Одним из наиболее важных элементов ФОС для ГИА являются методические материалы, определяющие процедуры оценивания результатов освоения образовательной программы. Принципиальным решением в этом направлении стало то, что оценка результата освоения ОПОП была распределена по отдельным этапам ГИМ (таблица 3). Это означает, что все компетенции, оцениваемые в ходе ГИА (как элементы определенных групп показателей), подлежат оцениванию на различных этапах игровой аттестации, причем в данный процесс вовлечены различные участки (руководитель ВКР, члены ГЭК, председатель ГЭК).
Одна и та же компетенция, (как, например, большинство профессиональных компетенций) оценивается и на различных этапах данной процедуры и её различными участниками, что существенно повышает объективность итоговой оценки [2, 5, 7, 9 и др.].
Процедура оценивания сформированности компетенций при ГИА предполагает частичное делегирование полномочий руководителю ВКР и проводится на различных этапах итоговой аттестации: в ходе выполнения ВКР, при анализе итогового текста пояснительной записки, доклада, презентации и иллюстрационного материала, на основе ответов на вопросы членов ГЭК, ответов на замечания руководителя ВКР [14].
При этом оценки результатов освоения образовательной программы, данные членами ГЭК, имеют приоритетное значение при определении итоговой оценки студента при ГИА. По шести группам показателей, определенными выше, они могут совпадать с оценками, данными руководителем, могут быть выше либо ниже их.
Первым субъектом, включенным в процедуру оценивания уровня сформированности компетенций выпускника, является руководитель ВКР. В соответствии с таблицей 3 он выставляет оценки, основываясь на ходе выполнения и результатах работы. Своё решение руководитель отражает в отзыве, ключевым элементом которого являются баллы, полученные по каждому из названных выше шести показателям. Баллы руководителя ВКР суммируются, полученное значение фиксируется в отзыве. На его основе определяется уровень сформированности каждой компетенции и оценка (отлично, хорошо, удовлетворительно, неудовлетворительно), которую, по мнению руководителя ВКР, заслуживает студент на этапе допуска его работы к защите в ГЭК (таблица 4). Кроме того, в своём отзыве руководитель отражает выполнение студентом плана-графика ВКР, оценивает степень оригинальности текста, в свободной форме высказывает своё мнение о достоинствах и недостатках выполненной работы.
3. Делегирование полномочий по оценке сформированности компетенций по этапам ГИА, соотнесенные с этапами оценивания и соответствующими компетенциями
|
Делегирование полномочий по оценке сформированности компетенций по этапам ГИА |
Этапы оценивания и соответствующие им компетенции |
|||||
|
Работа студента при выполнении ВКР |
Текст ВКР |
Презентация и иллюстрационный материал |
Доклад |
Ответы на вопросы членов ГЭК |
Ответы на замечания руководителя |
|
|
1. Научный руководитель |
ОК-1÷3 ОК-10 ОПК-5 |
ПК-1÷4 ПК-10 ПК-23 |
ПК-26 ОПК-1 ОПК-3 ОК-10 ОПК-5 |
ОК-1 ОК-4 ОК-7 ОПК-1 ПК-8 ПК-22 ОПК-5 |
ПК-1÷4 ОПК-5 |
ОК-6 ОПК-1 ПК-6 ПК-7 ПК-9 ПК-22 ОПК-5 |
|
2. Члены ГЭК |
ОК-5 ОК-6 ОК-9 ОК-11 |
ПК-5÷7 ПК-24 ОПК-5 |
ПК-26 ОПК-2 ОПК-5 ОК-10 |
ОК-1 ОК-4 ОК-7 ОПК-1 ПК-9 ПК-22 ОПК-5 |
ПК-24 ПК-25 ОК-9 ОК-11 ОПК-2 ОПК-5 |
ОК-5 ОПК-2 ОПК-5 ОПК-6 ПК-1÷4 ПК-9 ПК-22 ПК-23 |
|
3. Председатель ГЭК |
ОК-4 ОК-7 ОК-8 |
ПК-8 ПК-9 ПК-25 |
ПК-26 ОПК-4 ОПК-6 ОК-10 ОПК-5 |
ОК-1 ОК-4 ОК-7 ОПК-2 ПК-10 ПК-22 ОПК-5 |
ПК-26 ОПК-3 ОПК-5 ОПК-6 |
ОК-4 ОПК-2 ОПК-5 ОПК-6 ПК-1÷4 ПК-22 ПК-24÷26 |
4. Шкала оценивания ВКР до защиты ГЭК
|
Общая оценка ВКР |
Баллы |
|
отлично |
55-60 |
|
хорошо |
43-54 |
|
удовлетворительно |
36-42 |
|
неудовлетворительно |
Менее 36 |
Если при выполнении ВКР и анализе её текста студент набрал менее 36 баллов и результат подтвержден решением комиссии по предварительной защите ВКР на кафедре, то заведующий выпускающей кафедры не допускает студента к защите в ГЭК.
Следующими участниками процесса оценивания сформированности компетенций выпускника являются члены ГЭК. Они дают свои оценки непосредственно в ходе защиты ВКР, ориентируясь на собственный анализ текста ВКР, оценку качества презентации и иллюстрационного материала, оценивая качество доклада, уровень ответа на вопросы, заданных членами ГЭК, ответов на замечания руководителя (таблица 3). Степень сформированности компетенций выпускника оценивается членами ГЭК в два этапа. Во-первых, оценка дается по тем же шести показателям, которые были выбраны для оценивания ожидаемых результатов образования на начальном этапе ГИА. Процедура оценивания предусматривает, что члены ГЭК могут согласиться с оценками сформированности компетенций, данными руководителем ВКР. В этом случае они выставляют в соответствующих графах своего оценочного листа те же баллы, что и субъекты, привлеченные к оценочной процедуре на предшествующих этапах. Однако если член ГЭК не согласен с оценками, выставленными руководителем ВКР по одному или нескольким группам показателей, то он может провести по ним дополнительные испытания, в результате которых определит свою оценку уровня сформированности компетенций. Для этого члены ГЭК и её председатель могут воспользоваться оценочными средствами ФОС образовательной программы в целом.
В таблице 5 приведены индексированные показатели и критерии оценивания результатов освоения общекультурных, общепрофессиональных и профессиональных компетенций по программе ГИА направления подготовки 09.03.02 «Информационные системы и технологии», профиль: «Информационные системы и технологии в дизайне» [11, 15].
Так, например, для компетенции ОПК-5: «способность использовать современные компьютерные технологии поиска информации для решения поставленной задачи, критического анализа этой информации и обоснования принятых идей и подходов к решению» члены ГЭК на основе анализа текста работы, презентации и иллюстрационного материала, ответив на вопросы и замечания руководителя вместе с председателем ГЭК выносят решение о сформированности данной компетенции по 10-ти бальной шкале.
Как видно из таблицы 3 и таблицы 5 оценка сформированности компетенций членами ГЭК осуществляется на основе анализа 11 общекультурных, 6 общепрофессиональных и 15 профессиональных компетенций.
На втором этапе члены ГЭК дают свои оценки сформированности компетенций по четырем дополнительным показателям, основываясь на качестве доклада, презентации и иллюстрационного материала; аргументированностивыводов и рекомендаций по результатам ВКР; ответах на вопросы членов ГЭК, замечания руководителя. При этом члены ГЭК ориентируются на уровни результатов образования и соответствующие им баллы, представленные в таблице 2. Таким образом, каждый из членов ГЭК добавляет студенту от 24 до 40 баллов, благодаря чему их общее, которое может набрать студент при защите ВКР, находится в диапазоне от 60 до 100.
После завершения защиты ВКР каждый из членов ГЭК заполняет и подписывает свой оценочный лист оп каждому студенту. Затем в ходе обсуждения результатов защиты председатель ГЭК утверждает итоговое количество баллов, набранных в ходе ГИА каждым выпускником. Для этого секретарь ГЭК рассчитывает среднее арифметическое из количества баллов, выставленных каждым членом ГЭК. Это значение затем переводится в соответствующую оценку, которая вместе с суммой баллов и оценкой по системе ECTS вносится в протокол ГЭК и заверяется подписями её членов. По результатам этой процедуры ГЭК принимает итоговое решение об уровне сформированности компетенций выпускника ОПОП (высокий, достаточный, удовлетворительный, неудовлетворительный) (таблица 2).
Исходя из таблицы 1 и таблицы 2 следует, что уровень развития общепрофессиональной компетенции ОПК-5 можно признать средним (достаточный), (ОПК-5) = 8, значение высокого уровня развития данной компетенции должно составлять (ОПК-5) = 10, пороговому (удовлетворительному) уровню соответствует значение 6 ≤ (ОПК-5)≤ 7, значение (ОПК-5) < 6 следует считать неудовлетворительными (недостаточными).
где:ОПК51- оценка сформированности компетенции руководителем при выполнении ВКР;
ОПК52- оценка сформированности компетенции членами ГЭК на основе анализа текста ВКР;
ОПК53- оценка сформированности компетенции научным руководителем, членами и председателем ГЭК на основе анализа презентации и иллюстративного материала;
ОПК54- оценка сформированности компетенции научным руководителем, членами и председателем ГЭК на основе анализа доклада при защите ВКР и ответов на вопросы;
ОПК55- оценка сформированности компетенции научным руководителем, членами и председателем ГЭК на основе анализаответов по отзыву на замечания руководителя ВКР.
5.Индексированные показатели и критерии оценивания результатов освоения компетенций (фрагмент)
|
Коды компетенций по ФГОС ВО |
Наименование компетенции |
Показатель освоения |
|
1 |
2 |
3 |
|
Общекультурные компетенции |
||
|
ОК-1 |
Владением культурой мышления, способность к самоанализу, восприятию информации, постановке цели и выбору путей её достижения, умение логически верно, аргументированно и ясно строить устную и письменную речь |
ОК-1.Р1 владеть способностью к абстрактному и логическому мышлению |
|
… |
… |
… |
|
ОК-11 |
Владением средствами самостоятельного, методически правильного использования методов физического воспитания и укрепления здоровья, готовностью к достижению должного уровня физической подготовленности для обеспечения полноценной социальной и профессиональной деятельности |
ОК-10.Р1 Владеть методами физического воспитания для обеспечения полноценной социальной и профессиональной деятельности |
|
Общепрофессиональные компетенции |
||
|
ОПК-1 |
Владением широкой общей подготовкой (базовыми знаниями) для решения практических задач в области информационных технологий |
ОПК-1.Р1 Владеть базовыми знаниями для решения практических задач в области информационных систем и технологий |
|
… |
… |
… |
|
ОПК-5 |
Способностью использовать современные технологии поиска информации для решения поставленной задачи, критического анализа этой информации и обоснования принятых идей и подходов к решению |
ОПК-5.Р1 Владеть современными компьютерными технологиями поиска и анализа информации, для обоснования принятых идей и подходов |
|
… |
… |
… |
|
Профессиональные компетенции |
||
|
ПК-1 |
Способность проводить предпроектное обследование объекта проектирования, системный анализ предметной области, их взаимосвязей |
ПК-1.Р1 Знать: основные этапы, методологию, технологию и средства проектирования информационных систем ПК-1.Р2 Уметь: проводить предпроектное обследование объекта проектирования |
|
… |
… |
… |
|
ПК-26 |
Способность оформлять полученные рабочие результаты в виде презентаций, научно-технических отчетов, статей и докладов на научно-технических конференциях |
ПК-26.Р1 Уметь: оформлять полученные рабочие результаты в виде презентаций, научно-технических отчетов, статей; ПК-26.Р1 Владеть: инструментальными средствами оформления результатов разработок |
Предложенная методика включает проработку всех этапов и процедур оценивания. ФОС для ГИА соответствует нормативным требованиям, предъявляемым к порядку формирования и применения фондов оценочных средств. Кроме того, учитывает специфику именно итоговой аттестации – необходимость оценки компетенций, а не частных результатов обучения. Данная методика позволяет не только формализовать и структурировать процедуру оценки уровня сформированности компетенций на каждом этапе ГИА, но и оставляет пространство для выражения неформального мнения о ВКР у руководителя. Методика повышает объективность оценки выпускной работы при её защите в ГЭК, полнее учитывает мнение каждого из её членов, позволяет дифференцировать результаты защиты на основе оценки общекультурных, общепрофессиональных и профессиональных компетенций.
1. Nerchenkov A.I., Kondratenko S.V., Spasennikov V.V. adaptive formation of the educational trajectory taking into account individual features // Bulletin of the Bryansk State Technical University. 2017 №. 8 (61) pp. 34-70.
2. Bogomolov SA, Spasennikov VV The problem of standardization of ergonomic requirements in the process of creating new systems, products and technologies // Bulletin of the Bryansk State Technical University.2018 №1 (62). pp.73-84.
3. Danilov, A.N. The Competence Model of the Graduate: Design Experience / A.N. Danilov, M.V. Lobov, V.Yu. Stolbov, I.D. Stolbova // Higher education today. -2013 - №6 - p.25-33.
4. Zhadaev, D.S. Features of the design of the educational process on the basis of ergonomic analysis of teaching activity / DS. Zhadaev, M.G. Sokolova, R.V. Yatskov // Information technologies in ergonomics and design. Materials of the all-Russian scientific-practical conference with international participation. - Bryansk: BSTU. 2016 - pp. 254-258.
5. Zelenko L.S. Shumskaya E.A. Development of the anatomical model of the training course for elearning systems // Software products and systems - 2018 - №1 - pp.56-59
6. Karpov, S.A. Fund of evaluation tools for the final attestation: from justification of the general format to practical application / SA Karpov, BM Krembel, O. pp. Nedospasova // Integration of education. - 2015. - T.19, №4. - pp.35-44.
7. Padernopp. I. Burkov E.A. Model of testing the student's knowledge while conducting online testing // Educational technology and society. - 2017. - T.20, №.1. - pp. 424-432.
8. Pekker, pp. L. Professional competencies of teachers of electronic courses (on the example of the national Russian platform open education) // Bulletin of Moscow University. Series 20: Pedagogical Education - 2016. - №3.- pp. 109-117.
9. Spasennikov, V.V. A conceptual approach to the process of substantiating the structure of the Institute of Economic Psychology and Ergonomics in a Technical University // The Human Factor: Problems of Psychology and Ergonomics - 2013.-№3. - pp. 87-93.
10. Spasennikov, V.V. Formationof general cultural and professional competencies in the process of preparing graduate students on the profile of "Innovation Management" / V.V. Spasennikov, D.V. Erokhin // Management in Russia and abroad. - 2014.-№6. - pp.61-70.
11. Spasennikov, V.V. Formation of professionally impor-tant qualities of students - designers on the basis of competence approach / V.V. Spasennikov, A.A. Skovorodko, A.A. Kuzmenko // Alma Mater (Herald of the Higher School). - 2017.-№5. -pp. 66-70.
12. Stolbova, I.D. The mechanism of content management of a competently oriented main educational program of the university / I.D. Stolbova // Higher education today. - 2011.-№1. -pp. 32-37.
13. Fedorov V.K., Dyvruk T.V. Evaluation of ergonomic and aesthetic qualities of instrument stations for radioelectronic operators (RTS) // Quality and life. - 2014.-№2. -pp. 42-43.
14. Khanzeva V.V., Khamitova D.V. Development of elec-tronic courses of graphic disciplines on the basis of distance learning MOODLE // Problems of quality of graphic preparation of students in a technical college: traditions and innovations. 2014. -T.1, pp. 352-355.
15. Yatskov R.V. Automation of diagnostics and management of the formation of professionally important qualities of power system operators / / Bulletin of the Bryansk State Tech-nical University. -2018. -№2. -pp. 58-65.
