Russian Federation
Moscow, Russian Federation
Russian Federation
The subject of the research is the means of assessing the quality of dissertation research. The goal is to determine the relevant and reliable methodological and instrumental means of assessing the quality of dissertation research in general pedagogy, history of pedagogy and education. Methodology of the work: general scientific methodology of dialectics and philosophical hermeneutics. Methods: comparison, juxtaposition, analysis, synthesis, content analysis of scientific literature on the problem and dissertations in general pedagogy, history of pedagogy and education, expert assessments. Results of the work: methodological and instrumental means of assessing the quality of dissertation research in pedagogical sciences are determined. Scope of application of the results: preparation of scientific and qualification works in pedagogical specialties, as well as in the pedagogical process of educational organizations of higher education in the context of studying the discipline of a scientific specialty in pedagogical sciences. Novelty: for the first time, the assumption is postulated and proven that the definition of clear criteria and indicators for assessing the quality of scientific and qualification works in pedagogical specialties determines the technology of their preparation and presentation to the scientific and pedagogical community, as well as the validity of the obtained scientific result. Conclusions: 1. Subjects of quality assessment of dissertations in general pedagogy need a systematized presentation of the means of such assessment to ensure mutual understanding in the scientific and pedagogical community and the necessary integration of research findings with the array of results known in science. 2. Systematization of means of assessing the quality of pedagogical research can be carried out on various grounds: procedural-resultative, logical-stage, methodological-instrumental. 3. Means of quality examination can be grouped by the methodological-instrumental feature as follows: methodological means; instrumental means. 4. For the purpose of a more accurate assessment of the quality of dissertation research, it is necessary to grade each of the assessment criteria at least on a four-rank scale: the indicator is expressed, mainly expressed, insufficiently expressed, not expressed.
tools, assessment, quality, dissertation research, general pedagogy, pedagogical sciences, methodology, relevance, reliability, novelty, theoretical significance, practical significance, researcher, results
Введение
Актуальность. Наука, являясь фактором общественного развития, условием обеспечения конкурентоспособности и безопасности государства в мире, требует особого внимания к продуцируемым исследователями результатам и способам их получения. Выступая по случаю 300-летия Российской академии наук, Президент Российской Федерации В.В. Путин поставил перед учеными страны задачи глубокого и объективного анализа защищаемых диссертаций, «формирования новых подходов к присуждению ученых степеней и званий, в аттестации научных и научно-педагогических кадров»[1], что позволит укрепить научно-методическое руководство деятельностью отечественных ученых. Проблема качества педагогических исследований заявлена среди актуальных тем для разработки по научной специальности 5.8.1 Общая педагогика, история педагогики и образования в Перечне, подготовленном Российской академией образования и Высшей аттестационной комиссией при Минобрнауке в 2023 году.
Постановка проблемы и ее развитие. Ученым, занимающимся научными исследованиями в области общей педагогики и выполняющим соответствующие диссертационные работы, с самого начала необходимо знать, какие требования предъявляются к процессу исследования, как будут оцениваться результаты их труда, что понимается в научно-экспертом сообществе под качеством педагогической диссертации. Несмотря на имеющиеся публикации по этой проблеме [1-11 и др.], ориентирующие диссертантов на подготовку качественных диссертационных текстов и доказательность получаемых выводов, некоторые вопросы остаются недостаточно раскрытыми в научной литературе. К таким вопросам следует отнести те конкретные методологические и инструментальные средства, которые могут использовать научные руководители и консультанты, рецензенты и оппоненты, эксперты и члены диссертационных советов, давая в соответствии с государственно-нормативными требованиями оценку педагогической диссертации на разных этапах ее написания и защиты.
Цель исследования: определить актуальные и достоверные методологические и инструментальные средства оценки качества диссертационного исследования по общей педагогике, истории педагогики и образования.
Гипотеза исследования: определение четких критериев и показателей оценки качества научно-квалификационных работ по педагогическим специальностям детерминирует технологию их подготовки и представления научно-педагогическому сообществу, а также состоятельность полученного научного результата.
Методология исследования. В основу подготовки статьи положена общенаучная методология материалистической диалектики и философской герменевтики. Методы исследования: сравнение, сопоставление, анализ, синтез, контент-анализ научной литературы по проблеме и диссертационных работ по общей педагогике, истории педагогики и образования, экспертные оценки.
Думается, что данная статья вызовет интерес педагогов-исследователей и будет полезна как для них, так и для субъектов оценки качества их диссертаций, что аргументирует ее актуальность.
Специально оговоримся, что рецензирование научно-педагогических текстов – процесс творческий, в котором каждый из экспертов вырабатывает и выносит на публичное обсуждение свою авторскую позицию, свое собственное отношение к качеству работы. Однако, применяемые им методологические процедуры и инструменты должны быть объективными, соответствующими закономерностям как общенаучной методологии, так и методологии общей педагогики, иначе субъекты оценки рискуют быть непонятыми в рамках научных дискуссий и защит.
Предметная область исследования. Предмет нашего рассмотрения (средства оценки качества диссертационных исследований), по мнению А.М.Новикова и Д.А.Новикова [8], может быть представлен двояко – как средства оценки:
- процесса научно-исследовательской деятельности и ее организации (критерии целесообразности, этапности, логичности, преемственности, методичности, интегративности, эстетичности, этичности);
- результатов научно-исследовательской деятельности – получения нового педагогического знания (критерии предметности, истинности, объективности, обоснованности, рациональности, интерпретируемости, современности, новизны, системности, полноты, непротиворечивости, всеобщности, практичности, проверяемости, воспроизводимости, прогностичности).
Содержание предыдущих исследований. По мнению В.Л. Кубышко, «научный результат – это продукт научной и (или) научно-технической деятельности, содержащий новые знания или решения и зафиксированный на любом носителе» [12].
К научным результатам он относит следующие: открытие; теорию (основы теории); гипотезу; закономерности; тенденции; концепции; принципы; факторы, влияющие на развитие и функционирование исследуемого объекта и механизм их действия; методологию; различного рода методики, методы, способы; требования к объекту проектирования; технологии; классификации; различные технические разработки (средства); зависимости; новые вещества; системы управления (организацией, качеством, всеми видами обеспечения, боем и операцией и пр.); результаты эксперимента; научно обоснованные технические, экономические или технологические предложения (рекомендации, разработки), обеспечивающие решение важных практических задач; ввод в обращение новых архивных источников; выводы из анализа; противоречия и пути их разрешения; понятийный аппарат; применение известного способа (механизма) для решения других задач и др. [12].
Им же предложена следующая классификация научных результатов исследования: теоретические положения и практические рекомендации [12].
В Положении о защите диссертаций (пп. 18,50) определено, что научные результаты должны отвечать достоверности, новизне, теоретической и практической значимости [Положение о присуждении ученых степеней. Утверждено Постановлением Правительства Российской Федерации № 842 от 24 сентября 2013 г.]. Эти требования должны найти свое воплощение в тексте диссертации и автореферата, а также материалах аттестационного дела соискателя (отзывах официальных оппонентов, ведущей организации, заключении организации, на базе которой выполнена диссертационная работа, заключении диссертационного совета и пр.). Разберем каждый из критериев подробно.
Достоверность полученных результатов выражается в том, что они не должны вызывать сомнения в подлинности.
Для доказательства достоверности могут быть использованы как аналитические методы, так и экспериментальные, а также подтверждение (доказательство) практикой [12].
Суть аналитических методов заключается в доказательстве научного результата с помощью математических преобразований или логических методов, с использованием математических или вербальных моделей исследуемого объекта.
Определяющее требование достоверности – воспроизводимость научного результата.
Ведущий принцип в предъявлении результатов научного исследования – принцип соответствия, который гласит: любой достоверный научный результат не должен противоречить научным знаниям, отвечающим общепризнанным критериям истины (если они не являются объектом исследования) а также эмпирическим фактам [12].
Описание выявленных противоречий. Вопрос о научной новизне в научных исследованиях является одним из наиболее дискуссионных. Прежде всего, возникает резонный вопрос: что понимать под новизной? Это знания, методы\способы; средства; специфику реализации (концепции, программы); собственно инновации (определяют как задействовано (реализуется) открытие или достижение).
Важно отметить, что для оценки новизны научного знания подход «впервые открытое для конкретного субъекта как новое» и собственно новое не может быть применим. Итоги научного исследования подвергаются строгой оценке, основанной на глубоком, многоуровневом анализе ранее достигнутого в данной области. Упущение отдельных аспектов, разработанных в науке ранее, способно обесценить результат научного поиска как такового, исказить его, превратить в вариацию на известную тему.
В определении научной новизны значимо различение объективного знания и частного мнения исследователя. Очевидно, что знание проверено практикой, удостоверено логикой, это естественный и объективный результат познания действительности. Мнение же выражает суждение об объекте, включающее субъективную оценку.
Даже сама постановка проблемы может сама по себе «не запрашивать» новизны. Например: «проблема состоит в необходимости совершенствования теоретической подготовки обучающихся в управленческой области».
Результаты научных исследований оцениваются с позиций новизны, как минимум, в двух аспектах:
- 1 аспект – содержательный (ранее незафиксированные в науке теоретические положения, практические рекомендации), т.е. постулируется теоретическая новизна (обосновываются новые концепция, гипотеза, термин);
- 2 аспект – ценностный (определяющий также актуальность проведенного исследования, его теоретическую и практическую значимость), т.е. обосновывается практическая новизна исследования (предложения, рекомендации, новые средства и методы и т.д.).
Проблемой определения научной новизны в научных исследованиях является феномен «псевдоновизны», когда новизна приравнивается к теоретической и практической значимости («…исследование открывает перспективы…»).
За новизну неопытные исследователи нередко выдают очевидные в науке и практике положения, уже известные результаты, всего лишь сформулированные иначе по форме, терминологически («…в таком порядке слова еще не ставили, так это еще не называли…» и т.д. и т.п.)
Встречается также механическое описание новизны (поставленные задачи решены и исследователь искренне полагает, что это и есть новизна).
Объективно научная новизна определяется в следующем: содержательной стороне результата, новых теоретических положениях и практических рекомендациях.
Условиями определения новизны в научных исследованиях являются: глубокие, обширные, системные знания исследователя/эксперта; креативность мышления исследователя/эксперта; готовность исследователя/эксперта к восприятию нового; компромисс между позицией автора исследования и экспертом; конвенциальное согласие между экспертами, устанавливающими факт наличия или отсутствия научной новизны.
В этой части важно отметить, что конвенциональность, принятая среди ученых как договоренность по описанию объяснений или идей, которые в целом принимаются как верные, не всегда выступает таковой. Она может являться препятствием для восприятия новых знаний, внедрения новых теорий, по существу, действует как помеха, которую необходимо преодолеть исследователю. Конвенциональная договоренность, в отличие от нового знания имеет свойства, похожие на инерцию, зачастую мешая внедрению противоположных взглядов, порой, как абсурдное отрицание новой информации людьми, которые строго придерживаются устаревших взглядов.
В целом, новизна научных исследований выполняет следующие функции в развитии научного знания:
- придает ценность проделанной исследователем работе;
- детерминирует введение в научный оборот новых информационных единиц;
- обогащает педагогический инструментарий;
- приумножает терминологическое богатство языка науки;
- представляет идеи, концепции, учения;
- позволяет успешно интегрировать результаты исследований в процесс подготовки специалистов для сферы педагогической практики;
- обеспечивает конкурентоспособность исследователя, практикующего специалиста;
- порождает стремление к дальнейшему познанию и поиску новых знаний.
Теоретическая и практическая значимость исследования определяют, что внесено в теорию предмета исследования (уточнено понятие, его содержание, предложена и обоснована классификация явлений, выявлены сущностные признаки и базовые характеристики, вскрыт и описан некий механизм и пр.); как и чем результаты исследования обогатят практику? (выработан новый алгоритм действий, обоснована новая технология, процедура, программа и пр.).
В отличие от оценки результатов исследовательской работы, которые всегда отражаются в отзывах и рецензиях, процессуальные критерии часто остаются за рамками оценочной деятельности экспертов. Остановимся на некоторых из названных процессуальных критериев, по которым оценивается программа исследования.
Предложения по преодолению выявленных проблем. Как оценить целесообразность диссертационного исследования? С одной стороны, выбор цели исследовательской деятельности – это акт свободного выбора и волеизъявления его автора. С другой стороны, целесообразность научно-педагогического исследования, с точки зрения В.И. Загвязинского [5], может быть оценена на общественно-государственном уровне в аспекте его социального эффекта, связанного с: а) разработкой обоснованной стратегии развития образования и путей ее реализации в образовательной политике; б) определением путей развития отдельных видов и функций образовательной деятельности; в) развитием педагогической науки; г) научным сопровождением педагогических инноваций. Целесообразность диссертационной работы отражается, как правило, в описании ее актуальности.
На социальный характер современных научных исследований и, соответственно, социально значимый их результат указывает и С.А. Лебедев. Он отмечает: «Социальность современной науки выражается в следующих ее чертах: коллективный характер субъекта научного познания, четко осознаваемая учеными субъект-объектность научного знания; консенсуально-экспертный характер оценки всех результатов научного познания, в том числе научных фактов, гипотез и теорий на их истинность и обоснованность» [7].
Этапность, логичность, преемственность в педагогическом исследовании понимаются в научной литературе большинством ученых достаточно согласованно. Инвариантная логика педагогического исследования отражена во введении к диссертации и автореферате, где специально выделены этапы проведенной исследовательской работы. Вариативная логика определяется типом исследования (фундаментальное, прикладное) и спецификой предмета исследования. К инвариантным этапам исследования, в большинстве случаев, относят: анализ теории и практики; выявление противоречий; формулирование проблемы; определение цели исследования и ее декомпозиция; выбор методологических подходов; разработку гипотезы; моделирование и разработку методики образовательного процесса; педагогический эксперимент; корректировку методики по результатам эксперимента; внедрение результатов исследования в практическую педагогическую деятельность. Логика и преемственность в исследовании определяются связями между выявленными в нем противоречиями, сформулированными положениями гипотезы и задачами, содержанием глав и параграфов, получаемыми результатами (защищаемыми положениями и выводами) [11, 12 и др.] (рис. 1).
Рис. 1. Связь структурных компонентов методологического аппарата исследования
Разумеется, обсуждаемые связи в реальных педагогических исследованиях не столь однозначны. Например, комплексные противоречия могут породить несколько предположений, а при решении одной задачи можно получить более одного научного результата. Но выявление и понимание этих связей обеспечивает логический «каркас» диссертационной работы и преемственность ее различных этапов, что позволяет достаточно объективно ее оценить по соответствующим критериям.
Эстетические свойства диссертационного исследования по общей педагогике, как и любого другого исследования, связаны с феноменом авторства, творческой деятельности исследователя, мерой и гармонией в изложении хода и результатов работы. Однако, в отличие от исследований, например, по естественным и техническим наукам, диссертации по общей педагогике, посвященные проблемам обучения и воспитания человека, культивирования в нем лучших качеств, развития его талантов и способностей, априори относятся к сфере возвышенного, поскольку связаны с духовной красотой человека, совершенствованием его внутреннего мира, физических и умственных сил. Эстетические характеристики диссертационного исследования наиболее ярко проявляются в изложении научной позиции автора, гуманизме избранной им системы ценностей и приоритетов, и не должны игнорироваться при оценке исследовательского труда.
Этичность проведенного педагогического исследования связана с отражением в диссертации высоко нравственной сущности деятельности педагога, с прогнозированием социальных последствий реализации результатов исследований в педагогической практике и осознание ответственности за эти последствия, а также с соблюдением диссертантом норм и принципов научно-педагогической этики и принятых в научном сообществе традиций.
Ряд ученых (Н.Л. Вершинина, Н.И. Загузов, С.А. Писарева, А.П. Тряпицына) выделяют следующие виды оценки качества научно-педагогических исследований [3, 9]: методологическая; технологическая; праксеологическая. В ходе методологической экспертизы оценивается общая программа исследования, включающая определение объектов, основных направлений и научных предпосылок исследования. Технологическая оценка предусматривает анализ конкретизированной программы исследования, условий и культуры проведения опытно-экспериментальной работы, ее теоретико-диагностического и ресурсного обеспечения. Праксеологическая экспертиза предполагает оценку областей применения результатов исследования, корректность условий и правил использования этих результатов. Думается, что технологическая и праксеологическая экспертизы могут без потери общности быть объединены в инструментальные. Авторами выделяются также поэтапные виды оценки:
1) первичная – определение замысла и проблемы исследования, выбор, обоснование и утверждение темы исследования, представление его плана (в первую очередь, оценивается социальная и практическая значимость изучения темы, а организационным инструментом выступает привлечение к оценке широкого круга специалистов – ученых, практиков, руководителей);
2) обсуждение хода и результатов исследования, в процессе которых применяются такие организационные инструменты, как самооценка исследователем своей деятельности и ее обсуждение на научном семинаре, используются процедуры анализа программы педагогического эксперимента, научного текста, презентации результатов исследования;
3) рецензирование проведенного исследования с участием внешних экспертов. Авторы представления этого вида экспертизы считают, что при проведении оценки качества исследования должны анализироваться промежуточные и итоговые материалы исследования, публикации по теме исследования. Особенностью экспертной оценки хода и результатов педагогического исследования, по мнению названных ученых, является ориентация не столько на нормы и стандарты соответствующей деятельности, сколько на ее ценности и смыслы.
К критериям оценки качества педагогических диссертаций В.М.Полонский [10] относит 3 группы характеристик: 1) планирование и организация исследования; 2) внедрение результатов в педагогическую практику; 3) эффективность полученных результатов. Кроме того, автором выделяются отдельные критерии, по которым можно судить о низком качестве диссертационной работы: узость заявленной проблемы; бесперспективность; незаинтересованность в результатах исследования широкого круга специалистов; отражение в тексте диссертации штампов и стереотипов; неубедительность и очевидность выводов; дублирование содержания научной новизны, теоретической и практической значимости. При этом ученый предъявляет к деятельности экспертов такие требования, как однозначная трактовка критериев со стороны разных субъектов оценки, конструктивность и применение четырехранговой шкалы оценки выраженности критериев.
Среди необходимых методологических средств (критериев) оценки диссертаций по педагогике Е.Б. Весна и В.В. Сериков [4] выделяют: наличие проблемного вопроса, на который исследователь ищет ответ в ходе исследования; требования заявленных методологических подходов к используемым в исследовании процедурам и методам; нетривиальность, содержательность гипотетических предположений и выбор нескольких вариантов их проверки; междисциплинарность привлекаемого научного знания, прогностичность полученных результатов. В составе инструментальных авторы называют: надежную эмпирическую базу, проведение пилотного эксперимента; адекватность предложенных диссертантом педагогических средств цели образовательного процесса; исключение псевдонаучного стиля изложения.
В состав средств оценочной деятельности экспертов некоторые авторы [2, 13] предлагают внести следующие:
методологические средства:
- анализ основной идеи исследования;
- оценка связи темы диссертации с темами уже завершенных исследований и перспективность изученной темы для будущих исследований;
- заявленность и непротиворечивость методологической позиции автора;
- отражение противоречий и трудностей, возникших в ходе исследования;
- адаптация результатов зарубежных исследований;
- раскрытие в исследовании психолого-педагогического портрета человека современной эпохи;
инструментальные средства:
- анализ использования источников научной информации (сравнение библиографического списка и ссылок по тексту на предмет их соответствия, актуальность указанных в списке и/или ссылках источников, представленность помимо педагогических источников научных работ из смежных, «стыковых» наук, количество собственных публикаций диссертанта и представленность в них результатов исследования);
- корректность работы с эмпирическим материалом (достаточность экспериментальной выборки, продолжительность и территориальная локализация эксперимента, точность приводимых количественных данных, валидность и надежность диагностических методик).
Выводы. Резюмируя краткий обзор приведенных точек зрения, можно сделать следующие обобщающие выводы.
- Субъекты оценки качества диссертаций по общей педагогике нуждаются в систематизированном представлении средств такой оценки для обеспечения в научно-педагогическом сообществе взаимопонимания и необходимой интеграции выводов исследования с массивом известных в науке результатов.
- Систематизацию средств оценки качества педагогических исследований можно проводить по разным основаниям: процессуально-результативному, логико-этапному, методолого-инструментальному. Последнее в силу дифференциации фундаментальных и прикладных педагогических исследований, иерархического построения педагогических знаний (методологические – теоретические – нормативные – методические), а также традиционного структурного построения текстов диссертаций и авторефератов представляется наиболее рациональным.
- Опираясь на предлагаемые исследователями критерии оценки качества диссертационных исследований по педагогике и их содержательную интерпретацию, средства экспертизы качества можно сгруппировать по методолого-инструментальному признаку следующим образом:
- методологические средства: анализа целесообразности выполнения исследования; оценки объективности описанных в диссертации проблем и противоречий в педагогической теории и практике; экспертизы программы исследования, логического «каркаса» и системной целостности научного поиска; анализа корректности применения избранных диссертантом методов исследования и непротиворечивости используемых научных конструктов (понятий, принципов и т.д.); определения выраженности научной позиции автора, этико-эстетических и прогностических характеристик выполненной работы;
- инструментальные средства: определения состава экспертов на каждом этапе написания и защиты диссертации; анализа условий проведения и обеспечения педагогического эксперимента, надежности его эмпирической базы; оценки адекватности предлагаемых диссертантом методик обучения и/или воспитания образовательной цели, их воспроизводимости и эффективности; определения областей применения и правил использования результатов исследования; анализа презентации диссертантом полученных теоретических и практических результатов в публикациях и выступлениях.
4. В целях более точной оценки качества диссертационного исследования имеет смысл каждый из оценочных критериев градировать по четырехранговой шкале: показатель выражен, в основном выражен, недостаточно выражен, не выражен.
5. Предложенные авторами настоящей работы выводы не отрицают творческого характера деятельности экспертов и рецензентов, отражения в отзывах их авторского вклада, но позволяют осуществлять оценку научного труда, не упуская из виду как методологические основания получения результатов диссертационного исследования, так и инструментарий проверки доказательности сделанных диссертантом выводов.
1. Andreev G.I., Tihomirov V.A. Osnovy nauchnoj raboty i oformlenie rezul'tatov nauchnoj deyatel'nosti. [Fundamentals of scientific work and registration of the results of scientific activity] : Finansy i statistika,[Finance and statistics,] M.: 2004. (in Russian) EDN: https://elibrary.ru/QTHLRT
2. Buharova G.D. O povyshenii kachestva dissertacionnyh issledovanij po pedagogike: iz opyta raboty [On improving the quality of dissertation research in pedagogy: from work experience ] // Obrazovanie i nauka [Education and science], 2010. № 8. pp. 129-135.(in Russian) EDN: https://elibrary.ru/NCTEXX
3. Vershinina N.L., Zaguzov N.I., Pisareva S.A., Tryapicyna A.P. Instrumentarij ocenki kachestva dissertacionnogo issledovaniya po pedagogike [Tools for assessing the quality of dissertation research in pedagogy] // Sibirskij pedagogicheskij zhurnal. [Siberian pedagogical journal]. 2007. No. 14. Pp. 17-34, (in Russian) EDN: https://elibrary.ru/PUQVOD
4. Vesna E.B., Serikov V.V. Dissertacionnye issledovaniya po pedagogike: sostoyanie, problemy, resursy [Dissertation research in pedagogy: status, problems, resources ] Vysshee obrazovanie v Rossii [Higher education in Russia], 2023. Vol. 32. No. 7. P. 67–77 (in Russian) DOI: https://doi.org/10.31992/0869-3617-2023-32-7-67-77; EDN: https://elibrary.ru/WJSWDR
5. Zagvyazinskij V.I. O social'noj znachimosti i vostrebovannosti pedagogicheskih issledovanij [On the social significance and demand for pedagogical research] // Education and Science [Obrazovanie i nauka], 2015. No. 8 (127). P. 4–19 (in Russian) DOI: https://doi.org/10.17853/1994-5639-2015-7-4-19; EDN: https://elibrary.ru/UMGYXT
6. Kraevskij V.V., Polonskij V.M. Metodologiya dlya pedagoga. [Methodology for a teacher.], M. Volgograd: Peremena, 2001, (in Russian)
7. Lebedev S.A. Filosofiya i metodologiya nauki. Aktual'nye problemy: monografiya. [Philosophy and methodology of science. Actual problems: monograph] Izdatel'stvo Moskovskogo universiteta, [Moscow University Publishing House], 2024. P. 573 (in Russian)
8. Novikov A.M., Novikov D.A. Metodologiya nauchnogo issledovaniya. [Methodology of scientific research.] M., 2010.(in Russian) EDN: https://elibrary.ru/PFGVMP
9. Pisareva S.A. Metodologiya ocenki kachestva dissertacionnyh issledovanij po pedagogike: avtoreferat dissertacii … doktora pedagogicheskih nauk. [Methodology for assessing the quality of dissertation research in pedagogy: abstract of the dissertation … doctor of pedagogical sciences], St. Petersburg, 2005, (in Russian) EDN: https://elibrary.ru/NIEXZB
10. Polonskij V.M. Kriterii i metody ocenki kachestva pedagogicheskih i mezhdisciplinarnyh issledovanij [Criteria and methods for assessing the quality of pedagogical and interdisciplinary research] //Obrazovatel'nye tekhnologii. [Educational technologies]. 2015. No. 4. Pp. 12-27 (in Russian)
11. Robert I.V. Metodologiya pedagogicheskogo issledovaniya // Nauka o cheloveke: gumanitarnye issledovaniya. [Methodology of pedagogical research] // [Science of Man: Humanitarian Research] 2018. No. 3 (33). [Electronic resource]. URL: https://cyberleninka.ru/article/n/metodologiya-pedagogicheskogo-issledovaniya (date of access: 02.12.2024).(in Russian)
12. Strategiya i praktika dostizhenij vysshej kvalifikacii sub"ektom innovacionnoggo truda: monografiya [Strategy and practice of achieving higher qualifications by the subject of innovative labor: monograph ] /Pod obshchej redakciej [Under the general editorship of] S.I. Pahomova i V.L. Kubyshko, 3-e izdanie dopolni pererab.. [ 3rd edition, supplemented, revised] - M., Publishing house "Buki Vedi", 2018. Pp. 191-209.(in Russian)
13. Fel'dshtejn D.I. Problemy povysheniya kachestva dissertacionnyh issledovanij po pedagogicheskim i psihologicheskim naukam [ Problems of improving the quality of dissertation research in pedagogical and psychological sciences] // Vestnik sportivnoj nauki. [ Bulletin of sport science]. 2013. No. 1. Pp. 3-9.(in Russian) EDN: https://elibrary.ru/RRQQKN
14. Chapaev N.K. Pedagogicheskaya integraciya: metodologiya, teoriya, tekhnologiya: monografiya. [ Pedagogical integration: methodology, theory, technology: monograph]. Ekaterinburg: Publishing house of the Russian state prof.-ped. University, 2019.(in Russian) EDN: https://elibrary.ru/FSIZVN
