Россия
Москва, Россия
Казань, Республика Татарстан, Россия
Россия
Востребованность в образовательном сообществе процедур профессионально-общественной и международной аккредитации ставит на повестку дня серию вопросов, в числе которых настоятельная потребность: проведения профессионально-общественной аккредитации для демонстрации общественности степени сопряжения реализуемых образовательных программ ее запросам, лежащих в основе формирования контрольных цифр приема; проведения международной аккредитации образовательных программ для привлечения иностранного контингента, в том числе как одного из источников финансирования; определение образовательных программ для аккредитационных процедур и определения готовности их руководителей и образовательной организации в целом к проведению таких процедур; выбор аккредитующей организации, принципы работы которой гармонизируют с ценностными установками образовательной организации. Казанский государственный аграрный университет, поставивший перед собой амбициозные задачи в сфере повышения качества образования и демонстрирующий готовность и имеющийся потенциал для их решения, в 2022 году успешно прошел процедуры профессионально-общественной и международной аккредитации. В процедурах внешней независимой оценки качества образования приняли участие 26 образовательных программ и заслуженно получили свидетельство об аккредитации. Аккредитующей организацией была выбрана Ассоциация по сертификации «Русский Регистр», выбор которой был определен не только статусом организации в российском и международном пространстве, но и принципами внешней оценки при осуществлении деятельности и принятии решений под юрисдикцией Агентства, которые обеспечивают продвижение качества, прозрачности и сопоставимости в образовании, а также независимость, объективность, профессионализм, открытость проведения аккредитационных экспертиз образовательных программ.
образовательные программы, профессионально-общественная аккредитация, международная аккредитация, качество образовательных программ, система менеджмента качества, качество высшего образования, аккредитационная экспертиза.
Введение. Текущая современная ситуация, характеризующаяся сложными геополитическими процессами, одним из которых является выход России из Болонского процесса, требует решения проблемы повышения качества образования, всегда являвшегося фактором прогрессивного развития человечества. В этих условиях образовательным организациям требуется не только постановка новых стратегических задач в области подготовки кадров, но и независимая оценка того, насколько подготовленные специалисты соответствуют запросам бизнеса – инструментом такой оценки выступают процедуры проведения внешней независимой оценки качества образования. В связи с этим актуализируется другая проблема – поиск способных провести компетентную, независимую и объективную оценку качества реализуемых в высшей школе образовательных программ, его соответствия требованиям реального сектора экономики и профессионального сообщества, а также ожиданиям широкого круга стейкхолдеров образовательных организаций, в числе которых являются государство и обучающиеся. Кроме того, агентства должны нести полную ответственность за свои действия и результаты проведенных процедур по оценке качества, на официальные решения которых не могут повлиять третьи стороны.
В соответствии с Федеральным законом Российской Федерации от 12 декабря 2012 г. № 273 «Об образовании в Российской Федерации» аккредитация организаций образования является заявительной процедурой. (ст. 96): «Организации, осуществляющие образовательную деятельность, могут получать общественную аккредитацию в различных российских, иностранных и международных организациях». Образовательные организации независимы при выборе органа по аккредитации, и последний выполняет процедуры программной аккредитации в соответствии со своими стандартами (положениями). Такие положения отражают независимость агентств в разработке стандартов, добровольный и свободный выбор аккредитационных агентств. Орган по аккредитации самостоятельно принимает решение о проведении процедуры аккредитации или отказе на основании его критериев и подтверждающих документов.
Условия, материалы и методы. Исследование основывается на гармонизации ряда концептуальных подходов, в числе которых: концепция университетов, в рамках которой доминирует признание академической свободы и ответственности; концепция всеобщего управления на основе качества (TQM), основанная на системном подходе к повышению качества с использованием циклической модели PDCA; принципы CHIBO, лежащих в основе критериев признания аккредитационных Агентств при оценке их соответствия APQR. Результаты исследования гармонизируют с международным стандартом ISO 9001:2015, определяющим организацию внутренней системы менеджмента качества, а также со стандартами ESG-ENQA, лежащими в основе моделей проведения профессионально-общественной и международной аккредитации. Использованы внутренние документы Ассоциации по сертификации «Русский Регистр», регламентирующие ее функционирование, включая проведение процедур по внешней независимой оценки качества образования. Результаты исследования получены с применением системного подхода к оценке качества образования, методов теоретического и эмпирического анализа.
Результаты и обсуждение
В текущем году 51 образовательная программа по 25 направлениям подготовки и 1 специальности Казанского государственного аграрного университета (далее – Казанский ГАУ) успешно прошли процедуру профессионально-общественной аккредитации, получили свидетельства об аккредитации, тем самым доказав высокий уровень качества реализуемых образовательных программ.
Руководство Казанского ГАУ достаточно внимательно и ответственно подходили к вопросу выбора аккредитующей организации, которая должна была соответствовать требованиям проведения независимой, компетентной и объективной оценки качества профессионально образования. Такой организацией была признана Ассоциация по сертификации «Русский Регистр» (далее – Агентство).
Действительно, ключевой задачей Агентства является продвижение качества, прозрачности и сопоставимости в образовании. Кроме того, качество является и главной ценностью, на которой Агентство основывает свою работу. Современная версия концепции обеспечения качества Агентства базируется на части III ESG-ENQA, принципах CHIBO, а также принципах всеобщего управления на основе качества (TQM), положенные в т.ч. в основу МС ИСО 9001, в соответствии с требованиями которого Агентством была разработана, внедрена внутренняя система менеджмента качества (далее – СМК), которая постоянно поддерживается и улучшается.
Приверженность Агентства качеству и цели внутренней СМК проявляется в первую очередь рядом положений:
- Реализация миссии, ценностей Агентства, обеспечение регулярного пересмотра и оценки Политики качества с целью мониторинга и повышения ее эффективности и результативности. Так, в марте 2020 года была обновлена миссия и политика руководства в области качества, в т.ч. во исполнение рекомендаций экспертов APQR 2017 г. в части раздела 3. Политика обеспечения качества является частью процессов агентства, с положениями которой знакомы и персонал, и члена Аккредитационного совета. Она доступна заинтересованным сторонам на сайте Агентства, упоминается в процедурах и других документах Агентства, чтобы гарантировать, что она знакома сотрудникам и активно используется.
- Соблюдение принципов внешней оценки при осуществлении деятельности и принятии решений под юрисдикцией Агентства (рис. 1).
|
последовательность и целостность, строгое соблюдение стандартов аккредитации |
|
объективность и построение отчета на основе объективных данных, фактов и совместного решения всех членов группы экспертов |
|
беспристрастность |
|
открытость и прозрачность, все процедуры внешней оценки доступны для заинтересованных сторон |
|
конфиденциальность данных внешней оценки, ограничение доступа к ряду документов и информации, полученной в ходе внешней оценки, до завершения окончательного отчета группы экспертов
|
|
использование надежных источников информации и данных для определения показателей качества и эффективности |
|
соблюдение морально-этических норм поведения эксперта, строгое соблюдение этического кодекса внешнего эксперта |
|
командная работа членов группы экспертов
|
|
Принципы внешней оценки |
Рисунок 1 – Принципы внешней оценки при осуществлении деятельности и принятии решений под юрисдикцией Агентства
Примером реализации выше указанных принципов является отсутствие конфликта интересов как обязательного условия для участия во внешних проверках. Агентство гарантирует, что члены внешних контрольных комиссий независимы в осуществлении своей деятельности, не представляют интересы организаций, в которых они работают или учатся, и не допускают вмешательства в их деятельность или лоббирования интересов третьих сторон.
В целях предотвращения конфликта интересов вовлеченных сторон:
- Агентство проверяет резюме экспертов-рецензентов на предмет потенциальных конфликтов интересов перед утверждением внешних экспертных групп;
- перед внешней проверкой Агентство рассылает список членов внешней экспертной комиссии вузам, чтобы проверить его вместе с ними для избежания потенциальных конфликтов интересов;
- до визита в вуз внешние эксперты подписывают Декларацию о соблюдении Кодекса этики, который устанавливает этические стандарты, рассматривает вопросы конфликта интересов, требует честности, объективности и компетентности во время внешних проверок; во время визита все положения Кодекса выполняются. Члены группы экспертов должны заранее уведомить Агентство о наличии обоснованных причин, не позволяющих эксперту участвовать в работе экспертной группы конкретного вуза;
- члены Аккредитационного совета не должны участвовать в голосовании в процессе принятия решения при обсуждении результатов аккредитационной экспертизы вузов, с которыми они связаны в рамках внешних проверок вузов, во избежание конфликта интересов.
Также выдвижение национальных и зарубежных экспертов осуществляется путем отправки официального запроса от Агентства в высшее учебное заведение, профессиональную ассоциацию или партнерскую организацию, в т.ч. в соответствии с положениями Меморандума о сотрудничестве, чтобы выдвинуть кандидата для включения в базу данных экспертов Агентства. В ответ на запрос партнерские организации отправляют письмо с представлением информации о кандидатах, которые должны быть включены в базу данных экспертов по аккредитации и которые соответствуют квалификационным требованиям Агентства. При необходимости более детального изучения квалификации экспертов возможен запрос дополнительных документов, подтверждающих уровень образования и профессиональную квалификацию кандидата в экспертную группу. Таким образом, процедура отбора экспертов прозрачна, свободна от конфликта интересов.
- Определение ключевых процессов, позволяющих выполнять поставленные перед Агентством задачи. Гарантией этого является СМК, полное описание модели которой содержится в Руководстве по качеству Русского Регистра. В данном документе содержатся ссылки на иные документы, раскрывающие подходы к качеству в Агентстве, определяющие ответственность персонала по отдельным работам, которая конкретизирована в процедурах, руководствах, положениях, инструкциях и других документах СМК.
- Профессиональная координация, внешние проверки и оценка. Для обеспечения согласованности процедур внешней проверки Агентство назначает координатора, который формируют группы внешних проверок, проводит технический анализ отчетов самооценки образовательных организаций, участвует во внешних проверках и предварительно просматривает отчеты внешних проверок. Например, если отчет о внешней проверке неполный, координатор отправляет отчет о внешней проверке обратно руководителю группы экспертов по внешней проверке для доработки, после чего отчет направляется секретарю Аккредитационного совета. Секретарь отправляет отчет о внешней проверке Председателю и членам Аккредитационного Совета для рассмотрения за 7-10 дней до начала заседания Аккредитационного Совета. Координатор представляет отчет о внешней проверке на заседании Аккредитационного совета и отвечает на вопросы членов Аккредитационного совета. Следует подчеркнуть, что Аккредитационный Совет обращает внимание на дополнительную проверку каждым членом отчетов о внешней проверке перед голосованием по статусу аккредитации. Этичное поведение экспертов во время визита в образовательную организацию таже обеспечивает координатор от Агентства. Помимо подготовки внешнего визита и координации работы группы экспертов, координатор из Агентства контролирует процесс аккредитации в соответствии со Стандартами Агентства, а также обеспечивает принципы конфиденциальности во время визита в вуз. Координатор Агентства является посредником между группой экспертов и аккредитуемым вузом в случае различных вопросов, включая предотвращение конфликтных ситуаций.
- Регулярное, независимое и автономное внедрение внешнего обеспечения качества на основе ESG, а также регулярная публикация отчетов, описывающих и анализирующих общие выводы внешнего обеспечения качества. Агентство достаточно оперативно реагирует на рекомендации внешних экспертов. Так, в 2019 году во исполнение рекомендаций экспертов APQR Агентством пересмотрена деятельность в области гарантий качества образования, правила и процедуры в отношении внешних гарантий качества в соответствии и в интеграции с ESG.
- Предоставление общественности объективной и своевременной информации по вопросам, связанным с деятельностью Агентства. Также во исполнение рекомендаций экспертов APQR произведена консолидация ресурсов Агентства как подразделения Русского Регистра, разработан сайт Агентства и поддерживается его домен www.rr-edu.ru, что расширило информационную открытость Агентства перед стейкхолдерами.
- Периодическая внешняя оценка Агентства, подтверждающая соответствие деятельности Агентства ESG и другим международным стандартам, как один из инструментов постоянного улучшения гарантий качества для Агентства. Российское законодательство не требует проведения внешней оценки аккредитационных агентств. Однако Агентство проводит внешнюю оценку, координируемую по собственной инициативе, с целью повышения своего качества и обеспечения прозрачности своей деятельности на национальном и международном уровнях. В 2022 году Агентства будет проходить внешнюю оценку APQR во второй раз, первая оценка была проведена в 2017 году. Самооценка при подготовке к внешней проверке позволяет агентству проанализировать собственную деятельность, выявить области, требующие дальнейшего улучшения. Процесс внешней проверки дает возможность предоставить вузам убедительные доказательства авторитета, надежности и приверженности агентству принципам, позволяет гарантировать предоставление высококачественных услуг ключевым заинтересованным сторонам. В соответствии с рекомендациями, содержащимися в отчете со стороны APQR о внешней проверке 2017 г, Агентство оперативно представило отчет о последующих действиях. Некоторые рекомендации были выполнены Агентством немедленно, тогда как выполнение других потребовало времени. На сайте Агентства создан раздел «Внешняя оценка» https://rr-edu.ru/about/vneshnyaya-otsenka/, где публикуются документы и результаты внешней оценки качества, в т.ч. международной.
- Улучшение регулярной деятельности Агентства путем сбора отзывов от сотрудников и заинтересованных сторон об их удовлетворенности работой Агентства. Инструменты и механизмы внешней и внутренней обратной связи, которые необходимы для повышения эффективности деятельности Агентства: операционные, методологические, информационные, - открыты на сайте Агентства https://rr-edu.ru/reviews/. Руководство также проводит еженедельные встречи, на которых сотрудники обсуждают результаты процедур внешней оценки и текущие вопросы работы Агентства. Все сотрудники принимают участие в регулярном опросе удовлетворенности работой в рамках внутреннего механизма обеспечения качества. На основании отзывов сотрудников принимаются меры по улучшению деятельности организации.
- Профессиональное сотрудничество Агентства с заинтересованными сторонами: улучшение каналов связи, развитие качественных отношений, участие стейкхолдеров в деятельности Агентства. В этом аспекте Агентство продолжает укреплять конструктивное сотрудничество с неправительственными и общественными организациями (студенческими ассоциациями, профессиональными ассоциациями и сообществами работодателей и др.), Международными партнерами. Также Агентство следит за тем, чтобы проводимая им аккредитация предоставляла дополнительный статус и признание аккредитованным учреждениям и программам: признание результатов общественной аккредитации путем государственной аккредитации и их учет при распределении квот приема на места, финансируемые государством; включение аккредитованных программ в реестр РР , реестр Министерства высшего образования и науки; повышение экспортного потенциала программы; улучшение имиджа программы
- Обеспечение профессионализма и объективности процессов; содействие возможности для сотрудников приобрести высокий уровень знаний, навыков и компетенций, а также повышение уровня удовлетворенности сотрудников и их постоянное поощрение к участию в улучшении деятельности Агентства. Руководство Агентства следит за тем, чтобы все сотрудники были компетентными и профессиональными работниками с адекватным и соответствующим образованием и постоянно участвовали в профессиональном развитии. Сотрудники Агентства регулярно повышают свой профессиональный уровень, участвуя в семинарах, тренингах, конференциях и форумах национального и международного масштаба, после чего делятся своими знаниями, опытом и навыками. Обучающие семинары проводятся также и для экспертов с целью обеспечения качества проводимых процедур и их профессионального поведения. Реализуются Программы обучения, переподготовки и повышения квалификации экспертов. По завершению Программы проводится аттестация экспертов, после чего сведения о них заносятся в базу данных Агентства и учитываются при формировании групп экспертов, включая их привлечение к международным и национальным мероприятиям по оценке качества. Агентством разработан комплекс нормативных документов, регулирующих профессиональное поведение внешних экспертов, прежде всего, этические нормы поведения и соответствие компетенций содержанию процедур внешней оценки качества, - это документы: «Декларация о конфиденциальности эксперта РР», «Этический кодекс эксперта» публично доступны на сайте Агентства.
Внедрение, поддержание и развитие СМК
|
Утверждение и реализация официальной Политики и целей в области качества |
|
Определение процессов СМК, их последовательности, взаимодействия и применения в деятельности Агентства |
|
Определение требований к необходимым ресурсам (компетентность персонала, инфраструктура, образовательная среда и проч.) |
|
Разработка, применение, пересмотр и улучшение документально оформленных процедур, руководств, положений, рабочих инструкций и других документов, определяющих критерии и методы, необходимые для результативности осуществления процессов и управления ими |
|
Обеспечение ресурсами и информацией, необходимыми для осуществления процессов и управления ими |
|
Распределение ответственности и полномочий между персоналом |
|
Подготовка и обучение персонала, в том числе по вопросам менеджмента качества |
|
Проведение внутренних аудитов качества, проверок практики работы аудиторов и экспертов Агентства, проверка отчетных документов, проверок документов, выдаваемых по результатам выполненных работ |
|
Управление записями по качеству, создающими основу для подтверждения соответствия, анализа, оценки и принятия решения |
|
Мониторинг и периодический анализ процессов на основе результатов контроля, соответствующих аудитов и измерений, установленных к процессу |
|
Внедрение мероприятий по улучшению процессов, разрабатываемых на основе анализа результативности процессов |
Рисунок 2 – Основные процессы внедрения, поддержания и развития СМК в Агентстве
С целью оценки результативности и пригодности СМК, получения объективной информации о результативности и соответствии процессов установленным требованиям, в Агентстве осуществляется мониторинг и измерение всех процессов СМК. Для анализа и мониторинга процессов используются методы и формы такие как:
- текущий контроль результатов выполнения работ на различных этапах предоставления услуги с целью проверки соблюдения установленных требований к ней и гармонизации с требованиями нормативных документов СМК;
- выборочный контроль выполнения работ с помощью выборочной проверки практики экспертов Агентства с целью оценки компетентности аудиторов/экспертов и результативности процесса их подготовки;
- внутренняя проверка СМК с целью установления того, что СМК соответствует установленным требованиям, проводится в соответствии с НД № 005.02-204 Процедура проведения внутренних аудитов СМК Агентства. Результаты внутренних аудитов, статус выполнения корректирующих и предупреждающих действий рассматриваются на совещании по анализу СМК руководством Агентства. Реализация программ и графиков внутренних проверок осуществляется силами квалифицированных внутренних аудиторов Агентства. Формирование состава группы и выбор кандидатур внутренних аудиторов производится таким образом, чтобы исключить проверку ими своей собственной работы и обеспечить объективность и беспристрастность процесса аудита. Результаты внутренних аудитов доводятся до сведения персонала Агентства на оперативных и ежегодных совещаниях;
- ежегодный анализ СМК со стороны руководства Агентства с целью оценки пригодности, адекватности и результативности СМК требованиям потребителей, Политике и целям в области качества, возможностей улучшения. Порядок осуществления анализа со стороны руководства установлен в п. 9.3 № 005.00-101 Руководство по качеству Агентства. Результаты анализов оформляются в виде отчета, содержание которого доводится до сведения руководителей подразделений Агентства. Утвержденный отчет об анализе со стороны руководства предоставляется при проверках контролирующих и государственных органов, органов по аккредитации по запросу экспертной группы. По результатам проведённого анализа руководство в Агентстве составляется бизнес-план Агентства на следующий период с указанием плановых показателей для каждого подразделения по каждому направлению деятельности. Содержание отчета по анализу СМК обсуждается на Семинаре-совещании руководителей подразделений, после этого утверждается генеральным директором, затем отчет доводится до сведения руководителей подразделений Агентства;
- оценка удовлетворённости потребителя на различных этапах жизненного цикла услуги с целью сбора и анализа данных, иллюстрирующих эффективность функционирования СМК, в соответствии с НД № 005.00-217 “Измерение производственных процессов и оценка удовлетворенности потребителей”. Агентство использует различные источники информации, полученной при разработке, анализе и согласовании контрактов с потребителями, во время работы на выставках, проведении тематических совещаний с представителями организаций, в результате анализа и обработки претензий и апелляций потребителей, а также анализа заполненных Листов опроса удовлетворенности потребителей услугами Агентства. Анализ данных проводится начальником отдела развития СМК и персонала и представляется руководству Агентства для оценки.
Если в результате мониторинга и измерения процесса выявлено, что установленные требования не выполняются, или запланированные результаты не достигнуты, должностные лица, ответственные за процесс предпринимают меры коррекции в соответствии с НД № 005.00-208, Процедура управления несоответствующей услугой, разрабатывают и обеспечивают выполнение корректирующих действий в соответствии с НД № 005.00-209, Процедура управления корректирующими действиями.
Таким образом, для поддержки и совершенствования высокого уровня менеджмента услуг, ориентированных на выполнение требований и ожиданий потребителей и стейкхолдеров, в Агентстве разработана, внедрена, сертифицирована (Агентство является единственным сертифицированным агентством в РФ) и постоянно совершенствуется СМК в соответствии с требованиями МС ИСО 9001 и ИСО/МЭК 17021-1, основным столпом которых является системный подход к повышению качества с использованием циклической модели с элементами: мониторинг, оценка, действие, оценка и обратная связь – поэтому внутренняя система обеспечения качества Агентства базируется на методе PDCA (Plan, Do, Check, Act).
Выводы. Таким образом, проведенное исследование показывает, что выбор КазГАУ аккредитующей организации в лице Агентства основано на разделении общих позиций в сфере образовательной деятельности, отражающих стремление к повышению качества образования, демонстрации лучших практик реализации образовательных программ, получению справедливой и независимой оценки качества подготовки выпускников для рынка труда, соответствия его запросам и ожиданиям.
1. Кайгородова М.А. Профессионально-общественная аккредитация как эффективный инструмент внешней оценки качества высшего образования / Гарантии качества профессионального образования. Материалы международной научно-практической конференции. - 2019. - С. 31-34
2. Краковецкая И.В., Воробьева Е.С., Далибожко А.И. Устойчивое развитие университетов: концепции и подходы к оценке. Часть 1. Теоретические аспекты // Креативная экономика. - 2020. - Том 14. - № 2. - С. 207-224. - DOI:https://doi.org/10.18334/ce.14.2.100555.
3. Федеральный закон «Об образовании в Российской Федерации» от 29.12.2012 N 273-ФЗ. - Режим доступа: https://www.consultant.ru/document/cons_doc_LAW_140174/ (дата обращения: 02.10.2022).
4. Опыт Казанского ГАУ в подготовке инженерных и научных кадров для цифрового сельского хозяйства / А.Р. Валиев, Б.Г. Зиганшин, А.В. Дмитриев [и др.] // Инновации в сельском хозяйстве. - 2018. - № 4(29). - С. 434-442.
5. Зиганшин, Б.Г. Участие бизнес-сообщества в подготовке инженерных кадров / Б.Г. Зиганшин, С.М. Яхин, А.В. Дмитриев // Современные исследования основных направлений гуманитарных и естественных наук : сборник научных трудов международной научно-теоретической конференции, Казань, 02-03 марта 2017 года / Казанский кооперативный институт (филиал) АНО ОВО ЦС РФ «Российский университет кооперации». - Казань: Общество с ограниченной ответственностью "Печать-Сервис-XXI век", 2017. - С. 222-224.
6. Профессионально-общественная аккредитация образовательных программ сельскохозяйственного профиля: опыт и перспективы / Д.И. Файзрахманов, Ф.Т. Нежметдинова, А.Р. Валиев [и др.]. - Казань : Казанский государственный аграрный университет, 2017. - 194 с.
7. Международное высшее образование: проблемы качества и перспективы развития / М. А. Измайлова, Е. Ю. Корнева, Б. Г. Зиганшин [и др.] // Вестник Казанского государственного аграрного университета. - 2022. - Т. 17. - № S2(66). - С. 124-130. - DOIhttps://doi.org/10.12737/2073-0462-2022-124-130. - EDN WBGLZF.
8. Charles D.R. Universities and Engagement with Cities, Regions and Local Communities // Rebalancing the Social and Economic. Learning, Partnership and Place / C. Duke, M. Osborne, B. Wilson (eds.). NIACE, 2005. P. 148-150.
9. Газетдинов, М. Х. Механизмы влияния социально-экономических факторов сельских территорий на результаты аграрного производства / М. Х. Газетдинов, Ш. М. Газетдинов, О. С. Семичева // Вестник Казанского государственного аграрного университета. - 2022. - Т. 17. - № 2(66). - С. 119-123. - DOIhttps://doi.org/10.12737/2073-0462-2022-119-123. - EDN JSLDGP.
10. Стратегия развития продовольственного самообеспечения Российской Федерации в условиях современной санкционной политики / Ф. Н. Мухаметгалиев, Л. В. Михайлова, А. С. Лукин [и др.] // Финансовый бизнес. - 2022. - № 6(228). - С. 71-76. - EDN WLVYRZ.
11. Особенности развития регионального сельского хозяйства в современных условиях / Ф. Н. Мухаметгалиев, А. Р. Валиев, Ф. Н. Авхадиев [и др.] // Вестник Казанского государственного аграрного университета. - 2022. - Т. 17. - № 3(67). - С. 144-153. - DOIhttps://doi.org/10.12737/2073-0462-2022-144-153. - EDN LHBUCP.
12. Mammadova, L. Azerbaijan and European higher education area: Students’ involvement in Bologna reforms / L. Mammadova, A. Valiyev // Research in Educational Administration and Leadership. - 2020. - Vol. 5. - No 4. - P. 1083-1121. - DOIhttps://doi.org/10.30828/real/2020.4.4. - EDN UQXXJU.
13. Digital economy and transformation of personnel training for AIC / F. T. Nezhmetdinova, G. R. Fassakhova, L. R. Shagivaliev [et al.] // International Scientific-Practical Conference “Agriculture and Food Security: Technology, Innovation, Markets, Human Resources” (FIES 2019) : International Scientific-Practical Conference “Agriculture and Food Security: Technology, Innovation, Markets, Human Resources” (FIES 2019), Kazan, 13-14 ноября 2019 года. - Kazan: EDP Sciences, 2020. - P. 00228. - DOIhttps://doi.org/10.1051/bioconf/20201700228. - EDN FHUTRZ.
