В РТУ МИРЭА провели масштабный научно-практический эксперимент, призванный выявить влияние технологии нейросетей на качество и объективность аттестации и оценки знаний студентов. Согласно ему, эксперты доказали неспособность нейросетей создать новый научный или творческий продукт.
Всего в эксперименте приняли участие более 200 студентов и 20 преподавателей. Половине учащихся, которые определялись методом слепого отбора, было предложено написать научно-практическую работу на выбранную тему с использованием технологий нейросети, в том числе сервисов ChatGPT, Ai search, Gerwin AI, «Балабоба» и TurboText.
Профессорско-преподавательскому составу нужно было определить среди подготовленных работ те, в которых применялся искусственный интеллект.
В результате эксперты смогли безошибочно определить 96% работ, написанных нейросетью. В отношении 4% невыявленных сгенерированных рефератов было выяснено, что студенты потратили существенное количество часов на редактирование результата, выданного ИИ.
Среди критериев, по которым удалось определить сгенерированные тексты, 86% преподавателей отметили стилистические и орфографические особенности текста — например, исключительную грамотность, отсутствие опечаток, при этом большое число самоповторов. В более чем 72% случаев работы содержали грубые фактические и логические ошибки. В более чем 67% рефератов повествование отклонялось от темы и содержало «пустые» выражения, не несущие смысла.
«В целом все тексты, созданные нейросетью, представляли компиляцию тезисов и предложений из написанных ранее научных трудов и работ и не содержали оригинальных суждений и выводов», — уточнили в РТУ МИРЭА.
Ректор вуза Станислав Кудж отметил, что результаты эксперимента говорят о том, что современный уровень развития нейросетей не ставит под сомнение качество аттестации и проверки уровня знаний студентов высших учебных заведений.
«Несмотря на резонанс темы, в том числе в средствах массовой информации, искусственный интеллект в настоящее время не может заменить опыта и квалификации преподавательского состава. Тем более нейросеть неспособна создать принципиально новый научный или творческий продукт, так как её работа строится исключительно на переработке заложенных в неё человеком знаний. О несовершенстве технологии заявили и студенты — участники эксперимента, — отметил Кудж.
