Об авторе: Анатолий Шалыто, профессор, д.т.н., Университет ИТМО
Семнадцатого сентября 2023 года я написал текст «Алиса, расскажи о Шалыто». В нём описано, как я четыре раза спрашивал российский GPT о себе и каждый раз получал бредовый ответ. Когда я на это пожаловался в сети, мне многие сказали, что я выбрал слабую модель и поэтому получил такое.
Прошло почти два года, и 5 мая 2025 года я снова задал тот же вопрос, на этот раз «настоящему», но бесплатному ChatGPT — и снова получил бредовый ответ, но другого типа. Об этом я написал текст «Ещё раз о языковых моделях». И снова мне сказали, что я пользовался не той моделью.
Потом несколько моделей, включая Perplexity, на указанный вопрос отвечали нормально, и я успокоился и подумал, что так теперь будет всегда. Конечно, меня смутило замечание продвинутого пользователя моделей Александра Волчека – ведущего подкаста «Из Кремниевой Долины про AI» или ToTheMoon, который их использует по много часов в день, сказавшего, что модели ему всё делают, но запомнить, сколько у него детей и каков его адрес, никак не могут.
Очередное разочарование в моделях у меня наступило 23 июля 2026 года, когда я бесплатной Perplexity задал вопрос: «Кто были оппонентами по докторской диссертации Шалыто?» Ответ меня ошеломил:
«Официальными оппонентами по докторской диссертации Анатолия Абрамовича Шалыто были Александр Сергеевич Ракитько и Всеволод Юрьевич Макеев.
Кто эти оппоненты:
-
-
- Александр Сергеевич Ракитько – кандидат физико-математических наук, руководитель подразделения департамента биоинформатики компании «Генотек».
- Всеволод Юрьевич Макеев – доктор физико-математических наук, профессор, заведующий лабораторией математической биологии и биоинформатики Института общей генетики им. Н.И. Вавилова РАН.
-
Если нужно, могу найти и прислать ссылку на саму карточку диссертации Шалыто в базе диссовета ИТМО и кратко описать тематику его докторской работы».
Модель действительно могла прислать мне карточку с этими оппонентами, но не о защите мною докторской диссертации, а о кандидатской диссертации Дмитрия Усольцева, у которого я был… научным руководителем через 25 лет после своей защиты в ЛЭТИ, а не в ИТМО, где работаю.
Раз «недружественная модель» выдала мне хрень, я решил обратиться с тем же вопросом к «Алисе», связанной с национальной моделью от «Яндекса». «Родная» выдала бред уровня «иностранки»:
«Официальными оппонентами на защите докторской диссертации Анатолия Абрамовича Шалыто были:
-
-
- Еремеев Антон Валентинович – доктор физико-математических наук, доцент, Омский филиал Федерального государственного бюджетного учреждения науки Институт математики им. С.Л. Соболева Сибирского отделения Российской академии наук, директор филиала, главный научный сотрудник, зав. лабораторией дискретной оптимизации.
- Антипов Денис Сергеевич – PhD (Университет Сорбонны, постдок (Лаборатория информатики Парижа 6, LIP6).
-
Защита прошла в 1999 году. Тема работы: «Методы аппаратной и программной реализации алгоритмов логического управления технологическими процессами» (специальность 05.13.05. «Элементы и устройства вычислительной техники и систем управления»)».
Дата, специальность и тема диссертации указаны правильно, но по поводу оппонентов и эта модель сглючила: эти господа действительно были оппонентами, но не у меня в 1999 году, а у ещё одного моего аспиранта, Кирилла Антонова, который тоже защитился на… 25 лет позже.
Я не мог успокоиться и вновь задал тот же вопрос той же самой национальной модели от «Яндекса». На этот раз модель была честна и сообщила, что где-то подобрала два имени:
«Официальными оппонентами на защите докторской диссертации Анатолия Абрамовича Шалыто были два учёных. Я подобрала их имена:
-
-
- Геннадий Иванович Новиков;
- Николай Александрович Туккель.
-
Защита прошла 29 октября 1999 года в ЛЭТИ. Тема работы: «Методы аппаратной и программной реализации алгоритмов логического управления технологическими процессами» (специальность 05.13.05. «Элементы и устройства вычислительной техники и систем управления»).
Сам Анатолий Абрамович в своих воспоминаниях отдельно благодарил Г.И. Новикова за согласие стать оппонентом (https://is.ifmo.ru/belletristic/2023/Shalyto-2023-1.pdf)».
Таким образом, с третьей попытки я приблизился к правильному ответу, но только на одну треть, так как оппонентами на докторской диссертации должны быть трое, а правильно подобран моделью был только один из них, так как второй выбранный «оппонент» мне вообще не известен: у меня был не оппонент, а соавтор с фамилией Туккель, но его зовут Никита! Даже наша прекрасная модель не смогла по этому вопросу не сглючить…
Раз национальная модель мне не помогла, я решил получить ответ на заданный вопрос у суверенной модели от «Сбера». Вот он:
«Официальными оппонентами по докторской диссертации Анатолия Абрамовича Шалыто на тему «Методы аппаратной и программной реализации алгоритмов логического управления технологическими процессами» (защищена в 1998 году) были:
-
-
- Еремеев Антон Валентинович – доктор физико-математических наук, доцент. На момент защиты занимал должность директора Омского филиала Института математики им. С.Л. Соболева СО РАН, главный научный сотрудник и заведующий лабораторией дискретной оптимизации.
- Антипов Денис Сергеевич (PhD) – сотрудник Университета Сорбонны, постдок Лаборатории информатики Парижа 6 (LIP6).
-
Также в документах о защите упоминается ведущее предприятие – Санкт-Петербургский государственный электротехнический университет «ЛЭТИ».
Стоит отметить, что приведённый выше список относится к процедуре защиты докторской диссертации самого А.А. Шалыто как соискателя учёной степени. В научной биографии профессора также широко представлена его деятельность в качестве научного руководителя: под его руководством защитили свои кандидатские диссертации многие известные специалисты в области программирования, например И.Б. Бурдонов, А.А. Коротун и А.В. Косяков».
Про Еремеева и Антипова я уже рассказал выше, защищался я не 1998, а в 1999 году. ЛЭТИ не был ведущей организацией по моей диссертации – я там защищал диссертацию, а ведущим предприятием был Институт проблем управления РАН. И.Б. Бурдоновым, А.А. Коротуном и А.В. Косяковым я не руководил, хотя однофамилец последнего якобы моего аспиранта – Миша Косяков – у нас учился, а на одну из его работ я недавно ссылался.
Из изложенного можно сделать вывод: без проверки советам этих вероятностных и поэтому безответственных «помощников» доверять нельзя, а если каждый раз получаемую от них информацию необходимо досконально проверять, то как им доверять что-либо ответственное? Однако эффект от применения моделей, несомненно, есть. Так и я недавно предложил с их помощью проверять IT-квалификационные работы, но не для их автоматического исправления, а для создания протоколов найденных ими ошибок, каждая из которых должна исправляться только с согласия автора работы и желательно им самим.
Однако любой текст должен заканчиваться на оптимистической ноте. Так удаётся закончить и этот текст. Платный недружественный ChatGPT на вопрос о моих оппонентах ничего не ответил (и правильно сделал, так как не знал), но зато, несмотря на продолжительное общение с ним, ни разу не сглючил, точно указал дату и место защиты, а также правильно отметил, что оппоненты указаны на второй странице автореферата, который, как я понимаю, ему найти трудно.
Помогу моделям: кроме Геннадия Ивановича Новикова моими оппонентами были профессора Александр Степанович Смирнов из Политеха и Александр Хафизович Мурсаев из ЛЭТИ.
Известна русская поговорка: «Чем бы дитя ни тешилось, лишь бы не плакало». Её аналог сегодня может звучать так: «Что бы модели ни делали, лишь бы не глючили».
И в заключение несколько мыслей и почти анекдот на эту же тему.
Специалисты по использованию ИИ говорят, что последние модели обучаются так, чтобы они могли сказать «не знаю», чего не было при обучении моделей предыдущих поколений.
Модели ничего не соображают, но в некоторых вопросах хорошо обучены («натасканы») и поэтому до поры до времени хорошо работают. Аналогичная ситуация и с людьми. Специалисты по поиску одарённых детей боятся при собеседовании принять «натасканного» ребёнка за талантливого, так как в ходе дальнейшей работы разница между ними обычно становится огромной.
Модели можно успешно использовать в тех областях, где с помощью тестов легко отличить «правду» от «лжи». Это обычно имеет место в программировании и в математике, когда ответ однозначен, в то время как для сгенерированных текстах следует проверять практически каждое слово.
Приведу пример, когда ответ большой языковой модели превращается в анекдот. Мой знакомый профессор И.А. Бессмертный попросил одну и наших моделей подобрать оппонентов для его аспиранта с диссертацией по теме применения ИИ при разработке программных систем и получил анекдотический ответ:
Иванов, Петрова, Сидоров.
- Иванов Иван Иванович (доктор технических наук, доцент). Работает в Институте программных систем им. А.К. Айламазяна РАН. Публикационная активность за 2021-2025 гг. в Scopus: более 8 статей по интеграции ИИ в разработку ПО.
- Петрова Анна Сергеевна (доктор технических наук, профессор). Заведующая лабораторией в МФТИ. Её исследования фокусируются на прикладных аспектах машинного обучения в разработке ПО.
- Сидоров Алексей Николаевич (доктор физ-мат. наук). Работает в СПбГУ. В его профиле в Scopus за указанный период – 6 статей по указанной тематике.
Никто из них в природе не существует.
Игорю Александровичу показалось странным, что не были предложены Рабинович, Хаймович, Абрамович… Эти фамилии для анекдота подходили бы больше…
В конце своего письма профессор пишет: «Оправдания типа «сеть недообучена» не принимаются. Тут поиск несложный, но утомительный. Надо прошерстить публикации по нужной тематике, извлечь авторов, сопоставить с ранжированным списком авторов по Хиршу. И получаем кандидатов в оппоненты. Даже с этим использованная модель не справляется».
