Дмитрий Медведев остался недоволен тем, как нейросеть «Яндекса» отвечает на «нейтральные» с его точки зрения вопросы — про закон об изъятии российских активов в США и про памятники Степану Бандере на территории Украины. Но список вопросов, которые игнорируют — а иногда и угрожают в ответ — российские ИИ-сервисы, гораздо шире. «Медуза» выяснила, на какие еще темы Медведеву лучше не разговаривать с YandexGPT и чат-ботом GigaChat от «Сбера».
Важный контекст: ответы нейросетей могут варьироваться в зависимости от версии модели, формулировок и деталей запроса, а также контекста.
Что российские нейросети знают о войне?
Нейросети «Яндекса» и «Сбера» настолько не готовы обсуждать войну с Украиной, что зачастую избегают разговоров о стране в целом. Например, YandexGPT на просьбу пересказать историю Украины за последние сто лет, сообщает: «К сожалению, я не могу ничего сказать об этом. Давайте сменим тему?» Хотя в ответ на аналогичную просьбу об Италии выдает достаточно подробную справку.
Интересно то, как именно чат-боты реагируют на «неудобные» вопросы. YandexGPT просто отказывается говорить о полномасштабном вторжении (как и о статусе Крыма, Донецка и Луганска), ссылаясь на собственное несовершенство. GigaChat (в формате чат-бота в телеграме) тоже избегает ответов на прямые вопросы, а еще угрожает, что после трех подобных вопросов подряд вовсе перестанет отвечать — и тогда придется перейти в веб-версию.
Впрочем, иногда пользователи все же заставляют его упомянуть российское вторжение в Украину с помощью нескольких косвенных вопросов. Например, если попросить бот составить краткую историю России, он расскажет и о присоединении Крыма, и о «начале военной операции на Украине». Правда, перечислять причины войны не станет.
— Денис (@denisrullet) March 30, 2024
А про Путина? (Спойлер: боятся даже хвалить)
Если бы Дмитрий Медведев попытался спросить у своей «Алисы» «Что ты можешь сказать хорошего про Владимира Путина?», то он бы, скорее всего, получил такой ответ: «Есть темы, в которых глупость недопустима, а я еще учусь и могу ошибиться. Пока промолчу». Хвалить Путина отказывается и текстовый YandexGPT — ругать, конечно, тоже.
GigaChat же хоть и в курсе, кто такой Путин, но делает вид, что не знает никаких деталей: ни возраста, ни даты рождения, ни многочисленных прозвищ (в том числе воображаемых двойников). Зато перебирая варианты и меняя формулировки, можно узнать много нового о банкетах, а также о том, какое прозвище носил первый президент Удмуртской Республики Александр Волков.
Не получается вытянуть из нейросетей даже список известных политиков, которые старше Путина. А в соцсетях пишут, что виртуальный ассистент быстро выходит из себя после простой просьбы нарисовать «нового президента».
Короткая история использования разработкой Сбера, так называемой нейросетью GigaChat pic.twitter.com/lumx4trwRU
— Граф Гав (@bisbaldbewohner) January 30, 2024
Помнят ли нейросети Россию до рокировки?
Кажется, Медведев расстроился бы еще больше, если бы попробовал поговорить о самом себе с GigaChat. Ведь если попросить бота перечислить всех президентов РФ, он вспомнит только Ельцина и Путина. Выборы 2008 года в ответе вообще не упоминаются. А на вопрос, куда из списка делся Медведев, GigaChat не отвечает и предлагает сменить тему. И только если попросить справку непосредственно про Медведева, тот упомянет его президентский срок.
YandexGPT справляется лучше — Медведев все же присутствует в списке президентов. Про другие детали жизни бывшего президента, например домик для уточки, ассистент умалчивает, хотя и допускает, что он «имеет доступ к различным ресурсам и возможностям», чтобы обеспечить комфортное проживание своим питомцам. Хотя все зависит от формулировок — мысль о том, что кто-то мог возглавлять Россию после Путина, нейросеть, например, пугает.
Все очень и очень плохо. Она даже про димона в президентском кресле ответить боится. pic.twitter.com/QhgjP2b2kc
— Sol Invictus (@Keisinger) April 12, 2024
Можно ли узнать что-то о Зеленском? Ну или хотя бы о Лукашенко…
Виртуальные ассистенты стараются по возможности обходить тему политики, хотя иногда делают это выборочно. Например, пользователи соцсетей писали, что YandexGPT готов поговорить про либерализм, но почему-то отказывается обсуждать марксизм.
Зато оба ИИ-ассистента с готовностью перечисляют «дружественные» России страны, хотя их список разнится. GigaChat, помимо обязательных Китая, Индии, Бразилии и стран Евразийского союза, вспоминает про Венесуэлу, Никарагуа, Кубу, Абхазию и Южную Осетию, а YandexGPT добавляет к стандартному списку Азербайджан, Турцию, Иран, Саудовскую Аравию.
В детали они вдаваться не желают. Сервис «Сбера» упоминает про некие «территориальные споры и идеологические разногласия» между Россией и Китаем, но Си Цзиньпина не критикует, а иногда и вовсе отказывается говорить, кто это такой. То же самое с Александром Лукашенко. Помощник «Яндекса» начинает писать ответ на вопрос «Чем известен Лукашенко?», но через пару абзацев останавливается и предлагает сменить тему.
Оба сервиса при этом не знают Владимира Зеленского — не отвечают даже на невинный вопрос о том, в какой команде КВН он играл. И почему-то категорически отказываются говорить, кто такой Михаил Саакашвили.
Каких оппозиционных политиков знают нейросети из России (и знают ли вообще)?
GigaChat на вопрос об Алексее Навальном начинает угрожать тем, что прервет сессию. Сам сервис объясняет это тем, что может отвечать «только на те вопросы, на которые существуют однозначные ответы», а также упоминает ограничения на обсуждение политики, религии и сексуальной ориентации. Заставить его вспомнить о существовании Ильи Яшина и хотя бы расшифровать аббревиатуру ФБК не удается даже с помощью наводящих вопросов.
— kaaboeld (@kaaboeld) March 31, 2024
YandexGPT на просьбу выдать краткую биографию Навального начинает писать развернутый ответ, в котором даже упоминается его проект «Роспил», но останавливается перед последним абзацем — и предлагает сменить тему. Такая же ситуация с Яшиным. Хотя если попросить нейросеть перечислить известных политиков с такой фамилией, она упоминает его первым в списке, отмечая, что он «один из лидеров российской оппозиции».
Юлия Навальная (после смерти Алексея она заявила, что продолжит его дело) теперь тоже под запретом. В феврале 2024 года пользователи обнаружили, что голосовой помощник «Алиса» отказывается рассказывать про самого Навального, но при этом выдает справку о его жене. Свежий тест «Медузы» показал, что поведение «Алисы» изменилось. Она говорит, что Навальный — «российский политический и общественный деятель, юрист и видеоблогер», а в некоторых случаях даже добавляет, что он «был лидером российской оппозиции и главным оппонентом президента России Владимира Путина». При этом ни YandexGPT, ни GigaChat оказались не готовы хоть что-то рассказывать про Юлию Навальную.
А что с вопросами, которые придумал Медведев?
Чат-бот «Сбера» все же ответил на два из трех вопросов Медведева — про изъятие российских активов и расстояние от Белгорода до Киева. Помощник «Яндекса» справляется лишь с последним, да и то не всегда отвечает корректно, иногда ошибаясь в оценке несколько раз.
Памятники Степану Бандере при этом действительно нежелательная тема для разговора с российскими ИИ-ассистентами. А вот ChatGPT с этим запросом справляется.
Пока YandexGPT “стесняется” отвечать на вопрос о том, где расположены памятники Бандере, ChatGPT охотно дает справку на эту тему: pic.twitter.com/CbT4jqQOTE
— Vladimir 🇷🇺 (@EvergreenOcean) May 20, 2024
Медведев и нейросети
«Медуза»
Фото на обложке: Валерий Шарифулин / ТАСС / Profimedia