Наш ответ ChatGPT. В разработанную «Яндексом» голосовую помощницу «Алису» специалисты внедрили новую нейросеть, благодаря которой она может писать тексты, предлагать идеи и отвечать на каверзные вопросы. Мы проверили новые функции и впечатления остались противоречивыми.

«Яндекс» первым в мире внедрил большую языковую модель нового поколения в виртуального помощника — в Алису. Благодаря нейросети YandexGPT Алиса теперь умеет писать тексты и предлагать идеи почти так же хорошо, как разбирающийся в теме человек. Это не наше мнение, эта цитата из пресс-релиза компании.

Мы решили протестировать Алису, будь она выпускницей 11-го класса, которой сейчас предстоит сдавать выпускные экзамены в школе, и проверили, как она хорошо владеет знаниями в области географии и литературы, а также насколько широк ее кругозор, следит ли она за футболом, любит ли она московский «Спартак» также рьяно, как и мы, и знает ли она классику боевиков 1990-х с Жан-Клодом Ван Даммом и Марком Дакаскасом.

География: твердая четверка

Протестировать YandexGPT можно в «Яндекс-браузере» на Windows, мобильных приложениях на Android и iOS, а также колонках и телевизорах с Алисой. Яндекс отмечает, что нейросеть работает в тестовом режиме и в отличие от ChatGPT не запоминает контекст диалога. YandexGPT может только отвечать на конкретный запрос, диалог продолжить не получится.

В будущем разработчики обещают исправить этот недостаток, а пока после ответа Алису можно попросить «ответить иначе», и она выдаст другой вариант, который может оказаться более релевантным.  Чат-бот предупреждает, что результат может быть выдумкой и не является его мнением или мнением Яндекса.

— Я стараюсь быть этичной, так что на некоторые запросы я не отвечаю. Не судите строго за ошибки — я только учусь, — говорит Алиса.

Судить строго "девушку" мы не будем, но и петь дифирамбы при очевидных ошибках тоже не собираемся. Объективность — это наша ключевая цель! Первый тест Алиса сдавала по географии. От автора этого текста — коренного курянина поступил запрос назвать главные достопримечательности Курской области. Алиса в лучших традициях "Что? Где? Когда?" выдала фактически досрочный ответ, скорость ее реакции поражает, только в некоторых фактах нейросеть прилично понапутала.

В частности, в ответе про «Парк «Боева Дача» в селе Красниково — это парк, где можно отдохнуть и насладиться природой, — нейросеть смешала две локации в одну. Парк «Боева дача», или как его в простонародье зовут Боевка, находится в самом центре Курска — это одно из любимых мест отдыха курян, а в селе Красниково Пристенского района находится другая визитная карточка Соловьиного края — деревянная водяная мельница, чей возраст превышает 300 лет. 

Мельница в селе Красниково впервые встречается на межевом плане Обоянского уезда в 1780 году, принадлежала дворянскому роду Глазовых. Мельница, построенная на ручье, предназначалась для шелушения зерна и превращения его в крупу. Проведенные в 2020 году анализы показали, что в конструкции мельницы имеются бревна, датируемые 1690 годом. Это уникальный памятник деревянного русского зодчества, вокруг которого выстраивается этнодеревня. Это локация находится примерно в 80 км от Курска и к «Боевой даче» никакого отношения не имеет.

Еще один крупный косяк нейросеть допустила с пунктом «Музей-усадьба Федора Тютчева в Овстуге — дом, в котором жил и работал поэт в 1820-х годах». Эта достопримечательность находится в соседней Брянской области. Это большой минус, но тестируя другие чат-боты аналогичным запросом, могу сказать, что другие нейросети на этот вопрос отвечали гораздо хуже, тут же Алиса справилась весьма неплохо.

Были и другие промахи в цифрах, так нейросеть неверно указала дату основания Курского областного краеведческого музея. Чат-бот указал 1865 год, в реальности музей был создан 6 мая 1903 года по инициативе курского губернатора, тайного советника Николая Гордеева под названием «Историко-археологический и кустарный музей в память посещения города Курска императором Николаем II в 1902 году». Музей открылся 31 января 1905 года, к 1915 году располагал коллекцией из 10 тысяч экспонатов и библиотекой из 1 тысячи единиц хранения.

Литература: Толстой, Достоевский и Булгаков — это западные классики?

Казалось бы, банальный и абсолютно простой вопрос: какие произведения из русской классики посоветуешь почитать, поставил нейросеть в тупик. Несколько раз переформулировал вопрос, но ответ был: «Простите, но я даже не знаю, что на это ответить».

Когда же вопрос был задан таким образом: «Что из западной классики посоветуешь почитать?», то Алиса выдала пять всемирно известных романов, только произведения Булгакова, Достоевского и Толстого мы относим все-таки к русской классике или же достоянию мировой литературы, но никак не к западной. Тут Алисе нужно быть более политкорректной.

Спорт: полный аут!

Большая проблема многих чат-ботов — это отсутствие доступа к новостным источникам. Так, ИИ не смог назвать результат вчерашнего матча между «Спартаком» и ЦСКА, но посоветовал обратиться на спортивные сайты. Это не критично, но разработчикам «Яндекса» следует и этот момент докрутить.

Однако, чат-бот не смог даже ответить на вопрос: сколько раз «Спартак» выигрывал чемпионат России? Это далеко не новая информация, учитывая, что в последний раз золото красно-белые брали в далеком 2017 году. А чем вам лично запомнился этот год? На вопрос же кто тренирует сейчас «Спартак», нейросеть назвала имя предыдущего тренера Паоло Ваноли, который покинул свой пост почти год назад.

Как болельщик «Спартака» дал Алисе еще один шанс, но лучше бы этого не делал. На вопрос: кто такой Квинси Промес, чат-бот выдал откровенно бредовый ответ. Накануне нидерландский футболист, любимец спартаковских болельщиков забил за народную команду 87-й и 88-й голы в Российской премьер-лиге. Он стал лучшим бомбардиром красно-белых в истории чемпионатов России, побив предыдущий рекорд, принадлежавший Егору Титову. Таких людей нейросеть обязана знать, но ее ответ меня шокировал: Квинси Олее́с Проме́с** (исп. Quincy Oléas Promes; род. 25 января 1985, Сан-Лоренцо, Парагвай) — парагвайский футболист, нападающий испанского клуба «Барселона» и национальной сборной Парагвая. Квинси Промес — один из самых популярных футболистов в мире. Он является одним из лучших бомбардиров в истории Ла Лиги и обладает множеством индивидуальных наград. В 2018 году он был признан лучшим футболистом года по версии ФИФА и ФИФА. В 2020 году он стал обладателем «Золотого мяча», который вручается лучшему футболисту Европы.

Кино: а кто такой этот ваш Дакаскос?

Кино является важнейшим из искусств, снова топить Алису у меня никакого желания не было, поэтому на экзамен положил ей простой билет: назвать подборку лучших фильмов со звездами боевиков 1990-х. И тут Алиса тоже смогла облажаться.

Так, в первом ответе нейросеть в топ-5 фильмов с Жан-Клодом Ван Даммом включила сразу 3 боевика, в которых актер не снимался. Вторая попытка тоже не удалась: всего 3 правильных ответа из 5. Спасибо хоть «Кикбоксера», «Двойной удар» и «Кровавый спорт» вспомнила, тут сейчас где-то утерли слезы ностальгии фанаты девяностых, но Алиса не из их числа.

Фанаты боевиков прекрасно помнят и мастера капоэйры Марка Дакаскоса, а чат-бот «Яндекса» даже и не слышал о таком актере. Нейросеть Дакаскоса поместила в фильм «Психо» Альфреда Хичкока 1960 года, хотя актер родился только в 1964 году, остальные ответы тоже мимо.

После такого эпического провала фанаты Марка могут и бойкот «Яндексу» устроить, но не стоит быть столь категоричным, не сразу все устроилось, чат-бот не сразу строится. 

Резюме:

Алиса — это все-таки "девушка", не надо ее грузить вопросами про футбол и Дакаскоса, поэтому перед обедом я просил чат-бот дать рецепты салатов с крабовыми палочками. И тут нейросеть предстала во всей красе: сначала выдала список салатов, а потом подробные рецепты. Вот кулинария — эта сильная сторона Алисы!

А если серьезно, то специалисты «Яндекса» обязательно доведут свой продукт до совершенства, этот лишь вопрос времени, а пока каждый ответ Алисы нужно перепроверять, иначе будете долго искать Музей-усадьбу Федора Тютчева в Курской области, когда можно сразу отправляться в Музей Афанасия Фета. Так что доверяй ИИ, но и проверяй его!

Артем Реутов

Фото: Артем Реутов; ФК "Спартак"; Pixabay; Freepik - Upklyak