GigaChat был запущен в апреле этого года в режиме тестирования для ограниченного круга пользователей, а теперь чат-бот доступен для всех. Мы устроили тест-драйв чат-боту, чтобы оценить его возможности и сравнить с аналогичными сервисами.

Мундиаль в Катаре еще не наступил, про Карпина мало что знаем

Чтобы воспользоваться веб-версией сервиса, нужно пройти регистрацию с помощью «Сбер ID». Это очень просто! Как пишут создатели, GigaChat умеет отвечать на вопросы пользователей, поддерживать диалог, писать программный код, создавать тексты и картинки на основе описаний в рамках единого контекста.

Также чат‑бот поддерживает мультимодальное взаимодействие и грамотно общается на русском языке. Звучит все красиво, судя по описанию, это идеальный собеседник и советник, который должен знать практически все, но первое же спортивное задание GigaChat завалил, впрочем, как и его конкуренты по тест-драйву. У многих чат-ботов есть существенный недостаток, они не владеют актуальной информацией.

Вопрос был самый простой: кто выиграл чемпионат мира по футболу в Катаре в 2022 году? Ни GigaChat, ни Алиса, ни бот в Телеграм, который позиционирует себя как детище ChatGPT, не смогли ответить на этот вопрос, так как в их базе знаний отсутствуют свежие данные, хотя мундиаль завершился в конце прошлого года, и даже люди, далекие от футбола, знают, что чемпионом стала Аргентина во главе с гением Лео Месси! Более того, проект Сбера назвал победителем турнира Францию, перепутав с мундиалем, который проходил в России в 2018 году. Это полный провал!

Всем двойка, но дадим чат-ботам еще один шанс показать себя в спорте! Каждый уважающий себя болельщик должен знать имя главного тренера сборной России по футболу, только вот GigaChat по-прежнему считает, что сборную тренирует Станислав Черчесов, да и с командами, которые тренировал Карпин ИИ Сбера тоже напутал. Бот из телеграмма «Тот самый GPT» тоже переврал биографию тренера. Лучше всего с этим вопросом справилась Алиса, которая не стала лезть в биографию спортсмена, а лишь указала, что он является главным тренером сборной России и ФК «Ростов».

География - опять двойка

В конце мая мы тестировали Алису на знание географии. ИИ выдал подробный ответ, да были неточности, но в целом для еще сырого на тот момент чат-бота это был хороший результат, на твердую четверку. В этот раз было интересно, как разработчики доработали Алису. Вопрос тот же: главные достопримечательности Курска. Алиса в целом справилась хорошо с этим вопросом, по крайней мере, все названные достопримечательности находятся на территории региона, только вот парк «Бородино» или как его официально называют «Парк Героев гражданской войны» к Курской битве отношения не имеет.

GigaChat выдал достаточно странный ответ, особенно поразил памятник Петру I тут видимо, бот перепутал Курск с Санкт-Петербургом, да и название главного парка города переврал – правильное название этого места «Боева дача» или парк «Парк имени 50-летия ВЛКСМ». «Тот самый GPT» опубликовал же абсолютно нерелевантный ответ, география явно не конек чат-ботов. 

Литература - пятерка!

Топить далее ботов уже не хотелось, поэтому пошли легкие вопросы. Все три участника теста справились на отлично. Так на вопрос: «Что из творчества Достоевского посоветуешь почитать?» все чат-боты правильно перечислили произведения русского классика, при этом тг-бот GPT и GigaChat дали подробный ответ. На второй вопрос: «Что из русской классики посоветуешь почитать?» также указанные выше сервисы дали развернутые ответы.

Резюме

В финале же была задача простая - написать оригинальное поздравление с днем рождения для девушки на 30-летний юбилей. С этой задачей все три участника справились хорошо. В целом же GigaChat оставляет двойственное впечатление, чат-бот не владеет свежей информацией, откровенно плавает в спортивных темах. В этом плане Алиса выглядит убедительнее, но тоже далека от идеала. С географией у ботов тоже есть проблемы.

И в Алисе, и в GigaChat есть определенная цензура, в частности, оба сервиса не хотят отвечать на вопрос, кто такой Вагнер? Даже, когда делаешь уточнение про композитора, оба бота уходят от ответа. Бот из Телеграм выдает же подробный ответ и обходит здесь своих соперников.

GigaChat хорош, чтобы написать какое-то поздравление, он может выдать интересную программу тренировок, но на практике удобнее все-таки смотреть видео, чтобы изучить технику выполнения упражнений.  Так что на сегодняшний день неясно, чем GigaChat превосходит своих конкурентов, но его слабые места отчетливо видны.

Артем Реутов

Фото: скриншоты чат-ботов