С поправкой на «галлюцинации»: эксперт дал рекомендацию пользователям ИИ

Почему искусственный интеллект подвержен «алгоритмической шизофрении»

Технологии искусственного интеллекта (ИИ) все активнее входят в нашу жизнь. Люди обращаются к нему за рекомендациями в самых разных областях знания, начиная от медицины и заканчивая международной политикой. Но есть проблемы. Одну из них исследователь НИУ ВШЭ Растям Алиев назвал «алгоритмической шизофренией». Это когда ИИ вдруг отходит фактологии и «додумывает» действительность, например, приписывает тому или иному деятелю несуществующие факты биографии или несказанные цитаты. Что с этим делать? На этот вопрос ответил доцент кафедры «Вычислительная математика и программирование» МАИ, популяризатор ИИ Дмитрий Сошников.

Фото: ru.freepik

тестовый баннер под заглавное изображение

По мнению Растяма Алиева, свойство «додумывать» информацию присуще современным языковым моделям, поскольку в них заложен такой алгоритм: они не просто обрабатывают данные, а активно интерпретируют и достраивают их.

В этой связи Дмитрий Сошников имеет свою версию: «Галлюцинации заложены в природу работы языковых моделей, поскольку любая LLM — большая языковая модель — это вероятностная модель, и в неё изначально заложена возможность вероятностного выбора следующих слов».

Он пояснил, что языковая модель «всякий раз выбирает слово, которое нужно написать, не по строгой логике, а на основе вероятности, вычисленной на основе гигантских массивов данных».

«Такая структура — плата за креативность. Без неё ИИ выдавал бы только самые шаблонные и предсказуемые фразы», — отмечает доцент.

Принцип самообучающейся модели: понимать смысл, а не просто заучивать тексты. Другими словами, объём обучающих данных должен во много раз превышать её способность к дословному запоминанию. 

«В итоге, как и человек, ИИ оперирует не точными цитатами, а выводами и контекстами, что оставляет простор для домыслов», — делает вывод Дмитрий Сошников.

Кроме того, считает он, разработчики ИИ специально «прививают» ему способность угадывать. А раз так, то фактические ошибки неизбежны.

И что в этом случае делать пользователю, которому ИИ вдруг выдаст информацию, к примеру, о том, что Лев Толстой был дружен с Владимиром Лениным?

Эксперт считает, что «полностью «вылечить» большие языковые модели от галлюцинаций, вероятно, невозможно, не лишив их при этом гибкости и способности к творчеству».

При этом, отмечает он, «бороться с галлюцинациями, то есть минимизировать вероятность их появления, но не полностью убрать, можно, и это успешно делается на протяжении последних лет».

Один из способов — применять техники самопроверки и рассуждения. Это метод, при котором модель заставляют прописывать цепочку логических шагов, ведущих к ответу. Такой подход позволяет не только повысить точность ответа, но и выявить момент, где логика могла дать сбой.

Вывод эксперта: залог успешной работы со стремительно развивающимся ИИ лежит в комплексном подходе — в сочетании технических улучшений со стороны разработчиков и критической осознанности со стороны пользователей. «Термин «алгоритмическая шизофрения» — это не медицинский диагноз, а яркая метафора, которая помогает осмыслить одну из важных проблем современного искусственного интеллекта. Понимание её причин — первый шаг к тому, чтобы безопасно и эффективно интегрировать эти мощные, но несовершенные инструменты в нашу жизнь», — заключил Дмитрий Сошников.

Источник: www.mk.ru