Алгоритм детекции ошибок сжатия позволяет ИИ обрабатывать длинные диалоги, не теряя детали и не расходуя лишние мощности
Человек общается с ИИ-помощником, и тот помнит детали разговора месячной давности и не путается в фактах, а компания при этом не тратит состояние на вычислительные ресурсы. Исследователи Центра практического искусственного интеллекта Сбербанка в сотрудничестве с учеными Института AIRI и Сколтеха нашли способ определять тот самый момент, когда нейросеть при экономии памяти начинает терять смысл. Разработчики применили новый метод при обновлении ИИ-помощника ГигаЧат: теперь он запоминает ключевые факты о пользователе и использует их в дальнейшем общении – делая взаимодействие более естественным и персонализированным.
Современные ИИ-модели умеют рассуждать уже почти как человек, но с памятью часто возникают вопросы. Эффективным методом обработки больших объемов данных является сжатие информации с последующим переводом в векторные представления.
Российские исследователи создали легкий обучаемый классификатор, который работает как детектор качества. Он проверяет сжатые токены еще до того, как они попадут в большую языковую модель. Если классификатор видит, что смысл нарушен, он не пропускает испорченный контекст дальше. И тогда система может подставить оригинальный несжатый текст или поискать свежие документы. В любом случае некорректные данные не уйдут в генерацию, пользователь не получит недостоверный ответ, а компания не потратит лишних средств на вычисления.
Для бизнеса, который встраивает ИИ-модели в свои корпоративные поисковики, ассистентов или боты поддержки, это прямая экономия. Ученым исследование дает строгую методологию: теперь понятно, где проходит граница сжимаемости текста и как отследить момент переполнения токенов. В обществе же это повышает доверие к технологиям и популярность ИИ-помощников. Например, разработчики применили метод при обновлении флагманской модели Сбера GigaChat Ultra – она научилась запоминать факты о пользователе и использовать их для дальнейшей персонализации общения. Это делает взаимодействие более естественным и комфортным.
Николай Тиден, директор Центра практического искусственного интеллекта Сбербанка:
– Представьте, что нужно пересказать итоги трехчасового стратегического совещания парой фраз. Ключевые тезисы вы выделите, но высок риск упустить критически важные нюансы или исказить смысл. Так же работает механизм сжатия контекста в языковых моделях. Наше решение выполняет функцию защитного механизма: мы научились автоматически детектировать порог, за которым краткость перестает быть оптимизацией и ведет к ошибкам, вызывая потерю устойчивости модели. Для бизнеса это означает принципиально новый уровень надежности искусственного интеллекта – сокращение издержек и повышение точности принятия решений».