Сбербанк выпустил модель для распознавания речи GigaAM Multilingual и большую языковую модель GigaChat Audio, которая способна обрабатывать аудиофайлы и голосовые сообщения без предварительного преобразования речи в текст, и научилась «понимать» интонацию, сообщил банк СМИ (см. например, здесь, здесь и здесь).
GigaAM Multilingual, как утверждают разработчики, первая российская открытая модель с поддержкой нескольких языков.
В компании сообщили, что обе модели прошли предварительное обучение на большом массиве многоязычных данных и могут быть дообучены для поддержки дополнительных языков, в том числе стран СНГ.
GigaChat Audio, в свою очередь, научилась «понимать» интонацию пользователя и получила расширенные возможности обработки аудио.
Отмечается, что GigaChat Audio теперь распознает, с позитивной или негативной эмоцией обращается к нему пользователь – по интонации, характеристикам голоса и нюансам произношения. Модель может обрабатывать записи длиной до трёх часов и ориентироваться внутри них: можно спросить, в какой момент разговора обсуждали конкретный вопрос, попросить пересказать отдельный отрезок или получить саммари всей записи со ссылками на время фрагмента записи. Нейросеть также способна идентифицировать голос участника аудиозаписи.
Как сообщили в «Сбере», по результатам внутренних тестов новая модель GigaChat Audio способна понимать и отвечать на голосовые запросы на уровне лучших мировых аналогов, что подтверждает тест Arena Hard Audio.
Новые модели доступны в ИИ-помощнике «ГигаЧат» и в Open Source для свободного использования разработчиками по всему миру.
