Мультимодальные ИИ-модели

До появления мультимодальных моделей на рынке были представлены ИИ-модели, которые работают только с одним типом данных (одной модальностью) — текст, звук или изображение. Мультимодальные же модели способны обрабатывать и синтезировать информацию всех этих форматов. Это выводит их возможности на принципиально новый уровень и позволяет решать более сложные задачи. 

Но, скажете вы, давно существуют такие умные помощники, как Siri, Alexa, Алиса. Им можно отдавать команды и текстом, и голосом. Можно ли считать их мультимодальными? Нет, поскольку таким помощникам для обработки данных разных форматов необходимо трансформировать их из одного вида в другой и для каждого формата применяется отдельная модель. Таким образом, голосовой ассистент состоит из нескольких моделей, работающих независимо друг от друга. Сначала одна модель преобразовывает речь в текст, вторая модель анализирует этот текст, а третья преобразовывает текст ответа в речь. Такая обработка данных занимает больше времени, и в процессе возможна потеря нюансов контекста, а значит, снижается качество результата. 

Open AI совершил большой шаг вперед, объединив три раздельные системы (распознавание речи, синтез речи и NLU) в одну.  ChatGPT-4o работает по принципу end-to-end, то есть все виды информации обрабатываются одной нейросетью. Поэтому нейросеть умеет работать одновременно с разными видами контента: текст, аудио, изображения. Причем делает это быстро, качественно и без задержек

Например, такая модель может не только распознать объект на изображении, но и описать его текстом, перевести текст в звуковой файл с синтезированной озвучкой или создать видео по текстовому запросу. Также, объединив несколько модальностей, модель получает более глубокое понимание контекста. Это повышает точность ответов: комбинирование данных разных типов позволяет учесть больше аспектов и улучшить качество выводов.  

Какую пользу это принесет обычным пользователям?  

Новые возможности и повышенное удобство! Например, можно отправить GPT скриншот ошибки и попросить ее исправить. Или попросить модель написать статью и сгенерировать иллюстрации для нее на основе созданного ею же контекста. Это большая экономия времени и более эффективное решение задач — с помощью таких моделей пользователи смогут решать более сложные задачи, требующие анализа данных разных типов.

Какую пользу это принесет бизнесу? 

Конечно, ChatGPT-4о — это отличный инструмент, который сотрудники могут использовать в своих несложных, повседневных задачах, что ускорит и оптимизирует их работу. Но он неприменим в корпоративных процессах для работы с чувствительными данными и подходит только для решения отдельных задач по темам из области общих знаний.  

Для решения специализированных задач, предполагающие сложные, многокомпонентные сценарии бизнес-процессов, подключение через API, извлечение и внесение данных в информационную систему компании, необходимо будет строить сложные, кастомизированные системы с помощью решений российских разработчиков разговорных интерфейсов.  

Однако, мультимодальность — это большое технологическое достижение, которое позволит использовать разные виды нейросетей в различных комбинациях. Возможно, в ближайшем будущем оно поможет улучшить понимание запросов пользователей, что положительно повлияет на качество клиентского сервиса  

Например, разработчики систем синтеза и распознавания речи смогут использовать мультимодальность в своих моделях. Сейчас нейросеть по распознаванию речи лишена понимания контекста предыдущего диалога. Если совместить систему синтеза и распознавания речи и контекст, то это снизит количество ошибок понимания речи. Можно будет передавать в ASR последнюю сказанную ботом фразу, и система будет искать ответ в той предметной области, в которой до этого велся диалог. Это повысит корректность данных, которые поступают в анализатор семантической близости, а значит и качество понимания пользовательских интентов и поиска ответов.