Безопасность данных при использовании LLM в разговорных ассистентах 

Сегодня активно обсуждается вопрос как обеспечить безопасность данных при использовании генеративного ИИ в бизнес-задачах. Бизнес все чаще внедряет большие языковые модели для консультирования клиентов и решения корпоративных задач.  Некоторые компании опасаются, что конфиденциальная информация компании и клиентов попадет в публичный доступ несмотря на то, что разработчики моделей утверждают, что они не хранят данные и не используют их в обучающих выборках. В банковской сфере, здравоохранении и других сферах, где безопасность данных критически важна, службы безопасности строго запрещают передачу данных компаний и клиентов за пределы закрытого контура. Поэтому использование облачных LLM кажется невозможным для таких компаний. 

Следует оговориться, что вопрос безопасности данных становится актуальным, когда речь идет именно о работе с чувствительными данными компании и клиентов. Если виртуальные ассистенты клиентской службы не работают с личными данными пользователей и консультируют по публичной информации, например, размещенной на сайте компании, то можно подключать LLM для таких роботов ничем не рискуя. Рассмотрим, какие существуют стратегии безопасного внедрения LLM при наличии чувствительных данных.  

LLM в облаке 

Первым очевидным вариантом будет использование больших, закрытых LLM-моделей, таких как YandexGPT и Sber Gigachat. Это мощные модели с большим количеством параметров, которые могут решать сложные задачи с высоким уровнем качества. Обучившись на данных компании, они хорошо понимают контекст и обрабатывают вопросы с большим количеством значимых деталей, ищут нужную информацию в тексте и хорошо выделяют главное, проводят суммаризацию и генерируют качественные тексты на бизнес-тематики. Использование таких моделей в облаке сравнительно недорого и не требует построения инфраструктуры для их поддержки.  

Проблему защиты чувствительной информации можно решить с помощью дата маскинга — метода маскирования данных. Для этой задачи устанавливается отдельная локальная нейросеть, которая определяет, какие части представленных текстов относятся к чувствительным данным и к какой из категорий они принадлежат (имена, фамилии, даты, телефонные номера, пароли). Затем она заменяет личные данные выдуманными перед тем, как они передаются в облако. Такой подход обеспечивает безопасность чувствительных данных, оставляя их в пределах корпоративного контура. 

Установка LLM в закрытый контур   

Для компаний со строгими протоколами хранения и передачи конфиденциальных данных, запрещающими передавать данные на внешние сервисы в любом виде, оптимальным решением является установка LLM on-premise. В этом случае модель будет работать в закрытом контуре заказчика на его серверах, что позволяет избежать передачи данных на внешние сервисы.  

Компания может обратиться к YandexCloud и SberDevices и обсудить возможность установки закрытых моделей YandexGPT и Sber Gigachat в закрытый контур. Это закрытые модели и внедрение их в контур заказчика потребует большой технической работы и значительного бюджета.  

Менее дорогостоящим вариантом будет установить в контур небольшие открытые open-source модели, например, такие как LLaMa или Mistral.

Плюсы и минусы open-source моделей 

Нужно понимать, что открытую модель нужно будет дополнительно обучить, внедрить и обслуживать. Это потребует инвестиций в инфраструктуру, найма высококвалифицированных специалистов, работы по обучению и дальнейшему развитию системы.   

Кроме того, зарубежные open-source модели изначально обучены на малой доле русскоязычного контента. По этой причине, открытые модели хуже решают сложные задачи. Они не смогут сделать полноценный бизнес-анализ или написать качественную статью. Но в задачах корпоративных виртуальных ассистентов, когда нужно проанализировать большой объем нормативно-справочной информации и дать короткий ответ, такие модели справляются отлично. Для человека изучить даже несколько статей, написанных сложным, формальным языком и найти в них нужную информацию - трудоемкий процесс, а LLM делает это очень быстро.  

Также, благодаря дообучению на уникальных данных компании, модель будет ориентирована на решение конкретных задач компании, а значит будет показывать результаты лучше других моделей. Уже сейчас видна бизнес-эффективность таких решений, а также их востребованность, так что это направление будет успешно развиваться.   

Первые результаты и перспективы на будущее  

Сейчас мы наблюдаем, как появляются локальные библиотеки, разработчики начинают все больше открывать свои модели для ИИ-сообщества. Например, зарубежные LLaMa и Mistral, о которых мы говорили ранее. Российские разработчики также начинают открывать доступ к своим моделям, желая внести вклад в развитие искусственного интеллекта в России. Недавно Сбер и Тинькофф открыли доступ к моделям uGPT-3.5.13B и T-lite.  

В данный момент мы работаем над пилотным проектом для компании из сферы добывающей промышленности, в котором используем свободные LLM для генерации ответов на вопросы сотрудников по внутренним корпоративным процессам. Потребовалось дообучение модели на данных русского языка и сейчас она корректно извлекает интенты из переданного контекста и успешно отвечает на вопросы. Мы видим, что легкие модели вполне способны конкурировать с большими по качеству решения корпоративных задач среднего уровня сложности  

 
В целом, идет развитие в сторону локального размещения и этот тренд будет распространяться не только на открытые модели, но и повлияет на рынок в целом. Открытые модели будут составлять все большую конкуренцию закрытым моделям, благодаря чему стоимость больших закрытых моделей как в SaaS варианте, так и в контуре клиента будет снижаться.