ГК «Солар» определила основные направления R&D в ИБ-сервисах и продуктах на базе искусственного интеллекта

Максим Бузинов, руководитель R&D-лаборатории Центра технологий кибербезопасности ГК «Солар», поделился, в каких направлениях информационной безопасности наиболее востребованы технологии искусственного интеллекта. С 2015 года компания разрабатывает и внедряет модули на базе ИИ в решения по защите от утечек конфиденциальной информации, по управлению доступом, а также интегрирует машинное обучение в сервисы Центра противодействия кибератакам JSOC. В настоящее время более 200 крупных российских компаний используют технологии ИИ в составе программных продуктов ГК «Солар» для защиты своих данных и IT-инфраструктуры.

По данным международных аналитических центров IDC и McKinsey, объем рынка ПО на базе ИИ в сфере информационной безопасности оценивается в 93 млрд долларов. Этот сегмент занимает около 10% от общего объема софтверных решений с применением ИИ. По данным Минцифры России, российский рынок технологий на базе ИИ по всем сегментам пока оценивается в 650 миллиардов рублей с потенциалом роста до 11 триллионов рублей к 2030 году.

R&D-лаборатория ГК «Солар» проанализировала актуальные потребности бизнеса от ИИ в решениях и сервисах, которые формируют архитектуру комплексной кибербезопасности. Эксперты определили ряд направлений по развитию продуктового портфеля, в которых компания применяет прикладной ИИ, смежные с ИИ технологии и ведет перспективные разработки.

В первую очередь, модули на базе ИИ используются в решении по защите от утечек информации для детектирования чувствительной информации, выявления аномалий в поведении пользователей, устройств, а также сложных атак. Так, в Solar Dozor внедрен модуль для распознавания графических файлов, которые могут содержать конфиденциальную информацию — изображения банковских карт, сканы паспортов, служебные документы с печатями, медицинскую и конструкторскую документацию. Решение позволяет обрабатывать с точностью до 99% изображения, содержащие паспортные данные, которые поступают с рабочих устройств сотрудников. Модуль анализирует 135 изображений в секунду. Чтобы повысить скорость обработки данных и реагирования на инциденты, разработчики перевели модель детектирования на сервер с графическим процессором GPU, который способен заменить 30 серверов с процессорами CPU.

Запатентованная технология анализа поведения пользователей UBA позволяет вести профилактику угроз и прогнозировать риски информационной безопасности, которые сложно выявить с помощью настраиваемых вручную средств защиты информации. Эта разработка позволяет анализировать коммуникации сотрудников, их цифровой след, модели аномального поведения, которые могут быть предпосылками или индикаторами инцидентов информационной безопасности по вине внутренних нарушителей.

R&D-лаборатория ГК «Солар» также применяет технологии глубокого обучения (Deep learning), автоэнкодеры для анализа DGA-доменов и обучение больших языковых моделей (LLM). Так, LLM используется для анализа содержимого и категоризации веб-сайтов на 44 языках по 54 категориям контента. При этом точность выявления нежелательного контента, фишинговых ресурсов достигает 95%. Кроме того, эксперты занимаются генерацией различных данных, а также подозрительного, опасного и, напротив, безопасного контента, который необходим для обучения нейросетей и тестирования в ИБ-решениях.

«Мы развиваем экосистему наших технологий искусственного интеллекта, потому что требования по защите данных, особенности эксплуатации ИИ затрагивают каждое решение в нашем продуктовом портфеле. Таким образом формируем общую магистраль данных, чтобы использовать наработки и модели использования ИИ в различных решениях и повысить эффективность разработки», — комментирует Максим Бузинов, руководитель R&D-лаборатории ГК «Солар».

Максим Бузинов также отмечает, что при разработке ИБ-решений компания учитывает ряд требований к прозрачности доверенного ИИ, аспектам ответственности, которые лежат на стороне разработчиков ИБ-решений, и рисков, связанных с искусственным интеллектом.

В первую очередь, это валидность данных и фактор субъективности. Второй аспект — это синхронизация работы с данными между data-сайентистами и разработчиками, которые изначально ориентируются в своей работе на различные метрики дата-сетов: точность модели для первых и метрики производительности, масштабируемости — для IT‑специалистов. Поэтому ГК «Солар» разрабатывает методологию автоматического тестирования продуктов на базе ИИ, чтобы снизить риски уязвимостей в готовых решениях и обеспечить прозрачность и подотчетность ИИ‑модулей ПО.

Эксперт отмечает, что высокие риски также связаны с конфиденциальностью дата-сетов и данных, которые могут содержать вредоносные компоненты. Поэтому в рамках R&D-направления формируется отдельная инфраструктура для проверки ИБ-решений на базе ИИ для проверки надежности и отказоустойчивости при различных сценариях эксплуатации.

Не менее важны, по оценке Максима Бузинова, критерии объясняемости и интепретируемости решений на базе ИИ, особенно в медицинских диагностических решениях, а также учет уязвимостей больших языковых моделей.

«Например, злоумышленники могут использовать механизмы подсказок-инструкций для модели (promt), которая реализует jailbreaking‑инъекции. Они могут «сбивать с толку» модель, а также использоваться для получения чувствительной информации. Если выходной результат LLM не проверяется на безопасность, злоумышленник может «подложить» свой специальный prompt, чтобы LLM сгенерировала вредоносный код, который может привести к потере учетных данных», — дополняет Максим Бузинов.

В настоящее время R&D-команда ведет ряд направлений исследований с учетом постоянно меняющегося ландшафта киберугроз. Это разработки по защите информационных активов, включая конфиденциальную информацию, с использованием нейронных сетей, анализ изображений, аудио- и видеоконтента, «умное» сканирование баз данных и категоризация интернет-ресурсов. Эксперты также разрабатывают прототипы для комплексного детектирования аномального поведения на уровне пользователей, узлов сети, программного обеспечения, операций с базами данных, действий в сетевой инфраструктуре и на конечных точках. Важными аспектами исследований R&D остаются защита пользовательской информации и данных от угроз компрометации на основе ИИ, алгоритмы биометрической идентификации, технологии выявления фейков и ИИ-ассистенты для принятия решения в сфере информационной безопасности.

Наряду с практическими разработками, R&D-лаборатория ГК «Солар» также находится в диалоге с крупнейшими вендорами рынка ИБ и ведущими научными сообществами по основным направлениям регулирования ИИ. В центре внимания экспертного сообщества — риск-ориентированный подход, ответственность, безопасная работа с данными, непричинение вреда, добровольная сертификация и соответствие положениям Кодекса этики ИИ и др. Кроме того, компания проводит стажерские программы по машинному обучению и ИИ в области анализа данных и математического моделирования, в том числе в партнерстве с МГТУ им. Баумана.