Publication: ПОВЫШЕНИЕ ОБЪЯСНИМОСТИ ОБНАРУЖЕНИЯ ДИПФЕЙКОВ С ПОМОЩЬЮ ГРАФОВОЙ СЕТИ НА ОСНОВЕ СОСРЕДОТОЧЕНИЯ ВНИМАНИЯ
Дата
2025
Авторы
Пикуль, А. С.
Попов, И. Ю.
Journal Title
Безопасность информационных технологий
Journal ISSN
Volume Title
Безопасность Информационных Технологий
Издатель
НИЯУ МИФИ
Аннотация
Понимание о том, как именно модели искусственного интеллекта принимают решения, важно, в особенности для таких сложных задач, как обнаружение дипфейков, где недостаточно просто получить результат – необходимо знать, почему именно модель приняла такое решение. Многие существующие методы интерпретации моделей искусственного интеллекта, такие как SHAP и Grad-CAM, помогают объяснить полученные решения, но зачастую полученные объяснения недостаточно детализированы для таких сложных данных как человеческие лица и дипфейки. В данной статье представлен новый метод с использованием графовых сетей с механизмом внимания (GAT) для задачи интерпретации решений детекторов дипфейков. Вместо того чтобы рассматривать изображение в целом, оно разбивается на патчи, а затем формируются в граф, где каждая ключевая часть лица (глаза, нос и рот) является отдельным узлом. Такое разбиение помогает модели учитывать при принятии решений наиболее важные области изображения. С помощью механизма внимания, модель выявляет, какие области изображения и лица повлияли на её решение. Проведено сравнивние двух версий механизма внимания, GATv1 и GATv2, и показано, как создается визуальная интерпретация с их помощью. При этом сохраняется высокая точность для классификатора дипфейков. Предложенный подход повышает понимание о том, как модель обрабатывает изображения, то есть, какие признаки оказались наиболее важными при принятии решения. Таким образом повышается доверие к работе модели искусственного интеллекта. Код в открытом доступе по адресу https://github.com/aleksandrpikul/ResGAT/tree/main.
Описание
Ключевые слова
Графовая сеть с вниманием , Обнаружение дипфейков , Механизм внимания , Объяснимость , Дипфейки
Цитирование
Pikul, Aleksandr S.; Popov, Ilya Yu. Enhancing explainability in deepfake detection with graph attention networks. IT Security (Russia), [S.l.], v. 32, no. 2, p. 73–82, 2025. ISSN 2074-7136. URL: https://bit.spels.ru/index.php/bit/article/view/1776. DOI: http://dx.doi.org/10.26583/bit.2025.2.06