Сравнительный анализ XAI-подходов для обнаружения синтетической речи

К.К. Ким

doi:10.71310/pcam.5_76.2026.06

Авторы

К.К. Ким Научно-исследовательский институт развития цифровых технологий и искусственного интеллекта Автор

DOI:

https://doi.org/10.71310/pcam.5_76.2026.06

Ключевые слова:

объяснимый искусственный интеллект, XAI, выявление синтетической речи, обнаружение аудио-дипфейков, интерпретируемость

Аннотация

На сегодняшний день системы синтеза речи прогрессировали настолько, что сильно усложнили автоматическое выявление синтетической и дипфейк-речи. Большинство моделей-детекторов при этом остаются почти непрозрачными «чёрными ящиками». Из-за этого их сложно использовать в цифровой криминалистике, биометрии и других критически важных системах. В данной работе были сделаны обзор и сравнительный анализ методов объяснимого ИИ (XAI), которые применяются именно для этой задачи. Были рассмотрены градиентные, релевантностные и модель-независимые подходы: Integrated Gradients, Deep Taylor Decomposition, Layer-wise Relevance Propagation, а также LIME, SHAP и Grad-CAM. Основное внимание уделено принципам формирования объяснений и возможностям их интерпретации в контексте акустических характеристик речевого сигнала. Рассмотрены подходы к оценке качества объяснений, включая их достоверность, устойчивость и чувствительность к возмущениям, а также проанализированы ограничения опубликованных исследований. Проведённое сравнение позволило систематизировать сильные стороны и ограничения различных методов XAI, выявить проблемы сопоставимости существующих результатов и определить перспективные направления дальнейших исследований.

Библиографические ссылки

Zhang B., Cui H., Nguyen V. [et al.] Audio deepfake detection: what has been achieved and what lies ahead // Sensors. — 2025. — Vol. 25, №7. — Art. 1989. — doi: https://doi.org/10.3390/s25071989.

Mai K. T., Bray S., Davies T. [et al.] Warning: humans cannot reliably detect speech deepfakes // PLoS ONE. — 2023. — Vol. 18, №8. — Art. e0285333. — doi: https://doi.org/10.1371/journal.pone.0285333.

Warren K., Tucker T., Crowder A. [et al.] «Better be computer or I’m dumb»: a large-scale evaluation of humans as audio deepfake detectors // Proceedings of the 2024 ACM SIGSAC Conference on Computer and Communications Security (CCS ’24). — 2024. — New York: ACM. — P. 2696–2710. — doi: https://doi.org/10.1145/3658644.3670325.

Wang X., Delgado H., Evans N. [et al.] ASVspoof 5: evaluation of spoofing, deepfake, and adversarial attack detection using crowdsourced speech // IEEE Transactions on Audio, Speech and Language Processing. — 2026. — Vol. 34. — P. 2354–2367. — doi: https://doi.org/10.1109/TASLPRO.2026.3682962.

Momin M. S., Sufian A., Barman D. [et al.] Explainable deepfake detection across different modalities: an overview of methods and challenges // Image and Vision Computing. — 2025. — Vol. 163. — Art. 105738. — doi: https://doi.org/10.1016/j.imavis.2025.105738.

Bisogni C., Loia V., Nappi M. [et al.] Acoustic features analysis for explainable machine learning-based audio spoofing detection // Computer Vision and Image Understanding. — 2024. — Vol. 249. — Art. 104145. — doi: https://doi.org/10.1016/j.cviu.2024.104145.

Schwalbe G., Finzel B. A comprehensive taxonomy for explainable artificial intelligence: a systematic survey of surveys on methods and concepts // Data Mining and Knowledge Discovery. — 2024. — Vol. 38. — P. 3043–3101. — doi: https://doi.org/10.1007/s10618-022-00867-8.

Yang W., Wei Y., Wei H. [et al.] Survey on explainable AI: from approaches, limitations and applications aspects // Human-Centric Intelligent Systems. — 2023. — Vol. 3. — P. 161–188. — doi: https://doi.org/10.1007/s44230-023-00038-y.

Budhkar A., Song Q., Su J., Zhang X. Demystifying the black box: a survey on explainable artificial intelligence (XAI) in bioinformatics // Computational and Structural Biotechnology Journal. — 2025. — Vol. 27. — P. 346–359. — doi: https://doi.org/10.1016/j.csbj.2024.12.011.

Salih A. O. M., Emam H. M., Ahmed A. B. G. E. [et al.] Deepfake audio detection in voice authentication: a spectral and CNN-based comprehensive review // Engineering, Technology & Applied Science Research. — 2025. — Vol. 15, №6. — P. 29824–29832. — doi: https://doi.org/10.48084/etasr.13400.

Almutairi Z., Elgibreen H. A review of modern audio deepfake detection methods: challenges and future directions // Algorithms. — 2022. — Vol. 15, №5. — Art. 155. — doi: https://doi.org/10.3390/a15050155.

Tahaoglu G., Baracchi D., Shullani D. [et al.] Deepfake audio detection with spectral features and ResNeXt-based architecture // Knowledge-Based Systems. — 2025. — Vol. 323. — Art. 113726. — doi: https://doi.org/10.1016/j.knosys.2025.113726.

Asuai C., Arinomor A. P., Atumah C. T. [et al.] Hybrid CNN-LSTM architectures for deepfake audio detection using Mel frequency cepstral coefficients and spectrogram analysis // American Journal of Mathematical and Computer Modelling. — 2025. — Vol. 10, №3. — P. 98–109. — doi: https://doi.org/10.11648/j.ajmcm.20251003.12.

Firc A., Malinka K., Hanacek P. Evaluation framework for deepfake speech detection: a comparative study of state-of-the-art deepfake speech detectors // Cybersecurity. — 2025. — Vol. 8. — Art. 1. — doi: https://doi.org/10.1186/s42400-024-00346-1.

Mersha M., Lam K., Wood J. [et al.] Explainable artificial intelligence: a survey of needs, techniques, applications, and future direction // Neurocomputing. — 2024. — Vol. 599. — Art. 128111. — doi: https://doi.org/10.1016/j.neucom.2024.128111.

Spinner T., Schlegel U., Sch¨afer H. [et al.] explAIner: a visual analytics framework for interactive and explainable machine learning // IEEE Transactions on Visualization and Computer Graphics. — 2020. — Vol. 26, №1. — P. 1064–1074. — doi: https://doi.org/10.1109/TVCG.2019.2934629.

Naresh B., Ch R., Reddy K. S. [et al.] Enhancing the detection of deepfake audio using explainable AI techniques for secure and trustworthy applications // 2025 International Conference on Applications of Machine Intelligence and Data Analytics (ICAMIDA). — Aurangabad, 2025. — P. 1–6. — doi: https://doi.org/10.1109/ICAMIDA64673.2025.11209741.

Sundararajan M., Taly A., Yan Q. Axiomatic attribution for deep networks // Proceedings of the 34th International Conference on Machine Learning (PMLR). — 2017. — Vol. 70. — P. 3319–3328.

Cheng Z., Wu Y., Li Y. [et al.] A comprehensive review of explainable artificial intelligence (XAI) in computer vision // Sensors. — 2025. — Vol. 25, №13. — Art. 4166. — doi: https://doi.org/10.3390/s25134166.

Lim S.-Y., Chae D.-K., Lee S.-C. Detecting deepfake voice using explainable deep learning techniques // Applied Sciences. — 2022. — Vol. 12, №8. — Art. 3926. — doi: https://doi.org/10.3390/app12083926.

Govindu A., Kale P., Hullur A. [et al.] Deepfake audio detection and justification with explainable artificial intelligence (XAI). — Preprint (Version 1). — Research Square, 2023. — doi: https://doi.org/10.21203/rs.3.rs-3444277/v1.

Holzinger A., Saranti A., Molnar C. [et al.] Explainable AI methods — a brief overview // xxAI — Beyond Explainable AI. Lecture Notes in Computer Science. — 2022. — Vol. 13200. — P. 13–38. — doi: https://doi.org/10.1007/978-3-031-04083-2_2.

Ge W., Patino J., Todisco M. [et al.] Explaining deep learning models for spoofing and deepfake detection with SHapley Additive exPlanations // 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — 2022. — P. 6387–6391. — doi: https://doi.org/10.1109/ICASSP43922.2022.9747476.

Kwak I.-Y., Kwak S., Lee J. [et al.] Voice spoofing detection through residual network, max feature map, and depthwise separable convolution // IEEE Access. — 2023. — Vol. 11. — P. 49140–49152. — doi: https://doi.org/10.1109/ACCESS.2023.3275790.

Akman A., Schuller B. W. Audio explainable artificial intelligence: a review // Intelligent Computing. — 2024. — Vol. 3. — Art. 0074. — doi: https://doi.org/10.34133/icomputing.0074.

Grinberg P., Kumar A., Koppisetti S. [et al.] What does an audio deepfake detector focus on? A study in the time domain // ICASSP 2025 — 2025 IEEE International Conference on Acoustics, Speech and Signal Processing. — 2025. — Hyderabad. — P. 1–5. — doi: https://doi.org/10.1109/ICASSP49660.2025.10887568.

Cheng Z., Yang H., Xiong Y. [et al.] Explainable AI for forensic speech authentication within cognitive and computational neuroscience // Frontiers in Neuroscience. — 2025. — Vol. 19. — Art. 1692122. — doi: https://doi.org/10.3389/fnins.2025.1692122.

Baniecki H., Biecek P. Adversarial attacks and defenses in explainable artificial intelligence: a survey // Information Fusion. — 2024. — Vol. 107. — Art. 102303. — doi: https://doi.org/10.1016/j.inffus.2024.102303.

Alvarez-Melis D., Jaakkola T. S. Towards robust interpretability with self-explaining neural networks // Advances in Neural Information Processing Systems (NeurIPS 2018). — 2018. — Vol. 31. — P. 7786–7795.

Ridley M. Human-centered explainable artificial intelligence: an Annual Review of Information Science and Technology (ARIST) paper // Journal of the Association for Information Science and Technology. — 2025. — Vol. 76, №1. — P. 98–120. — doi: https://doi.org/10.1002/asi.24889.

Kim J., Maathuis H., Sent D. Human-centered evaluation of explainable AI applications: a systematic review // Frontiers in Artificial Intelligence. — 2024. — Vol. 7. — Art. 1456486. — doi: https://doi.org/10.3389/frai.2024.1456486.

Yang T., Sun C., Lyu S. [et al.] Forensic deepfake audio detection using segmental speech features // Forensic Science International. — 2026. — Vol. 379. — Art. 112768. — doi: https://doi.org/10.1016/j.forsciint.2025.112768.

Pad´ın-Torrente H., Carneiro-Diaz V., Ortega-Fernandez I. Toward human-centered explainability: natural language explanations for anomaly detection // Information Systems Frontiers. — 2026. — doi: https://doi.org/10.1007/s10796-026-10717-3.