Факультет електроніки та інформаційних технологій (ЕлІТ)
Permanent URI for this communityhttps://devessuir.sumdu.edu.ua/handle/123456789/20
Browse
2 results
Search Results
Item Model and Training Method of the Resilient Image Classifier Considering Faults, Concept Drift, and Adversarial Attacks(MDPI, 2022) Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav Vasylovych; Kharchenko, V.; Москаленко, Альона Сергіївна; Москаленко, Алена Сергеевна; Moskalenko, Alona Serhiivna; Петров, Сергій Олександрович; Петров, Сергей Александрович; Petrov, Serhii OleksandrovychModern trainable image recognition models are vulnerable to different types of perturbations; hence, the development of resilient intelligent algorithms for safety-critical applications remains a relevant concern to reduce the impact of perturbation on model performance. This paper proposes a model and training method for a resilient image classifier capable of efficiently functioning despite various faults, adversarial attacks, and concept drifts. The proposed model has a multi-section structure with a hierarchy of optimized class prototypes and hyperspherical class boundaries, which provides adaptive computation, perturbation absorption, and graceful degradation. The proposed training method entails the application of a complex loss function assembled from its constituent parts in a particular way depending on the result of perturbation detection and the presence of new labeled and unlabeled data. The training method implements principles of self-knowledge distillation, the compactness maximization of class distribution and the interclass gap, the compression of feature representations, and consistency regularization. Consistency regularization makes it possible to utilize both labeled and unlabeled data to obtain a robust model and implement continuous adaptation. Experiments are performed on the publicly available CIFAR-10 and CIFAR-100 datasets using model backbones based on modules ResBlocks from the ResNet50 architecture and Swin transformer blocks. It is experimentally proven that the proposed prototype-based classifier head is characterized by a higher level of robustness and adaptability in comparison with the dense layer-based classifier head. It is also shown that multi-section structure and self-knowledge distillation feature conserve resources when processing simple samples under normal conditions and increase computational costs to improve the reliability of decisions when exposed to perturbations.Item Багатоетапний метод глибинного навчання з попереднім самонавчанням для класифікаційного аналізу дефектів стічних труб(National Aerospace University "Kharkiv Aviation Institute", 2021) Москаленко, Владислав Вікторович; Москаленко, Владислав Викторович; Moskalenko, Vladyslav Viktorovych; Зарецький, Микола Олександрович; Зарецкий, Николай Александрович; Zaretskyi, Mykola Oleksandrovych; Москаленко, Альона Сергіївна; Москаленко, Алена Сергеевна; Moskalenko, Alona Serhiivna; Коробов, Артем Геннадійович; Коробов, Артем Геннадьевич; Korobov, Artem Hennadiiovych; Ковальський, Ярослав Юрійович; Ковальский, Ярослав Юрьевич; Kovalskyi, Yaroslav YuriiovychРозроблено багатоетапний метод машинного навчання з попереднім самонавчанням для класифікаційного аналізу дефектів на стінках стічних труб за зображеннями відеоінспекції. Об’єктом дослідження є процес розпізнавання дефектів на стінках стічних труб. Предметом дослідження є метод машинного навчання для класифікаційного аналізу дефетів стічних труб на зображеннях відеоінспекції за умов обмеженого та незбалансованого набору розмічених навчальних даних. Запропоновано п’ятиетапний алгоритм навчання класифікатора. На першому етапі відбувається контрастне навчання з використанням екземпляр-прототипної контрасної функції втрат, де для вимірювання схожості закодованих зразків використовується нормалізована відстань Евкліда. На другому етапі розглядаються два варіанти регуляризованої функції втрат – триплетна функція NCA та контрастноцентрована функція. Регуляризуюча складова на другому етапі навчання використовується для штрафування за помилку округлення вихідного вектора ознак до дискретного виду і забезпечує реалізацію інформаційного пляшкового горла. На наступному етапі здійснюється обчислення двійкового коду кожного класу для реалізації кодів, що виправляють помилки, але з урахуванням структури класів і відношень між їх ознаками. Отриманий еталонний вектор кожного класу є цільовою розміткою зображення для навчання з використанням крос-ентропійної функції втрат. Останній етап навчання здійснює оптимізацією параметрів вирішувальних правил за інформаційним критерієм для врахування дисперсії розподілу класів в двійковому просторі Хеммінга. Для порівняння результатів навчання на різних етапах та в рамках різного підходу використовується мікро-усереднена метрика F1, що обчислюється на тестових даних. Результати, отримані на відкритому наборі даних Sewer-ML, підтверджують придатність запропонованого методу навчання до практичного використання, отримане значення F1- метрики дорівнює 0,977. Було показано, що запропонований метод забезпечує збільшення значення мікро-усередненої метрики F1 на 9 % порівняно з результатами, отриманими традиційним методом навчання.