Факультет електроніки та інформаційних технологій (ЕлІТ)
Permanent URI for this communityhttps://devessuir.sumdu.edu.ua/handle/123456789/20
Browse
2 results
Search Results
Item Model and Training Method of the Resilient Image Classifier Considering Faults, Concept Drift, and Adversarial Attacks(MDPI, 2022) Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav Vasylovych; Kharchenko, V.; Москаленко, Альона Сергіївна; Москаленко, Алена Сергеевна; Moskalenko, Alona Serhiivna; Петров, Сергій Олександрович; Петров, Сергей Александрович; Petrov, Serhii OleksandrovychModern trainable image recognition models are vulnerable to different types of perturbations; hence, the development of resilient intelligent algorithms for safety-critical applications remains a relevant concern to reduce the impact of perturbation on model performance. This paper proposes a model and training method for a resilient image classifier capable of efficiently functioning despite various faults, adversarial attacks, and concept drifts. The proposed model has a multi-section structure with a hierarchy of optimized class prototypes and hyperspherical class boundaries, which provides adaptive computation, perturbation absorption, and graceful degradation. The proposed training method entails the application of a complex loss function assembled from its constituent parts in a particular way depending on the result of perturbation detection and the presence of new labeled and unlabeled data. The training method implements principles of self-knowledge distillation, the compactness maximization of class distribution and the interclass gap, the compression of feature representations, and consistency regularization. Consistency regularization makes it possible to utilize both labeled and unlabeled data to obtain a robust model and implement continuous adaptation. Experiments are performed on the publicly available CIFAR-10 and CIFAR-100 datasets using model backbones based on modules ResBlocks from the ResNet50 architecture and Swin transformer blocks. It is experimentally proven that the proposed prototype-based classifier head is characterized by a higher level of robustness and adaptability in comparison with the dense layer-based classifier head. It is also shown that multi-section structure and self-knowledge distillation feature conserve resources when processing simple samples under normal conditions and increase computational costs to improve the reliability of decisions when exposed to perturbations.Item Модель та метод навчання для класифікаційного аналізу рівня води в стічних трубах за даними відео інспекції(Національний аерокосмічний університет "Харківський авіаційний інститут", 2021) Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav Vasylovych; Зарецький, Микола Олександрович; Зарецкий, Николай Александрович; Zaretskyi, Mykola Oleksandrovych; Коробов, Артем Геннадійович; Коробов, Артем Геннадьевич; Korobov, Artem Hennadiiovych; Ковальський, Ярослав Юрійович; Ковальский, Ярослав Юрьевич; Kovalskyi, Yaroslav Yuriiovych; Шаєхов, Артур Фанісович; Шаехов, Артур Фанисович; Shaiekhov, Artur Fanisovych; Семашко, Віктор Анатолійович; Семашко, Виктор Анатольевич; Semashko, Viktor Anatoliiovych; Панич, Андрій Олександрович; Паныч, Андрей Александрович; Panych, Andrii OleksandrovychРозроблено та досліджено модель та метод навчання для класифікаційного аналізу рівня води на кадрах відео інспекції стічних труб. Об’єктом дослідження є процес розпізнавання рівня води з урахуванням просторово-часового контексту під час інспекції стічних труб. Предметом дослідження є модель та метод машинного навчання для класифікаційного аналізу рівня води на відео-послідовностях інспекції труб за умов обмеженого та незбалансованого набору навчальних даних. Запропоновано чотирьохетапний алгоритм навчання класифікатора. На першому етапі навчання відбувається навчання з нормалізованою триплетною функцією втрат та регуляризуючою складовою для штрафування за помилку округлення вихідного сигналу мережі до двійкового коду. Наступний етап потрібний для визначення двійкового коду класу відповідно до принципів завадозахищеного кодування з самовиправленням помилок, але з урахуванням внутрікласових і міжкласових відношень. Обчислений еталонний вектор кожного класу використовується як цільова розмітка зразка для подальшого навчання з використанням об’єднаної крос-ентропійної функції втрат. Останній етап машинного навчання пов’язаний з оптимізацією параметрів вирішувальних правил за інформаційним критерієм для врахування меж відхилення двійкового подання спостережень кожного класу від відповідних еталонних векторів. Як модель класифікатора розглядається поєднання 2D згорткового екстрактора ознак кадру з темпоральною мережею для аналізу міжкадрових залежностей. При цьому виконується порівняння різних варіантів темпоральної мережі. Розглядаються 1D регулярна згорткова мережа з дірявими згортками, 1D каузальна згорткова мережа з дірявими згортками, рекурентна LSTM-мережа, рекурентна GRU-мережа. Порівняння ефективності моделей відбувається за мікро-усередненою метрикою F1, що обчислюється на тестовій вибірці. Результати, отримані на наборі даних від компанії Ace Pipe Cleaning (Канзас Сіті, США), підтверджують придатність моделі і методу навчання до практичного використання, отримане значення F1-метрики дорівнює 0,88. При цьому результати навчання за запропонованим методом порівнювалися з результатами, отриманими традиційним методом. Було показано, що запропонований метод забезпечує збільшення значення мікро-усередненої метрики F1 на 9 %.