Факультет електроніки та інформаційних технологій (ЕлІТ)
Permanent URI for this communityhttps://devessuir.sumdu.edu.ua/handle/123456789/20
Browse
2 results
Search Results
Item Багатошарова модель та метод навчання для детектування шкідливого трафіку на основі ансамблю дерев рішень(Національний аерокосмічний університет ім. М.Є. Жуковського "Харківський авіаційний інститут", 2020) Москаленко, В`ячеслав Васильович; Moskalenko, Viacheslav Vasylovych; Зарецький, Микола Олександрович; Zaretskyi, Mykola Oleksandrovych; Москаленко, Альона Сергіївна; Moskalenko, Alona Serhiivna; Кудрявцев, Антон Михайлович; Kudriavtsev, Anton Mykhailovych; Семашко, Віктор Анатолійович; Semashko, Viktor AnatoliiovychЗапропоновано модель і метод навчання багатошарового екстрактора ознак та вирішувальних правил для детектора шкідливого трафіку. Модель екстрактора ознак основана на згортковій розріджено кодуючій мережі, розріджений кодер якої апроксимується моделлю регресійного випадкового лісу згідно принципів дистиляції знань. При цьому розроблено алгоритм зростаючого розріджено кодуючого нейронного газу для навчання екстрактора ознак без вчителя з автоматичним визначення необхідної кількості ознак на кожному шарі. На етапі навчання екстрактора ознак для реалізації розрідженого кодування використано жадібний L0-регуляризований метод ортогонального узгодженого переслідування (Orthogonal Matching Pursuit), а під час дистиляції знань додатково використовувався L1- регуляризований метод найменших кутів (Least angle regression algorithm). Завдяки ефекту редукції причини отримані ознаки є некорельованими, а сформований ознаковий опис є стійким до завад та змагальних (Adveserial) атак. Запропонований екстрактор ознак навчається без вчителя для розділення пояснюючих факторів і дозволяє з максимальною ефективністю використати нерозмічені навчальні дані, обсяг яких, як правило, досить великий. Як модель вирішувальних правил запропоновано використовувати двійковий кодер спостережень на основі ансамблю дерев рішень та інформаційноекстремальні роздільні замкнені гіперповерхні (контейнери) класів, що відновлюються в радіальному базисі двійкового простору Хеммінга. Додавання кодуючих дерев відбувається за принципом бустінгу, а радіус контейнерів класів оптимізується шляхом прямого перебору. Інформаційно-екстремальний класифікатор характеризується низькою обчислювальною складністю та високою узагальнюючою здатністю для малих наборів розмічених навчальних даних. Результати верифікації навченої моделі на відкритих тестових наборах даних CTU підтверджують придатність запропонованих алгоритмів для практичного застосування, оскільки точність розпізнавання шкідливого трафіку становить 96,1 %.Item Model and Training Method of the Resilient Image Classifier Considering Faults, Concept Drift, and Adversarial Attacks(MDPI, 2022) Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav Vasylovych; Kharchenko, V.; Москаленко, Альона Сергіївна; Москаленко, Алена Сергеевна; Moskalenko, Alona Serhiivna; Петров, Сергій Олександрович; Петров, Сергей Александрович; Petrov, Serhii OleksandrovychModern trainable image recognition models are vulnerable to different types of perturbations; hence, the development of resilient intelligent algorithms for safety-critical applications remains a relevant concern to reduce the impact of perturbation on model performance. This paper proposes a model and training method for a resilient image classifier capable of efficiently functioning despite various faults, adversarial attacks, and concept drifts. The proposed model has a multi-section structure with a hierarchy of optimized class prototypes and hyperspherical class boundaries, which provides adaptive computation, perturbation absorption, and graceful degradation. The proposed training method entails the application of a complex loss function assembled from its constituent parts in a particular way depending on the result of perturbation detection and the presence of new labeled and unlabeled data. The training method implements principles of self-knowledge distillation, the compactness maximization of class distribution and the interclass gap, the compression of feature representations, and consistency regularization. Consistency regularization makes it possible to utilize both labeled and unlabeled data to obtain a robust model and implement continuous adaptation. Experiments are performed on the publicly available CIFAR-10 and CIFAR-100 datasets using model backbones based on modules ResBlocks from the ResNet50 architecture and Swin transformer blocks. It is experimentally proven that the proposed prototype-based classifier head is characterized by a higher level of robustness and adaptability in comparison with the dense layer-based classifier head. It is also shown that multi-section structure and self-knowledge distillation feature conserve resources when processing simple samples under normal conditions and increase computational costs to improve the reliability of decisions when exposed to perturbations.