Факультет електроніки та інформаційних технологій (ЕлІТ)
Permanent URI for this communityhttps://devessuir.sumdu.edu.ua/handle/123456789/20
Browse
11 results
Search Results
Item Модель і метод навчання класифікатора контекстів спостереження на зображеннях відеоінспекції стічних труб(Національний аерокосмічний університет ім. М.Є. Жуковського "Харківський авіаційний інститут", 2020) Москаленко, В`ячеслав Васильович; Moskalenko, Viacheslav Vasylovych; Зарецький, Микола Олександрович; Zaretskyi, Mykola Oleksandrovych; Ковальський, Ярослав Юрійович; Kovalskyi, Yaroslav Yuriiovych; Мартиненко, Сергій Сергійович; Martynenko, Serhii SerhiiovychВідеоінспекція часто використовується для діагностики дефектів стічних труб. Для коректного кодування знайдених дефектів згідно існуючих стандартів необхідно враховувати багато контекстної інформації щодо орієнтації та розташування камери в трубі. Запропоновано модель класифікації контекстів спостереження на кадрах відеоінспекції стічних труб та п’ятиетапний метод машинного навчання. Основна ідея запропонованого підходу полягає у поєднанні методів глибокого машинного навчання з принципами максимізації інформації та кодування самокоректуючими кодами Хеммінга. Запропонована модель складається з глибокої згорткової нейронної мережі із сигмоїдним та округлючим вихідними шарами та інформаційно-екстремальних вирішувальних правил. Перші етапи методу полягають в аугментації даних та навчанні екстрактора ознак в складі сіамської моделі з softmax триплетною функцією втрат. Наступні етапи пов’язані з обчислення двійкового коду для кожного класу розпізнавання, що використовується як мітка під час навчання з бінарною кросентропійною функцією втрат з метою підвищення компактності розподілу спостережень кожного класу в двійковому просторі Хемінга. На останньому етапі методу навчання передбачається для кожного класу здійснювати оптимізацію параметрів радіально-базисних вирішувальних правил в просторі Хеммінга на основі інформаційного критерію. Інформаційний критерій, виражений як логарифмічна функція точністних характеристик вирішувальних правил, забезпечує максимальну узагальнюючу здатність та достовірність моделі за найскладніших у статистичному розумінні умов. Перевірка ефективності даного підходу здійснювалась на даних, наданих компаніями Ace Pipe Cleaning (Канзас Сіті, США) та MPWiK (Вроцлав, Польша) шляхом порівняння результатів навчання за запропонованою та традиційною моделями та схемами навчання. Отримана модель класифікатора кадрів зображення забезпечує прийнятну для практичного використання точність класифікації на тестовій вибірці, що становить 96,8 % і перевищує результат традиційної схеми навчання з softmaх вихідним шаром на 6,8 %.Item Багатошарова модель та метод навчання для детектування шкідливого трафіку на основі ансамблю дерев рішень(Національний аерокосмічний університет ім. М.Є. Жуковського "Харківський авіаційний інститут", 2020) Москаленко, В`ячеслав Васильович; Moskalenko, Viacheslav Vasylovych; Зарецький, Микола Олександрович; Zaretskyi, Mykola Oleksandrovych; Москаленко, Альона Сергіївна; Moskalenko, Alona Serhiivna; Кудрявцев, Антон Михайлович; Kudriavtsev, Anton Mykhailovych; Семашко, Віктор Анатолійович; Semashko, Viktor AnatoliiovychЗапропоновано модель і метод навчання багатошарового екстрактора ознак та вирішувальних правил для детектора шкідливого трафіку. Модель екстрактора ознак основана на згортковій розріджено кодуючій мережі, розріджений кодер якої апроксимується моделлю регресійного випадкового лісу згідно принципів дистиляції знань. При цьому розроблено алгоритм зростаючого розріджено кодуючого нейронного газу для навчання екстрактора ознак без вчителя з автоматичним визначення необхідної кількості ознак на кожному шарі. На етапі навчання екстрактора ознак для реалізації розрідженого кодування використано жадібний L0-регуляризований метод ортогонального узгодженого переслідування (Orthogonal Matching Pursuit), а під час дистиляції знань додатково використовувався L1- регуляризований метод найменших кутів (Least angle regression algorithm). Завдяки ефекту редукції причини отримані ознаки є некорельованими, а сформований ознаковий опис є стійким до завад та змагальних (Adveserial) атак. Запропонований екстрактор ознак навчається без вчителя для розділення пояснюючих факторів і дозволяє з максимальною ефективністю використати нерозмічені навчальні дані, обсяг яких, як правило, досить великий. Як модель вирішувальних правил запропоновано використовувати двійковий кодер спостережень на основі ансамблю дерев рішень та інформаційноекстремальні роздільні замкнені гіперповерхні (контейнери) класів, що відновлюються в радіальному базисі двійкового простору Хеммінга. Додавання кодуючих дерев відбувається за принципом бустінгу, а радіус контейнерів класів оптимізується шляхом прямого перебору. Інформаційно-екстремальний класифікатор характеризується низькою обчислювальною складністю та високою узагальнюючою здатністю для малих наборів розмічених навчальних даних. Результати верифікації навченої моделі на відкритих тестових наборах даних CTU підтверджують придатність запропонованих алгоритмів для практичного застосування, оскільки точність розпізнавання шкідливого трафіку становить 96,1 %.Item Model and Training Method of the Resilient Image Classifier Considering Faults, Concept Drift, and Adversarial Attacks(MDPI, 2022) Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav Vasylovych; Kharchenko, V.; Москаленко, Альона Сергіївна; Москаленко, Алена Сергеевна; Moskalenko, Alona Serhiivna; Петров, Сергій Олександрович; Петров, Сергей Александрович; Petrov, Serhii OleksandrovychModern trainable image recognition models are vulnerable to different types of perturbations; hence, the development of resilient intelligent algorithms for safety-critical applications remains a relevant concern to reduce the impact of perturbation on model performance. This paper proposes a model and training method for a resilient image classifier capable of efficiently functioning despite various faults, adversarial attacks, and concept drifts. The proposed model has a multi-section structure with a hierarchy of optimized class prototypes and hyperspherical class boundaries, which provides adaptive computation, perturbation absorption, and graceful degradation. The proposed training method entails the application of a complex loss function assembled from its constituent parts in a particular way depending on the result of perturbation detection and the presence of new labeled and unlabeled data. The training method implements principles of self-knowledge distillation, the compactness maximization of class distribution and the interclass gap, the compression of feature representations, and consistency regularization. Consistency regularization makes it possible to utilize both labeled and unlabeled data to obtain a robust model and implement continuous adaptation. Experiments are performed on the publicly available CIFAR-10 and CIFAR-100 datasets using model backbones based on modules ResBlocks from the ResNet50 architecture and Swin transformer blocks. It is experimentally proven that the proposed prototype-based classifier head is characterized by a higher level of robustness and adaptability in comparison with the dense layer-based classifier head. It is also shown that multi-section structure and self-knowledge distillation feature conserve resources when processing simple samples under normal conditions and increase computational costs to improve the reliability of decisions when exposed to perturbations.Item A model and training method for context classification in cctv sewer inspection video frames(National University "Zaporizhzhia Polytechnic", 2021) Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav Vasylovych; Зарецький, Микола Олександрович; Зарецкий, Николай Александрович; Zaretskyi, Mykola Oleksandrovych; Москаленко, Альона Сергіївна; Москаленко, Алена Сергеевна; Moskalenko, Alona Serhiivna; Панич, Андрій Олександрович; Паныч, Андрей Александрович; Panych, Andrii Oleksandrovych; Lysyuk, V.V.A model and training method for observational context classification in CCTV sewer inspection vide frames was developed and researched. The object of research is the process of detection of temporal-spatial context during CCTV sewer inspections. The subjects of the research are machine learning model and training method for classification analysis of CCTV video sequences under the limited and imbalanced training dataset constraint. Objective. Stated research goal is to develop an efficient context classifier model and training algorithm for CCTV sewer inspection video frames under the constraint of the limited and imbalanced labeled training set. Methods. The four-stage training algorithm of the classifier is proposed. The first stage involves training with soft triplet loss and regularisation component which penalises the network’s binary output code rounding error. The next stage is needed to determine the binary code for each class according to the principles of error-correcting output codes with accounting for intra- and interclass relationship. The resulting reference vector for each class is then used as a sample label for the future training with Joint Binary Cross Entropy Loss. The last machine learning stage is related to decision rule parameter optimization according to the information criteria to determine the boundaries of deviation of binary representation of observations for each class from the corresponding reference vector. A 2D convolutional frame feature extractor combined with the temporal network for inter-frame dependency analysis is considered. Variants with 1D Dilated Regular Convolutional Network, 1D Dilated Causal Convolutional Network, LSTM Network, GRU Network are considered. Model efficiency comparison is made on the basis of micro averaged F1 score calculated on the test dataset. Results. Results obtained on the dataset provided by Ace Pipe Cleaning, Inc confirm the suitability of the model and method for practical use, the resulting accuracy equals 92%. Comparison of the training outcome with the proposed method against the conventional methods indicated a 4% advantage in micro averaged F1 score. Further analysis of the confusion matrix had shown that the most significant increase in accuracy in comparison with the conventional methods is achieved for complex classes which combine both camera orientation and the sewer pipe construction features. Conclusions. The scientific novelty of the work lies in the new models and methods of classification analysis of the temporalspatial context when automating CCTV sewer inspections under imbalanced and limited training dataset conditions. Training results obtained with the proposed method were compared with the results obtained with the conventional method. The proposed method showed 4% advantage in micro averaged F1 score. It had been empirically proven that the use of the regular convolutional temporal network architecture is the most efficient in utilizing inter-frame dependencies. Resulting accuracy is suitable for practical use, as the additional error correction can be made by using the odometer data.Item Модель та метод навчання для класифікаційного аналізу рівня води в стічних трубах за даними відео інспекції(Національний аерокосмічний університет "Харківський авіаційний інститут", 2021) Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav Vasylovych; Зарецький, Микола Олександрович; Зарецкий, Николай Александрович; Zaretskyi, Mykola Oleksandrovych; Коробов, Артем Геннадійович; Коробов, Артем Геннадьевич; Korobov, Artem Hennadiiovych; Ковальський, Ярослав Юрійович; Ковальский, Ярослав Юрьевич; Kovalskyi, Yaroslav Yuriiovych; Шаєхов, Артур Фанісович; Шаехов, Артур Фанисович; Shaiekhov, Artur Fanisovych; Семашко, Віктор Анатолійович; Семашко, Виктор Анатольевич; Semashko, Viktor Anatoliiovych; Панич, Андрій Олександрович; Паныч, Андрей Александрович; Panych, Andrii OleksandrovychРозроблено та досліджено модель та метод навчання для класифікаційного аналізу рівня води на кадрах відео інспекції стічних труб. Об’єктом дослідження є процес розпізнавання рівня води з урахуванням просторово-часового контексту під час інспекції стічних труб. Предметом дослідження є модель та метод машинного навчання для класифікаційного аналізу рівня води на відео-послідовностях інспекції труб за умов обмеженого та незбалансованого набору навчальних даних. Запропоновано чотирьохетапний алгоритм навчання класифікатора. На першому етапі навчання відбувається навчання з нормалізованою триплетною функцією втрат та регуляризуючою складовою для штрафування за помилку округлення вихідного сигналу мережі до двійкового коду. Наступний етап потрібний для визначення двійкового коду класу відповідно до принципів завадозахищеного кодування з самовиправленням помилок, але з урахуванням внутрікласових і міжкласових відношень. Обчислений еталонний вектор кожного класу використовується як цільова розмітка зразка для подальшого навчання з використанням об’єднаної крос-ентропійної функції втрат. Останній етап машинного навчання пов’язаний з оптимізацією параметрів вирішувальних правил за інформаційним критерієм для врахування меж відхилення двійкового подання спостережень кожного класу від відповідних еталонних векторів. Як модель класифікатора розглядається поєднання 2D згорткового екстрактора ознак кадру з темпоральною мережею для аналізу міжкадрових залежностей. При цьому виконується порівняння різних варіантів темпоральної мережі. Розглядаються 1D регулярна згорткова мережа з дірявими згортками, 1D каузальна згорткова мережа з дірявими згортками, рекурентна LSTM-мережа, рекурентна GRU-мережа. Порівняння ефективності моделей відбувається за мікро-усередненою метрикою F1, що обчислюється на тестовій вибірці. Результати, отримані на наборі даних від компанії Ace Pipe Cleaning (Канзас Сіті, США), підтверджують придатність моделі і методу навчання до практичного використання, отримане значення F1-метрики дорівнює 0,88. При цьому результати навчання за запропонованим методом порівнювалися з результатами, отриманими традиційним методом. Було показано, що запропонований метод забезпечує збільшення значення мікро-усередненої метрики F1 на 9 %.Item Інтелектуальна система відеоспостереження(Сумський державний університет, 2017) Тамашов, Б.В.; Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav VasylovychДля спрощення побудови вхідного математичного опису інтелектуальної систем відеоспостереження виправданим є використання методів машинного зору та комп’ютерної лінгвістики.Item Інтелектуальна система відеоспостереження(Сумський державний університет, 2017) Тамашов, Б.В.; Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav VasylovychУ сучасних системах відеоспостереження все частіше використовуються елементи машинного зору та машинного навчання для автоматичного розпізнавання об’єктів та ситуацій у потоковому відео. При цьому одним з ефективних підходів до забезпечення інформаційної безпеки засобів обробки відеоданих є реалізація принципів автономності, що обумовлює підвищенні вимоги до обчислювальної ефективності алгоритмів класифікаційного аналізу.Item Feature learning for information-extreme classifier(Sumy State University, 2017) Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav Vasylovych; Moskalenko, А.; Korobov, A.The feature learning algorithm for information-extreme classifier by clustering of Fast Retina Keypoint binary descriptor, calculated for local features, and usage of spatial pyramid kernel for increasing noise immunity and informativeness of feature representation are considered. Proposed a method of parameters optimization for feature extractor and decision rules based on multi-level coarse features coding using information criterion and population-based search algorithm.Item Information-Extreme Algorithm of Learning for System Identification of Objects on the Terrain(Sumy State University, 2016) Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav Vasylovych; Korobov, A.G; Prihodchenko, R.S.The method of optimization of the input mathematical description of the information-extreme classifier objects of interest for air reconnaissance is considered.Item Інтелектуальна система ідентифікації мережевого трафіка(Сумський державний університет, 2015) Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav Vasylovych; Коробов, А.Г.Швидкий розвиток цифрових мультисервісних мереж сприяє зростан- ню кількості інтерактивних і мультимедійних додатків, що обумовлює необхідність пріоритезації трафіка відповідно до вимог рівня обслугову- вання користувачів та якості мережевих сервісів.