Факультет електроніки та інформаційних технологій (ЕлІТ)
Permanent URI for this communityhttps://devessuir.sumdu.edu.ua/handle/123456789/20
Browse
Search Results
Item A model and training method for context classification in cctv sewer inspection video frames(National University "Zaporizhzhia Polytechnic", 2021) Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav Vasylovych; Зарецький, Микола Олександрович; Зарецкий, Николай Александрович; Zaretskyi, Mykola Oleksandrovych; Москаленко, Альона Сергіївна; Москаленко, Алена Сергеевна; Moskalenko, Alona Serhiivna; Панич, Андрій Олександрович; Паныч, Андрей Александрович; Panych, Andrii Oleksandrovych; Lysyuk, V.V.A model and training method for observational context classification in CCTV sewer inspection vide frames was developed and researched. The object of research is the process of detection of temporal-spatial context during CCTV sewer inspections. The subjects of the research are machine learning model and training method for classification analysis of CCTV video sequences under the limited and imbalanced training dataset constraint. Objective. Stated research goal is to develop an efficient context classifier model and training algorithm for CCTV sewer inspection video frames under the constraint of the limited and imbalanced labeled training set. Methods. The four-stage training algorithm of the classifier is proposed. The first stage involves training with soft triplet loss and regularisation component which penalises the network’s binary output code rounding error. The next stage is needed to determine the binary code for each class according to the principles of error-correcting output codes with accounting for intra- and interclass relationship. The resulting reference vector for each class is then used as a sample label for the future training with Joint Binary Cross Entropy Loss. The last machine learning stage is related to decision rule parameter optimization according to the information criteria to determine the boundaries of deviation of binary representation of observations for each class from the corresponding reference vector. A 2D convolutional frame feature extractor combined with the temporal network for inter-frame dependency analysis is considered. Variants with 1D Dilated Regular Convolutional Network, 1D Dilated Causal Convolutional Network, LSTM Network, GRU Network are considered. Model efficiency comparison is made on the basis of micro averaged F1 score calculated on the test dataset. Results. Results obtained on the dataset provided by Ace Pipe Cleaning, Inc confirm the suitability of the model and method for practical use, the resulting accuracy equals 92%. Comparison of the training outcome with the proposed method against the conventional methods indicated a 4% advantage in micro averaged F1 score. Further analysis of the confusion matrix had shown that the most significant increase in accuracy in comparison with the conventional methods is achieved for complex classes which combine both camera orientation and the sewer pipe construction features. Conclusions. The scientific novelty of the work lies in the new models and methods of classification analysis of the temporalspatial context when automating CCTV sewer inspections under imbalanced and limited training dataset conditions. Training results obtained with the proposed method were compared with the results obtained with the conventional method. The proposed method showed 4% advantage in micro averaged F1 score. It had been empirically proven that the use of the regular convolutional temporal network architecture is the most efficient in utilizing inter-frame dependencies. Resulting accuracy is suitable for practical use, as the additional error correction can be made by using the odometer data.Item Модель та метод навчання для класифікаційного аналізу рівня води в стічних трубах за даними відео інспекції(Національний аерокосмічний університет "Харківський авіаційний інститут", 2021) Москаленко, В`ячеслав Васильович; Москаленко, Вячеслав Васильевич; Moskalenko, Viacheslav Vasylovych; Зарецький, Микола Олександрович; Зарецкий, Николай Александрович; Zaretskyi, Mykola Oleksandrovych; Коробов, Артем Геннадійович; Коробов, Артем Геннадьевич; Korobov, Artem Hennadiiovych; Ковальський, Ярослав Юрійович; Ковальский, Ярослав Юрьевич; Kovalskyi, Yaroslav Yuriiovych; Шаєхов, Артур Фанісович; Шаехов, Артур Фанисович; Shaiekhov, Artur Fanisovych; Семашко, Віктор Анатолійович; Семашко, Виктор Анатольевич; Semashko, Viktor Anatoliiovych; Панич, Андрій Олександрович; Паныч, Андрей Александрович; Panych, Andrii OleksandrovychРозроблено та досліджено модель та метод навчання для класифікаційного аналізу рівня води на кадрах відео інспекції стічних труб. Об’єктом дослідження є процес розпізнавання рівня води з урахуванням просторово-часового контексту під час інспекції стічних труб. Предметом дослідження є модель та метод машинного навчання для класифікаційного аналізу рівня води на відео-послідовностях інспекції труб за умов обмеженого та незбалансованого набору навчальних даних. Запропоновано чотирьохетапний алгоритм навчання класифікатора. На першому етапі навчання відбувається навчання з нормалізованою триплетною функцією втрат та регуляризуючою складовою для штрафування за помилку округлення вихідного сигналу мережі до двійкового коду. Наступний етап потрібний для визначення двійкового коду класу відповідно до принципів завадозахищеного кодування з самовиправленням помилок, але з урахуванням внутрікласових і міжкласових відношень. Обчислений еталонний вектор кожного класу використовується як цільова розмітка зразка для подальшого навчання з використанням об’єднаної крос-ентропійної функції втрат. Останній етап машинного навчання пов’язаний з оптимізацією параметрів вирішувальних правил за інформаційним критерієм для врахування меж відхилення двійкового подання спостережень кожного класу від відповідних еталонних векторів. Як модель класифікатора розглядається поєднання 2D згорткового екстрактора ознак кадру з темпоральною мережею для аналізу міжкадрових залежностей. При цьому виконується порівняння різних варіантів темпоральної мережі. Розглядаються 1D регулярна згорткова мережа з дірявими згортками, 1D каузальна згорткова мережа з дірявими згортками, рекурентна LSTM-мережа, рекурентна GRU-мережа. Порівняння ефективності моделей відбувається за мікро-усередненою метрикою F1, що обчислюється на тестовій вибірці. Результати, отримані на наборі даних від компанії Ace Pipe Cleaning (Канзас Сіті, США), підтверджують придатність моделі і методу навчання до практичного використання, отримане значення F1-метрики дорівнює 0,88. При цьому результати навчання за запропонованим методом порівнювалися з результатами, отриманими традиційним методом. Було показано, що запропонований метод забезпечує збільшення значення мікро-усередненої метрики F1 на 9 %.