Моделі та методи інтелектуальної інформаційної технології оцінювання функціонального стану труб водовідведення

Abstract

Дисертація присвячена розв’язанню актуальної науково-прикладної задачі автоматизації процесу оцінювання функціонального стану трубопроводу водовідведення за даними відеоінспекції через розроблення інформаційної технології інтелектуального аналізу даних. Застосування розробленої інформаційної технології оцінювання функціонального стану труб водовідведення дозволяє підвищити точність автоматичного формування звітів про інспекцію. Аналіз наукових джерел показав, що візуальні спостереження в інспекції труб водовідведення досить сильно відрізняються від зображень відкритих наборів даних, що знижує ефективність використання техніки переносу знань (transfer learning) для початкової ініціалізації моделі аналізу даних. При цьому неоднозначність кодування дефектів складної конфігурації, висока варіативність візуальних спостережень, рутинність і дороговартісність розмітки даних, обумовлюють обмеженість обсягу і високу незбалансованість розмічених навчальних даних, що обмежує ефективність традиційних методів навчання з учителем. Залежність кодування функціонального стану труби від зміни рівня води, орієнтації камери і дефектів під час відеоінспекції, наявність значної кількості артефактів та шумів обумовлюють необхідність врахування просторово часової контекстної інформації. Тому одним із складних завдань, на дослідження якого спрямована дисертаційна робота, є створення інтелектуальної інформаційної технології машинного навчання для автоматичного аналізу даних відеоінспекції труб водовідведення за умов обмеженого обсягу навчальних даних та ресурсів, доступних для навчання та обслуговування системи. Водночас вирішення цього завдання полягає в необхідності аналізу просторово-часової контекстної інформації. Об’єктом дослідження є процес оцінювання функціонального стану труб водовідведення. Предметом дослідження є моделі й методи інформаційної технології оцінювання функціонального стану труб водовідведення. У дисертаційній роботі визначено актуальність застосування інформаційних технологій у галузі інспекції труб водовідведення. Для інспекції труб водовідведення використовують відеокамери, в тому числі тепловізійні, сонари, георадари, лазерні сканери, електросканери та їх комбінації з метою виявлення дефектів та оцінювання цілісності стінок труб та стану ґрунту навколо труб. На основі проведеного аналізу методів та підходів до інспекції труб водовідведення встановлено, що основним джерелом інформації є відеокамери, оскільки відеоінспекція вимагає найменше накладних витрат, а інформативність отриманих даних забезпечує виявлення більшості важливих типів дефектів. основна тенденція розвитку сучасних технологій аналізу даних відеоінспекції пов’язана з впровадженням технологій машинного зору та штучного інтелекту, хоча ці технології досі не надають достатнього рівня автоматизації через недостатню достовірність сформованих звітів. Таким чином, їх удосконалення є важливим напрямком досліджень. За результатами аналізу процесу відеоінспекції труб водовідведення обґрунтовано потребу у створенні нової інтелектуальної інформаційної технології оцінювання функціонального стану труб водовідведення шляхом використання ідей і методів композиції простих моделей, контрастного навчання, завадозахищеного кодування та інформаційно-екстремальної інтелектуальної технології (ІЕІ-технології). Таким чином, основний напрямок підвищення ефективності моделей оцінювання функціонального стану труб водовідведення полягає в адаптації вхідного математичного опису та побудові в процесі навчання класифікаційних вирішувальних правил, що призначені для розпізнавання контексту, розпізнавання дефектів в окремих контекстах та оцінювання зміни рівня води, шляхом максимізації критерію ефективності. Уперше розроблено метод навчання ієрархічного екстрактора ознак, що на відміну від відомих, забезпечує підвищення функціональної ефективності вирішувальних правил за умов зашумленості та незбалансованості навчальних даних шляхом поєднання принципів переносу знань, сіамських мереж, контрастного самонавчання та самокоректуючих двійкових кодів. Запропонований метод машинного навчання забезпечує точність 98% для класифікаційного аналізу дефектів у контексті спостереження з орієнтацією камери вперед вздовж труби, що перевищує на 11% результат традиційного підходу до навчання з кінця-в-кінець з повнозв’язним шаром класифікації. Оскільки в контексті спостереження, що відповідає орієнтації камери на бічну стінку, присутня помітна незбалансованість даних, то ефективність класифікації дефектів оцінюється F1-метрикою і становить F1=0,977, що на 5% більше ніж в рамках традиційного підходу. Отримана точність класифікації дефектів в рамках запропонованого підходу перевищує на 6% результати отримані іншими авторами, і дозволяє отримати більшу точність звітів про функціональний стан труб водовідведення. Удосконалено моделі екстракції ознакового опису спостережень шляхом поєднання локальної і просторово-часової візуальної контекстної інформації, що дозволяє підвищити інформативність ознакового опису відеоспостережень інспекції трубопроводу водовідведення за умов неповної визначеності. Встановлено перевагу використання 1D згорткової моделі порівняно з LSTM (Long Short-Term Memory) та GRU (Gated Recurrent Units) мережами для аналізу міжкадрових залежностей. Також емпірично доведено, що регулярна згорткова архітектура темперальної мережі є найбільш ефективною під час аналізу міжкадрових залежностей відеоінспекції труб. Мікроусереднене значення F1-міри навченого в рамках запропонованого підходу екстрактора ознак для розпізнавання контексту спостережень з алфавіту 11 класів становить 0,92, що перевищує на 5% результат для моделі без врахування міжкадрових залежностей. Для алфавіту класів, що описує рівні води від 0% до 55% з кроком в 5% мікроусереднене значення F1-міри в рамках запропонованого підходу становить 0,879 і перевищує на 9% значення для моделі без врахування міжкадрових залежностей. Набули подальшого розвитку моделі і алгоритми синтезу вирішувальних правил для класифікаційного аналізу спостережень, які основані на композиції моделей та оптимізації параметрів класифікаційних вирішувальних правил та гіперпараметрів екстрактора ознак за інформаційним критерієм. Тобто моделі з інформаційно-екстремальними вирішувальними правилами для розпізнавання контексту, рівня води та дефектів компонуються для оцінювання функціонального стану труби. За результатами перевірки 100 звітів про інспекцію, що формують за результатами агрегації результатів розпізнавання вздовж труби, отримано оцінку повної ймовірності помилкових рішень під час формування звітів, яка не перевищує 3%, що свідчить про прийнятний для практичного використання рівень точності згенерованих системою звітів. У результаті виконаного дослідження було розроблено узагальнену та деталізовану функціональну модель процесу оптимізації параметрів системи класифікаційного аналізу даних в рамках запропонованої інформаційної технології. Розроблено узагальнену та деталізовану функціональну модель процесу аналізу даних відеоінспекції для формування звітів в рамках запропонованої інформаційної технології. Запропоновано структуру і програмну реалізацію хмарного сервісу для автоматичного формування звіту про функціональний стан труб водовідведення за даними відеоінспекції. Перевагою даного рішення є можливість асинхронної обробки множини відео за рахунок черги повідомлень та пакетного оброблення задач. Одержані наукові результати досліджень у вигляді інформаційного та програмного забезпечення впроваджено під час підготовки персоналу та проведення інспекції каналізаційної мережі в КП "Міськводоканал" СМР (м. Суми), під час розроблення інтелектуальної системи відеомоніторингу інфраструктурних об’єктів в Товаристві з обмеженою відповідальністю “РОЗУМНІ ТЕХНОЛОГІЇ «ТИТУЛ»” (м. Суми), під час розроблення програмного забезпечення модуля машинного зору для дистанційно-керованої мобільної платформи в Товаристві з обмеженою відповідальністю “НОРД ТРЕК” (м. Шостка, Сумська область), під час розроблення системи класифікаційного аналізу даних відеоінспекції трубопроводу водовідведення в компанії Molfar.AI sp. z o.o., (місто Гданськ, Польща), а також у навчальному процесі кафедри комп’ютерних наук Сумського державного університету під час викладання дисципліни “Introduction to Data Science”.

The dissertation is devoted to solving the actual scientific and applied problem of automating the process of assessing the functional state of sewage pipelines based on video inspection data through the development of information technology for intelligent data analysis. The application of the developed information technology for assessing the functional state of sewage pipes allows increasing the accuracy of automatic formation of inspection reports. An analysis of scientific sources revealed that visual observations in sewer pipe inspections differ significantly from images in open datasets, reducing the efficiency of transfer learning techniques for initial data analysis model initialization. Meanwhile, the ambiguity of encoding complex configuration defects, high variability of visual observations, the routine and costly nature of data labeling, result in limited volume and high imbalance of labeled training data, which restricts the effectiveness of traditional supervised learning methods. The encoding of the functional state of the pipe is dependent on changes in the water level, camera orientation, and defects during video inspection. The presence of a significant number of artifacts and noise necessitates consideration of spatio-temporal contextual information. Therefore, one of the complex tasks that the dissertation aims to research is the creation of intelligent information technology for machine learning for automatic data analysis of sewer pipe video inspection under conditions of limited training data volume and resources available for system training and maintenance. At the same time, solving this task involves the necessity of analyzing spatio-temporal contextual information. The object of the study is the process of assessing the functional state of sewer pipes. The subject of the study is models and methods of information technology for assessing the functional state of sewer pipes. The dissertation defines the relevance of applying information technology in the field of sewer pipe inspection. For sewer pipe inspections, video cameras are used, including thermal imaging cameras, sonars, ground-penetrating radars, laser scanners, electro scanners, and their combinations with the aim of detecting defects and assessing the integrity of the pipe walls and the state of the ground around the pipes. Based on the conducted analysis of methods and approaches to sewer pipe inspection, it has been established that video cameras are the primary source of information, as video inspection requires the least overhead costs, and the informativeness of the obtained data ensures the detection of most important types of defects. The main trend in the development of modern data analysis technologies for video inspection is associated with the implementation of machine vision and artificial intelligence technologies, although these technologies do not yet provide a sufficient level of automation due to the inadequate reliability of the formed reports. Therefore, their improvement is an important direction of research. Based on the analysis of the sewer pipe video inspection process, the need for creating a new intelligent information technology for assessing the functional state of sewer pipes by using the ideas and methods of model composition, contrastive learning, noise-resistant coding, and information-extreme intelligent technology (IEI-technology) has been substantiated Thus, the main direction for enhancing the effectiveness of models for evaluating the functional state of sewer pipes lies in adapting the input mathematical description and constructing classification decision rules during the learning process. These rules are intended for context recognition, defect recognition in individual contexts, and water level change assessment, all achieved through maximizing efficiency criteria. For the first time, a method has been developed for training a hierarchical feature extractor, which, unlike known ones, ensures an increase in the functional efficiency of decision rules under conditions of noisy and imbalanced training data by combining the principles of knowledge transfer, siamese networks, contrastive self-learning, and self correcting binary codes. The proposed machine learning method provides an accuracy of 98% for classification analysis of defects in the context of observations with a forward facing camera orientation along the pipe, which is 11% higher than the result of the traditional end-to-end learning approach with a fully connected classification layer. Given the significant data imbalance present in the context of observations corresponding to the camera orientation towards the side wall, the effectiveness of defect classification is assessed using the F1-metric and amounts to F1=0.977, which is 5% higher than within the traditional approach. The obtained accuracy of defect classification within the proposed approach exceeds by 6% the results obtained by other authors, and allows for greater accuracy of reports on the functional state of sewer pipes. Feature extraction models have been refined by combining local and spatio temporal visual contextual information, which allows to increase the informativeness of the feature description of video inspections of the sewer pipeline under conditions of incomplete definiteness. The advantage of using a 1D convolutional model over LSTM and GRU networks for analyzing inter-frame dependencies has been established. Additionally, it has been empirically proven that the regular convolutional architecture of the temporal network is the most effective during the analysis of inter-frame dependencies in pipe video inspection. The micro-averaged F1-score of the feature extractor trained within the proposed approach for recognizing the context of observations from an alphabet of 11 classes is 0.92, which is 5% higher than the result for a model without considering inter-frame dependencies. For an alphabet of classes describing water levels from 0% to 55% in 5% increments, the micro-averaged F1-score within the proposed approach is 0.879 and exceeds by 9% the value for a model without considering inter-frame dependencies. Models and algorithms for the synthesis of decision rules for the classification analysis of observations, which are based on model composition and optimization of parameters of classification decision rules and hyperparameters of the feature extractor according to the information criterion, have been further developed. That is, models with information-extreme decision rules for recognizing context, water level, and defects are composed for assessing the functional state of the pipe. Based on the verification of 100 inspection reports formed as a result of aggregating recognition results along the pipe, an assessment of the total probability of erroneous decisions during report formation was obtained, which does not exceed 3%. This indicates an acceptable level of accuracy for practical use of the reports generated by the system. As a result of the conducted research, a generalized and detailed functional model of the process of optimizing the parameters of the data classification analysis system was developed within the proposed information technology. A generalized and detailed functional model of the video inspection data analysis process was also developed for report generation within the proposed information technology. The structure and software implementation of a cloud service for automatic report generation about the functional state of sewage pipes based on video inspection data have been proposed. The advantage of this solution is the ability to process multiple videos asynchronously due to the message queue and batch processing of tasks. The obtained scientific results in the form of informational and software provision have been implemented during the training of personnel and conducting of sewer network inspections at KP "Miskvodokanal" SMR (Sumy city), during the development of an intelligent video monitoring system for infrastructure objects at the Limited Liability Company “SMART TECHNOLOGIES “TITUL”” (Sumy city), during the development of software for a machine vision module for a remotely controlled mobile platform at the Limited Liability Company “NORD TREK” (Shostka city, Sumy region), during the development of a classification analysis system for sewer pipeline video inspection data at the company Molfar.AI sp. z o.o., (Gdansk, Poland), and also in the educational process of the Department of Computer Science of Sumy State University while teaching the discipline “Introduction to Data Science”.