Багатоетапний метод глибинного навчання з попереднім самонавчанням для класифікаційного аналізу дефектів стічних труб

Abstract

Розроблено багатоетапний метод машинного навчання з попереднім самонавчанням для класифікаційного аналізу дефектів на стінках стічних труб за зображеннями відеоінспекції. Об’єктом дослідження є процес розпізнавання дефектів на стінках стічних труб. Предметом дослідження є метод машинного навчання для класифікаційного аналізу дефетів стічних труб на зображеннях відеоінспекції за умов обмеженого та незбалансованого набору розмічених навчальних даних. Запропоновано п’ятиетапний алгоритм навчання класифікатора. На першому етапі відбувається контрастне навчання з використанням екземпляр-прототипної контрасної функції втрат, де для вимірювання схожості закодованих зразків використовується нормалізована відстань Евкліда. На другому етапі розглядаються два варіанти регуляризованої функції втрат – триплетна функція NCA та контрастноцентрована функція. Регуляризуюча складова на другому етапі навчання використовується для штрафування за помилку округлення вихідного вектора ознак до дискретного виду і забезпечує реалізацію інформаційного пляшкового горла. На наступному етапі здійснюється обчислення двійкового коду кожного класу для реалізації кодів, що виправляють помилки, але з урахуванням структури класів і відношень між їх ознаками. Отриманий еталонний вектор кожного класу є цільовою розміткою зображення для навчання з використанням крос-ентропійної функції втрат. Останній етап навчання здійснює оптимізацією параметрів вирішувальних правил за інформаційним критерієм для врахування дисперсії розподілу класів в двійковому просторі Хеммінга. Для порівняння результатів навчання на різних етапах та в рамках різного підходу використовується мікро-усереднена метрика F1, що обчислюється на тестових даних. Результати, отримані на відкритому наборі даних Sewer-ML, підтверджують придатність запропонованого методу навчання до практичного використання, отримане значення F1- метрики дорівнює 0,977. Було показано, що запропонований метод забезпечує збільшення значення мікро-усередненої метрики F1 на 9 % порівняно з результатами, отриманими традиційним методом навчання.

A machine learning semi-supervised method was developed for the classification analysis of defects on the surface of the sewer pipe based on CCTV video inspection images. The aim of the research is the process of defect detection on the surface of sewage pipes. The subject of the research is a machine learning method for the classification analysis of sewage pipe defects on video inspection images under conditions of a limited and unbalanced set of labeled training data. A five-stage algorithm for classifier training is proposed. In the first stage, contrast training occurs using the instance-prototype contrast loss function, where the normalized Euclidean distance is used to measure the similarity of the encoded samples. The second step considers two variants of regularized loss functions – a triplet NCA function and a contrast-center loss function. The regularizing component in the second stage of training is used to penalize the rounding error of the output feature vector to a discrete form and ensures that the principle of information bottlenecking is implemented. The next step is to calculate the binary code of each class to implement error-correcting codes, but considering the structure of the classes and the relationships between their features. The resulting prototype vector of each class is used as a label of image for training using the cross-entropy loss function. The last stage of training conducts an optimization of the parameters of the decision rules using the information criterion to consider the variance of the class distribution in Hamming binary space. A micro-averaged metric F1, which is calculated on test data, is used to compare learning outcomes at different stages and within different approaches. The results obtained on the Sewer-ML open dataset confirm the suitability of the training method for practical use, with an F1 metric value of 0.977. The proposed method provides a 9 % increase in the value of the microaveraged F1 metric compared to the results obtained using the traditional method.

Разработан многоэтапный метод машинного обучения с предварительным самообучением для классификационного анализа дефектов на стенках сточных труб по изображениях видеоинспекции. Объектом исследования является процесс распознавания дефектов на стенках сточных труб. Предметом исследования является метод машинного обучения для классификационного анализа дефектов сточных труб на изображениях видеоинспекции в условиях ограниченного и несбалансированного набора размеченных обучающих данных. Предложено пятиэтапный алгоритм обучения классификатора. На первом этапе происходит контрастное обучение с использованием экземпляр-прототипной контрастной функцией потерь, где для измерения сходства закодированных образцов используется нормализованное расстояние Эвклида. На втором этапе рассматривается два варианта регуляризированных функций потерь – триплетная функция NCA и контрастно-центрированная функция. Регуляризирующая составляющая на втором этапе обучения используется для штрафования за ошибку округления выходного вектора признаков к дискретному виду и обеспечивает реализацию принципа информационного бутылочного горла. На следующем этапе производится вычисление двоичного кода каждого класса для реализации кодов, исправляющих ошибки, но с учетом структуры классов и отношений между их признаками. Полученный эталонный вектор каждого класса является целевой разметкой изображения для обучения с использованием кросс-энтропийной функции потерь. Последний этап обучения осуществляет оптимизацией параметров решающих правил по информационному критерию для учета дисперсии распределения классов в двоичном пространстве Хемминга. Для сравнения результатов обучения на разных этапах и в рамках разного подхода используется микро-усредненная метрика F1, которая вычисляется на тестовых данных. Результаты, полученные на открытом наборе данных Sewer-ML, подтверждают пригодность метода обучения к практическому использованию, полученное значение F1-метрики равное 0,977. Было показано, что предложенный метод обеспечивает увеличение значения микро-усредненной метрики F1 на 9 % в сравнении с результатами, полученными традиционным методом.