Моделі і методи інформаційної технології машинного навчання автономного безпілотного літального апарату для відеомоніторингу місцевості

Abstract

Дисертаційна робота присвячена підвищенню функціональної ефективності автономного БПЛА для розпізнавання наземних природних, інфраструктурних та малогабаритних об’єктів шляхом створення інформаційної технології машинного навчання в рамках функціонального підходу до моделювання когнітивних процесів природного інтелекту при формуванні та прийнятті класифікаційних рішень. Об’єктом дослідження є слабоформалізований процес машинного навчання бортової системи автономного безпілотного літального апарату (БПЛА) для відеомоніторингу місцевості за умови неповної визначеності даних, обумовленої довільними початковими умовами формування зображень і перетином у просторі ознак класів розпізнавання, які характеризують наземні об’єкти. Предметом досліджень є моделі і методи інформаційної технології інформаційно-екстремального машинного навчання бортової системи автономного безпілотного літального апарату для відеомоніторингу місцевості. Обрані методи дослідження базуються на принципах і методах інтелектуального інформаційного аналізу даних та інформаційно екстремальної інтелектуальної технології машинного навчання для побудови високодостовірних і оперативних вирішальних правил; методах теорії ймовірностей і математичної статистики для оцінки випадкових величин і перевірки статистичних гіпотез; методах та характеристиках теорії інформації для оцінки функціональної ефективності машинного навчання бортової системи автономного БПЛА; об’єктно-орієнтованій методології проектування складних систем для розробки інформаційного алгоритмічного та програмного забезпечення бортової системи БПЛА, що навчається. Обґрунтовано актуальність теми дисертації, зазначено зв’язок роботи з науковими темами, сформульовано мету та задачі дослідження, визначено об’єкт, предмет та методи дослідження, показано наукову новизну та практичне значення отриманих результатів, наведено інформацію про практичне використання, апробацію результатів та їх висвітлення у публікаціях. За результатами аналізу сучасного стану та тенденцій розвитку безпілотних авіаційних комплексів (БАК) для відеомоніторингу місцевості показано, що БПЛА в основному використовуються як ретранслятори зображень регіону, що досліджується, на наземні станції керування (НСК). Цей факт робить їх вразливими від засобів радіоелектронної боротьби (РЕБ). Крім того, сучасні радіотехнічні засоби здатні визначати координати НСК за частотою його каналу зв’язку з БПЛА. Показано, що основним шляхом розширення функціональних можливостей і підвищення кіберзахищеності БАК для відеомоніторингу місцевості є надання бортовій системі автономності шляхом машинного навчання розпізнаванню природних, інфраструктурних об’єктів і транспортних засобів. Водночас зберігається можливість передачі на НСК інформації про детектований наземний об’єкт за криптозахищеним каналом зв’язку. Про складність вирішення цієї проблеми свідчить той факт, що побудову автономної бортової системи розпізнавання (БСР) наземних об’єктів за проектом з умовною назвою GS-2 (CША) планується завершити тільки в 2030 році. Застосування традиційних методів інтелектуального аналізу даних Data Mining, включаючи штучні нейронні мережі (ШНМ), для інформаційного синтезу автономної БСР не завжди забезпечує високу функціональну ефективність машинного навчання через такі науково-методологічні обмеження: • довільні початкові умови формування цифрових зображень об’єктів на місцевості, що розпізнаються, обумовлених різними ракурсами аерофотозйомки, висотами літального апарату, положенням і місцезнаходженням об’єкту; • перетин класів розпізнавання, що характеризують зображення об’єктів, в просторі ознак розпізнавання; • багатовимірність словника ознак і алфавіту класів розпізнавання; • вплив неконтрольованих факторів, пов’язаних, наприклад, із зміною ракурсу спостереження, сезонних, добових та кліматичних умов, освітленості тощо. Крім того, до зміни початкових умов формування зображень, наприклад, наземних малогабаритних об’єктів призводить використання засобів маскування. Показано перспективність використання в дисертаційних дослідженнях ідей і методів розробленої в Сумському державному університеті науковою школою професора Довбиша А. С. так званої інформаційно-екстремальної інтелектуальної технології (ІЕІ-технології) аналізу даних, яка ґрунтується на максимізації інформаційної спроможності системи в процесі машинного навчання. Основна ідея методів ІЕІ-технології як і в ШНМ полягає в адаптації в процесі машинного навчання вхідного математичного опису до максимальної повної ймовірності прийняття правильних класифікаційних рішень. Але основна перевага методів інформаційно-екстремального машинного навчання полягає в тому, що вони на відміну від нейроподібних структур розробляються в рамках функціонального підходу до моделювання когнітивних процесів, притаманних людині при формуванні та прийнятті класифікаційних рішень, тобто безпосередньо моделюють природний механізм прийняття рішень. Такий підхід на відміну від структурних методів дозволяє методам інформаційно-екстремального машинного навчання надати гнучкість при перенавчанні системи через розширення алфавіту класів розпізнавання. Крім того, побудова в рамках геометричного підходу вирішальних правил робить їх практично інваріантними до багатовимірності словника ознак розпізнавання і суттєво підвищує оперативність прийняття класифікаційних рішень, що особливо важливо при спостереженні за наземними рухомими об’єктами. Водночас варто підкреслити, що методи інформаційно-екстремального машинного навчання здійснюються не в інтерактивному режимі, як це відбувається в ШНМ, а в автоматичному і водночас потребують для формування навчальної матриці менше ніж на порядок зразків зображень. У дисертаційній роботі розв’язано важливе науково-практичне завдання розроблення інформаційної інтелектуальної технології машинного навчання бортової системи автономного БПЛА для відеомоніторингу місцевості за умови неповної визначеності даних у рамках функціонального підходу до моделювання когнітивних процесів. Вперше розроблено метод інформаційно-екстремального машинного навчання автономного БПЛА для розпізнавання наземного транспортного засобу з оптимізацією рівня квантування яскравості пікселів кадру зони інтересу, що дозволяє детектувати контур транспортного засобу з метою визначення на ньому центру полярної системи координат для формування навчальної матриці. У результаті побудовані в процесі інформаційно екстремального машинного навчання автономного БПЛА вирішальні правила є інваріантні до зсуву та повороту наземного об’єкту у кадрі зони інтересу. Вперше розроблено метод інформаційно-екстремального машинного навчання автономного БПЛА для розпізнавання наземних об’єктів з оптимізацією розміру кадру зображення регіону, що дозволяє підвищити функціональну ефективність інформаційно-екстремального машинного навчання БСР через зменшення впливу неінформативних та заважаючих ознак розпізнавання оточуючого середовища наземного об’єкту. Вперше розроблено метод інформаційно-екстремального машинного навчання автономного БПЛА для семантичної сегментації зображення регіону шляхом оптимізації за інформаційним критерієм вагових коефіцієнтів RGB компонент зображень наземних об’єктів, що дозволяє підвищити повну ймовірність прийняття правильних класифікаційних рішень у порівнянні з початковими одиничними значеннями вагових коефіцієнтів як це приймалося в наукових дослідженнях попередників. Удосконалено метод інформаційно-екстремального машинного навчання автономного БПЛА для відеомоніторингу місцевості за ієрархічною структурою даних у вигляді декурсивного бінарного дерева, що дозволяє побудувати в процесі машинного навчання із заданою глибиною безпомилкові за навчальною матрицею вирішальні правила. Доведено доцільність реалізації інформаційно-екстремального машинного навчання за ієрархічною структурою даних у вигляді декурсивного бінарного дерева при кількості класів розпізнавання більше двох. Набув подальшого розвитку метод автономної відеонавігації за наземними природними та інфраструктурними орієнтирами з відомими географічними координатами, що дозволяє визначати місцезнаходження автономного БПЛА без використання глобальної мережи позиціювання GPS і цим підвищити інформаційну та/або кіберзахищеність літального апарату. Розроблено засоби технології інформаційного синтезу здатної навчатися бортової системи автономного БПЛА за умови неповної визначеності даних та нечіткої компактності векторів ознак класів розпізнавання, що дозволило за результатами машинного навчання побудувати безпомилкові за навчальною матрицею вирішальні правила, які дозволяють у робочому режимі приймати високодостовірні оперативні класифікаційні рішення. Крім того, розроблено засоби інформаційної технології проектування системи підтримки прийняття рішень (СППР) для оператора НСК, який здійснює машинне навчання та перенавчання БСР автономного БПЛА. Усі теоретичні розробки дисертації доведено до конкретних інженерних алгоритмів, реалізованих запропонованими автором засобами інформаційної технології синтезу здатної навчатися бортової системи автономного БПЛА для моніторингу наземного регіону за оптико-електронним каналом спостереження. Cтворено комплекс інструментальних засобів для інформаційного синтезу бортової системи автономного БПЛА для моніторингу місцевості, який включає модулі формування вхідного інформаційного опису БСР, бази даних і знань, алгоритми інформаційно екстремального машинного навчання і побудовані за результатам машинного навчання вирішальні правила, які дозволяють при функціонуванні системи в робочому режимі приймати високодостовірні оперативні класифікаційні рішення. Основні наукові результати впроваджено у вигляді інформаційної технології, яка включає категорійні моделі, методи, критерії оцінки функціональної ефективності, алгоритми оптимізації і програмне забезпечення при модернізації тренажерів безпілотних авіаційних комплексів у науково-дослідному центрі ракетних військ і артилерії Збройних сил України (акт впровадження від 09.06.2023 р.) і в навчальний процес Сумського державного університету (акт впровадження від 30.05.2023 р.).

The dissertation work is devoted to increasing the functional efficiency of an autonomous UAV for the recognition of terrestrial natural, infrastructural and small sized objects by creating information technology of machine learning within the framework of a functional approach to modeling the cognitive processes of natural intelligence in the formation and adoption of classification decisions. The object of research is a weakly formalized machine learning process of the on-board system of an autonomous unmanned aerial vehicle (UAV) for video monitoring of the terrain under the condition of incomplete data certainty, due to arbitrary initial conditions of image formation and intersection in the space of features of recognition classes that characterize ground objects. The subject of research is information technology models and methods of information-extreme machine learning on-board system of an autonomous unmanned aerial vehicle for video monitoring of the terrain. The selected research methods are based on the principles and methods of intelligent information analysis of data and information-extreme intelligent technology of machine learning for building highly reliable and operational decisive rules; methods of probability theory and mathematical statistics for estimating random variables and testing statistical hypotheses; methods and characteristics of information theory for evaluating the functional efficiency of machine learning on board system of an autonomous UAV; object-oriented methodology of designing complex systems for the development of informational algorithmic and software of the on-board system of a learning UAV. The relevance of the topic of the dissertation is justified, the connection of the work with scientific topics is indicated, the purpose and tasks of the research are formulated, the object, subject and the research methods are defined, the scientific novelty and practical significance of the obtained results are shown, information is given about the practical use, approbation of the results and their coverage in publications. According to the results of the analysis of the current state and development trends of unmanned aircraft systems (UAS) for video monitoring of the area, it is shown that UAS are mainly used as relays of the region images of under study to ground control stations (GCS). This fact makes them vulnerable to electronic warfare (EW). In addition, modern radio equipment is able to calculate the coordinates of the GCS by the frequency of its communication channel with the UAV. It is shown that the main way to expand the functional capabilities and increase the cyber security of the UAS for video monitoring of the area is to provide the on-board system with autonomy through machine learning to recognize natural, infrastructural objects and vehicles. At the same time, it is possible to transfer information about the detected ground object to the GCS via a cryptographically protected communication channel. The difficulty of solving this problem is evidenced by the fact that the construction of the autonomous on-board recognition system (ORS) of ground objects under the project with the conditional name GS-2 (USA) is planned to be completed only in 2030. The use of traditional methods of intelligent analysis of Data Mining data, including artificial neural networks (ANN) for information synthesis of autonomous ORS, does not always ensure high functional efficiency of machine learning due to the following scientific and methodological limitations: • arbitrary initial conditions for the formation of digital images of recognizable objects on the terrain, determined by different angles of aerial photography, the aircraft height, the position and location of the object; • intersection of recognition classes characterizing images of objects in the recognition features space; • multidimensionality of the dictionary of signs and the recognition classes alphabet; • the influence of uncontrollable factors associated, for example, with a change in the viewing angle, seasonal, daily and climatic conditions, lighting, etc. In addition, the use of masking tapes leads to a change in the initial conditions of image formation, for example, of small terrestrial objects. The perspective of using the so-called information-extreme intelligent technology (IEI-technology) of data analysis, which is based on maximizing the information capacity of the system in the process of machine learning, is shown in dissertation research. The main idea of the IEI-technology methods, as well as in CNN, is to adapt the input mathematical description to the maximum full probability of making the correct classification decisions in the machine learning process. The main advantage of information-extreme machine learning methods is that, unlike neuro-like structures, they are developed within the framework of a functional approach to modeling cognitive processes inherent in humans when forming and making classification decisions, that is, they directly model the natural decision making mechanism. This approach, unlike structural methods, allows the methods of information-extreme machine learning to provide flexibility in retraining the system through the expansion of the recognition classes alphabet. In addition, the construction of decisive rules within the framework of the geometric approach practically solves the problem of the multidimensionality of the recognition features dictionary and significantly increases the efficiency of making classification decisions, which is especially important when observing terrestrial moving objects. At the same time, it should be emphasized that the methods of information-extreme machine learning are not implemented in an interactive mode, as is the case in CNN, but in an automatic mode and at the same time require less than an order of magnitude of image samples to form the training matrix. In the dissertation work, an important scientific and practical task of developing the informational intelligent machine learning technology of the on-board system of an autonomous UAV for video monitoring of the terrain under the condition of incomplete data certainty within the framework of a functional approach to modeling cognitive processes is solved. For the first time, a method of information-extreme machine learning of an autonomous UAV was developed for recognizing a ground vehicle with optimization of the quantization level of the brightness of the pixels of the frame of the zone of interest, which allows detecting the contour of the vehicle in order to determine the center of the polar coordinate system on it for the formation of the training matrix. As a result, the decisive rules constructed in the process of information-extreme machine learning of an autonomous UAV are invariant to the shift and rotation of the ground object in the frame of the zone of interest. For the first time, a method of information-extreme machine learning of an autonomous UAV was developed for the recognition of ground objects with optimization of the frame size of the region image, which allows to increase the functional efficiency of information-extreme machine learning of the ORS by reducing the influence of uninformative and interfering features of the recognition of the surrounding environment of the ground object. For the first time, a method of information-extreme machine learning of an autonomous UAV has been developed for semantic segmentation of the region image by optimizing according to the information criterion of the weighting coefficients of the RGB components of the images of ground objects, which allows to increase the full probability of making the correct classification decisions in comparison with the initial single values of the weighting coefficients like this was accepted in the scientific studies of predecessors. The method of information-extreme machine learning of an autonomous UAV for video monitoring of terrain based on a hierarchical data structure in the form of a decursive binary tree has been improved, which makes it possible to build in the machine learning process with a given depth error-free decisive rules based on the training matrix. The expediency of implementing information-extreme machine learning based on a hierarchical data structure in the form of a decursive binary tree when the number of recognition classes is more than two has been proven. The method of autonomous video navigation by terrestrial natural and infrastructural landmarks with known geographical coordinates has gained further development, which allows determining the location of an autonomous UAV without using the global GPS positioning network and thereby increasing the information and/or cyber security of the aircraft. The means of information synthesis technology capable of learning the on-board system of an autonomous UAV under the condition of incomplete data certainty and unclear compactness of the feature vectors of recognition classes have been developed, which made it possible to build error-free decisive rules based on the learning matrix based on the machine learning results, which allow making highly reliable operational classification decisions in the exam mode. In addition, information technology tools for the design of a decision support system (DSS) have been developed for the operator of the GCS, which carries out machine learning and retraining of the ORS of an autonomous UAV. All the theoretical developments of the thesis are brought to specific engineering algorithms implemented by the author's proposed means of information technology for the synthesis of a learnable on-board system of an autonomous UAV for monitoring the ground region using an optical-electronic surveillance channel. The set of tools for the information synthesis of the on-board system of an autonomous UAV for terrain monitoring has been created, which includes modules for the formation of the input information description of the ORS, databases and knowledge, information-extreme machine learning algorithms and decisive rules built on the basis of the machine learning results, which allow the system to function in operating mode to make highly reliable operational classification decisions. The main scientific results were implemented in the form of information technology, which includes categorical models, methods, functional efficiency assessment criteria, optimization algorithms and software for the modernization of simulators of unmanned aircraft complexes in the Research Center of Missile Forces and Artillery of the Armed Forces of Ukraine (implementation act dated 09.06.2023 and in the educational process of Sumy State University (implementation act dated 05.06.2023.