Багатошарова модель та метод навчання для детектування шкідливого трафіку на основі ансамблю дерев рішень

Abstract

Запропоновано модель і метод навчання багатошарового екстрактора ознак та вирішувальних правил для детектора шкідливого трафіку. Модель екстрактора ознак основана на згортковій розріджено кодуючій мережі, розріджений кодер якої апроксимується моделлю регресійного випадкового лісу згідно принципів дистиляції знань. При цьому розроблено алгоритм зростаючого розріджено кодуючого нейронного газу для навчання екстрактора ознак без вчителя з автоматичним визначення необхідної кількості ознак на кожному шарі. На етапі навчання екстрактора ознак для реалізації розрідженого кодування використано жадібний L0-регуляризований метод ортогонального узгодженого переслідування (Orthogonal Matching Pursuit), а під час дистиляції знань додатково використовувався L1- регуляризований метод найменших кутів (Least angle regression algorithm). Завдяки ефекту редукції причини отримані ознаки є некорельованими, а сформований ознаковий опис є стійким до завад та змагальних (Adveserial) атак. Запропонований екстрактор ознак навчається без вчителя для розділення пояснюючих факторів і дозволяє з максимальною ефективністю використати нерозмічені навчальні дані, обсяг яких, як правило, досить великий. Як модель вирішувальних правил запропоновано використовувати двійковий кодер спостережень на основі ансамблю дерев рішень та інформаційноекстремальні роздільні замкнені гіперповерхні (контейнери) класів, що відновлюються в радіальному базисі двійкового простору Хеммінга. Додавання кодуючих дерев відбувається за принципом бустінгу, а радіус контейнерів класів оптимізується шляхом прямого перебору. Інформаційно-екстремальний класифікатор характеризується низькою обчислювальною складністю та високою узагальнюючою здатністю для малих наборів розмічених навчальних даних. Результати верифікації навченої моделі на відкритих тестових наборах даних CTU підтверджують придатність запропонованих алгоритмів для практичного застосування, оскільки точність розпізнавання шкідливого трафіку становить 96,1 %.

The model and training method of multilayer feature extractor and decision rules for a malware traffic detector is proposed. The feature extractor model is based on a convolutional sparse coding network whose sparse encoder is approximated by a regression random forest model according to the principles of knowledge distillation. In this case, an algorithm of growing sparse coding neural gas has been developed for unsupervised training the features extractor with automatic determination of the required number of features on each layer. As for feature extractor, at the training phase to implement of sparse coding the greedy L1-regularized method of Orthogonal Matching Pursuit was used, and at the knowledge distillation phase, the L1-regularized method at the least angles (Least regression algorithm) was additionally used. Due to the explaining-away effect, the extracted features are uncorrelated and robust to noise and adversarial attacks. The proposed feature extractor is unsupervised trained to separate the explanatory fac- Інтелектуальні системи керування та діагностування 101 tors and allows to use the unlabeled training data, which are usually quite large, with the maximum efficiency. As a model of the decision rules proposed to use the binary encoder of input observations based on an ensemble of decision trees and information-extreme closed hyper-surfaces (containers) for class separation, that are recovery in radial-basis of Hemming' binary space. The addition of coding trees is based on the boosting principle, and the radius of class containers is optimized by direct search. The information-extreme classifier is characterized by low computational complexity and high generalization capacity for small sets of labeled training data. The verification results of the trained model on open CTU test data sets confirm the suitability of the proposed algorithms for practical application since the accuracy of malware traffic detection is 96.1 %.