Модель статистичного аналізу природньої мови на основі нейронної мережі

Abstract

У роботі розроблено систему для статистичного аналізу природньої мови шляхом напівавтоматичного визначення повторюваності конкретних слів або словосполучень в тексті. Були використані моделі на основі нейронних мереж, які допомагають проводити нормалізацію тексту та порівнювати семантичну схожість фраз, що дозволяє провести комплексний статистичний аналіз природньої мови у зазначених даних. Модель продемонструвала високу точність (93%) під час тестування на контрольних даних. Єдиним значним недоліком стали помилки у розпізнаванні синонімів, які було усунено через внесення експертних коректив та модифікацію алгоритму обробки тексту. В результаті розроблений код є придатним для практичних застосувань, таких як аналіз відгуків, моніторинг соціальних мереж чи автоматизація аналітики текстових даних..