Економіко-математичне моделювання державних закупівель через систему Prozorro засобами Data Mining

Abstract

Державні закупівлі включають широке коло товарів, послуг і робіт, від будівництва і ремонту до постачання медичного обладнання, комп'ютерів, транспорту, послуг з управління тощо. Органи, що здійснюють державні закупівлі, повинні дотримуватися процедур, визначених законом, таких як публікація оголошень про торги, забезпечення рівного доступу до інформації для всіх учасників, проведення відкритих торгів або конкурсів, оцінка тендерних пропозицій та укладання договорів з переможцями. Реалізація тендерів відбувається через електронну систему публічних закупівель Prozorro. Однак повномасштабне вторгнення РФ в Україну висвітлило проблеми, пов’язані із нездатністю забезпечити максимально ефективне використання бюджетних коштів. Джерелами цих проблем є як складність моніторингу тисяч тендерів, що з’являються у системі щодня, так і повільний темп розвитку громадянського суспільства і, як наслідок, відсутність належного громадського контролю у цій сфері протягом великого періоду часу. Тому, на даному етапі розвитку України та сфери її публічних закупівель, важливим фактором є часткова автоматизація та укрупнення моніторингу суспільних потреб, що виражаються через цю сферу, зниження рівня ризиків корупційних проявів у процесі здійснення закупівельної діяльності тощо. Для цього пропонується використовувати методи інтелектуального аналізу текстових даних (Text Data Mining). У цій роботі запропоновано спосіб застосування економіко-математичного моделювання одного з них – тематичного моделювання (Topic Modelling). Пошук оголошень, які суперечать принципам чесних та прозорих торгів згідно Закону України «Про публічні закупівлі», в ручному режимі має низький ступінь корисності, оскільки щодня владними органами оголошуються тисячі тендерів. Крім того, відсутність систематичного нагляду за цим процесом з боку Департаменту сфери публічних закупівель та конкурентної політики, антикорупційних органів, сприяє зростанню впливу людського фактору у вигляді недобросовісності та зловживань службовим становищем. Крім того, необхідно відмітити, що не дивлячись на об’єми збитків, яких зазнає економіка України внаслідок недоцільних витрат коштів через деякі тендерні закупівлі, інтерес до даної проблеми, з боку української громадськості, показує невтішну тенденцію. Це є проявом згаданого раніше процесу повільної розбудови громадянського суспільства. Таким чином, необхідність розробки нових, принаймні, тимчасових підходів до моніторингу та адміністрування оголошуваних тендерів стає ще більш очевидною. З огляду на те, що їх поява набуває масового характеру навіть у межах однієї доби, зрозумілою є важливість повної або часткової автоматизації обробки оголошень. Саме у цьому виражається актуальність тендерних досліджень на сьогодні. Із зазначеного вище випливає, що метою цього дослідження була побудова та демонстрація доцільності використання тематичних моделей для аналізу державної закупівельної діяльності. Об’єктом проведеного дослідження є соціально-економічні відносини, що виникають між учасниками процесу публічних закупівель в Україні. Предметом дослідження виступали економіко-математичні методи та моделі державних закупівель, оголошувані відповідними органами влади через онлайн-платформу системи Prozorro. У результаті виконання роботи було побудовано та продемонстровано доцільність використання тематичних моделей для аналізу державної закупівельної діяльності: мети дослідження досягнуто. Було виявлено, що модель на основі алгоритму BERTopic придатна для пошуку маркерів, які можуть вказувати на корупційні прояви чи використання державних коштів з низьким рівнем корисності для суспільства. Також встановлено, що модель LDA може використовуватися для аналізу потреб у межах галузей національної економіки України, соціально-економічної системи країни. У ході виконання наукової роботи було досягнуто поставлених завдань: ⎯ Описано передумови та актуальність тендерних досліджень; ⎯ Проведено бібліометричний аналіз релевантних наукових досліджень у сфері державних закупівель; ⎯ Представлено обробку природної мови (NLP) як метод моніторингу діяльності у сфері публічних закупівель; ⎯ Сформовано базу тендерів за допомогою інтерфейсу прикладного програмування Prozorro; ⎯ Сформовано припущення дослідження; ⎯ Реалізовано концептуальне моделювання алгоритмів тематичного моделювання, таких як латентне розміщення Діріхле та BERTopic; ⎯ Побудовано NLP-моделі та інтерпретовано отримані результати. Методи дослідження: синтез; аналіз відповідних публікацій представників наукової спільноти, фахівців у сфері інтелектуального аналізу даних; бібліометричний аналіз; тематичне моделювання, кластерний аналіз. Джерелом забезпечення даними для побудови моделей була база даних системи електронних закупівель Prozorro. Джерелом знань щодо алгоритмізації збору даних, очистки даних та моделювання в коді стала документація мови програмування Python та її модулів, бібліотек. Середовище написання коду – інтегроване середовище розробки Spyder. Наукова та суспільна цінність дослідження полягає у пришвидшеному та укрупненому способі моніторингу та аналізу сфери державних закупівель, що базується на підходах машинного навчання. Це дозволить ефективніше перерозподіляти кошти державного, місцевого бюджетів, результативніше проводити заходи щодо антикорупційної боротьби тощо. Перспективним напрямком подальших досліджень може бути моделювання за асоціативними правилами для встановлення зв’язків з іншими змінними, включених у збирані дані з Prozorro. Також, для полегшення роботи з такими моделями, доцільною є розробка повноцінного додатку, в основі якого лежатимуть методи тематичного моделювання. Для вивчення можливостей автоматизації контролю закупівельної діяльності доцільно інвестувати у машинне навчання, штучний інтелект. Наукове дослідження було виконано в межах науково-дослідної роботи за замовленням МОН України «Моделювання механізмів детінізації та декорумпізації економіки для забезпечення національної безпеки: вплив трансформації фінансових поведінкових патернів», № держреєстрації: 0122U000783. Результати кваліфікаційної роботи бакалавра оприлюднені у статті «Financial Fraud Detection on Social Networks Based on a Data Mining Approach» у фаховому журналі «Financial Markets, Institutions and Risks (FMIR)».

Public procurement includes a wide range of goods, services, and works, from construction and repair to the supply of medical equipment, computers, transportation, management services, etc. Public procurement authorities must follow procedures established by law, such as publishing tender announcements, ensuring equal access to information for all participants, holding open tenders or competitions, evaluating tender proposals, and concluding contracts with the winners. Tenders are implemented through the electronic public procurement system Prozorro. However, Russia's full-scale invasion of Ukraine has highlighted the problems associated with the inability to ensure the most efficient use of budget funds. The ources of these problems are both the difficulty of monitoring the thousands of tenders that appear in the system every day and the slow pace of civil society development and, as a result, the lack of proper public control in this area over a long period of time. Therefore, at this stage of development of Ukraine and its public procurement sector, an important factor is partial automation and consolidation of monitoring of public needs expressed through this sector, reduction of the risk of corruption in the procurement process, etc. For this purpose, it is proposed to use the methods of intellectual analysis of text data (Text Data Mining). This paper proposes a method of applying economic and mathematical modeling of one of them - Topic Modelling. Manual search for announcements that contradict the principles of fair and transparent bidding according to the Law of Ukraine "About Public Procurement" has a low degree of usefulness, as thousands of tenders are announced by the authorities every day. In addition, the lack of systematic oversight of this process by the Department for Public Procurement and Competition Policy and anti-corruption bodies contributes to the growing influence of the human factor in the form of dishonesty and abuse of office. In addition, it should be noted that despite the amount of losses incurred by the Ukrainian economy as a result of inappropriate spending of funds through some tender procurements, the interest of the Ukrainian public in this issue shows a disappointing trend. This is a manifestation of the previously mentioned slow development of civil society. Thus, the need to develop new, at least temporary, approaches to monitoring and administering announced tenders becomes even more apparent. Given that their appearance becomes massive even within one day, the importance of full or partial automation of announcement processing is clear. This is the relevance of tender research today. It follows from the above that the purpose of this research was to build and demonstrate the feasibility of using topic models for analyzing public procurement activities. The object of this research is the socio-economic relations that arise between participants in the public procurement process in Ukraine. The subject of the study was economic and mathematical methods and models of public procurement announced by the relevant authorities through the online platform of the Prozorro system. As a result of the work, were built and demonstrated the feasibility of using topic models for analyzing public procurement activities: the research objective has been achieved. It was found that the model based on the BERTopic algorithm is suitable for finding markers that may indicate corruption or the use of public funds with a low level of utility for society. It was also found that the LDA model can be used to analyze the needs within the sectors of the national economy of Ukraine, as well as the country's socio-economic system. In the course of the research work, the objectives were achieved: ⎯ The prerequisites and relevance of tender research are described; ⎯ A bibliometric analysis of relevant scientific research in the field of public procurement was conducted; ⎯ Natural Language Processing (NLP) as a method of monitoring public procurement activities is presented; ⎯ A database of tenders was formed using the Prozorro application programming interface; ⎯ The research assumptions were formed; ⎯ Conceptual modeling of topic modeling algorithms, such as Dirichlet latent clustering and BERTopic, was implemented; ⎯ NLP models were built and interpreted the results. Research methods: synthesis; analysis of relevant publications of representatives of the scientific community, specialists in the field of data mining; bibliometric analysis; topic modeling, cluster analysis. The source of data for building the models was the database of the Prozorro e-procurement system. The source of knowledge on algorithmization of data collection, data cleaning, and modeling in code was the documentation of the Python programming language and its modules and libraries. The code writing environment was the Spyder integrated development environment. The scientific and social value of the research lies in the accelerated and consolidated method of monitoring and analyzing public procurement based on machine learning approaches. This will allow for more efficient redistribution of state and local budget funds, more effective anti-corruption measures, etc. A promising area for further research could be modeling by associative rules to establish links with other variables included in the collected data from Prozorro. Also, to facilitate the work with such models, it is advisable to develop a full-fledged application based on thematic modeling methods. To explore the possibilities of automating the control of procurement activities, it is advisable to invest in machine learning and artificial intelligence. The research was carried out within the framework of the research work commissioned by the Ministry of Education and Science of Ukraine «Modeling the mechanisms of de-shadowing and corruption of the economy to ensure national security: the impact of the transformation of financial behavioral patterns», state registration no: 0122U000783. The results of the bachelor's qualification work were published in the article «Financial Fraud Detection on Social Networks Based on a Data Mining Approach» in the professional journal «Financial Markets, Institutions and Risks (FMIR)».