Використання технологій штучного інтелекту для автоматизації процесу обробки документів

Автор(и)

DOI:

https://doi.org/10.33099/2311-7249/2024-50-2-111-117

Ключові слова:

штучний інтелект, автоматизація, обробка документів, обробка природної мови, великі мовні моделі, генерація розширеного пошуку, агенти штучного інтелекту

Анотація

В умовах постійного зростання обсягу інформації та необхідності обробки великих текстових масивів, традиційні методи виявилися недостатньо ефективними та потребують значних людських ресурсів. Стаття присвячена розкриттю важливих аспектів використання сучасних технологій штучного інтелекту для оптимізації процесу створення звітів і надає практичні рекомендації для подальших досліджень у цій області. Метою статті є висвітлення підходу до використання великих мовних моделей, технології генерації розширеного пошуку та автономних агентів для автоматизації процесу обробки текстових даних на основі множини документів й оцінювання ефективності застосування таких технологій для забезпечення точності, релевантності та здатності до узагальнення інформації. Під час проведення дослідження було застосовано методи аналізу, синтезу, моделювання та експерименту. Зазначений методологічний підхід дав змогу розкрити підхід до використання технологій штучного інтелекту для автоматизації процесів розроблення і написання звітів на основі множини документів у захищених середовищах та провести експеримент щодо оцінювання ефективності використання розглянутих моделей і технологій. Запропоновано використовувати великі мовні моделі, що дають змогу перетворювати текст у векторні представлення для підвищення точності та релевантності згенерованих звітів, технологію генерації розширеного пошуку для поєднання пошуку релевантних документів та генерації тексту, що дало змогу значно покращити якість узагальнених звітів, автономних агентів для автоматизації збору, аналізу та обробки даних, що знижує потребу в постійному втручанні людини. Проведено експериментальні дослідження, результати яких свідчать, що використання великих мовних моделей спільно із технологією генерації розширеного пошуку та автономними агентами дає змогу значно покращити якість та ефективність автоматизації створення звітів. Проведене оцінювання за допомогою відомих метрик (BLEU, ROUGE та METEOR) підтвердили високу точність, релевантність та здатність до узагальнення згенерованих текстів. Зазначено переваги, недоліки запропонованого підходу, зокрема, підкреслюється важливість впровадження технологій штучного інтелекту в захищені середовища для забезпечення високого рівня безпеки даних. Теоретична значущість полягає у розширенні розуміння можливостей технологій штучного інтелекту під час обробки текстових даних та створення звітів. Практичною значущістю визначено потенціал застосування технологій штучного інтелекту у сфері безпеки і оборони та технічних галузях для підвищення ефективності моніторингу та управління. Науковою новизною дослідження є впровадження сучасних методів обробки природної мови та генерації тексту для створення звітів на основі множини документів.

Біографії авторів

Роман Миколайчук, Національний університет оборони України

доктор технічних наук, доцент

Аліса Миколайчук , Київський національний університет імені Тараса Шевченка

кандидат філологічних наук, доцент

Посилання

Lin C. C., Huang A. Y. Q., Yang, S. J. H. A Review of AI-Driven Conversational Chatbots Implementation Methodologies and Challenges (1999–2022). Sustainability 2023, 15(5). DOI: https://doi.org/10.3390/su15054012.

Wyndham А. 10 Large Language Models That Matter to the Language Industry. Data & Indexes, Technology. 2024. URL: https://slator.com/10-large-language-models-that-matter-to-the-language-industry (Accessed: 29 July 2024).

Zhao P., Zhang H., Yu Q., Wang Z., Geng Y., Fu F., Yang L., Zhang W., Jiang J., Cui B. Retrieval-Augmented Generation for AI-Generated Content: A Surve. arXiv: 2402.19473 (cs.CV) 2024. URL: https://arxiv.org/abs/2402.19473 (Accessed: 29 July 2024).

Sanjay P., Li W., Xiaoming Ch., Hua L. GPT was Only the Beginning: Autonomous Agents are Coming. Boston Consulting Group. 2023. [онлайн] URL: https://www.bcg.com/publications/2023/gpt-was-only-the-beginning-autonomous-agents-are-coming (Accessed: 29 July 2024).

Bisen Sh. K. Large Language Models (LLM): Difference between GPT-3 & BERT. Published in Bright AI. 2022. URL: https://medium.com/bright-ai/nlp-deep-learning-models-difference-between-bert-gpt-3-f273e67597d7 (Accessed: 29 July 2024).

Гороховатський О. В., Передрій О. О. Багатошаровий персептрон як інструмент первинної кластеризації зображень. Реєстрація, зберігання і обробка даних. 2016. Т. 18, № 4. С. 33–43. URL: http://dspace.nbuv.gov.ua/handle/ 123456789/131626 (дата звернення: 29.07.2024).

Singhal A. Modern Information Retrieval: A Brief Overview. Bulletin of the IEEE Computer Society Technical Committee on Data Engineering. 2001. № 24 (4). Р. 35–43. URL: http://singhal.info/ieee2001.pdf. (дата звернення: 30 July 2024).

Гулівата І. О., Гусак Л. П., Радзіховська Л .М. Вища та прикладна математика: Теорія Ймовірностей: навчальний посібник. Вінниця: Видавничо-редакційний відділ ВТЕІ КНТЕУ, 2018. 208 с. URL: https://ir.vtei.edu.ua/g.php?fname=25604.pdf (дата звернення: 30.07.2024).

Papineni K., Roukos S., Ward T., Zhu W. J. BLEU: a method for automatic evaluation of machine translation (PDF). ACL-2002: 40th Annual meeting of the Association for Computational Linguistics. 2002. P. 311–318. URL: https://aclanthology.org/P02-1040.pdf (дата звернення: 30.07.2024).

Lin Ch.-Y., Hovy E. Automatic Evaluation of Summaries Using N-gram Co-occurrence Statistics. In: Proceedings of 2003 Language Technology Conference (HLT-NAACL 2003), Edmonton, Canada, May 27 –June 1, 2003. 71–78 URL: https://aclanthology.org/N03-1020.pdf (Accessed: 30 July 2024).

Lin Ch.-Y. ROUGE: A package for automatic evaluation of summaries. In Proceedings of the Workshop on Text Summarization Branches Out (WAS 2004), Barcelona, Spain, July 25–26, 2004. URL: https://aclanthology.org/W04-1013.pdf (Accessed: 30 July 2024).

Banerjee S., Lavie A. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization at the 43rd Annual Meeting of the Association of Computational Linguistics (ACL-2005), Ann Arbor, Michigan, June 2005. URL: https://aclanthology.org/W05-0909.pdf (дат Accessed: 30 July 2024).

##submission.downloads##

Опубліковано

2024-08-28 — Оновлено 2024-08-30

Версії

Номер

Розділ

Інформаційно-аналітична діяльність у сфері безпеки та оборони