Управління роями безпілотних літальних апаратів на базі нейронних трансформерів

Наталія Бігун

doi:10.33099/2311-7249/2024-50-2-77-84

Автор(и)

Наталія Бігун Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України, Україна https://orcid.org/0000-0003-3327-5521

DOI:

https://doi.org/10.33099/2311-7249/2024-50-2-77-84

Ключові слова:

рій безпілотних літальних апаратів, Mixture of Experts, нейронні трансформери, автономні системи, обробка даних

Анотація

Сучасні виклики в управлінні автономними роями безпілотних літальних апаратів вимагають удосконалення інтелектуальних систем за допомогою передових технологій машинного навчання. Це дослідження зосереджено на інтеграції технології «Суміші експертів» (Mixture of Experts) у нейронні трансформери для підвищення ефективності роїв безпілотних літальних апаратів. Метою статті є аналіз і розробка методів, що дають змогу покращити можливості роїв безпілотних літальних апаратів шляхом удосконалення нейронних трансформерів за допомогою технології Mixture of Experts. Для досягнення цієї мети були використані методологічні підходи, що дають змогу розкрити, проаналізувати та провести експерименти з різними архітектурами Mixture of Experts і нейронними трансформерами. Зокрема – застосування спеціалізованих підмоделей (експертів) для рішення конкретних завдань у складі рою безпілотних літальних апаратів. У процесі дослідження було виявлено, що інтеграція Mixture of Experts із трансформерами сприяє значному підвищенню продуктивності роїв безпілотних літальних апаратів завдяки більш ефективному розподілу завдань й адаптації до мінливих умов середовища. Таке підвищення можливостей роїв безпілотних літальних апаратів відкриває нові перспективи для розвитку автономних розвідувальних та рятувальних місій. Елементи наукової новизни полягають у розробці оптимізованих фреймворків Mixture of Experts, які можуть бути результативно інтегровані в рої безпілотних літальних апаратів, з акцентом на подоланні обчислювальних і ресурсних обмежень у процесі одночасного підвищення адаптивності й можливостей прийняття рішень. Теоретична та практична значущість дослідження для воєнно-оборонної сфери і сфери технічних наук полягає у створенні автономних систем, здатних до швидкої адаптації й оперативного виконання завдань у різноманітних умовах. Дослідження відкриває нові шляхи та перспективи для розробки нових алгоритмів з метою точнішого визначення релевантності «експертів» до конкретних завдань, а також вивчення впливу різних архітектур «експертів» на загальну продуктивність системи.

Посилання

Al-Emadi S., Al-Mohannadi A. Towards Enhancement of Network Communication Architectures and Routing Protocols for FANETs: A Survey. 2020 3rd International Conference on Advanced Communication Technologies and Networking (CommNet), Marrakech, Morocco, 4–6 Sept. 2020. DOI:10.1109/commnet49926.2020.9199627.

Слюсар В. Кібернетичні загрози великих мовних моделей. Системи та засоби штучного інтелекту : тези доп. Міжнар. наук. конф. «Штуч. інтелект: досягнення, виклики та ризики», м. Київ, 15–16 берез. 2024 р. С. 252–260.

Срібнюк С. М. Гідравлічні та аеродинамічні машин. Основи теорії і застосування: навч. посібник. Київ : Центp навч. літератуpи, 2022. 328 с.

Shazeer N., Mirhoseini A., Maziarz K., Davis A., Le Q. V., Hinton G. E. and Dean, J. Outrageously large neural networks: the sparsely-gated mixture-of-experts layer. CoRR. 2017. abs/1701.06538. URL: http://arxiv.org/abs/1701.06538 (Accessed: 12 May 2024).

Jawahar G., Mukherjee, S., Liu X., Kim Y. J., Abdul-Mageed M., Lakshmanan L. V. S., Awadallah A. H., Bubeck S. and Gao J. AutoMoE: heterogeneous mixture-of-experts with adaptive computation for efficient neural machine translation. Annual meeting of the Association for Computational Linguistics. 2023. URL: https://api.semanticscholar.org/CorpusID:259108418 (Accessed: 12 May 2024).

Antoniak S., Jaszczur S., Krutul M. Mixture of Tokens: Efficient LLMs through Cross-Example. ArXiv. 2023. abs/2310.15961. DOI: 10.48550/arXiv.2310.15961.

Mohammadi H., Nazerfard E., Firoozi T. Reinforcement learning-based mixture of vision transformers for video violence recognition. ArXiv. 2023. abs/2310.03108. DOI: 10.48550/arXiv.2310.03108.

Puigcerver J., Riquelme C., Mustafa B. and Houlsby N. From sparse to soft mixtures of experts. ArXiv. 2023. DOI:10.48550/arXiv.2308.00951.

Liu Z., Wang Y., Vaidya S., Ruehle F., Halverson J., Soljacic M., Hou T.Y., and Tegmark M. KAN: Kolmogorov-Arnold Networks. ArXiv. 2024. abs/2404.19756. DOI:10.48550/arXiv.2404.19756.

Slyusar V., Sliusar I., Bihun N. and Piliuhin V. Segmentation of analogue meter readings using neural networks. MoMLeT+DS. 2022.

Bouaouni Y. Mixture of Experts. Medium. URL: https://medium.com/@yacinebouaouni07/mixture-of-experts-26243919d145 (Accessed: 12 May 2024).

Zhou Z.-H. Ensemble Methods: Foundations and Algorithms. Chapman and Hall/CRC. 2012. DOI: 10.1201/b12207.

Gale T., Narayanan D., Young C., Zaharia M. A. MegaBlocks: Efficient Sparse Training with Mixture-of-Experts. ArXiv. 2022. abs/2211.15841. DOI:10.48550/arXiv.2211.15841.

Slyusar V., Kondratenko Y., Shevchenko A., Yeroshenko T. Some Aspects of Artificial Intelligence Development Strategy for Mobile Technologies. Journal of Mobile Multimedia. 2024. P. 525–554. DOI: 10.13052/jmm1550-4646.2031.

Ajay L. An intuitive introduction to Transformers. Medium. URL: https://lakshmi1212.medium.com/an-intuitive-introduction-to-transformers-6f574c8e7df6 (Accessed: 12 May 2024).

MoMLeT&DS Workshop. An approach to the reverse dictionary task based on automatic smart subword segmentation. URL: https://www.youtube.com/watch?v= aewTMqTlb2c (Accessed: 12 May 2024)

Thomas E. B. A Clear Explanation of Transformer Neural Networks. Medium. URL: https://medium.com/@ebinbabuthomas_ 21082/decoding-the-enigma-a-deep-dive-into-transformer-model-architecture-749b49883628 (Accessed: 12 May 2024).

Lepikhin D., Lee H., Xu Y., Chen D., Firat O., Huang Y., Krikun M., Shazeer N. M., Chen Z. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. ArXiv. 2020. abs/2006.16668. URL: https://api.semanticscholar.org/CorpusID:220265858 (дата звернення: 12.05.2024).

Slyusar V., Bihun N. The Method of Increasing the Immunity of Data Transmission in Communication Channels. 2022 IEEE 9th International Conference on Problems of Infocommunications, Science and Technology (PIC S&T), Kharkiv, Ukraine, 10–12 October 2022. 2022. DOI: 10.1109/picst57299.2022.10238546.