Управління роями безпілотних літальних апаратів на базі нейронних трансформерів
DOI:
https://doi.org/10.33099/2311-7249/2024-50-2-77-84Ключові слова:
рій безпілотних літальних апаратів, Mixture of Experts, нейронні трансформери, автономні системи, обробка данихАнотація
Сучасні виклики в управлінні автономними роями безпілотних літальних апаратів вимагають удосконалення інтелектуальних систем за допомогою передових технологій машинного навчання. Це дослідження зосереджено на інтеграції технології «Суміші експертів» (Mixture of Experts) у нейронні трансформери для підвищення ефективності роїв безпілотних літальних апаратів. Метою статті є аналіз і розробка методів, що дають змогу покращити можливості роїв безпілотних літальних апаратів шляхом удосконалення нейронних трансформерів за допомогою технології Mixture of Experts. Для досягнення цієї мети були використані методологічні підходи, що дають змогу розкрити, проаналізувати та провести експерименти з різними архітектурами Mixture of Experts і нейронними трансформерами. Зокрема – застосування спеціалізованих підмоделей (експертів) для рішення конкретних завдань у складі рою безпілотних літальних апаратів. У процесі дослідження було виявлено, що інтеграція Mixture of Experts із трансформерами сприяє значному підвищенню продуктивності роїв безпілотних літальних апаратів завдяки більш ефективному розподілу завдань й адаптації до мінливих умов середовища. Таке підвищення можливостей роїв безпілотних літальних апаратів відкриває нові перспективи для розвитку автономних розвідувальних та рятувальних місій. Елементи наукової новизни полягають у розробці оптимізованих фреймворків Mixture of Experts, які можуть бути результативно інтегровані в рої безпілотних літальних апаратів, з акцентом на подоланні обчислювальних і ресурсних обмежень у процесі одночасного підвищення адаптивності й можливостей прийняття рішень. Теоретична та практична значущість дослідження для воєнно-оборонної сфери і сфери технічних наук полягає у створенні автономних систем, здатних до швидкої адаптації й оперативного виконання завдань у різноманітних умовах. Дослідження відкриває нові шляхи та перспективи для розробки нових алгоритмів з метою точнішого визначення релевантності «експертів» до конкретних завдань, а також вивчення впливу різних архітектур «експертів» на загальну продуктивність системи.
Посилання
Al-Emadi S., Al-Mohannadi A. Towards Enhancement of Network Communication Architectures and Routing Protocols for FANETs: A Survey. 2020 3rd International Conference on Advanced Communication Technologies and Networking (CommNet), Marrakech, Morocco, 4–6 Sept. 2020. DOI:10.1109/commnet49926.2020.9199627.
Слюсар В. Кібернетичні загрози великих мовних моделей. Системи та засоби штучного інтелекту : тези доп. Міжнар. наук. конф. «Штуч. інтелект: досягнення, виклики та ризики», м. Київ, 15–16 берез. 2024 р. С. 252–260.
Срібнюк С. М. Гідравлічні та аеродинамічні машин. Основи теорії і застосування: навч. посібник. Київ : Центp навч. літератуpи, 2022. 328 с.
Shazeer N., Mirhoseini A., Maziarz K., Davis A., Le Q. V., Hinton G. E. and Dean, J. Outrageously large neural networks: the sparsely-gated mixture-of-experts layer. CoRR. 2017. abs/1701.06538. URL: http://arxiv.org/abs/1701.06538 (Accessed: 12 May 2024).
Jawahar G., Mukherjee, S., Liu X., Kim Y. J., Abdul-Mageed M., Lakshmanan L. V. S., Awadallah A. H., Bubeck S. and Gao J. AutoMoE: heterogeneous mixture-of-experts with adaptive computation for efficient neural machine translation. Annual meeting of the Association for Computational Linguistics. 2023. URL: https://api.semanticscholar.org/CorpusID:259108418 (Accessed: 12 May 2024).
Antoniak S., Jaszczur S., Krutul M. Mixture of Tokens: Efficient LLMs through Cross-Example. ArXiv. 2023. abs/2310.15961. DOI: 10.48550/arXiv.2310.15961.
Mohammadi H., Nazerfard E., Firoozi T. Reinforcement learning-based mixture of vision transformers for video violence recognition. ArXiv. 2023. abs/2310.03108. DOI: 10.48550/arXiv.2310.03108.
Puigcerver J., Riquelme C., Mustafa B. and Houlsby N. From sparse to soft mixtures of experts. ArXiv. 2023. DOI:10.48550/arXiv.2308.00951.
Liu Z., Wang Y., Vaidya S., Ruehle F., Halverson J., Soljacic M., Hou T.Y., and Tegmark M. KAN: Kolmogorov-Arnold Networks. ArXiv. 2024. abs/2404.19756. DOI:10.48550/arXiv.2404.19756.
Slyusar V., Sliusar I., Bihun N. and Piliuhin V. Segmentation of analogue meter readings using neural networks. MoMLeT+DS. 2022.
Bouaouni Y. Mixture of Experts. Medium. URL: https://medium.com/@yacinebouaouni07/mixture-of-experts-26243919d145 (Accessed: 12 May 2024).
Zhou Z.-H. Ensemble Methods: Foundations and Algorithms. Chapman and Hall/CRC. 2012. DOI: 10.1201/b12207.
Gale T., Narayanan D., Young C., Zaharia M. A. MegaBlocks: Efficient Sparse Training with Mixture-of-Experts. ArXiv. 2022. abs/2211.15841. DOI:10.48550/arXiv.2211.15841.
Slyusar V., Kondratenko Y., Shevchenko A., Yeroshenko T. Some Aspects of Artificial Intelligence Development Strategy for Mobile Technologies. Journal of Mobile Multimedia. 2024. P. 525–554. DOI: 10.13052/jmm1550-4646.2031.
Ajay L. An intuitive introduction to Transformers. Medium. URL: https://lakshmi1212.medium.com/an-intuitive-introduction-to-transformers-6f574c8e7df6 (Accessed: 12 May 2024).
MoMLeT&DS Workshop. An approach to the reverse dictionary task based on automatic smart subword segmentation. URL: https://www.youtube.com/watch?v= aewTMqTlb2c (Accessed: 12 May 2024)
Thomas E. B. A Clear Explanation of Transformer Neural Networks. Medium. URL: https://medium.com/@ebinbabuthomas_ 21082/decoding-the-enigma-a-deep-dive-into-transformer-model-architecture-749b49883628 (Accessed: 12 May 2024).
Lepikhin D., Lee H., Xu Y., Chen D., Firat O., Huang Y., Krikun M., Shazeer N. M., Chen Z. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. ArXiv. 2020. abs/2006.16668. URL: https://api.semanticscholar.org/CorpusID:220265858 (дата звернення: 12.05.2024).
Slyusar V., Bihun N. The Method of Increasing the Immunity of Data Transmission in Communication Channels. 2022 IEEE 9th International Conference on Problems of Infocommunications, Science and Technology (PIC S&T), Kharkiv, Ukraine, 10–12 October 2022. 2022. DOI: 10.1109/picst57299.2022.10238546.
##submission.downloads##
Опубліковано
Версії
- 2024-09-06 (2)
- 2024-08-28 (1)
Номер
Розділ
Ліцензія
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати як монографію), за умови збереження посилання на першу публікацію роботи у цьому журналі.
3. Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
4. Персональні дані і метадані, які наводяться у статтях, надаються для їх зберігання і оброблення в різноманітних базах даних і інформаційних системах, включення їх в аналітичні і статистичні звітності, створення обгрунтованих взаємозв'язків об'єктів творів науки, літератури і мистецтва з персональними даними і т.п. на території, яка не обмежена.
