Використання методів навчання з підкріпленням для розробки моделі роботизованого засобу моніторингу інтелектуальних динамічних об'єктів

Автор(и)

  • Роман Миколайчук Національний університет оборони України, Україна https://orcid.org/0000-0001-5349-4487
  • Віра Миколайчук Державний університет інформаційно-комунікаційних технологій, Україна https://orcid.org/0000-0001-5349-4487
  • Павло Марченко Інститут аерокосмічних технологій Національного технічного університету України «Київський політехнічний інститут імені Ігоря Сікорського», Україна https://orcid.org/0009-0006-7261-6316

DOI:

https://doi.org/10.33099/2311-7249/2023-48-3-115-121

Ключові слова:

моніторинг, інтелектуальний динамічний об’єкт, роботизований засіб, штучний інтелект, машинне навчання, навчання з підкріпленням (reinforcement learning), динамічне середовище, моделювання

Анотація

Стаття присвячена вдосконаленню моделей роботизованих засобів для ефективного моніторингу інтелектуальних динамічних об'єктів. У контексті розвитку роботизованих систем моніторингу, особливо в умовах, де роботизовані засоби мають справу з інтелектуальними динамічними об'єктами моніторингу, що активно ухиляються від виявлення та ідентифікації, виникає новий виклик, що полягає у потребі розроблення складних моделей, здатних ефективно моделювати роботизовані засоби з метою протидії такій поведінці об’єктів моніторингу. Традиційні підходи до моделювання часто виявляються недостатньо гнучкими для вирішення таких завдань. Мета статті полягає у розробленні моделі роботизованих засобів для забезпечення ефективного моніторингу інтелектуальних динамічних об'єктів на основі використання методів навчання з підкріпленням. Під час проведеного дослідження були застосовані методи навчання з підкріпленням для адаптації поведінки роботизованих систем до динамічно змінюваних умов, комп’ютерного зору та згорткових нейронних мереж для визначення параметрів роботизованих засобів залежно від розташування в середовищі моделювання. Це дає змогу розробити моделі, здатні до самонавчання та самовдосконалення в реальному часі, що є ключовим для ефективного моніторингу та протидії з інтелектуальними динамічними об'єктами. Отримані результати включають розроблення моделі та відповідних алгоритмів, що демонструють здатність до швидкої адаптації, точності прогнозування поведінки об'єктів та ефективної протидії. На основі створеної моделі, був проведений експеримент, у межах якого роботизовані засоби та інтелектуальні об'єкти з випадково заданими параметрами протидіяли у контрольованому середовищі, що дало змогу зробити висновки про працездатність запропонованої моделі. Наукова новизна дослідження полягає у впровадженні сучасних методів навчання з підкріпленням для створення гнучких та адаптивних моделей роботизованих засобів для систем моніторингу, здатних до ефективної протидії з інтелектуальними об'єктами у різних умовах. Теоретична значущість полягає у розширенні розуміння можливостей машинного навчання у сфері робототехніки, а практична значущість – у потенціалі застосування розроблених моделей у військовій та технічній галузях для підвищення ефективності моніторингу та управління. В цілому, стаття розкриває важливі аспекти використання методів навчання з підкріпленням для оптимізації протидії роботизованих засобів з інтелектуальними динамічними об'єктами та надає практичні рекомендації для подальших досліджень у цій області.

Біографія автора

Роман Миколайчук, Національний університет оборони України

доктор технічних наук, доцент

Посилання

Imtiaz M. B., Qiao Y. and Lee B. Prehensile and non-prehensile robotic pick-and-place of objects in clutter using deep reinforcement learning. Sensors. 2023. Т. 23. № 3. С. 1513. DOI: https://doi.org/10.3390/s23031513.

Seongwon J., Hyemi J. and Hyunseok Y. Vision-based reinforcement learning: moving object grasping with a single active-view camera. 2022 22nd international conference on control, automation and systems (ICCAS). 232–237. DOI: 10.23919/ICCAS55662.2022.10003899.

Wang G., Wei F., Jiang Y., Zhao M., Wang K. and Qi H. A multi-auv maritime target search method for moving and invisible objects based on multi-agent deep reinforcement learning. Sensors. 2022. Т. 22. № 21. С. 8562. DOI: https://doi.org/10.3390/s22218562.

Каратанов О. В., Устименко О. В., Єна М. В., Бова Є. А., Калашнікова В. І. Використання алгоритмів ройового інтелекту при проектуванні систем управління груп безпілотних літальних апаратів. Харків : Молодий вчений 2021. № 10 (98). С. 98–103.

Цмоц І. Г., Опотяк Ю. В., Штогрінець Б. В., Дзюба А. О., Олійник Ю. Ю. Базова структура нейронечіткої системи керування групою мобільних роботизованих платформ. Український журнал інформаційних технологій. 2023. Том 5. № 1. С. 77–85.

Yingqi L., Xiaomei W. and Ka-Wai K. Towards adaptive continuous control of soft robotic manipulator using reinforcement learning. 2022 IEEE/RSJ international conference on intelligent robots and systems (IROS). 2022. P. 7074–7081. DOI: https://doi.org/10.1109/IROS47612.2022.9981335.

Kuang W. Fundamentals of reinforcement learning. Texas : University of Texas Rio Grande Valley. 2021. 111 p. URL: https://faculty.utrgv.edu/weidong.kuang/book/RL.pdf (accessed: 15 September 2023).

##submission.downloads##

Опубліковано

2024-01-02

Номер

Розділ

Інтерактивні моделі розвитку науково-освітнього простору у сфері безпеки та оборони