Skip to main content

Lund University Publications

LUND UNIVERSITY LIBRARIES

Апаратні засоби бортового детектора об'єктів для безпілотного літального апарата

Solodchuk, Maksym and Voytenko, Volodymyr LU orcid (2023) The latest technologies in scientific activity and the educational process p.251-253
Abstract (Swedish)
Для вирішення проблем, які пов’язані із втомою оператора безпілотного літального апарату (БПЛА) під час виконання довготривалих місій, в [1] запропоновано рішення, яке передбачає використання або основної (навігаційної) відеокамери з варіофокальним об’єктивом, або додавання спот-камери з вузьким кутом бачення. Зображення з навігаційної відеокамери в реальному часі аналізується на предмет наявності об’єктів інтересу та, у випадку виявлення таких,
здійснюється автоматичне масштабування потрібного фрагменту зображення. Застосування єдиної камери і для цілей навігації, і для остаточної класифікації кандидата на об’єкт інтересу людиною має декілька недоліків.
1. Проблема документування колізії. Наявність інформації тільки про одне... (More)
Для вирішення проблем, які пов’язані із втомою оператора безпілотного літального апарату (БПЛА) під час виконання довготривалих місій, в [1] запропоновано рішення, яке передбачає використання або основної (навігаційної) відеокамери з варіофокальним об’єктивом, або додавання спот-камери з вузьким кутом бачення. Зображення з навігаційної відеокамери в реальному часі аналізується на предмет наявності об’єктів інтересу та, у випадку виявлення таких,
здійснюється автоматичне масштабування потрібного фрагменту зображення. Застосування єдиної камери і для цілей навігації, і для остаточної класифікації кандидата на об’єкт інтересу людиною має декілька недоліків.
1. Проблема документування колізії. Наявність інформації тільки про одне зображення (або нормальне, або збільшене) не дозволяє після завершення місії, зчитавши вбудований у БПЛА накопичувач, бути переконаним, що жодний об’єкт інтересу не був пропущений. А це змушує виконувати повторну місію, що, зокрема, підвищує втому оператора.
2. Суто технічні проблеми, пов’язані із застосуванням об’єктива із змінною фокусною відстанню. Адже, такий об’єктив, окрім складної механічної системи взаємопов’язаного переміщення декількох лінз, повинен мати додаткові підсистеми фокусування, що вирішується за допомогою окремих електроприводів. Це призводить і до погіршення якості зображення (точність, світлосила, сталість характеристик), і до збільшення часу класифікації об’єкту внаслідок поганої динаміки автофокусування.
Звідси перевага використання окремої спот-камери, яку розміщено на підвісі, і яку можна позиціонувати незалежно від навігаційної відеокамери за кутами рискання та тангажу. Структуру, що дозволить вирішити поставлені задачі, представлено на Рис. 1.
На Рис. 1 застосовані наступні скорочення: АБК – Апаратний Блок Камер; БПВС – Блок Перетворення ВідеоСигналу; СОАЗ – Система Обробки та Аналізу Зображень; СПСК – Система Позиціювання Спот-Камери; КУБА – Комплекс Управління БПЛА.
Відеосигнал навігаційної камери (ВСНК) з кутом зору β1, а також відеосигнал спот- камери (ВССК) з кутом зору β2 з АБК поступає на БПВС, звідки через канал зв’язку КЗ надходить до наземного КУБА. (Тут β2 = β1/М, де М – коефіцієнт збільшення зображення.)
СОАЗ містить, зокрема, детектор об’єктів [2], який у випадку виявлення кандидата обраховує кути рискання θр та тангажу θт, на які треба повернути спот-камеру. СПСК, спираючись на ці кути, формує відповідні електричні сигнали Eр, Eт електроприводів у складі АБК для повертання спот-камери у горизонтальній та вертикальній площині.
Особливістю БПЛА є наявність суттєвих конструктивних та енергетичних обмежень, які докорінно впливають на вибір та реалізацію усіх складових структури на Рис. 1. За умови забезпечення мінімальних габаритів, маси та споживаної потужності на борту треба мати високопродуктивні обчислювачі для виконання як процедур попередньої обробки зображень (корекція умов видимості, кута зору, усунення перешкод, шуму тощо), так і для детектування об’єктів [3]. Тому вибір елементної бази електронних систем, що забезпечать апаратно- програмну підтримку виконання зазначених ресурсномістких алгоритмів, являє собою нетривіальну задачу.
Розвиток електроніки супроводжується поширенням елементів штучного інтелекту до пристроїв переднього краю. Найбільш ефективним є використання багато-функціональної системи на кристалі з вбудованою підтримкою процедур цифрової обробки зображень та реалізації нейронних мереж. Сімейство процесорів i.MX 8M Plus [4] розроблено для надійного вирішення завдань у машинному навчанні та баченні, мультимедіа, промисловій автоматизації. Основні характеристики: чотири ядра Arm® Cortex®-A53 та нейронний процесор до 2,3 TFLOPS; здвоєний процесор відеосигналів та два входи камери для відеосистеми; відеокодек, графічний акселератор 3D/2D, численні аудіо та голосові функції; керування в реальному часі за допомогою ще одного ядра Cortex-M7. Робастні керуючі мережі підтримуються здвоєними інтерфейсами CAN FD та Gigabit Ethernet; також підвищена надійність пам’яті з використанням кодів, що корегують помилки.
Таким чином, дана велика інтегрована схема на апаратному рівні підтримує чимало вузлів на Рис. 1. Проте для проведення експериментальних досліджень на стадії створення прототипу з метою перевірки концептуальних засад доцільно використати готові апаратно- програмні рішення. Розглянемо платформу PhyBOARD Pollux AI Kit [5].
Цей набір містить повнофункційний одноплатний комп’ютер на базі процесора i.MX 8M Plus, камеру MIPI VM016. Попередньо інстальоване програмне забезпечення: бібліотека OpenCV; фреймворк GStreamer (відеоредактори, сервери потоків, медіаплеєри і конвертери файлів, VoIP-рішення); пакет підтримки плати Linux Yocto з середовищем розробки програмного забезпечення машинного навчання eIQ від NXP. Підтримка pytorch, TensorFlow Lite та формату ONNX для швидкої розробки власної програми.
Зазначене апаратне забезпечення після доповнення відповідними електромеханічними вузлами стане основою комплексу для експериментальних досліджень системи підтримки прийняття рішень оператором БПЛА. (Less)
Please use this url to cite or link to this publication:
author
and
organization
alternative title
Onboard object detector hardware for an unmanned aerial vehicle
publishing date
type
Contribution to conference
publication status
published
subject
pages
3 pages
conference name
The latest technologies in scientific activity and the educational process
conference location
Chernihiv, Ukraine
conference dates
2023-04-19 - 2023-04-20
language
Ukranian
LU publication?
yes
id
180e260b-1830-4cee-bc75-dee5edfbfab3
alternative location
https://stu.cn.ua/wp-content/uploads/2023/05/zbirnyk-2023-novitni-tehnologiyi_sajt_compressed.pdf
date added to LUP
2023-06-08 10:51:52
date last changed
2023-06-15 09:58:16
@misc{180e260b-1830-4cee-bc75-dee5edfbfab3,
  abstract     = {{Для вирішення проблем, які пов’язані із втомою оператора безпілотного літального апарату (БПЛА) під час виконання довготривалих місій, в [1] запропоновано рішення, яке передбачає використання або основної (навігаційної) відеокамери з варіофокальним об’єктивом, або додавання спот-камери з вузьким кутом бачення. Зображення з навігаційної відеокамери в реальному часі аналізується на предмет наявності об’єктів інтересу та, у випадку виявлення таких, <br/> здійснюється автоматичне масштабування потрібного фрагменту зображення. Застосування єдиної камери і для цілей навігації, і для остаточної класифікації кандидата на об’єкт інтересу людиною має декілька недоліків.<br/> 1. Проблема документування колізії. Наявність інформації тільки про одне зображення (або нормальне, або збільшене) не дозволяє після завершення місії, зчитавши вбудований у БПЛА накопичувач, бути переконаним, що жодний об’єкт інтересу не був пропущений. А це змушує виконувати повторну місію, що, зокрема, підвищує втому оператора.<br/> 2. Суто технічні проблеми, пов’язані із застосуванням об’єктива із змінною фокусною відстанню. Адже, такий об’єктив, окрім складної механічної системи взаємопов’язаного переміщення декількох лінз, повинен мати додаткові підсистеми фокусування, що вирішується за допомогою окремих електроприводів. Це призводить і до погіршення якості зображення (точність, світлосила, сталість характеристик), і до збільшення часу класифікації об’єкту внаслідок поганої динаміки автофокусування.<br/> Звідси перевага використання окремої спот-камери, яку розміщено на підвісі, і яку можна позиціонувати незалежно від навігаційної відеокамери за кутами рискання та тангажу. Структуру, що дозволить вирішити поставлені задачі, представлено на Рис. 1.<br/> На Рис. 1 застосовані наступні скорочення: АБК – Апаратний Блок Камер; БПВС – Блок Перетворення ВідеоСигналу; СОАЗ – Система Обробки та Аналізу Зображень; СПСК – Система Позиціювання Спот-Камери; КУБА – Комплекс Управління БПЛА.<br/> Відеосигнал навігаційної камери (ВСНК) з кутом зору β1, а також відеосигнал спот- камери (ВССК) з кутом зору β2 з АБК поступає на БПВС, звідки через канал зв’язку КЗ надходить до наземного КУБА. (Тут β2 = β1/М, де М – коефіцієнт збільшення зображення.)<br/> СОАЗ містить, зокрема, детектор об’єктів [2], який у випадку виявлення кандидата обраховує кути рискання θр та тангажу θт, на які треба повернути спот-камеру. СПСК, спираючись на ці кути, формує відповідні електричні сигнали Eр, Eт електроприводів у складі АБК для повертання спот-камери у горизонтальній та вертикальній площині.<br/> Особливістю БПЛА є наявність суттєвих конструктивних та енергетичних обмежень, які докорінно впливають на вибір та реалізацію усіх складових структури на Рис. 1. За умови забезпечення мінімальних габаритів, маси та споживаної потужності на борту треба мати високопродуктивні обчислювачі для виконання як процедур попередньої обробки зображень (корекція умов видимості, кута зору, усунення перешкод, шуму тощо), так і для детектування об’єктів [3]. Тому вибір елементної бази електронних систем, що забезпечать апаратно- програмну підтримку виконання зазначених ресурсномістких алгоритмів, являє собою нетривіальну задачу.<br/> Розвиток електроніки супроводжується поширенням елементів штучного інтелекту до пристроїв переднього краю. Найбільш ефективним є використання багато-функціональної системи на кристалі з вбудованою підтримкою процедур цифрової обробки зображень та реалізації нейронних мереж. Сімейство процесорів i.MX 8M Plus [4] розроблено для надійного вирішення завдань у машинному навчанні та баченні, мультимедіа, промисловій автоматизації. Основні характеристики: чотири ядра Arm® Cortex®-A53 та нейронний процесор до 2,3 TFLOPS; здвоєний процесор відеосигналів та два входи камери для відеосистеми; відеокодек, графічний акселератор 3D/2D, численні аудіо та голосові функції; керування в реальному часі за допомогою ще одного ядра Cortex-M7. Робастні керуючі мережі підтримуються здвоєними інтерфейсами CAN FD та Gigabit Ethernet; також підвищена надійність пам’яті з використанням кодів, що корегують помилки.<br/> Таким чином, дана велика інтегрована схема на апаратному рівні підтримує чимало вузлів на Рис. 1. Проте для проведення експериментальних досліджень на стадії створення прототипу з метою перевірки концептуальних засад доцільно використати готові апаратно- програмні рішення. Розглянемо платформу PhyBOARD Pollux AI Kit [5]. <br/> Цей набір містить повнофункційний одноплатний комп’ютер на базі процесора i.MX 8M Plus, камеру MIPI VM016. Попередньо інстальоване програмне забезпечення: бібліотека OpenCV; фреймворк GStreamer (відеоредактори, сервери потоків, медіаплеєри і конвертери файлів, VoIP-рішення); пакет підтримки плати Linux Yocto з середовищем розробки програмного забезпечення машинного навчання eIQ від NXP. Підтримка pytorch, TensorFlow Lite та формату ONNX для швидкої розробки власної програми.<br/> Зазначене апаратне забезпечення після доповнення відповідними електромеханічними вузлами стане основою комплексу для експериментальних досліджень системи підтримки прийняття рішень оператором БПЛА.}},
  author       = {{Solodchuk, Maksym and Voytenko, Volodymyr}},
  language     = {{ukr}},
  pages        = {{251--253}},
  title        = {{Апаратні засоби бортового детектора об'єктів для безпілотного літального апарата}},
  url          = {{https://lup.lub.lu.se/search/files/150349861/Solodchuk_Voitenko_NT_2023.pdf}},
  year         = {{2023}},
}