Effective Remote Drone Control Using Augmented Virtuality

Augmented Virtuality, UAV, Drone Piloting, Virtual Scene, Navigation Elements, First Person View, Third Person View.

Protože dálkové ovládání dronů je z pohledu mentální zátěže pilota náročná aktivita, může podpora různých pohledů do scény: pohled první osoby (FPV) a pohled třetí osoby (TPV), zlepšit orientační schopnosti pilota během mise. Proto představujeme systém založený na technologii rozšířená virtualita , kde jsou reálná data z dronu integrována do virtuálního 3D modelu prostředí (video-stream, 3D struktury, informace o poloze). V našem systému pilot většinou pilotuje dron pomocí FPV, ale kdykoli se může přepnout na TPV, aby se mohl volně rozhlédnout v situaci s horší orientací. Navrhovaný systém také umožňuje efektivní plánování mise, kde pilot může definovat 3D oblasti s různými potenciálními bezpečnostními riziky nebo nastavit navigační body, které budou použity během mise k navigaci v definovaných zónách, a v neposlední řadě také vizualizaci celkové situace ve virtuální scéně rozšířené o reálná online data.

Výsledná aplikace byla vyvinuta pomocí herního enginu Unity. Pro vytvoření 3D virtuálního prostředí, mapy prostředí a výškové mapy se načítají z externích zdrojů, aby se v Unity vytvořil terén (mapy, 3D modely budov, textury, výšky). Dále jsou do aplikace přenášeny letové informace a data ze senzorů a vizualizovány (pozice, výška, video z kamery, stav baterie, rychlost letu, letový režim).

Obrázek 1: Vizuální integrace živých a virtuálních dat.

3D virtuální data jsou integrována z existujících zdrojů dat a koordinační systém je registrován do skutečné polohy dronu. Souřadnice a orientační data GPS dronu se používají k registraci do virtuální 3D scény. Rozšíření virtuální 3D scény je dosaženo vykreslením živého videa z přední kamery dronu do projekční roviny před virtuálním dronem.

Obrázek 2: Další 3D navigační prvky uživatelského rozhraní

Další 3D navigační prvky uživatelského rozhraní, jako jsou klíčové polohy mise, směr k dalšímu bodu nebo virtuální stěny, jsou vykresleny do virtuální scény a prezentovány uživateli. Metoda registrace by mohla být vylepšena technikami počítačového vidění, ale tento krok bude zvažován později podle uživatelských testů, kdy efekt hrubé registrace na základě GPS a kompasu a způsobené zpoždění videa bude profesionálními piloty vyhodnocen jako důležitý problém.