Vision UFormer: Long-Range Monocular Absolute Depth Estimation

• https://www.sciencedirect.com/science/article/pii/S0097849323000262

Odhad Absolutní Hloubky, Monokulární Odhad Hloubky, Dlouhá Vzdálenost, Transformer, UNet, Postupné Trénování

V této práci představujeme nový model Vision UFormer (ViUT), který odhaduje hloubku z obrazu za použití hlubokého učení. Jeho vstupem je RGB fotografie a výstupem je odhad absolutní vzdálenosti pro každý pixel. ViUT je kombinací  enkodéru založeného na architektuře Transformer a ResNet dekodéru zapojených ve stylu UNet. Model je trénován postupně na celkové množině 1M obrazů obsažených v deseti datasetech. Takto je model trénován od jednodušších relativních vzdáleností až po náročnější případy odhadu pro otevřené přírodní scény. ViUT model dosahuje srovnatelných výsledku na klasických datasetech s relativní hloubkou - např. NYUv2 a KITTI. Navíc také úspěšně predikuje absolutní hloubky v metrech. Navržený model je ověřen na široké škále otevřených přírodních scén, na kterých dosahuje zlepšení až o 23% oproti SotA přístupům. Predikce absolutních hloubek je využitelná v mnoha oblastech, mezi které patří i prezentované příklady s kompozicí obrazu, anotací vzdálenosti, do-ostřením a rekonstrukcí scén.