Automatic 3D-Display-Friendly Scene Extraction from Video Sequences and Optimal Focusing Distance Identification

• https://link.springer.com/article/10.1007/s11042-024-18573-6

3D displej, looking glass, extrakce snímků, analýza videa, optický tok, light field

Tento článek popisuje metodu pro automatickou detekci scén z video sekvencí vhodných pro 3D displeje. Ruční výběr takových scén lidským uživatelem by byl extrémně časově náročný a vyžadoval by dodatečné vyhodnocení výsledku na 3D displeji. Vstupní videa mohou být záměrně pořízena nebo převzata z jiných zdrojů, jako jsou filmy. Nejprve se analyzuje vstupní video a odhadne se trajektorie kamery. Poté je extrahována optimální sekvence snímků, která se řídí definovanými pravidly na základě optických vlastností displeje. To zajišťuje nejlepší vizuální kvalitu a pohodlí při sledování. Následující identifikace správné zaostřovací vzdálenosti je důležitým krokem k vytvoření ostrého výsledku bez artefaktů na 3D displeji. Jsou navrženy a vyhodnoceny dvě nové a stejně účinné metriky zaostření pro 3D displeje. Pro korekci nevhodně zachyceného videa jsou navržena další vylepšení scény. V návrhu jsou porovnány různé přístupy analýzy obrazu z hlediska kvality a časové náročnosti. Návrh je experimentálně vyhodnocen na nejmodernějším 3D displeji od Looking Glass Factory a je vhodný i pro další vícepohledová zařízení. Problém optimální detekce scény, který zahrnuje extrakci vstupních snímků, převzorkování a zaostření, nebyl v žádném předchozím výzkumu řešen. Jednotlivé fáze metody byly porovnány se stávajícími metodami, ale výsledky ukazují, že navržené schéma je optimální a nelze jej nahradit jinými existujícími přístupy.