Detail práce

Automated Identification of Graphical UI Elements for Robotic Quality Assurance

Diplomová práce Student: Válek Lukáš Akademický rok: 2021/2022 Vedoucí: Španěl Michal, Ing., Ph.D.
Název česky
Identifikace elementů grafického uživatelského rozhraní pro robotický testovací systém
Jazyk práce
anglický
Abstrakt

Tato práce se zabývá problematikou analýzy obrazovek grafického uživatelského rozhraní (GUI) pomocí konvolučních neuronových sítí (CNN) a metod počítačového vidění. Cílem této práce je vytvořit systém, který automaticky identifikuje GUI elementy na základě piktogramových a textových informací pro detekované prvky ve vstupním obrázku. K~vývoji systému byla použita kombinace EfficientNetB1 CNN, OCR a tradičních metod počítačového vidění. K trénování CNN byla použita vlastní datová sada, která obsahovala 120 tisíc piktogramů. Byl vytvořen sémantický slovník UI prvků, který dále využívá text detekovaný pomocí OCR. Nakonec byl vytvořen podsystém pro analýzu GUI hierarchie, který slouží k detekci a sémantické kategorizaci oblastí GUI. Výsledný systém automaticky klasifikuje detekované piktogramy, navrhuje další třídy na základě textu a rozděluje GUI obrazovku do hierarchických sekcí. Systém dosahuje 81,1% přesnosti identifikace UI prvků a v průměru zanalyzuje jednu obrazovku za 0,6 sekundy. Systém automatizuje identifikaci UI prvků, čímž umožňuje zaměstnancům věnovat se jiným činnostem. V budoucnu lze tento systém dále rozvíjet, aby sloužil jako základ pro automatické exploratorní testování.

Klíčová slova

identifikace UI prvků, identifikace objektů,  EfficientNetB1, neuronové sítě, klasifikace obrázků, sémantická analýza grafického uživatelského rozhraní, počítačové vidění, strojové učení, sémantický slovník GUI prvků, OCR, Python, Keras, TensorFlow, OpenCV

Ústav
Studijní program
Informační technologie a umělá inteligence, specializace Počítačové vidění
Soubory
Stav
obhájeno, hodnocení C
Obhajoba
20. června 2022
Oponent
Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm C.

Otázky u obhajoby
  1. Opravdu lze tvrdit, že systém, jako je ten váš, není možné vyhodnotit objektivně, není možné získat GT data a hodnocení musí být ruční a subjektivní?
  2. Nemohly by současné detektory založené na hlubokých CNN být v detekci a klasifikaci úspěšnější než konvenční nástroje pro vytipování míst v obraze a jejich následná klasifikace?
  3. Použitá síť EfficientNetB1 pracuje s obrázky 240x240. Typické výřezy, které má ve vaší práci klasifikovat, jsou zřejmě menší. Jaké je rozložený vašich výřezů? Nemohlo by být efektivnější použít síť, která by byla lépe přizpůsobená vašim datům?
Komise
Zemčík Pavel, prof. Dr. Ing. (UPGM FIT VUT), předseda
Beran Vítězslav, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Čadík Martin, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Juránek Roman, Ing., Ph.D. (UPGM FIT VUT), člen
Křivka Zbyněk, Ing., Ph.D. (UIFS FIT VUT), člen
Milet Tomáš, Ing., Ph.D. (UPGM FIT VUT), člen
Citace
VÁLEK, Lukáš. Automated Identification of Graphical UI Elements for Robotic Quality Assurance. Brno, 2022. Diplomová práce. Vysoké učení technické v Brně, Fakulta informačních technologií. 2022-06-20. Vedoucí práce Španěl Michal. Dostupné z: https://www-dev.fit.vutbr.cz/study/thesis/25178/
BibTeX
@mastersthesis{FITMT25178,
    author = "Luk\'{a}\v{s} V\'{a}lek",
    type = "Diplomov\'{a} pr\'{a}ce",
    title = "Automated Identification of Graphical UI Elements for Robotic Quality Assurance",
    school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
    year = 2022,
    location = "Brno, CZ",
    language = "english",
    url = "https://www.fit.vut.cz/study/thesis/25178/"
}
Nahoru