Bayesian HMM based x-vector clustering - VBx

Bayesovské shlukování x-vektorů založené na HMM - VBx

software

Využití výsledku jiným subjektem je možné bez nabytí licence (výsledek není licencován)

Poskytovatel licence na výsledek nepožaduje licenční poplatek

Diez Sánchez Mireia, M.Sc., Ph.D. (UPGM)
Landini Federico Nicolás (UPGM)
Burget Lukáš, doc. Ing., Ph.D. (UPGM)

Speaker Diarization, Variational Bayes, HMM, x-vector, DIHARD

Úkolem diarizace je určit počet řečníků a kdo kdy mluví" pro mono-audionahrávku. Je součástí dolování dat z řeči. Navrhovaný software obsahuje úplnou implementaci Bayesovského přístupu k diarizaci řečníků využívající nízkodimenzionální neurální reprezentace řečníků (x-vektory) v jednotlivých segmentech. Navazuje na postup využitý VUT v Brně ve druhé DIHARD Diarization Challenge, kde systém VUT zvítězil v experimentální úloze Track 1. Software se skládá z výpočtu parametrů pomocí banky filtrů, výpočtu x-vektorů, provedení aglomerativního hierarchického shlukování na x-vektorech jako prvního kroku k vytvoření inicializace, aplikace variačního bayesovského HMM na x-vektorech pro vytvoření diarizačního výstupu a vyhodnocení tohoto výstupu. Software je napsán v Pythonu a zveřejněn jako open-source pod licencí Apache.

https://github.com/BUTSpeechFIT/VBx

IT4Innovations excellence in science, MŠMT, Národní program udržitelnosti II, LQ1602, 2016-2020, ukončen
Moderní metody zpracování, analýzy a zobrazování multimediálních a 3D dat, VUT, Vnitřní projekty VUT, FIT-S-20-6460, 2020-2023, ukončen
Neuronové reprezentace v multimodálním a mnohojazyčném modelování, GAČR, Grantové projekty exelence v základním výzkumu EXPRO - 2019, GX19-26934X, 2019-2023, řešení
Robustní diarizace mluvčích pomocí Bayesovské inference a hlubokého učení, EU, Horizon 2020, 2017-2019, řešení

Výzkumná skupina dolování dat z řeči BUT Speech@FIT (VZ SPEECH)

Ústav počítačové grafiky a multimédií (UPGM)