Efektivní přístup ke znalostem v audio-vizuálních záznamech

Množstvíaudiovizuálních dat seneustále zvětšuje.Část znich obsahuje důležité informace- záznamy přednášek, konferencí, kurzů atd. Tato data jsou všakpro současné vyhledávače (Google, Seznam) neviditelná. Pokudpotřebujeme nalézt záznam, který se týká konkrétníproblematiky nebo se jen potřebujeme rychle zorientovat v záznamu,současné vyhledávače nám mnoho nepomohou. V první částipřednášky se podíváme, jak zviditelnit audiovizuální záznamyprezentací pro standardní textové vyhledávače. Z technickéhohlediska si ukážeme, jak vypadá celkové schéma systému, a pakse podrobněji podíváme na jednotlivé komponenty. Zejména nakomponentu automatického rozpoznávače řeči (převod audia dotextu s časováním), a komponentu automatické synchronizace arozpoznání slajdů s videem (převod videa do textu s časováním).Dále si ukážeme, jak jsou zpracována audiovizuální datareprezentována pro vyhledávací engine Lucene. V druhé částipřednášky se zaměřímena prezentaciuživatelům, a také na zpětnou vazbu od uživatelů. Systém jeprakticky nasazen na Fakultě informačních technologií VUT v Brně,a také pro několik velkých konferencí.

Theamount of audiovisual data in growing. Part of the data as lecture orconference recordings contain important information. However thisinformation is hidden and unreachable for standard web crawlers asGoogle. This paper deals with a system, which makes the informationavailable for standard text based indexers and searchers. It is doneby conversion of speech and video into text. Description of theaudiovisual indexing and search system is provided in the first partof this paper. We briefly describe the speech-to-text and slidesynchronization components. Next, the description of an indexingengine is given. The engine is capable to index not only text butalso timing and probability of recognized speech. The second part isaimed at practical issues like user interface and customer feedback.