Probing Cross-modal Information Hubs in Audio-Visual LLMs
Jihoo Jung · Chaeyoung Jung · Ji-Hoon Kim · Joon Son Chung
首次获取该候选人的完整档案及 StartLux 评估共 20 积分;每位用户单独解锁,之后查看免费。主动刷新 20 积分。
实时查找电子邮箱,费用不超过20积分;未找到邮箱不扣费。
Jihoo Jung · Chaeyoung Jung · Ji-Hoon Kim · Joon Son Chung
Hyeonggon Ryu · Joon Son Chung · David Harwath
Arda Senocak · Sooyoung Park · Tae-Hyun Oh · Joon Son Chung
Seongyu Kim · Seungwoo Lee · Hyeonggon Ryu · Joon Son Chung · Arda Senocak
Kang Zhang · Suyeon Lee · Arda Senocak · Joon Son Chung
Sungnyun Kim · Kangwook Jang · Sungwoo Cho · Joon Son Chung · Hoi-Rin Kim · Se-Young Yun
This paper introduces a new paradigm for generative error correction (GER) framework in audio-visual speech recognition (AVSR) that reasons over modality-specific evidences directly in the language space. Our framework, DualHyp , empowers a large language model (LLM) to compose independent N -bes...
Sonal Kumar · Simon Sedlácek · Vaibhavi Lokegaonkar · Fernando López · Wenyi Yu · Nishit Anand · Hyeonggon Ryu · Lichang Chen · Maxim Plicka · Miroslav Hlavácek · William Fineas Ellingwood · Sathvik Udupa · Siyuan Hou · Allison Ferner · Sara Barahona · Cecilia Bolaños · Satish Rahi · Laura Herrera-Alarcón · Satvik Dixit · Rupali S. Patil · Soham Deshmukh · Lasha Koroshinadze · Yao Liu · Leibny Paola García-Perera · Eleni Zanou · Themos Stafylakis · Joon Son Chung · David Harwath · Chao Zhang · Dinesh Manocha · Alicia Lozano-Diez · Santosh Kesiraju · Sreyan Ghosh · Ramani Duraiswami