เป็นตัวแปรแฝงที่ไม่สามารถควบคุมได้ ทำให้การถอดรหัสไม่เสถียร และ WER สูงถึง 60% มาจากความไม่ตรงกันของสไตล์ ด้วยการฝึกตัวถอดรหัสแบบรับรู้การปกคลุม task token บนคู่การถอดเสียงแบบตัวต่อตัว/เจตนาที่ขนานกัน สามารถฝึกแค่ภาษาอังกฤษก็เพียงพอที่จะเพิ่มคะแนน F1 ไม่ราบรื่นของภาษาเยอรมันจาก 10% ในแบบ zero-shot เป็น 79% การปรับจูนด้วย cross-attention แบบมีการควบคุมบนคำที่ไม่ราบรื่นทำให้ timestamp ของคำในครั้งแรกที่เกิน baseline การจัดแนวแบบบังคับ งานใหม่ verbatimize สามารถเพิ่มอัตราการเรียกคืนคำหายากจาก 6.8% เป็น 96.1%
arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.
Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs :https://info.arxiv.org/labs/index.html.

