メインナビゲーションにスキップ 検索にスキップ メインコンテンツにスキップ

GMP-TL: Gender-Augmented Multi-Scale Pseudo-Label Enhanced Transfer Learning For Speech Emotion Recognition

  • Yu Pan
  • , Yuguang Yang
  • , Yuheng Huang
  • , Tiancheng Jin
  • , Jingjing Yin
  • , Yanni Hu
  • , Heng Lu
  • , Lei Ma
  • , Jianjun Zhao

研究成果: 書籍/レポート タイプへの寄稿 › 会議への寄与

抄録

The continuous evolution of pre-trained speech models has greatly advanced Speech Emotion Recognition (SER). However, current research typically relies on utterance-level emotion labels, inadequately capturing the complexity of emotions within a single utterance. In this paper, we introduce GMP-TL, a novel SER framework that employs gender-augmented multi-scale pseudo-label (GMP) based transfer learning to mitigate this gap. Specifically, GMPTL initially uses the pre-trained HuBERT, implementing multi-task learning and multi-scale k -means clustering to acquire frame-level GMPs. Subsequently, to fully leverage frame-level GMPs and utterance-level emotion labels, a two-stage model fine-tuning approach is presented to further optimize GMP-TL. Experiments on IEMOCAP show that our GMP-TL attains a WAR of 80.0% and an UAR of 82.0%, achieving superior performance compared to state-of-the-art unimodal SER methods while also yielding comparable results to multimodal SER approaches.

本文言語英語
ホスト出版物のタイトルProceedings of 2024 IEEE Spoken Language Technology Workshop, SLT 2024
出版社Institute of Electrical and Electronics Engineers Inc.
ページ496-501
ページ数6
ISBN(電子版)9798350392258
DOI
出版ステータス出版済み - 2024
イベント2024 IEEE Spoken Language Technology Workshop, SLT 2024 - Macao, 中国
継続期間: 12月 2 2024 → 12月 5 2024

出版物シリーズ

名前Proceedings of 2024 IEEE Spoken Language Technology Workshop, SLT 2024

会議

会議2024 IEEE Spoken Language Technology Workshop, SLT 2024
国/地域中国
CityMacao
Period12/2/24 → 12/5/24

!!!All Science Journal Classification (ASJC) codes

  • コンピュータ ビジョンおよびパターン認識
  • ハードウェアとアーキテクチャ
  • メディア記述
  • 器械工学
  • 言語学および言語

フィンガープリント

「GMP-TL: Gender-Augmented Multi-Scale Pseudo-Label Enhanced Transfer Learning For Speech Emotion Recognition」の研究トピックを掘り下げます。これらがまとまってユニークなフィンガープリントを構成します。

引用スタイル