Publications-NSC Projects

Article View/Open

Publication Export

Google ScholarTM

NCCU Library

Citation Infomation

Related Publications in TAIR

題名 由電影配樂中探勘音樂情緒之研究 (I)
其他題名 Musical Emotion Discovery from Film Music
作者 沈錳坤
貢獻者 政治大學資訊科學系
行政院國家科學委員會
關鍵詞 電影配樂;探勘音樂情緒
日期 2006
上傳時間 12-Nov-2012 11:02:00 (UTC+8)
摘要 「情境計算」技術結合情緒與資訊科技,以提供人類優質的生活環境。音樂在人類生活中扮演重要的角色。當我們聆聽音樂時,音樂都會觸動我們的情緒。本計畫的研究目標即在研究音樂與情緒的關聯探勘。電影的配樂乃根據電影的色彩、情緒、氣氛、人物情節發展而創作,緊密地為表現影片主題和劇情。我們計畫分別利用電影中的配樂與字幕、音訊及視訊資訊的搭配關係,研究音樂與情緒的關聯探勘。本計畫的核心包括電影配樂的音樂特徵萃取(Feature Extraction)、電影片段的情緒偵測(Emotion Detection) 及音樂特徵與情緒的關聯探勘(Association Discovery)。在第一年的研究中,我們將研究以字幕的文字作情緒偵測、Symbolic Music 的各種音樂特徵的萃取、情緒與配樂特徵之關聯模型及關連探勘演算法。在第二年的研究中,我們將以第一年的研究成果為基礎。我們計畫將第一年中所研究的Symbolic Music(MIDI)音樂特徵分析,延伸至Wave-form Music 的音樂特徵分析。我們也計畫擴展Emotion Detection 的技術,考慮電影中的視覺資訊與音樂之外的語音資訊。我們希望利用Multi-modal Emotion Detection 技術,來提升原本由電影字幕偵測情緒的準確率,進而提升音樂情緒探勘的準確率。第三年的研究中,我們計畫開發音樂情緒的應用系統。包括根據情緒推薦音樂的音樂推薦系統、提供情境搭配的音樂擷取系統及具有音樂情緒及表情的電子寵物。
Movies play an important role in our life nowadays. How to analyze the emotional content of the movies becomes one of the major issues. Based on film grammar, there are many audiovisual cues in movies helpful for detecting emotions of scenes. In this research, we investigate the discovery of the relationship between audiovisual cues and emotions of scenes and automatic annotation of the emotion of the scene is achieved. First, the training scenes are labeled with the emotions manually. Second, six classes of audiovisual features are extracted from all scenes. These classes of features consist of color, light, tempo, close-up, audio, and subtitle. Finally, the graph-based approach, Mixed Media Graph approach is modified to mine the association between audiovisual features and emotions of scenes. The experiments show that the accuracy is up to 70%.
關聯 應用研究
學術補助
研究期間:9508~ 9607
研究經費:437仟元
資料類型 report
dc.contributor 政治大學資訊科學系en_US
dc.contributor 行政院國家科學委員會en_US
dc.creator (作者) 沈錳坤zh_TW
dc.date (日期) 2006en_US
dc.date.accessioned 12-Nov-2012 11:02:00 (UTC+8)-
dc.date.available 12-Nov-2012 11:02:00 (UTC+8)-
dc.date.issued (上傳時間) 12-Nov-2012 11:02:00 (UTC+8)-
dc.identifier.uri (URI) http://nccur.lib.nccu.edu.tw/handle/140.119/55391-
dc.description.abstract (摘要) 「情境計算」技術結合情緒與資訊科技,以提供人類優質的生活環境。音樂在人類生活中扮演重要的角色。當我們聆聽音樂時,音樂都會觸動我們的情緒。本計畫的研究目標即在研究音樂與情緒的關聯探勘。電影的配樂乃根據電影的色彩、情緒、氣氛、人物情節發展而創作,緊密地為表現影片主題和劇情。我們計畫分別利用電影中的配樂與字幕、音訊及視訊資訊的搭配關係,研究音樂與情緒的關聯探勘。本計畫的核心包括電影配樂的音樂特徵萃取(Feature Extraction)、電影片段的情緒偵測(Emotion Detection) 及音樂特徵與情緒的關聯探勘(Association Discovery)。在第一年的研究中,我們將研究以字幕的文字作情緒偵測、Symbolic Music 的各種音樂特徵的萃取、情緒與配樂特徵之關聯模型及關連探勘演算法。在第二年的研究中,我們將以第一年的研究成果為基礎。我們計畫將第一年中所研究的Symbolic Music(MIDI)音樂特徵分析,延伸至Wave-form Music 的音樂特徵分析。我們也計畫擴展Emotion Detection 的技術,考慮電影中的視覺資訊與音樂之外的語音資訊。我們希望利用Multi-modal Emotion Detection 技術,來提升原本由電影字幕偵測情緒的準確率,進而提升音樂情緒探勘的準確率。第三年的研究中,我們計畫開發音樂情緒的應用系統。包括根據情緒推薦音樂的音樂推薦系統、提供情境搭配的音樂擷取系統及具有音樂情緒及表情的電子寵物。en_US
dc.description.abstract (摘要) Movies play an important role in our life nowadays. How to analyze the emotional content of the movies becomes one of the major issues. Based on film grammar, there are many audiovisual cues in movies helpful for detecting emotions of scenes. In this research, we investigate the discovery of the relationship between audiovisual cues and emotions of scenes and automatic annotation of the emotion of the scene is achieved. First, the training scenes are labeled with the emotions manually. Second, six classes of audiovisual features are extracted from all scenes. These classes of features consist of color, light, tempo, close-up, audio, and subtitle. Finally, the graph-based approach, Mixed Media Graph approach is modified to mine the association between audiovisual features and emotions of scenes. The experiments show that the accuracy is up to 70%.-
dc.language.iso en_US-
dc.relation (關聯) 應用研究en_US
dc.relation (關聯) 學術補助en_US
dc.relation (關聯) 研究期間:9508~ 9607en_US
dc.relation (關聯) 研究經費:437仟元en_US
dc.subject (關鍵詞) 電影配樂;探勘音樂情緒en_US
dc.title (題名) 由電影配樂中探勘音樂情緒之研究 (I)zh_TW
dc.title.alternative (其他題名) Musical Emotion Discovery from Film Musicen_US
dc.type (資料類型) reporten