Publications-Theses
Article View/Open
Publication Export
Google ScholarTM
NCCU Library
Citation Infomation
Related Publications in TAIR
| Title | 利用機器學習技術找出眼動軌跡與情緒之間的關聯性 |
| Creator | 潘威翰 |
| Contributor | 陳良弼<br>蔡介立 潘威翰 |
| Key Words | 眼動軌跡 情緒識別 行為 隱藏式馬可夫模型 情緒分類 眼動掃視位移速度 |
| Date | 2008 |
| Date Issued | 19-Sep-2009 12:10:17 (UTC+8) |
| Summary | 目前偵測一般人情緒的方式大部分在研究人的行為，例如：臉部表情，以及分析人體的各項生理數值，例如：心跳、體溫以及呼吸頻率。然而這些研究只單純探討人的外在行為或生理訊號在不同情緒下的變化，而人的眼睛包含外在行為跟生理訊號，本研究將探討不同情緒下眼睛有什麼特別的反應。 我們先制訂一套實驗流程，在流程中我們以不一樣的情緒圖片給予受測者刺激，然後記錄受測者的眼動反應，並且讓受測者回報自己的情緒狀態。本研究也記錄受測者在情緒刺激下的眼動反應，並將眼動之反應轉換成序列資料，再針對不同情緒下的序列建立隱藏馬可夫模型（Hidden Markov Models：HMM）。希望藉著情緒模型，從眼動行為中偵測受刺激者處於何種情緒狀態。 本研究發現人在看圖時會依據對圖片內容的好惡，產生有意義的眼動反應。我們利用相對應的眼動反應建立情緒辨識系統，在辨識三種情緒時，辨識率能夠達到六成。 |
| 參考文獻 | 參考文獻 1.Cohn and Jeffrey F. "Foundations of human computing: facial expression and emotion," Proceedings of the 8th international conference on Multimodal interfaces、1-16.(2006) 2.Dietterich、T. G. "Machine Learning for Sequential Data: A Review," in Structural、Syntactic、and Statistical Pattern Recognition; Lecture Notes in Computer Science. Vol. 2396. New York、Springer-Verlag、15-30. (2002) 3.Ekman、P.、Friesen、W.V. 「Facial Action Coding System,」 Consulting Psychologists Press、1978 4.Feldman、B.L. "Discrete Emotions or Dimensions? The Role of Valence Focus and Arousal Focus," in Cognition and Emotion、Vol.12、Number 4、579-599(21). (1998) 5.Feldman、B.L. and Russel、J.A. "The Structure of CurrentAffect: Controversies and Emerging Consensus," in Psychological Science. Vol. 8 (1). 10–14. (1999) 6.Jones、C. M. and Troen、T. "Biometric Valence and Arousal Recognition," in the conference of the computer-human interaction special interest group (CHISIG) of Australia on Computer-human interaction: design: activities、artifacts and environments、191 – 194. (2007) 7.Kim、K.H.、Bang、S.W. and Kim、S.R. "Emotion recognition system using short-term monitoring of physiological signals," in Medical and Biological Engineering and Computing. Vol. 42(3) Heidelberg、Springer Berlin. Heidelberg、419-427. (2004) 8.Lang、P. J.、Bradley、M. M. and Cuthbert、B. N.、"International affective picture system (IAPS): Technical Manual and Affective Ratings," Center for Research in Psychophysiology、University of Florida 1999 9.Nasoz、F.、Lisetti、C.L.、Alvarez、K. and Finkelstein、N.、"Emotion recognition from Physiological Signals for User Modelling of Affect," Proc of the 3rd Workshop on Affective and Attitude user Modelling、Pittsburgh、PA、(2003) 10.Nummenmaa、L.、Hyona、J. and Calvo M. G. "Eye Movement Assessment of Selective Attentional Capture by Emotional Pictures," in Emotion. Vol. 6(2). Washington、D.C.)、American Psychological Association、257-268. (2006) 11.Nummenmaa、L.、Hyona、J.、& Calvo、M.G. (in press). Do emotional scenes catch the eye? In K. Rayner、J. Shen、X. Bai、and G. Yan (Eds.)、Cognitive and Cultural Influences on Eye Movements. Tinjain: People’s Press eye? In K. Rayner、J. Shen、X. Bai、and G. Yan (Eds.)、Cognitive and Cultural Influences on Eye Movements. Tinjain: People’s Press. 12.Partala、T.、Jokiniemi、M. and Surakka、V. "Pupillary Responses To Emotionally Provocative Stimuli," in symposium on Eye tracking research & applications.,123-129. (2000) 13.Rabiner、L. R. "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition," Proceedings of the IEEE. Vol. 77(2)、257-286.( 1989) 14.Vyzas、E.、Picard、R.W. and Healey、J. Toward "Machine Emotional Intelligence: Analysis of Affective Physiological State," IEEE Transactions on Pattern Analysis and Machine Intelligence、23、10 (2001) 15.Zagalo、N.、Barker、A. and Branco、V. "Story Reaction Structures to Emotion Detection," Proceedings of the 1st ACM workshop on Story representation、mechanism and context、33-38. (2004) |
| Description | 碩士 國立政治大學 資訊科學學系 95753020 97 |
| 資料來源 | http://thesis.lib.nccu.edu.tw/record/#G0095753020 |
| Type | thesis |
| dc.contributor.advisor | 陳良弼<br>蔡介立 | zh_TW |
| dc.contributor.author (Authors) | 潘威翰 | zh_TW |
| dc.creator (作者) | 潘威翰 | zh_TW |
| dc.date (日期) | 2008 | en_US |
| dc.date.accessioned | 19-Sep-2009 12:10:17 (UTC+8) | - |
| dc.date.available | 19-Sep-2009 12:10:17 (UTC+8) | - |
| dc.date.issued (上傳時間) | 19-Sep-2009 12:10:17 (UTC+8) | - |
| dc.identifier (Other Identifiers) | G0095753020 | en_US |
| dc.identifier.uri (URI) | https://nccur.lib.nccu.edu.tw/handle/140.119/37108 | - |
| dc.description (描述) | 碩士 | zh_TW |
| dc.description (描述) | 國立政治大學 | zh_TW |
| dc.description (描述) | 資訊科學學系 | zh_TW |
| dc.description (描述) | 95753020 | zh_TW |
| dc.description (描述) | 97 | zh_TW |
| dc.description.abstract (摘要) | 目前偵測一般人情緒的方式大部分在研究人的行為，例如：臉部表情，以及分析人體的各項生理數值，例如：心跳、體溫以及呼吸頻率。然而這些研究只單純探討人的外在行為或生理訊號在不同情緒下的變化，而人的眼睛包含外在行為跟生理訊號，本研究將探討不同情緒下眼睛有什麼特別的反應。 我們先制訂一套實驗流程，在流程中我們以不一樣的情緒圖片給予受測者刺激，然後記錄受測者的眼動反應，並且讓受測者回報自己的情緒狀態。本研究也記錄受測者在情緒刺激下的眼動反應，並將眼動之反應轉換成序列資料，再針對不同情緒下的序列建立隱藏馬可夫模型（Hidden Markov Models：HMM）。希望藉著情緒模型，從眼動行為中偵測受刺激者處於何種情緒狀態。 本研究發現人在看圖時會依據對圖片內容的好惡，產生有意義的眼動反應。我們利用相對應的眼動反應建立情緒辨識系統，在辨識三種情緒時，辨識率能夠達到六成。 | zh_TW |
| dc.description.tableofcontents | 1 第一章 導論與研究動機 1 2 第二章 相關研究 3 2.1 眼動儀器與眼動軌跡 3 2.2 情緒的描述 4 2.2.1 SAM量表 6 2.2.2 外顯行為 7 2.2.3 生理訊號 9 3 第三章 決定眼動特徵及建立各情緒模型 12 3.1 情緒與眼動資料之介紹 13 3.1.1 情緒資料的描述 13 3.1.2 眼動資料介紹 13 3.1.3 眼動資料的呈現 14 3.2 資料分析階段 20 3.2.1 隱藏式馬可夫模型 21 3.2.2 建立眼動行為之HMM模型 23 3.2.3 分類眼動序列之策略 26 4 第四章 資料收集及驗證 29 4.1 實驗流程設計 29 4.2 驗證方法 31 5 第五章 實驗結果分析 33 5.1 特徵選取方法 33 5.1.1 內部測試法 34 5.1.2 相關性檢驗 34 5.1.3 資料分段檢驗 35 5.2 特徵推薦策略之比較 36 5.2.1 以內部測試選出之特徵進行情緒辨識 36 5.2.2 以相關性檢驗選出之特徵進行情緒辨識 40 5.2.3 資料分段之相關性檢驗選出之特徵進行情緒辨識 42 6 第六章 結論及未來研究 52 6.1 結論 52 6.2 未來展望 54 7 參考文獻 55 圖目錄 圖 2.1 眼動軌跡記錄圖 4 圖 2.2 情緒模式關係圖 5 圖 2.3 SAM量表。 7 圖 2.4 六個基本情緒表情 7 圖 2.5 臉部情緒訊號圖 9 圖 2.6 受測者凝視傾向圖 11 圖 3.1 系統架構流程圖 12 圖 3.2 Valence類別定義圖 13 圖 3.3 凝視時間分佈圖 15 圖 3.4 凝視時間變化量分佈圖 16 圖 3.5 瞳孔大小分佈圖 16 圖 3.6 瞳孔大小變化量分佈圖 17 圖 3.7 掃視速度分佈圖 17 圖 3.8 眼動資料轉換成符號之流程。 18 圖 3.9 圖片區域示意圖 23 圖 3.10 隱藏式馬可夫模型 24 圖 3.11 隱藏式馬可夫程序產生圖 26 圖 3.12 測試資料的分類策略圖 27 圖 3.13 情緒模組計算眼動行為機率值示意圖 28 圖 4.1 資料收集實驗流程圖 30 圖 5.1 瞳孔大小變化過程圖 35 圖 5.2 內部測試辨識率(1) 37 圖 5.3 內部測試辨識率(2) 37 圖 5.4 特徵組合圖 38 圖 5.5 受測者瞳孔變化量分佈圖 47 表目錄 表格 5.1 內部測試所推薦之特徵模型之情緒預測準確率 39 表格 5.2各特徵相關性檢驗資料(降低個體差異) 40 表格 5.3各特徵相關性檢驗資料 41 表格 5.4相關性檢驗推薦之特徵模型之情緒預測準確率 41 表格 5.5相關性檢驗推薦之特徵模型各情緒類別預測準確率 42 表格 5.6 各特徵時間區段相關性檢驗資料 43 表格 5.7 各推薦特徵建立之情緒模型 44 表格 5.8掃視速度模型之各情緒預測準確率(三類情緒) 45 表格 5.9掃視速度模型之各情緒預測準確率(五類情緒) 45 表格 5.10降低個體差異下掃視速度模型之各情緒預測準確率(三類情緒) 46 表格 5.11降低個體差異下掃視速度模型之各情緒預測準確率(五類情緒) 46 表格 5.12各狀態瞳孔變化量分佈比例（負性情緒類別，刺激後0～1秒） 48 表格 5.13各狀態瞳孔變化量分佈比例（中性情緒類別，刺激後0～1秒） 48 表格 5.14各狀態瞳孔變化量分佈比例（正性情緒類別，刺激後0～1秒） 48 表格 5.15各狀態掃視速度分佈比例（負性情緒類別，刺激後4～5秒） 49 表格 5.16各狀態掃視速度分佈比例（中性情緒類別，刺激後4～5秒） 50 表格 5.17 各狀態掃視速度分佈比例（正性情緒類別，刺激後4～5秒） 50 | zh_TW |
| dc.format.extent | 98781 bytes | - |
| dc.format.extent | 319096 bytes | - |
| dc.format.extent | 306214 bytes | - |
| dc.format.extent | 340516 bytes | - |
| dc.format.extent | 309505 bytes | - |
| dc.format.extent | 561501 bytes | - |
| dc.format.extent | 1098965 bytes | - |
| dc.format.extent | 424953 bytes | - |
| dc.format.extent | 736449 bytes | - |
| dc.format.extent | 321774 bytes | - |
| dc.format.extent | 307434 bytes | - |
| dc.format.mimetype | application/pdf | - |
| dc.format.mimetype | application/pdf | - |
| dc.format.mimetype | application/pdf | - |
| dc.format.mimetype | application/pdf | - |
| dc.format.mimetype | application/pdf | - |
| dc.format.mimetype | application/pdf | - |
| dc.format.mimetype | application/pdf | - |
| dc.format.mimetype | application/pdf | - |
| dc.format.mimetype | application/pdf | - |
| dc.format.mimetype | application/pdf | - |
| dc.format.mimetype | application/pdf | - |
| dc.language.iso | en_US | - |
| dc.source.uri (資料來源) | http://thesis.lib.nccu.edu.tw/record/#G0095753020 | en_US |
| dc.subject (關鍵詞) | 眼動軌跡 | zh_TW |
| dc.subject (關鍵詞) | 情緒識別 | zh_TW |
| dc.subject (關鍵詞) | 行為 | zh_TW |
| dc.subject (關鍵詞) | 隱藏式馬可夫模型 | zh_TW |
| dc.subject (關鍵詞) | 情緒分類 | zh_TW |
| dc.subject (關鍵詞) | 眼動掃視位移速度 | zh_TW |
| dc.title (題名) | 利用機器學習技術找出眼動軌跡與情緒之間的關聯性 | zh_TW |
| dc.type (資料類型) | thesis | en |
| dc.relation.reference (參考文獻) | 參考文獻 | zh_TW |
| dc.relation.reference (參考文獻) | 1.Cohn and Jeffrey F. "Foundations of human computing: facial expression and emotion," Proceedings of the 8th international conference on Multimodal interfaces、1-16.(2006) | zh_TW |
| dc.relation.reference (參考文獻) | 2.Dietterich、T. G. "Machine Learning for Sequential Data: A Review," in Structural、Syntactic、and Statistical Pattern Recognition; Lecture Notes in Computer Science. Vol. 2396. New York、Springer-Verlag、15-30. (2002) | zh_TW |
| dc.relation.reference (參考文獻) | 3.Ekman、P.、Friesen、W.V. 「Facial Action Coding System,」 Consulting Psychologists Press、1978 | zh_TW |
| dc.relation.reference (參考文獻) | 4.Feldman、B.L. "Discrete Emotions or Dimensions? The Role of Valence Focus and Arousal Focus," in Cognition and Emotion、Vol.12、Number 4、579-599(21). (1998) | zh_TW |
| dc.relation.reference (參考文獻) | 5.Feldman、B.L. and Russel、J.A. "The Structure of CurrentAffect: Controversies and Emerging Consensus," in Psychological Science. Vol. 8 (1). 10–14. (1999) | zh_TW |
| dc.relation.reference (參考文獻) | 6.Jones、C. M. and Troen、T. "Biometric Valence and Arousal Recognition," in the conference of the computer-human interaction special interest group (CHISIG) of Australia on Computer-human interaction: design: activities、artifacts and environments、191 – 194. (2007) | zh_TW |
| dc.relation.reference (參考文獻) | 7.Kim、K.H.、Bang、S.W. and Kim、S.R. "Emotion recognition system using short-term monitoring of physiological signals," in Medical and Biological Engineering and Computing. Vol. 42(3) Heidelberg、Springer Berlin. Heidelberg、419-427. (2004) | zh_TW |
| dc.relation.reference (參考文獻) | 8.Lang、P. J.、Bradley、M. M. and Cuthbert、B. N.、"International affective picture system (IAPS): Technical Manual and Affective Ratings," Center for Research in Psychophysiology、University of Florida 1999 | zh_TW |
| dc.relation.reference (參考文獻) | 9.Nasoz、F.、Lisetti、C.L.、Alvarez、K. and Finkelstein、N.、"Emotion recognition from Physiological Signals for User Modelling of Affect," Proc of the 3rd Workshop on Affective and Attitude user Modelling、Pittsburgh、PA、(2003) | zh_TW |
| dc.relation.reference (參考文獻) | 10.Nummenmaa、L.、Hyona、J. and Calvo M. G. "Eye Movement Assessment of Selective Attentional Capture by Emotional Pictures," in Emotion. Vol. 6(2). Washington、D.C.)、American Psychological Association、257-268. (2006) | zh_TW |
| dc.relation.reference (參考文獻) | 11.Nummenmaa、L.、Hyona、J.、& Calvo、M.G. (in press). Do emotional scenes catch the eye? In K. Rayner、J. Shen、X. Bai、and G. Yan (Eds.)、Cognitive and Cultural Influences on Eye Movements. Tinjain: People’s Press eye? In K. Rayner、J. Shen、X. Bai、and G. Yan (Eds.)、Cognitive and Cultural Influences on Eye Movements. Tinjain: People’s Press. | zh_TW |
| dc.relation.reference (參考文獻) | 12.Partala、T.、Jokiniemi、M. and Surakka、V. "Pupillary Responses To Emotionally Provocative Stimuli," in symposium on Eye tracking research & applications.,123-129. (2000) | zh_TW |
| dc.relation.reference (參考文獻) | 13.Rabiner、L. R. "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition," Proceedings of the IEEE. Vol. 77(2)、257-286.( 1989) | zh_TW |
| dc.relation.reference (參考文獻) | 14.Vyzas、E.、Picard、R.W. and Healey、J. Toward "Machine Emotional Intelligence: Analysis of Affective Physiological State," IEEE Transactions on Pattern Analysis and Machine Intelligence、23、10 (2001) | zh_TW |
| dc.relation.reference (參考文獻) | 15.Zagalo、N.、Barker、A. and Branco、V. "Story Reaction Structures to Emotion Detection," Proceedings of the 1st ACM workshop on Story representation、mechanism and context、33-38. (2004) | zh_TW |