音樂與繪畫之互動設計與使用者體驗研究： 以畢卡索立體畫派為例

Abstract

本創作的動機是希望透過視聽共感原理結合互動體驗的方式，拉近觀眾與抽象繪畫之間的距離進而產生興趣。作品的呈現方式是讓使用者與畫面的元素互動，產生對應的動畫與聲音，動畫的設計根據畫作的情境、細節與觀看方式安排；聲音的設計根據作品呈現的情緒、色彩、線條、韻律等編寫，讓使用者點擊畫面元素進行混音，實際地參與操作並沈浸於作品中，改變以往單純的視覺體驗。\n\n本創作用Java Script 程式語言撰寫，以網頁版的形式呈現，實測結果用Schimitt 的策略體驗模組與深度訪談來檢視是否達到創作預期。結果發現五個構面的數據都達60%以上，平均約為80%，對照訪談內容，在「感官體驗」上，除了格爾尼卡外，受訪者都能透過音樂感受到繪畫所傳達的情感與意境。「情感體驗」上九成的受訪者都認為作品具原創性，原本對畢卡索作品沒有太大感覺的受訪者，在體驗後開始對畫作產生興趣，而音樂與繪畫互動的方式也吸引他們觀看而間接認識了畢卡索的繪畫。「思考體驗」上受訪者們表示透過音樂的輔助以及切割出畫作中具體元素的手法，可以發現畫作中不易發現的細節。「行動體驗」與「關聯體驗」上受訪者們表示透過這次的體驗後會想找出更多畢卡索的繪畫及相關作品觀看。這些發現與本創作目的預期結果相一致。而未來作品可朝向教育與展覽的形式發展，或是用來推廣繪畫與音樂，也可以嘗試加入新的互動形式讓作品有更豐富的體驗方式。

The main purpose of this work is to shorten the distance between the abstractive pictures and the audience through combining Synesthesia with interactive experiences.\nThe presentation of the work aims to produce correspondent animations and sounds for users trying to interact with the pictures. The design of the animation is based upon the circumstances, details of the pictures and the visual interaction with the users; while the design of the sounds, the emotions, colors, lines and thymes presented by the work, allowing the users to mix the sounds and to improve the visual experiences through clicking the elements in the pictures.\n\nThe work is weaved with Java Script, presented through web forms. To examine whether this work fulfilled my expectations, I utilized two methods, which were Strategic Experiential Modules brought up by Schimitt and Depth Interview. The result corresponded to the expectations upon the experiences of sense, feel, think, act and relate. \n\nKeywords：Synesthesia, Interactive Experience, Strategic Experiential modules, Picasso`s Paintings