基于情感识别的实时交互式音乐可视化研究

　　 音乐可视化的实现形式与解决方案可谓精彩纷呈。音乐可视化有着广泛的应用:音乐分析、信息检索、表演分析、音乐教学、音乐认知、情感表达、游戏娱乐。基于不同的应用，会有不同的系统设计方案。在教学领域，可能会强调音符、乐器、旋律、和声方面;在音乐广场，通过控制的相关技术来实现音乐喷泉，着重表达喷水的花型组合变化、水柱高低、远近变化等;在大型表演、酒吧、展览现场，可能会更强调画面带来的强烈的视觉冲击;在游戏领域，可能会着重表现音乐自身包含的情感因素，通过虚拟角色的面部表情、动作变化及场景的变换来实现，等等。
4.1用户接口及系统构架
本系统设计为基于情感识别的实时交互式音乐可视化系统，采用一个可选的虚拟角色进行情感动作表达。系统需要减少系统负载和同时能够实时性地进行一音乐分析和可视化表演，从现场表演的麦克风和电子琴的音乐输入中提取出来的音乐特征通过相关信息处理和数据过滤，然后发送到音乐动画脚本和引擎，最后通过虚拟角色进行音乐情感的动作表达。本文希望允许用户与虚拟角色有一个沉浸式的交互体验，计算机的显示屏幕无法满足大型展览、表演现场的要求，虚拟现实的沉浸感也要求突破计算机显示尺寸的限制，使用大屏幕显示，可以采用圆柱型、洞穴状、或者矩形块拼接的大屏幕进行逼真显示，强制性制造出强劲的可视化效果。为了满足这个要求，可以把这个虚拟环境显示到一个大屏幕上，比如矩形块拼接的大屏幕或洞穴状的大屏幕，该屏幕可以提供实体大小的立体图像，希望大屏幕立体显示和人们的自然的用户输入方式可以缩短虚拟与现实之间的距离，通过这种方法，用户可以体验到这种与三维实体大小的虚拟场景的现实性的交互而产生的幻觉，允许用户与观察者体验这种表演者与虚拟角色之间的真正的交互而产生的强制性的沉浸感。能用一种很自然的音乐表达方式与虚拟角色进行交互也是很重要的。因此，本文应该确保一旦设计为该方式的系统运行起来，用户仅仅需要提供MIDI控制器或者麦克风的音乐输入方式就可以与程序进行交互。麦克风与MIDI控制器应该放置在特定的位置，以便当用户实时表演时可以很方便地观察到虚拟角色的反应。能够体现音乐情感，同时又具体极强的可观赏性和趣味性的音乐可视化系统是本文的追求。本文将围绕音乐情感为中心建立一个音乐可视化系统，可以用来音乐分析和音乐可视化，通过对现场表演的实时语音及MIDI处理输入，通过处理、分析，最后映射到虚拟角色中。系统以麦克风和电子琴作为输入参数，通过处理，提取出相关的音乐特征，随后进行情感检测处理，实时性地用虚拟角色面部表情和动作变化、虚拟场景的变换来表达情感因素，最后通过大屏幕进行显示。
图4一2音乐感知过滤层流程图
音乐感知过滤层的作用是双方面的。一方面，系统需要分析复杂的音乐数据输入流，以便提取有意义的音乐特征来准备后面的相关工作。另一方面，为了保证能模拟人类对音乐的情感反应的要求，系统需要采用前人对音乐情感方面的研究方法来组织这些特征。为了使角色得到音频信息流中的有用信息，系统需要将这种流变成一种简单的格式。因此本文在系统框架中添加了这种额外的音乐感知过滤层。在这一层中系统通过分析输入的音频信息，提取出重要的音乐特征，然后再将该层的结果作为输入传送给角色及场景认知层。为了对现场音乐表演中进行特征提取，系统对麦克风和电子琴的输入进行处理。本文采用MIDI接口和录音设备从现场音乐输入流中提取重要的特征，通过一系列变换处理，可以得到感兴趣的特征如歌声的音高、歌声的振幅、歌声的音调、描述歌手音色的数据等。同时，系统也对电子琴输入的特定的和音感兴趣，可以将输入的MIDI信息与预定义的和音信息相比较，然后提取出匹配的和音信息。这样，对现场原始数据进行处理之后，就生成了音乐的数字化描述。最后再将这些提取出来的音乐特征发送到特征记录器中进行下一阶段的处理，以便满足复杂的实时的音频分析的要求。
4.2.1特征提取
西方调式音乐，至少是由一系列音高、持久度和振幅组成，都是由一些和声结构的规则约束的。通过Hevner、Famsworth等人140，4’l的研究实验表明，音乐是可以表达情感的，即使对不懂音乐的人来说，他们也会感知到音乐中的一些潜在的和声规则产生的音乐情感，同时做出相关的情感反应。在此音乐可视化系统中本文采用这些情感规则来处理音乐输入，让虚拟角色获得认知技能。在认知层中，本文假定输入的音乐是有调的，这样可以方便在认知层中对音乐情感意义的处理。因为该层提取出来的音乐特征在表演者和虚拟角色的整个交互过程中是最重要的，所以本文把主要精力放在对该感知层的处理上，在介绍该层时需要不少篇幅。对于电子琴的和音输入，处理方法比较简单，利用电子琴通过MIDI接口将音乐信号发送到计算机，根据电子琴的参数规格可以很方便地得到现场弹奏的音高、持久度、速度、力度等信息。乐音体系首先是由于唱歌实践的结果而形成的，因此乐音体系中大部分的音是人的嗓音可唱的音。由于器乐的发达，就得用每秒钟振动16次到4000次之间的若干音来补充乐音体系。虽然如此在乐器上最富于表现力的音域和人声唱歌的音域是近乎一致的(频率范围大约为60到l000Hz)。
对于麦克风输入的歌声的处理，系统可以通过录音设备得到的数据，分析其频率和振幅，参考国际标准音高(即钢琴上小字一组的A)对应的频率为440Hz，每一个八度之间频率增加一倍，比如C比上一音阶的C，D比上一音阶的D的频率增加一倍。中间的频率，按照十二平均律公式算出来:由此可以得到所有音高。振幅与音量、持久度有关，音量可以由系统自定义，将处于某一范围的振幅认为是音高对应的音量，持续的时间即为音高的时值，或称持久度。
4.2.2特征组织
为了组织和音内容的输入，本文采用现在通用的音乐编码系统【59]。该编码系统的核心是采用一种字母表的概念，选定一个参考的字母元素，其它所有元素就可以通过与这个参考元素的关系来描述出来。本文的音乐可视化系统需要编码现场音乐输入的特征信息，因此，本文选择调的主音来作为参考音符。所有的后面感知到的音符都将使用该参考元素进行编码，因为它们都与调式音阶的主音相关。下面举一个例子来说明这种编码系统:在C调音乐中，主音音符C，将作为参考音符。如果选择的字母表是半音阶(一个音阶包含12个半音)，D(即c上的
大二度)将用字母表中在主音参考音符之上的2步来代表，而喇即C上的小三度)则用字母表中在主音参考音符之上的3步来代表。音符是由音高和持久度组成的，上面描述的音乐编码系统是针对音高的，再结合在电子琴中弹奏的持久度，系统可以描述每一个歌声片断中的音符。为了决定哪一个音符是被表演者强调的，本文可以采用这样的方法:当某音符有别于周围其它的音符的时候就可以认为该音符是被强调的，比如增大的音量或者高低音符间的突然的转变。通过第三章提出的螺旋模型和调性确定算法，分析音高序列的前面若干个音高事件，确定该音乐的调性、节奏和速度，然后将特征提取阶段得到的音高序列转换为旋律，得到的所有这些数据就放到特征记录器中，以便为下一阶段的处理做好准备。
4.3角色及场景认知层
基于该层的感知处理，角色评估接收到的数据，决定应该如何反应。角色需要分析它们接收到的输入和决定一个大致的反应行为。在该层中，角色的个性是由如何感知事件进而影响角色的内部状态来定义的。本节将描述系统的动画角色是如何模拟一个对感知到的音乐特征的情感的理解的。
4.3.1情感检tll
在认知层中，由感知层发送过来的信息需要被接收和分析，用来模拟虚拟角色的内部状态。特征组织器中包含了这些现场音乐表演的信息(歌声音程、每个歌声音符的重要性数据、关于歌声节奏的信息以及用户弹奏的和音数据)。然后本文需要模拟一个对感知数据的认知意识，因为角色需要有一个通过动作表达出来的感兴趣的内部状态。音乐表演的认知意识可以采取多种形式。当听到一个关于愉快的特别的旋律时，角色可能会感觉到快乐，或者当接收到一系列感觉恐怖的特定的和音，角色则可能会进入一个恐惧的状态。为了给角色的认知创建一个有意思的和灵活的认知层，本文选择了Cooke在文献[431中对音乐的研究，特别是对音乐情感的研究。Cooke在文献[43}中的经典研究为本文提供一个全新的视角来观察音乐和情感之间的更一般性的关系。为了实现这种像角色喜欢一些特定的旋律而不喜欢另外一些，系统可以创建一个针对音乐理论特征的足够灵活的角色用来模拟情感反应。Cooke己经从大量的音乐片断中识别特定的特征，使用一种更一般性的方法提出使用在调式音乐中的一些特定的特征用来表现特定的情感概念Cooke识别出音阶中所有十二个音符的基本的表达功能。如果一个旋律里包含很多小三度的实例，Cooke认为这些片断的恰当解释应该是表达出“难以接受的”或者是“悲伤的”情感。很多著名的包含小三度的表达悲伤情感的音乐作品实例可以映证这个结论，例如Strauss的《蒂尔小丑》中蒂尔被处死的地方。相
反，Cooke引用美国流行歌曲《Polly一woll梦doodle》来说明大三度是代表“和谐的”或者“愉悦的”情感。通过应用这种对音乐旋律的规则，系统可指定现场音乐表达的认知意义。系统的音乐感知过滤层通过特征提取，对现场音乐的上下文描述了所有的音乐旋律中的音符。了解这些以后，本文可以很容易地将音高关联到Cooke提出的情感上下文。这种情感上下文可以用来修改动画角色的内部状态并月.触发相关的反应行为。该音乐动画系统使用一个“驱动系统”来控制角色的行为。很多电脑游戏玩家都很熟悉这种机制，即这样的驱动系统是操作在一定原则之上的，那就是一旦特定角色特征的级别达到了一个触发的最大值或者最小值，角色的行为就被触发。例如，当角色的能量驱动达到最小值时，它就趴下睡觉，而当能量驱动达到最大值时，它就马上爬起来。系统的角色就是使用这种驱动系统来表达它们的情感状态的。根据Cooke的理论，小三度意味着悲伤，而大三度则表示快乐。系统的角色可以有一个“快乐驱动”，当歌手唱出一个包含很多大三度的旋律时，这个级别值就增加，而如果是小三度则减小。既然系统的感知层也可以分配相应的意义值到每一个歌唱音符，“快乐驱动”的增加量或者减少量也可以由音符的意义值决定。提取出来的其它的音乐特征，如和音、歌唱音色等，也可以用来影响角色反应的驱动。在现场音乐表演期间，对音乐输入的认知处理允许动画角色维持一个变化中的情感状态。音乐动画表达层使用动画来可视化角色行为，这种情感状态随后可以通过表达层传达给观众。 4.3.2其它因素的认知
在情感色彩方面，调式是音乐的一种极重要的表现手法，因为它能表现内容的某引起重要情调。在这方面说来，每一调式由于它的表现能力而在各种类型的作品中被应用。调式和内容的各种关系是极少有例外的。例如普通总是以大调来表现胜利，小调来表现悲伤、忧愁。可是调式能如此广泛应用还是因为作品中的内容是由许多手法，如调式、旋律的方向、旋律中的音程、节奏、速度、音的强弱变化、音的力量、音区、音色等的结合来表现的，而式在这必需的结合中不
过是手法之一。完美的可视化呈现需要考虑多方面的因素，除了上述因素对情感方面的表现力之外，还应考虑它们对其他心理感受的表现力。例如高的音高与低的音高相比，表现为亮、高、轻、小、敏捷;强的音比弱的音相比，表现为大、重、近;慢的音与快的音相比，表现为大、重、慢、稳重;快的起音与慢的起音，表现为生硬、果断、急躁、凶狠t421。
4.4角色及场景表达层
角色需要展示可视化的动作来表明它们认知的状态。当一个动画角色己经处理了感知的数据并且决定做出怎样的身体反应行为时，这些行为将会通过动画的形式表达出来。该音乐动画系统在运行时生成了这些动画，可以通过一种过渡的动画来逐步地添加到各种不同的预定义的姿势之间。动画的行为在情感或强度之间变化，从而体现出虚拟角色的认知状态。本节将描述角色和场景表达层是如何工作的。
4.4.1将音乐映射到行为
在认知层中，角色的内部状态被定义好了。然后这种内部的状态通过表达层中自动生成的动画来实现可视化。为了完成这种音乐可视化效果，系统需要创建一种足够复杂的角色用来产生行为，这种行为被使用者和观察者认为将是音乐输入的及时反应。角色需要监视感知层的数据，从而决定如何反应。每一个角色需要注意特定类型的数据并且忽略其它的数据。有些角色可能对所有的歌声的音高和振幅感兴趣，而其它的角色仅仅关心从键盘输入的大小和弦。这些决策是由设计出角色的程序设计者做出的，即角色只对特定数目的特征感兴趣。下面就以一个角色来举例说明。当用户唱出一个高于中央C的音高，在为该事件负责的音乐感知过滤层中，就在特征记录器的旋律中就写下该音高事件的发生。该角色监视旋律中的音高信硕十学位论文第四章音乐可视化系统设计与实现息，当感知到该事件的时候，它的注意力就马上集中起来。该过程是由一段动画来表示的，即角色当事件的发生时转变为表达出一个“专心的”状态。如果该角色长时间地没有听到任何歌声，则它变得很无聊，然后开始趴下睡觉。只有当用户选择发出另一个相似的音高，它才醒来，在这段时间里它的注意力不太集中，会忽略掉一些小小的噪声。这种行为控制类型被称为驱动机制，即对角色的每一个状态都匹配一个驱动。更完善的驱动机制是，每一个驱动都有一定的级别值，驱动系统监视每一个状态的当前的级别，当到达闭值时刁‘触发相应的行为。在上例中，与角色内部状态相关的是“无聊的”级别值，当角色的“无聊的”驱动达到一定的闽值时，它就开始睡觉。当它听到用户发出相关的声音时这种“无聊的’，级别值就减小，而当用户不发声的时候该级别值就增大。这是在用户输入与角色行为之间的一个很简单的映射例子。如果角色能够展示更加复杂的行为，那将是更有趣的事情。例如，当听到一个低音的音高时，角色就慢慢地扭转头，而当它感知到一个很具攻击性的声音时，当就突然转移它的注意力。在感知到高音C时它甚至捂住耳朵。当然，这些行为都是角色设计者设定的。设计者选择角色的动作来模拟音乐输入，同时也决定着如何进行急剧的或是平滑的过渡用来展示音乐情感。
4.4.2动画的实现方法
计算机动画是计算机图形学和艺术相结合的产物，综合利用了计算机科学、艺术、数学、物理学和其它相关学科的知识，在计算机上生成丰富多彩的虚拟真实画面。一般来说，计算机动画分为关键帧动画、变形动画、过程动画、关节角色动画和基于物理的动画。过程动画指的是动画中物体的运动或变形由一个过程来描述。最简单的过程动画是用一个数学模型去控制物体的几何形状和运动，如水波随风的运动。较复杂的则包括物体的变形、弹性理论、动力学、碰撞检测等。基于物理模型的动画技术考虑了物体在真实世界中的属性，如具有质量、转动惯矩、弹性、摩擦力等，并采用动力学原理来自动产生物体在各个时间点的位置、方向及其形状。此外，动画师不必关心物体运动过程的细节，只需确定物体运动所需的一些物理属性及一些约束关系，如质量、外力等，引入了转动惯量、弹性系数和阻尼等概念，把分析计算分解为水平和垂直两个独立的方向，通过这种简化，系统可以进行实时模拟，为了达到实时的效果，在一定假设条件下化简模型和运动求解是非常必要的。本文的系统可以综合运用上述几种方法。角色模型若是基于弹性关节的骨架模型，这就是关节动画。动作姿态的变换若是由动态方程控制的，交互控制和碰撞检测都用到了无质量的弹簧模型，这就是基于物理的动画方法。系统的脚本是姿态的顺序编排，可以把脚本的每一行看作是一个关键帧，但这里的插值过程是系统根据物理原理自动完成的。其实用交互控制模型以设计姿态，也可以看作是模型由静止状态的变形过程。
4.5系统的模拟实现
为了论证本文中主要的算法、解决方案的正确性与可行性，本节简化了前面提出的系统并模拟实现了该系统。该模拟系统的相关设计与显示结果如下所述。以Microsoft叭suaiC十+6.0作为开发环境，选择基于对话框的MFC应用程序进行模拟。采用MIDI文件模拟现场音乐信号输入，即便如此，本节仍实时分析音乐数据流，而不是对输入的音乐全篇处理后再进行分析，并在特定时间触发相应事件。只考虑音高特征，忽略速度、力度等特征。只考虑音乐在情感方面的表现力，忽略其对其它心理感受的表现力。在情感检测方面，只考虑本文第二章中提到的基本术语的情感色彩，对单个的音程、和弦不予考虑。采用图片集模拟角色的脚本动画库。
4.5.1数据结构
音高事件(即音符)主要包括音高、起音、落音、时值、力度等信息，因此自
(1)调性确定算法
基于本文第三章提出的螺旋模型和调性确定算法进行实现，在音高事件的个数到达预定义的数目时调用该调性确定函数，其伪代码如图4一6。初始化音效中心poiniCE为原点;初始化当前总Tick数nTicksum为0;
(2)情感匹配算法
在情感匹配之前，需要预定义一些情感术语，本模拟系统参考本文第二章中的情感术语如图4一7。与死相联系着的绝望的情感，白外返回的痛苦情感，即对悲哀的接受或屈服、消极的忍受或与死亡相联系的绝望图4一7情感匹配术语然后再对音乐的实时旋律进行情感匹配，以小调为例，其伪代码如图4一8。试确定的调性的调式为小调)道
4.5.3模拟结果
运行后的模拟界面如图4一9(a)。“监听”用来打开MIDI文件，模拟角色对现场音乐信号输入的监听，当演奏的音符数超过预定义的个数16时，点击角色所在的图形区域，程序以消息框的形式提示当前音乐采用调性确定算法得到的调性，如图4一9(b)。通过实验，该模拟程序对各音乐的前16个音符确定的调性如下:巴赫的《C大调赋格曲》，C大调;巴赫的《E小调赋格曲》，E小调;巴赫的《G小调赋格曲》，G小调;贝多芬的《热情奏鸣曲》，G小调;德彪西的《月光》，Db大调;李斯特的《圣诞之歌》，F大调;肖邦的《雨滴》，Db大调。通过本模拟程序，进一步验证了螺旋模型和调性确定算法的正确性。
图4一9模拟界面及调性确定
确定了该首音乐的调性之后，系统就开始对音符序列进行情感匹配，并实时更新各情感驱动的级别值，当某情感驱动的级别值到达它的闽值时就触发相应的动作。如图4-10(a)，贝多芬的《热情奏鸣曲》是在法国大革命时期英雄主义思想的启示下创作的，其中那明晰生动的节奏，那热情奔放的旋律，那星驰电击的电流，无不深刻地体现了“人类的良知”，充分显示了在战斗洗礼中的英雄们那悲壮激烈、坚贞不屈的崇高精神。又如图4一10伪)，李斯特在他的作品《圣诞之歌》中，极力表现一种天使和孩子们的天真、纯洁和纯粹的幸福。图4一10模拟系统的情感表现
4.6本章小结
本章首先简述了现有的音乐可视化系统的实现技术，指出其相关的应用领域。然后着重阐述了本文拟采用的音乐可视化系统的解决方案，提出了系统处理流程，并对各个环节如音乐感知过滤层、角色及场景认知层、角色及场景表达层进行了比较详细的介绍，描述了相关的实现原理及处理方法。由于麦克风输入的歌声数据量很大，所以本文提出的系统只对这些数据提取一些主要的音乐特征如音高、振幅等，从而满足实时性的要求。对于电子琴输入的和音信息，系统也只对其中特定的信息感兴趣，那就是与角色动作相关的情感信息。实现了模拟系统，进一步论证了螺旋模型和调性确定算法的正确性以及系统解决方案的可行性。角色的多样性、动作集、碰撞检测、花草山水、风雪烟雾、颜色变化等问题，有待进一步研究。
第五章 结论
现代社会，随着工作节奏的加快和工作压力的增加，人们愈加需要休闲和娱乐。信息技术的娱乐应用也就成为计算机应用的一个重要发展方向。同时，随着计算机技术的发展，音乐可视化日益得到研究机构和公司的重视，出现了各种音乐可视化系统。音乐可视化有着广泛的应用:音乐分析、信息检索、表演分析、音乐教学、音乐认知、情感表达、游戏娱乐。
5.1工作总结
本文通过对基于情感识别的实时交互式音乐可视化研究的初步探讨，工作总结如下:
(l)研究了国内外现有的音乐可视化系统。详细地论述了音乐可视化的相关内容，重点介绍了音乐可视化的研究内容、研究进展。
(2)总结和分析了音乐情感方面的研究。围绕音乐到底是一种怎样的艺术、表现了一种什么样的世界、能否表达情感以及如何表达情感等问题进行描述，对音乐的心理学也作了简单介绍。
(3)提出了螺旋模型及调性确定算法。提出了一种螺旋模型，在此基础上提出调性确定算法，并通过理论及实例论证了模型和算法的正确性和实用性。 (4)提出了系统设计方案及实现了模拟系统。阐述了本文的系统采用的解决方案，描述了系统流程及处理机制，并实现了一个系统简化版本的模拟系统，有着较好的效果。
5.2研究展望
(l)音乐特征的提取
音乐中有各种各样的特征，如频率、振幅、音色、音调、音高、音长、和弦、速度、响度、节拍及近来提出的一些新的特征，如能量、过零率、频谱矩、频谱流、带宽、带周期、噪音帧率等。音乐中有如此多的特征，对每种特征都进行提取是很耗费时间的，也是很不现实和没有必要的。因此，应该根据音乐可视化的应用方面的要求，提取出音乐中的那些必要的特征，忽略或者去除那些不必要的特征，从而缩短程序运行时间，达到实时性等方面的要求。在交互式的音乐可视化系统中，对于不同输入设备(如麦克风和MIDI输入设备)得到的数据，对其特征提取的方法也应该是不一样的。此外，音乐的风格也是多样化的，最大的分类是严肃音乐和流行音乐，而流行音乐下有乡村音乐、民谣、爵士乐、摇滚乐、流行美声等分类，如果能在对音乐的特征提取过程中得到音乐的分类，然后采用不同的可视化风格来反映这些不同的音乐风格，效果一定会更好一些。因此，在特征提取过程中得到音乐风格的特征，是音乐可视化进丫步的追求目标。
(2)对音乐的情感检测与情感表达
音乐既是一种娱乐方式，也是抒发作曲者和歌手情感的手段。情感因素是音乐中的一个重要的特征，在音乐可视化研究中越来越受到重视。因此，必须建立一个完善的情感检测以及情感表达机制。这种情感检测机制应当是综合性的，包括对音乐风格的分析、对音乐与情感关系的准确刻画、联觉中的各音乐特征与情感的对应。情感表达机制还应扩充表达情感的角色的动作集，尽可能准确地表达出尽可能多的情感。
(3)以用户为中心的系统设计
应用系统的设计应该以用户为中心，也就是说要有灵活的图形用户界面(GuD，实时性地反应用户的操作，用户的操作和输入的方式要尽可能地简单，而输出的结果要尽可能完美，等等。这就要做好用户需求调查和分析。在设计音乐可视化系统之前，必须要对用户的需求进行调查和分析，以此来确定系统的用户类型和应用类型，如教育方面的音乐教师和学生，商业娱乐方面的大众人群等，从而设计相应的可视化系统。
(4)场景对象和动作建模
WindowsMediaPlayer中的可视化效果是音乐可视化的雏形，并为音乐可视化提供了一个有用的参照。但是它的可视化效果过于简单和单调，使得用户感觉到这些可视化模式与所播放的音乐之间并没有什么关系，只是有一些微小的变化重复出现而己。这种面向大众的音乐可视化的娱乐应用，应该要另辟蹊径，采用场景以及角色对象来实现，角色对象可以是各种拟人化的动物、花草树木、自定义的动画角色甚至人本身，而场景对象可以是山河湖泊、花草树木等。为了避免角色的动作种类太少或者场景对象的种类太少而产生的单调性，以及表达音乐中各种复杂的情感因素，就必须尽量扩充角色的动作集，增加场景对象的种类。
(5)虚拟现实技术的硬件和软件支持
音乐可视化要有好的沉浸感，就要用到虚拟现实技术。这就需要解决相关的硬件设备和软件技术方面的支持问题。硬件设备方面，三维立体声设备、大屏幕主要有洞穴状、圆柱型或者由矩形块拼接成的大屏幕)投影设备等是必不可少的。大屏幕的立体显示、实体大小的虚拟角色以及用户输入接口的最自然的方法都可以帮助减少现实和虚拟的距离，让用户体验与虚拟角色之间的真正的交互过程，从而产生强制性的沉浸感。软件技术方面，如碰撞检测算法，以此来确保虚拟角色的行走路径和活动范围的合理性;丰富的特效，如模拟火焰、水流、烟雾、雨雪等，光照、阴影等，花草树木随风摆动、实时水波等;触发机制和动作定义，由特定的音乐特征触发角色相应的动作，通过给定的几个参数就可以实现各种动作等。
(6)机群并行处理问题
由于视觉效果是对音乐播放的补充，因此，不能由于处理可视化效果而占用了大量的CPU处理时间而使得音乐本身播放的不连续或者可视化效果的不连续因此，一个效果好的音乐可视化系统需要性能优化的算法以及高性能的计算机(也包括高性能的显卡和声卡)等方面的支持。如果要实现的算法和功能足够复杂，如三维的虚拟现实技术，则需要将多台计算机组成一个网络，进行机群并行处理操作，由不同的计算机处理不同的功能，在尽量短的时间内实现总体功能。
致谢
光阴似箭，回顾硕士研究生三年，首先要感谢我敬爱的导师黄东军教授。在本论文完成的过程中，导师注入了极大的心血，给予了悉心的指导，导师的及时指点和帮助使我不致迷失方向，并在老师的指导下得到研究动力和灵感。导师不仅教授给我研究方法，还对我的生活悉心照顾，让我更加明白人间有情，更加端正学习态度、热爱生活。导师严谨的治学态度、孜孜不倦的进取精神给我留下了深刻的印象。上研以来，由于家里的一些原因，我一度处于人生的低谷，是导师，给予我很大的关心，时刻牵挂着我的生活、学习情况，让我真真切切地感受到了老师那种长辈对晚辈无微不至的关怀和悉心的培养。我在学业上的点滴进步都饱含了导师的心血。感谢信息科学与工学院的全体老师，特别是陈松乔教授、徐德智教授、王国军教授和沙莎教授在我撰写论文过程中提出的宝贵意见和无私帮助。感谢杨珊、童卡娜、李晶晶、陈涛、文展等同门与我一起走过硕士研究生阶段的美好时光。感谢吴侠、贺建新、周伟、胡周军、陈斌华等好友在学习和生活上的每一份无私的帮助。最后还要感谢我的母亲，母爱深深，每一份感动都化为我学习中的动力。感谢我的妹妹，一直以来她都给我极大的鼓励和支持。感谢屈文波、屈黎明、屈苗等挚友，给我生命中注入乐趣与活力。特别感谢我的朋友王焕云，她给我的关心和督促，使我能全心全意的投入到研究工作中去，不曾懈怠，顺利的完成我的学业，并在我求职时给我加油打气。在此，我谨向所有关心和帮助我的人表示最衷心的感谢!