浅析视觉艺术的数据可听化

浅析视觉艺术的数据可听化

当前，由于移动设备的普及，数据可视化向各个领域渗透，帮助人们分析事物，直观地展现信息，并且数据的归纳具有高效性。尽管如此，数据可视化也并非完美无缺，如大量的数字和各式各样的图表易造成人们的视觉疲劳、对视力残障人士不友好等。于是，相关领域研究人员意图探寻数据被人类“听见”，随着音频软件的更新进步，以及对音频交互技术的探索，由此一个全新的概念——数据可听化（Data Sonification）被越来越多的相关从业者提及和研究，借此更好地利用人们的听觉器官。

在文娱领域，表现形式愈加多样化，交互艺术、“元宇宙（Metaverse）”等形式、概念不断融合发展。很多艺术家希望通过虚拟现实（VR, Virtual Reality）展现视觉作品，还有不少学者正在探究将声音与绘画作品相结合，帮助观赏者更好地理解作品，同时制造身临其境的效果。

基于此，笔者阐述视觉艺术数据可听化与舞台剧、影视戏剧相融合的相关研究，以及未来其发展的潜在价值等，重点介绍当前数据可听化与视觉艺术的研究进程，整理并总结以画作可听化为例的可听化制作流程，以及数据可听化在舞台艺术领域的应用前景。

1 数据可听化的定义及分类

听觉呈现(Auditory Display)仍然是一门新兴的学科，在1992年，Krammer成立了一项组织称为“国际听觉显示学会”（ICAD, International Community for Auditory Display）。该组织的学者给出了可听化（Sonification）的定义，即使用非语音音频（Non-Speech Audio）来传递信息或感知数据[1]。然而这个定义对于信息传递的含义仍不够明确，比如是否必须以计算机等电子设备为媒介进行传输。因此，Krammer和Walker等人在1999年提出了更精准的定义：可听化是数据关系转化为声学信号并用于传输或解释信息[2]。这为数据可听化（Data Sonification）的定义建立了一个雏形。学者McLean和Dean明确了数据可听化的定义[3]：数据可听化是指将模型生成的数据、实验中捕获的数据或通过观察收集的数据反映到音频信号或声音合成模型的一个或多个参数，以便更好地理解、交流或推测模型、实验或系统。

其后，Hermann[4]又总结了数据可听化的四个特征，当使用数据作为输入并产生声音信号（最终可成为激励或触发信号）的大前提下：（1）声音反映了输入数据的客观属性或关系；（2）转变是系统性的，即数据如何导致声音变化有一个精确的定义；（3）可听化是可复制的，给定相同的数据和同样的互动（或触发器），产生的声音在结构上一致；（4）系统可以使用不同的数据，也可以使用重复的数据。

对于可听化的分类，加州圣巴巴拉大学的学者McGee引用J. Keller 从数据处理方法的角度分为三类[5]：标准可听化（Iconic Sonification），比如使用雨声和风声来表达天气变化；直接转换可听化（ D i r e c t Sonification，或称Audification），即直接用频率（20 Hz～22 kHz）的变化表示数据；音乐可听化（Musical Sonification），用乐器的声音，加上设计好的速度和旋律进行制作。

2 数据可听化的制作流程

近年来，学者对于包括图片在内的视觉艺术作品可听化的探究聚焦于可听化的方法与算法，并开展探究观赏者心理的实验 [6]。关于数据可听化的方法研究主要集中在两个方面：一是有关音乐方面，即音乐结构[7]，二是关于图片或画作的视觉特性及相关参数[8]。对于算法的研究，通过算法实时追踪人们欣赏视觉作品时的感觉[9]。现以绘画视觉艺术作品为例梳理数字可听化的主流制作方法，包括对视觉作品中关键信息的提取和布局，以及普遍使用的数据可听化的制作工具。

2.1 视觉作品的信息提取

首先，提取画面的信息，并列举出呈现声音的特性，这个过程非常重要，被称作“布局策略”（Mapping Strategies）。

弗吉尼亚理工大学研究人员聚焦于通过可听化的算法让视觉艺术更好地转化为音乐。他们将画作中每一色块的色调（ H u e ）、明暗度（ Brightness ）、画面的空白度（ Saliency ），还有作品的尺寸大小以及艺术风格逐一进行量化，分别对应音频参数的音调（Pitch）、速度（Tempo）、调式（Mode）、响度（Loudness）和音乐风格（Musical Composition）[10]。研究者Sarah Lucioni对星空、蒙娜丽莎和创造亚当等几幅经典画作进行可听化设计，创作音乐作品。她通过使用Pyo音频处理库进行Python编程，将画中的每一个色块的RGB数值（光谱值）进行量化（RGB：0～255），然后转化成声音（频率范围：100 Hz～800 Hz）[11]。圣塔克拉拉大学计算机学院的学者使用SOVIA交互系统使得画家莫奈的画作以视听的方式呈现，整个过程是通过Python语言来完成的，他们收集了369部莫奈的风景画作，对作品中出现的景物进行归类[12]。如画作《亚嘉杜的罂粟花田》（Poppy Field at Giverny, 1890）信息的听取，如图1所示，框中的景物被捕捉并依次分类，之后被设计成不同的声音。由此，当点击一个方框时，就会发出对应的声音，混入背景音乐之中。

很多相关领域的学者基于HSL颜色体系（Hue色调, Saturation饱和度，Luminosity亮度）来定义声音与色彩的关系。日内瓦大学的学者研究如何让盲人欣赏画作，将不同色调的数值与不同的乐器音色相对应，例如双簧管对应红色色调、小号对应青色色调等。他们总结了一套公式将色调值转化为乐器音色的算法[13]：

图1 采用SOVIA方式的视听化设计（图片来源：WikiArts）

其中，hh表示音频呈现的音色所对应的色调值；增益 g 的定义式是：

分别代表包括红、橙、黄、绿、青、蓝和紫色的两个连续色调的数值，通过这种排列方式使得两个色调的过渡是平顺的）。

2.2 可听化制作的方法与工具

可听化作品的制作有各种方法，音频软件和编程是两种非常直观易理解的方式。

2.2.1 音频软件

Pure Data（Pd）和Max作为音频交互工具能够设计可听化算法进行作曲，有选择地收集各类数据转换为声音的形式展现，而且还能够通过图形、折线图的方式动态呈现数据的变化。

斯坦福大学音乐计算机研究院尝试用Pure Data进行算法作曲，意图将收集的太阳系的数据转换成声音的形式；在他们设计的SoSH工具中，包含有基本模块(Patch) modefilter_ standalone.pd，如图2所示；其中，使用了五组“波形滤波器（Mode-Filter）的子模块（Sub-Patch），呈现五个不同音调同时运行的效果，如图3所示[14]。

图2 基本模块modefilter_standalone.pd（图片来源：斯坦福大学音乐计算机研究院）

图3 子模块波形滤波器（图片来源：斯坦福大学音乐计算机研究院）

相比Pure Data，Max还能通过设置选取想要的乐器音色（还有 Abelton 也具有此功能） 。如果意图展现可听化的人机交互（ H C I , Human-computer interaction），通过MIDI接口将一块Micro:bit连接电脑主机，是目前学者以及大众在制作可听化作品最常用的方法。在进行制作时，除了选取合适的音频参数，需要考虑以下两点：其一，将所有参数定在一个合适的区间，即选择听感上较为舒适的频率范围和音色；其二，将布置好的数据输出至MIDI合成器或音频设备等。许多音乐制作人尝试使用Micro:bit制成手套，并通过Mini.mu与Pure Data设计编程，将手势的转动模拟出电音打击垫的演奏，如图4所示。有的制作人选择Java编程语言，运用代码方式分别将Micro:bit与计算机及Micro:bit手套连接（具体代码可详见Micro:bit官网）[15]。他们使用了Hairless MIDI和loopMIDI两个程序对MIDI设备进行虚拟连接，在Pure Data界面中，当每一个传感器通过各个gemidi通道传输数据时，使用notein模块来完成此任务，如图5所示。

图4 打击垫演示截图（图片来源：Micro:bit官网）

图5 notein模块中的MIDI数据分配（图片来源：Micro:bit官网）

2.2.2 编程语言

可听化制作另一种方便快捷的方法是通过编程实现，Python是目前使用较多的一种语言。NASA工程师、可听化专家Matt Russio介绍了使用Python编程将数据转化为声音的基本方法。在他们看来，通过python设计一个可听化作品需要五个步骤[16]：布局（Mapping）,哪些数据分别对应哪些音频参数；极值（Polarity），数值越大对应的是更高还是更低的频率；范围（Range），对于每一个选中的音频参数，它的音频范围是什么，每一个音符需要维持多长时间；各个音频参数在可听化设计中的占比，加强还是压缩（Scaling, Stretch/Compress）；量化（Quantization），是否考虑将一些数据在可听化设计中改变其速度、节奏，让整段音乐变得丰富。

3 数据可听化与视听艺术交互的讨论

前文讨论了数据可听化与视觉艺术相结合的前沿研究，音画结合使得观众能更好地欣赏艺术作品。但当前很多学者有一个疑问，什么样的可听化作品是成功的？Kramer等美国学者搜集了许多被视为成功的可听化作品，并举例了在三个领域中的应用或工具[17]：第一，他们认为目前为止最成功的一个可听化产品之一便是“Geiger-counter”,这件乐器可以探测不可见的危险等级并发出警报声；第二，可听化另一个富有潜力的领域便是视觉康复方面，传感器可以帮助视力障碍者有效治疗；第三，可听化与教育领域结合的工具也是研究的重点之一，研究表明多数人通过听觉能更好地理解信息的趋势、聚集、关联性以及数据中一段简单的统计特征，不亚于阅读[18]。

然而，仍然有少数研究人员认为数据可听化的发展有一定的局限性和缺陷，甚至有的学者认为数据可听化在不久的将来会慢慢淡出人们的视野。美国伍斯特学院的学者Neuhoff列举了几个质疑和弊端[19]：第一，视觉与听觉的同步精确度是否能有保证；第二，听觉存在个体差异；第三，每位听觉测试者在感受音频交互的过程中，在不同维度、不同方面对作品的理解是不一样的；第四，数据可听化是一门跨学科的研究，相关领域的学者与音频工程师对于数据的理解会有所差异，这会导致呈现的作品、对于数据的评估和整理出现一定程度上的分歧。学者Supper提出，数据可听化更多地是一种娱乐化的方式，而不是从科学的角度分析各类数据[20]。学者Ono和Teghtsoonian在各自文章中提出，从衡量音频参数的角度看，如果将数据的变化与音调的高低联系起来，会发现音高的变化只在数据提高2%以上才能被感知[21,22]。Neuhoff 也提到，当数据发生变化时，比如当一个图形的比例或尺寸的数值改变，聆听者会对听到的信息产生歧义，当音调上升时，图形的变化是扩张还是收缩是一个疑问[23]。数据可听化的弱项还包括当几个音频参数都发生改变时，响度参数会影响到诸如音调或音色的感知[24]。

当然，Neuhoff也列举了几条数据可听化的改进方法[25]：（1）需要坚持认为数据可听化是一个更偏向艺术的学问；（2）应该侧重于让音频交互设计得更巧妙，需要考虑欣赏者的感受，包括尽量避免使用音调或响度的功能造成的听觉歧义等问题；

（3）避开“混乱的中间地带”（Muddled Middle）,意思是不要总想着让数据可听化的艺术与科学数据达到一个平衡。

从视听艺术的交互性来看，正如前文可听化制作环节所提及的，意大利学者Polotti和Gonia认为，采用人机交互技术将手势或是身体姿态的变化进行数据可听化，即手势可听化（Gesture Sonification）实现视听艺术融合，使人们更好地接触并理解相关作品[26] 。对于艺术领域的可听化设计，最基本的原则是展现作品里的必要元素，包括明确设计的目标及定义详细的主题[27]。学者Findeli将这一观点定义为“交互形式（Interaction Gestalts）”[28]。当前，视觉艺术的可听化不仅仅局限于绘画美术作品等单一方向，相关领域从业者也慢慢将这一技术搬到音乐剧、舞台剧、杂技表演的舞台中。Polotti和Gonia通过三种不同的舞台剧进行试验[29]：（1）专业杂技表演，演员并没有跟随一段音乐跳舞，相反是根据舞台上声、光的变化调整动作；（2）专业与非专业迪斯科舞蹈表演；（3）使用VSE（Visual Sonic Enaction，图像-声音转换系统）进行表演。

4 数据可听化应用于舞台艺术中的前景

基于上述文章内容的分析与总结，就未来视觉艺术可听化的研究而言，制作环节上的精进和创新探究有以下三方面。

第一，与视觉作品相结合的数据可听化项目实用性是其发展的重要因素，尤其是在大众教育和视觉残障领域的应用有很大的潜力；第二，对于大众教育而言，通过数据可听化的方式能使人们更清晰易懂地理解视觉艺术作品的细节变化，音画结合的形式也非常容易被大众所接纳；第三，对视觉残障人士来讲，可听化作为一种欣赏视觉艺术的特殊方式给这类群体带来了福音。

对于视觉艺术展演领域，近年来已有学者在舞台剧或音乐表演中加入了数据可听化的尝试，相比在美术馆或科技馆小空间内的数据可听化的创作，受众群体和市场潜力巨大。早在2004年，有关数据可听化的音乐会就出现在了悉尼歌剧院。在这场“聆听想象中的声音（Listening to Mind Listening, LML）”的音乐会上[30]，学者Wolf和Fiebrink通过数据可听化的方式让观众与音乐剧表演者进行交互，每位观众戴上WiFi耳机，表演者的舞蹈肢体动作被量化成参数转化为音频的形式实时传递给观众，让观众更加专注于舞台上的表演[31]。还有学者研究了乐器演奏与演奏姿态的可听化互动设计，其中，Kirsty Beiharz在她的文章中提及了一种名叫“Sonic Tai Chi” 的装置设计（2005—2006年展陈于悉尼 Powerhose 博物馆的BetaSpace,设计者Joanne Jakovich），如图6所示，它是一个通过空间交互的虚拟的视觉及音频合成的作品，它使用计算机视觉捕捉肢体动作的数据产生可视化和可听化的效果，形成人与视听艺术间交互[32]。

图6 Sonic Tai Chi视听交互设计（图片来源：Joanne Jakovich）

尽管到目前为止，视觉艺术可听化的舞台剧作品还未出现成型的大制作，基于对相关研究及实践的分析，未来视觉艺术可听化在舞台上的应用具有很大的潜力，尤其是音乐剧、舞剧方面，如何将表演形式变得多样化，如何让观众融入视听表演，是未来几年研究的重点。笔者认为，以下两方面的研究会有潜在价值：一是画作艺术的数据可听化，音频技术及音乐制作研究者可以探索分析著名画家的画作或视觉作品的数据，并制作成可听化的交响乐或电子音乐作品，甚至通过舞台表演的形式再次呈现，包括观众对于这种新形式的表演的接受程度；二是舞台剧、杂技等表演艺术的数据可听化，利用手势可听化将表演者的肢体语言进行数据转化，形成与视听艺术的交互性，或许能成为一种新的表演形式？作品中每个部分的数据可听化处理，是通过在演员的四肢安装交互式装置，根据肢体的变化进行相应频率、节奏以及旋律的调整，这样的方式或许能帮助更好地理解作品，也可以“拉近”观众与表演者的距离。不可否认这种表演模式是令人耳目一新的，然而也存在着一些问题，制作成本是不能忽视的问题，尤其是经济成本，使用相应的交互装置需要一定的花费；此外，是可听化作品的质量问题，音频工程师、音乐制作人以及舞台剧导演和演员对于画作的理解一定程度上决定了可听化作品的质量，所以整部作品的制作需要对艺术方面有非常高的理解力与造诣。

还有一点值得关注，国内包括高等教育的相关领域对于视听交互等新的交叉学科还在探索阶段，其建设亟待加强。笔者认为，音频工程系、舞台美术系等可以设立相关专业课程，学生除了需要具备音乐、艺术等基础知识外，也需要用一定的时间学习编程、信号处理等工科课程。

5 结语

基于数据可听化的起源、概念以及主要特征，简单阐述了数据可听化作品的制作流程，包括当前一部分学者进行视觉画作参数的采集、整理及可听化的设计，以及主要制作方法和工具，特别针对实现数据可听化与视听艺术的交互问题进行了讨论，并展望了数据可听化在舞台艺术中的应用前景。数据可听化与视觉艺术的结合作为一个新兴的发展方向前景广阔。

选自 《演艺科技》2023年第一期 卢亦林《浅析视觉艺术的数据可听化》。转载请标注：演艺科技传媒。更多详细内容请参阅《演艺科技》。

（除原创作品外，本平台所使用的文章、图片、视频及音乐属于原权利人所有，仅用于行业学习交流，并不用于商业用途。文中观点为作者独立观点，因客观原因，或会存在不当使用的情况，如，部分文章或文章部分引用内容未能及时与原作者取得联系，或作者名称及原始出处标注错误等情况，非恶意侵犯原权利人相关权益，敬请相关权利人谅解并与我们联络第一时间处理，共同维护良好的网络创作环境。）