计算机音乐制作在影视作品中应用

摘要：现今，影视音乐已成为影视剧创作的重要一环，同时，计算机技术也正强势进入各行各业，因而用计算机技术开展影视作品中的音乐制作势在必行。因此，本文先结合影视艺术的发展，说明采用计算机技术的必然性，然后结合深度学习技术提出一种适用于影视音乐制作的人工神经网络结构，最后结合创作的作品，对影视作品中的音乐进行分析和设计，为计算机音乐制作的现代应用提供了新的思考。

关键词：影视音乐制作；深度学习算法；人工神经网络

0引言

自有声电影诞生以来，音乐就成了电影必不可少的一部分，自然地，电视艺术出现之后，音乐也进入了电视片的制作中。计算机技术是人类在20世纪的伟大成就，进入21世纪以来，计算机技术正以不可阻挡的态势进入各行各业。工业生产领域使用计算机技术为人们所理解，认为是理所当然的；经济金融领域使用计算机技术现在也司空见惯、不足为奇；现在文化艺术的创作也开始利用计算机技术。20世纪末用计算机设计动漫风靡一时，进入21世纪，计算机书法、计算机诗歌也渐渐兴起，相对比较起来，应用计算机做影视剧的创作起步较晚，本文探讨用计算机技术进行影视剧音乐的制作问题。

1影视、音乐和计算机技术

1．1影视音乐的诞生

1895年12月28日，巴黎大咖啡馆正上映着世界上第一部真正的电影，人们把这一天定为电影诞生日，卢米埃尔兄弟被称为“现代电影之父”。自此之后，影视在人类的生活中占据了越来越重要的位置。同时，与之相关的行业也得到了蓬勃发展。据说在有声影片出现之前，人们就在影视中加入音乐，那时的音乐是靠屏幕下乐队演奏的［1］。音乐在无声电影时期也是影片放映的重要部分，“在任何有或大或小影院的地方，现在都有一只好乐队”，雨果·瑞森菲尔德1926年写道。他估计美国那时有18000座电影院，断定影院乐师已成为“一种商业资产”［2］。一旦影视可以有声之后，音乐更是影视作品中不可缺少的一部分。尽管长期以来，音乐与影视本是两门各自独立存在的艺术门类，他们各自拥有自己独特的理论系统、表现形式以及功能标准。然而恰恰是这两门独立的艺术融合在一起却产生了巨大的化学作用，形成了如今的影视音乐。在这个视听体系中“声音与画面是两个互为依存、共同构筑的艺术序列”［3］，视觉艺术和听觉艺术深度交融，极大地丰富了艺术的感召力。

1．2影视音乐的特性及作用

“当我们观看电影时，我们体验到的不仅仅只是大量的影像、照明、拍摄角度、声音、音乐；我们体验到的是一个整体、一个叙事、一个由传达着某个故事的诸多表达元素组织起来的集合”。在音乐的衬托下，影视能在自身表述的基础上增添新的色彩。在现代的影视作品中，音乐虽然没有直接的对白，但也是其中不可缺少的语言形式之一，好的音乐能使影视作品的情感表现力更为丰富。例如近年奥斯卡大热影片《荒野猎人》，这部讲述人性与自然之间微妙关系的电影给人最大的感觉就是冰雪里的荒凉与寒冷，并且主人公在影片中的后半段几乎很少有对白，大部分的时间只有主人公一人在冰雪之中独自前行，雪是没有声音的，寒冷也是没有声音的，此时，作曲家坂本龙一先生的音乐却完美地契合了画面，音乐营造的氛围准确地表达出自然的冷酷壮丽以及影片的情感氛围。镜头之大，画面恢宏，而浓郁、厚重，气势磅礴的弦乐演奏的主题动机却将观众的心随着主人公蹒跚的步伐一步一步抓紧。KathrynKalinak在《FilmMusic，AveryshortIntroduc－tion》中提及音乐在影视作品中有以下几点作用：“电影音乐引导观众对电影画面产生相应的反应，建立观众与电影画面之间的联系”“明确情节的叙述内容与叙述进程”“强调或预示某些叙事发展”“解释角色的某些行为动机，帮助观众理解他们的想法”“掩饰电影制作中的技术性成分”［4］。

1．3计算机技术与音乐创作

最早用于音乐的计算机技术是音乐的数字化。在一切都可以数字化的20世纪后期，简单地将音频信号数字化应该是很容易做到的，早期音频数字化的最大成果是MIDI技术。MIDI是musialinstrumentdigitalinterface的缩写，直译是音乐设备的数字化接口，建筑在MIDI技术上的MIDI系统能够将源于乐器的声音信息集成转化成数字信息集成，有效地解决了声音数字化的失真问题［5］。一旦在充分保真的前提下音乐被数字化，那么计算机技术中的存储、压缩、加强、周期调节、剪接，以及利用MIDI系统形成的变奏、融合就可以让音乐的内容和形式都变得更加丰富，而且开启了计算机音乐创作的大门。有人总结了计算机技术给音乐创作带来的优势：改变了音乐创作的格局，实现了作曲、录音制作的一体化；改变了乐器演奏的不确定性，极大地提高了音乐表现的精准度；提供了听觉艺术与视觉艺术的联动便利，而这一点为影视音乐采用计算机技术奠定了基础；极大地改变了音乐演奏专业技术的需要，过去演奏小提琴与演奏小号需要两名专业人才，现在只要一名程序员就完全搞定了［6］。除此之外，计算机技术还存在容易修改、融合其他声音、自动生成等优点。当然，计算机创造的音乐作品也有天然的缺点，最大的一个问题是音乐的思想表现能力不足、创造性薄弱等，但是对于影视音乐来说，这些缺点几乎不存在。

2应用深度学习算法的影视音乐制作

2．1影视音乐的特点

先撇开音乐不说，影视本身是多种艺术的结晶。影视起源于剧本，不是将剧作家创作的剧本直接拿过来，而是需要设计镜头、场景、对白、动作，是一项专门的艺术，影视中的“视”包含了色彩、画面、主题等视觉艺术的综合。音乐对影视艺术来说是一种辅助性的艺术，尽管前文说过它非常重要。作为文学和视觉的一种辅助，那么契合便是音乐对于影视的最重要特点了［6］。首先是内容的契合，其次是画面的契合，最后是与影视制作人创作理念契合。除了契合，音乐还应该有积极的作用，而这种积极的作用主要表现在烘托、抒情和心理强化的作用上。

2．2最通用的制谱软件

西贝柳斯（JeanSibelius，1865－1957）是芬兰久负盛名的民族音乐家。1978年在英国求学的一对芬兰孪生兄弟本·费恩（BenFinn）和乔纳森·费恩（JonathanFinn）着手开发制谱软件，这个软件就以民族音乐家Sibelius命名。这兄弟俩都是学计算机程序的且都喜欢音乐，大约经历6年，软件开发成功并可以投入使用，兄弟俩因而开办一家公司，专门销售这套软件。目前这套软件已发行第6版，在世界100多个国家或地区有售，是世界上最通用的制谱软件［7］，对Sibelius的使用有一个通俗的应用指导，图1是Sibelius的主界面。Sibelius是专门为作曲家开发的，功能非常强大，可以用作设计、试听、修改，并以设计好的谱用五线谱的形式输出。它是一个专业性很强的软件，使用它不需要掌握很多计算机操作的基础知识，但是需要非常扎实的作曲知识。因此对于非专业人士不甚适合，尤其是一般影视片的制作人。国内也有一些关于计算机音乐制作的研究，例如李帆［8］分析了随机性作曲和确定性作曲，并利用WM8731构建了音频显示设备。但总的说来，这方面的研究尚处于起步阶段。

2．3基于深度学习的影视音乐设计

有人认为人工智能的第三次浪潮特征是“机器学习”。1974年沃波斯（Werbos）提出的误差反向传递（BP）算法被认为是开创这个时代的新成果。这是一种三层网络，信号正向传递，而网络输出与教师信号之间的偏差被反向传递，用来修正网络的权值。1989年有人证明这样的网络理论上可以逼近任何一个连续函数［9］。虽然几经改进，例如将激励函数选成Sigmoid函数，将网络提升到多层，但是依然存在学习困难和局部最优的不足。21世纪初，BP网络得到又一次革命性的推进，那就是“深度学习”的提出。深度学习采用多层前向神经网络，它的一大特点是将神经元分类，各类神经元执行不同的任务，采用不同的算法，从而减少权值修正的困难，另外深度学习对训练样本进行预处理，确定比较合适的初始权值，从而减轻网络运算量。当然如今的深度学习还存在一些不足，受到的批评也不少，例如采用深度学习的神经网络通常需要大量的学习样本，这对于小样本对象是不适用的，另外人们对于深度学习之所以能够有较高学习精度的原理尚不清楚［10］。当前，应用深度学习都是采用开源的软件，几乎没有自行开发的，所以不需要很多计算机和人工智能的理论知识，这一点也有力地推动了深度学习网络的广泛应用。目前用得最广的是卷积神经网络。

2．4用与影视音乐制作的卷积神经网络

本文采用卷积神经网络制作影视音乐，具体网络结构如图2所示。根据影视制作的一般过程，在配置音乐的时候，剧组已经完成文学剧本改制和视频剪辑，或者是带有语音的视频资料，同时，制作人对于音乐配置也有了自己的设想。因此在配置音乐之前已经具备视觉材料———影片，文字材料或者语音材料———剧本，以及制作人对于音乐的构思。因而在卷积神经网络中将这三者作为输入（见图2）。根据卷积神经网络的输入规则，为了加大深度学习的效率，如果影视原片中图像与语言已经合成，我们也将两者剥离然后分别输入预处理模块（实际制作时原片同时输入两个输入端，一个滤去语音，一个滤除图像）。因为影视艺术是带有个性的艺术，不同的制作者可以有不同的风格，因此特意设置了“编辑干预”模块，制作人员可以输入强化、减弱、欢笑、悲伤等指令调节网络最后输出的音乐。深度学习网络在应用前必须经过巨量的学习，学习是应用现成的影视片完成的，视觉材料与语音资料可以从现成影视片直接获取，而编辑干预则需要设计人员根据影视片总结出来，影视片中的音乐则是教师信号。尽可能多地收集影视资料进行学习。为了提高学习效果应该根据不同的影视资料，例如纪录片、故事篇、游戏篇等制作不同的网络系统。

3应用实例

这里用纪录片《红色翅膀：火烈鸟的故事》为例来说明利用计算机配置音乐的过程。

3．1纪录片《红色翅膀：火烈鸟的故事》的音乐配置

纪录片最大的特点是纪实性。从创作手段上讲，尽管同样是建立在生活基础之上的艺术真实，因为形态上的差异，纪录片就比电影等其他形态的作品在真实这一艺术的标准上要求更严格一些。这一要求同时也反映在纪录片音乐的创作上，音乐应在不破坏影片真实感的前提下进行创作，需要更为谨慎，从而让音乐在情感的表达上不过分夸大，喧宾夺主［11］。《红色翅膀：火烈鸟的故事》是一部关于火烈鸟生活周期的自然纪录片，影片拍摄于坦桑尼亚北部的纳特龙湖。影片记录了这群濒临灭绝的稀有生物如何为了生存而进行抗争。此次选取的片段是影片开始的部分，片段的前半部分讲述了纳特龙湖恶劣的生存环境，后半部分则是本片主角—火烈鸟的出场，展现了火烈鸟优雅的飞行姿态以及大自然的美丽景色，画面优美。在进行配乐的准备工作时，笔者挑选了管弦乐作为此次的配器，管弦乐是随着16、17世纪声乐与器乐的发展逐渐形成的，管弦乐中按乐器的不同可分为弦乐组、木管组、铜管组、打击组。由于管弦乐中乐器种类丰富，组合形式灵活多变，因此管弦乐队作品可表达的音乐情感及音乐效果强于其他配器。带有电子音色的现代配乐固然有新鲜时尚的优点，但影视配乐不是一个只靠作曲家个人意愿的工作，音乐时时刻刻需要为画面进行服务，音画合一才是影视配乐应该达到的标准。由于此纪录片所讲述的是生命与自然的主题，且整部影片没有现代科技元素，因此笔者选用了以管弦乐音色为主的编配方式。本片所讲述的是大自然与动物之间神奇而又美妙的关系的故事，因此在开始创作之前参考了同题材的纪录片，例如纪录片《地球脉动第二季》以及迪士尼纪录片《我们诞生在中国》的配乐。

3．2具体配置效果

（1）第一部分：纳特龙湖的自然环境的展现。这一部分讲述了影片的主要取景地坦桑尼亚北部的纳特龙湖及其周边的地理环境，除了少量描述火山活动的近景之外，画面大多是使用缓慢的远景镜头进行拍摄，画面多使用冷色调，风景壮丽，整个部分尤如突如其来的雷雨般戛然而止。随着阳光下的纳特龙湖出现，影片开始了，在此后的一分钟内，大量的几乎静止的远景镜头，以及平稳的旁白缓缓地向我们介绍着神秘的纳特龙湖地区，揭开了这一原始地区的神秘面纱，因此，在这段画面的音乐创作上，使用了循序渐进的编排方法，整首曲子由弦乐组的单音、震弓引入，而后采用弦乐组的高音区和弦长音演奏，进而转入中音区，之后以圆号为主的铜管组加入，整体音乐质感由纤细逐渐增加厚重感，为了配合缓慢而又壮丽的风景画面，以及纳特龙湖周边的岩石地貌，整体音乐风格是偏安静严肃的，无明显旋律，各乐器为长音演奏，声音由弱到强，配器由少到多，预示着这一地区的神秘感将被揭开，也为后一段的火山活动场景做铺垫。而后，影片开始展现火山的活动，镜头切换频率加快，远景切换为近景，画面明暗变化增多，因此，音乐在此处也做了一些转变，增加了以大鼓为主的打击乐器增强节奏感，弦乐的演奏技巧由连奏变为段奏。鼓点代表着火山的不稳定，而和声的重复则代表大地的稳固。经修改后的谱如图3所示。随着旁白的过渡，画面继续回归到开始时的风格，辽阔的天空与无边际的湖水，此时的音乐结束了前段的插曲，再次过渡到了最开始的音乐风格。随着最后一次的闪电出现，第一部分的音乐也随之结束。图4为第一部分剧情的音乐配置说明。（2）第二部分：火烈鸟的到来。影片的主角火烈鸟第一次出现在荧幕上，整部影片开始有了生命的气息，灵动优美的飞行姿态，亮丽的粉红色，打破了之前缓慢静止的画面，一改之前灰暗的色调，与第一部分形成了鲜明的对比，因此在音乐上也与第一部做了完全不同的处理。火烈鸟在黎明时分的湖面上优雅地飞行着，从遥远的地方一路来到纳特龙湖，竖琴的琶音演奏模仿的正是火烈鸟成群飞行的自由活泼的模样，灵动而又整齐，小钟琴的加入使得音乐听起来更加活泼，此时的旋律一扫之前的平淡与严肃，带来了活泼的情绪，后半部分弦乐组、竖琴、铜管组音色相互交织演奏主旋律，代表着火烈鸟、影片记录者与自然的交流。音乐在这里起到了两个作用：第一，烘托出充满生机的气氛；第二，作为纪录片中的主观音乐，在观众的立场上传达出了观众的情感，抒发了观众对于生命的美好向往。图5是第二部分的配乐。图6为第二部分剧情与音乐配置说明。（3）小结。这部音乐作品整体风格较为平稳，没有过分夸大影片中的元素，尽可能地还原影片中大自然的变化与火烈鸟的特点。纪录片的声音由人声、自然音响以及音乐三部分组成。其中，音乐主要起到烘托气氛的作用，在本部作品当中，音乐的创作有意地避开了旁白的出现，在旁白出现时尽量少的使用大段的旋律写作。

4总结

本文探讨了采用计算机技术的影视音乐制作，提出采用深度学习自动完成乐谱的配置，具体采用卷积神经网络完成设计，由于工作刚刚开始，一些想法还只是雏形，有待于在今后继续改进，但是从制作的实践看，计算机技术应用于影视音乐制作是可以大有作为的。

作者:林婉月 单位:班戈大学，音乐学院