语用关联下多模态隐喻的认知建构与互动解读

上节分析了视频广告中多模态隐喻的结构与类型，本节讨论读者对多模态隐喻的认知解读过程。目前，研究者普遍认为视觉隐喻与语言隐喻具有各自不同的特点（Forceville，2009），但是两者在认知解读上仍然存在共通的地方，比如说在解读过程中，都需要读者对隐喻进行一定的语境充实（contextual enrichment），运用语用推理对源域或目标域的概念进行一定的关联调整，才能有效地领会隐喻使用者的语用意图（Yus，2006：147148）。

5.4.1 隐喻理解过程的关联论阐释

根据关联理论（Sperber&Wilson，1986）的观点，语用推理有一个基本原则：用最小的认知努力获取最大的关联效果。推理的过程包含两个步骤：解码与推理。听话人解码的过程基本上按照认知模块（modular of mind）的方式，在大脑中提取那些脱离语境的语义命题，而在推理的过程中，听话人会对明示的语言内容、言外之意或语境进行概念调整（conceptual adjustment），直到达到最大的关联理解效果。这一原则同样适用于多模态隐喻的理解，不过，认知语言学认为对语言的解码并非依赖于大脑内的语言模块，而是靠“体验基础上产生的心智”（embodied-mind），因为在大脑抽象概念的形成与理解的认知加工过程中，人体的感知系统与形体的动作机制同样起作用（Yus，2009：149）。

在语言理解的过程中，听话人需要根据语境进行适度的概念调整，比如扩大或缩小含义，在解码的过程中形成特定概念（adhocconcept）（Barsalou，1983；Carston， 2010），这种概念分三种形式，目标概念的所有原型所指所共有的特征（qualities applicable to all the prototypical referents of the encoded concepts），目标概念的某些原型所指所共有的特征（qualitieapplicable to some of the prototypical referents of the encoded concepts），目标概念的原型所指所不具有的特征（qualities applicable to noneof the prototypical referents of the encoded concepts），其中第三种形式与所谓的“即时生成的特征”（emergentfeatures）相关，即时特征不是隐喻目标域固有的特征，而是在理解的过程中临时生成的（Yus，2009：152），目标域与源域之外的概念整合即是最好的例证。当然，即时生成的特征一般只出现在新奇的隐喻中。

基于“即时生成的特征”的认知关联对于视觉隐喻或多模态隐喻同样有效（Yus， 2009：152；Vega-Moreno，2004）。多模态隐喻的理解与阐释含有四个过程（Yus， 2009：153161）。第一，基于视觉或感知系统形成视觉概念，这些概念既有一定的抽象性（即脱离语境），又可被语用充实，从而达到对说话人意义的理解。在这一过程中听话人需要进行语用推理，处理两类信息，原型的视觉所指与原型的视觉语法（即关于视觉图像的所指意的相关关系的知识与规则）。第二，现场生成的特定信息提示项（ad hoc pointer）。当大脑图式中所储存的某原型所指的相关信息（通常为denotative meaning）与实际拟处理的视觉所指的信息（通常为connotative meaning）之间存在意义偏差（incongruity）（Forceville，1996：115）时，此信息会引导读者向该原型所指的蕴含意（比喻义）进行推理，因此意义偏差也被称为“提示项”（pointer）。第三，视觉概念界面。将待处理的多模态图像与大脑图式中的相关信息进行匹配处理，并力求寻找两者之间的最佳关联方式。为此，听话人通常会思考类似问题，比如，哪些图像之间存在隐喻性关联？它们之间如何关联？相关所指是否指代常规的所指意义？第四，概念生成。在此阶段，读者对上述观念进行进一步的推算合成，从而最终达到意义的最佳关联。在概念生成的过程中，听话人会在线生成特定概念（adhocconcept）。当然，在这一过程中，读者有可能会遇到推理上的障碍，导致其放弃推理。

5.4.2 “香烟是杀手”的关联认知阐释

在对“香烟是杀手”这一系列隐喻的认知理解过程中，读者会综合利用语言认知机制、基于体验的感知系统与行为系统对拟处理的多模态隐喻进行一定的推理加工与概念调整，从而将图式结构中的相关信息与待处理的图像的所指信息进行匹配，找到两者间的最佳关联。在匹配过程中生成特定概念，以实现对隐喻的识别与理解。以图5．2的两个隐喻为例，静态隐喻“香烟是匕首”（第二栏）与动态隐喻“香烟是杀人的魔鬼”（第三栏）的理解基于相似的关联方式。

（a）静态隐喻“香烟是匕首”的认知理解过程

第一步，根据视频广告的语境——标题“吸烟者”，观众得知此视觉语篇是讨论香烟的，可能是香烟的危害，也可能是香烟的其他特点，大脑中关于香烟的图式被激活。

第二步，从图像上可以识别出香烟盒图形，但此香烟盒在形状上有别于普通的烟盒，对香烟盒长时间的视频聚焦与略显紧张的背景音乐也印证了这不是普通的烟盒。

第三步，香烟盒的部件有两个，香烟、烟盒与烟盒上的图案，形状奇特的烟盒（上宽下窄）与烟盒上带“匕首造型”的图案均有不祥之兆，与人们认知图式中的香烟盒信息（具有诱惑力的美好图像信息或香烟有害）存在部分不匹配的情况。香烟与烟盒、匕首图案这两者之间的语法关系主要体现在它们被并列合成在同一个图形中，构成了概念上的关联性。

第四步，在图形概念的界面，读者对两者之间的关联性进行进一步认知推理，努力寻找两者之间的最佳关联。香烟与匕首之间有何关联？如何建立关联？上宽下窄的香烟盒形状与烟盒上的匕首图案在形状上相似，从而形成图像意义的相似性。进一步对两图形进行推理加工，形成特定概念：匕首可以刺穿人的内脏，伤害人的身体，这一危害性特征可映射到香烟上，香烟也具有匕首的特征——危害生命。图像“匕首图案”的所指意是所有匕首的内在特征，危险性。

（b）动态隐喻“香烟是杀人的魔鬼”

第一步与第二步与“香烟是匕首”的推理过程相同。

第三步，在语义上讲，香烟与动态的视觉图像“匕首在黑暗中闪光”存在不一致性。香烟是静止的、无生命的消费品，而匕首本为无生命的物体，却突然横空出现在黑暗中，寒光闪烁，并伴随着金属摩擦的声音，奇怪的是，并没有出现任何施事者，此视觉形象的所指“匕首出鞘、匕首摩擦发声”为动态的图像，这一所指意义与香烟之间存在特征上的不一致性。将人的感知系统用于匕首视觉图像的理解，眼睛看到匕首发光的视觉图像信号，耳朵捕捉到匕首发出声响的听觉信号，同时将人对“摩擦声”与对匕首出鞘、匕首摩擦物体的体验感受综合利用起来，从而将匕首的图像信息进行语境扩充与补全。

第四步，在图像-概念界面，读者对香烟与动态的匕首之间的关联性进行推测性的关联假设。匕首出鞘、摩擦发声的视觉概念是：匕首会被用来伤害生物与人。这里，也出现了用部分代替整体“匕首替代持刀的杀人魔鬼”的隐喻方式。这一概念与香烟有何关联？

第五步，通过对匕首的动态图像做进一步的语用推理可知，匕首的内在特征“危害性”与“致命性”，也就是即时生成的特征，被映射到香烟上，构成“危害即过程”这种隐喻结构。

从关联推理的过程来看，隐喻（b）比隐喻（a）用的感知系统与体验更多，源域中的特征更容易被映射到目标域上，其隐喻意义的识别过程更便捷。以上的关联理解基本上局限于“结构隐喻”（structural metaphor），部分原因在于人们对“香烟有害健康”的隐喻性表述已经很熟悉。有些创造性多模态隐喻的理解则用到特殊的关联推理，下面以图5．5中的隐喻为例进行阐释。

创新隐喻“香烟是谋害杀手”的认知过程也包括四个步骤。

第一步，与（a）、（b）相同，根据语境知识，调动大脑中储存的游乐园图式结构。

第二步，从图像上可以识别出三个图形，一个跷跷板、一些装饰彩灯与两个正在跷跷板前面玩的尼古丁怪物，整个场景为游乐园的景象。其中，跷跷板横杆的形状是一支香烟，横杆的顶端是香烟盒，跷跷板的支点是心脏图像，装饰彩灯上有很多文字，分别写着harmful，smoking，cigarette，virus与cancer。

第三步，这一视觉图像的“游乐园”场景与人们认知图式中的游乐园存在部分不匹配的情况，游乐园是人们游玩、娱乐的地方，到处充满欢声笑语，但在这个视觉图像中，跷跷板上却雕刻了香烟与心脏这两个不相关的语义角色。而且，带有文字的装饰灯也存在语义不匹配的情况，装饰灯是鲜艳、喜庆的，而文字的语义却是负面的。当它们被并列合成在一个图形中，就构成了关联性，也体现了两者之间的语法与语义关系。

第四步，在图形概念的界面，读者对两者之间的关联性做进一步的推理，尽量寻找两者之间的最佳关联。香烟与跷跷板横杆之间有何关联？心脏与支点之间有何关联？香烟与心脏之间的关系与横杆与支点的关系有什么共同点？除了两者在外形上呈细长状这一特点之外，香烟与跷跷板横杆之间似乎没有共同特点，而心脏与支点之间更没有外形与语义的相似性。

第五步，进一步对两个图形进行推理加工，在比对的过程中形成特定概念：细长的横杆横穿心脏支点，跷跷板横杆的特殊特征（即“即时生成的特征”）——娱乐性与攻击性——可映射到香烟与心脏的语法关系上，香烟也有隐蔽的攻击性，如隐形、尖细的匕首穿透人的身体——心脏（健康的支点）。香烟所具有的“隐蔽的危害性与攻击性”特征就是从跷跷板横杆穿过支点的物质过程而推导出来的语义概念。

5.4.3 多模态隐喻建构中基于感知体验的认知互动

在广告语篇中，目标视觉图像所在时间点之前或之后出现的系列图像所构成的语境成分具有动态性特点，它不仅是视频作者将其隐喻意义不断明示化的重要手段，也是作者邀请观众调动其基于感知的心智进行意义理解的重要符号手段，可以帮助观众印证或排除自己对视觉图像的语用推理或假设，从而在源域与目标域之间寻找意义的最佳关联。作者与观众共建语境的过程，也是作者与读者在警示意义建构上互相对话与合作的认知体现。在广告视频语篇的叙事进展中，对主人公的感知体验行为或表现的语境描写，为观众的语用加工提供了线索，使观众可以顺利完成对隐喻意义的认知识别与建构，也是作者与观众基于认知体验进行警示意义互动的场所。

在隐喻“香烟盒是坟墓”（见图5．1）中，当源域与目标域按照时间序列先后出现之后，视频语篇对主人公的体验与反应进行描写，此时他用双眼仔细审视坟墓状烟盒的内部，良久，最终作出决定——丢掉烟盒，从而隐喻性地表达了他暂时放弃吸烟的决心。这一语境描写既是主人公对隐喻的言后反应，同时这一感知反应也为观众识别香烟盒与坟墓之间的意义关联提供了解码线索，回溯性地支持观众对该隐喻的认知解读，使观众成功地领会广告设计者所传达的隐喻意义。

同理，在“香烟产生危害的过程就是怪物征服与毁灭游乐园的过程”这一隐喻的建构过程中（图5．3），为了提供足够的语境线索以突显拟表达的隐喻含义，广告设计者恰当地在语篇进展的关键时候描述主人公的身体感受的外在表现，以调动观众的感知系统对隐喻意义进行积极主动的解码。在图像3中，源域中卡通生物因异物入侵发出尖叫，在随之出现的图像中，主人公开始撕扯衣领，这一目标域的体感动作激发了观众对痛苦的经验体验，是观众对该隐喻进行解读的体验性认知基础，引导他们在卡通生物的体感（源域）与主人公体感（目标域）之间建立意义联系，帮助观众确认自己对隐喻意义所作的推理并鼓励其做进一步语用推理。当尼古丁怪物按动了毁灭性开关之后，画面上游乐园灰飞烟灭，随之出现的是主人公的惨叫、口吐鲜血与昏迷倒下，对身体体验的描写是作者与观众进行语境共建与意义互动的重要手段，使得观众将卡通人物的体验（源域）与主人公的身体体验（目标域）做关联性处理，将游乐园的存亡（源域）与主人公的身体健康状况（目标域）做同一性处理，在语境上实现了对隐喻概念的明示化，使观众的语用推理得到了认知佐证。

可以说，动态语境中对身体感知的描写对多模态隐喻在认知层面的互动建构起着重要的作用。在功能上，图像所构成的视觉语境与双人言语交际的序列性一样，即动态地引导作者与观众在认知层面进行语义互动，促进隐喻意义的理解与沟通。