三种呈现材料加工过程示例

依据图表3.2对多媒体学习模型的总结，让我们仔细看一看三种呈现材料——画面，发声的语词和打印的语词从头到尾是如何被加工的。举个例子，假定阿尔波特点击多媒体百科全书中闪电这一条目，他就会看见一幅静态的闪电暴雷的画面，同时有一段屏幕文本介绍每年由闪电导致伤害和死亡的数量。同样地，假定芭芭拉点击另一多媒体百科全书中闪电的条目，她会看见一个短的动画同时伴有讲述闪电形成步骤的解说。在这些例子中，阿尔波特看见的包括静态的画面和打印的语词，而芭芭拉看见的包括动态的画面和发声的语词。

图表3.6A显示了画面加工的路径，由图中粗箭头和加黑方框所示。第一个事件就是向阿尔波特呈现闪电的照片（即一幅静态的画面）或向芭芭拉呈现闪电的动画（即一个动态的画面），由图左边多媒体呈现框中标有画面字样的小方框表示。第二个事件是画面进入眼睛，产生一个短暂的感觉表象，也就是说，阿尔波特的感觉记忆能保持照片较短一段时间或芭芭拉的感觉系统能保持动画的画面较短一段时间，由感觉记忆框中标有眼睛字样的小方框表示。开始的这两个事件不需要学习者付出多少努力，但是现在，主动的认知加工——学习者有意识控制的加工开始了。如果阿尔波特对到达眼睛的短暂的图像（或芭芭拉对到达眼睛的图像）给予注意，那么部分图像将在工作记忆中被表征为一个表象的基本信息；这个注意过程对应于图中标有选择图像的箭头，而作为结果的心理表征是工作记忆栏中标有图像字样的小方框。接下来的主动认知加工是把这些分散的图像组织成一个一致的结构，由标有组织图像的箭头所示。所产生的知识表征是一个图像模型。这时，阿尔波特形成了闪电主要部分的有组织的视觉表征，或芭芭拉形成了闪电形成中代表因果步骤的一组有组织的表象。最后，主动的认知加工要求把新的表征和其他知识联系起来，其过程由标有整合的箭头表示。例如，阿尔波特可以利用他先前关于电学的知识帮助他把移动的正负电荷整合到他的心理表征中，芭芭拉可以利用她先前的电学知识帮助她解释为什么正负电荷相互吸引。另外，如果学习者已经产生了一个言语模型，他们可以试图将它与图像模型联系起来，例如寻找文本中与图像部分对应的段落。这个加工过程产生一个整合的学习结果，由工作记忆框中的圆圈表示。

图表3.6　多媒体学习的认知理论中（A）画面，（B）发声语词和（C）打印语词的加工

图表3.6B显示发声语词加工的路径，由粗箭头和加黑方框表示。当计算机产生解说时（由多媒体呈现框中标有语词的方框表示），声音首先到达芭芭拉的耳朵（由感觉记忆框中标有耳朵的方框表示）。例如，当计算机说，“带负电的粒子降到云层的底部，而大部分带正电的粒子上升到顶端，”这些语词被芭芭拉的耳朵接收到，并在她的听觉短时记忆中保持较短时间。接着，可能发生主动的认知加工。如果她注意到进入她耳朵的声音（如标有选择语词的箭头所示），某些新进入的声音将被选择送入到芭芭拉的语音的基本信息中（由工作记忆框中的标有声音的方框所示）。例如，产生并存储在工作记忆中的语词集合可能包括“正的顶部，负的底部”。在语音的基本信息中语词是些无组织的片断，因此下一步是把它们构建成一个一致的心理结构，由标有组织语词的箭头和言语模型的方框表示。在这个过程中，语词从声音形式的表征转变成文字形式的表征；其结果可能是闪电形成步骤的因果链。最后，芭芭拉可以利用她先前的知识帮助理解从一个步骤到另一个步骤的转变，而且可以把画面和语词联系起来，例如把“正的顶部，负的底部”言语和一幅正电粒子在云层的顶部和负电粒子在云层的底部的图像联系起来。这个过程被标为整合，整合后发生的学习结果由工作记忆框中的圆圈所表示。

到目前为止，画面的认知加工主要发生在图表3.6C下半部分的通道——视觉／图像通道；而发声语词的认知加工主要发生在上半部分的通道——听觉／言语的通道。然而，从视觉表象的基本信息到语音的基本信息的箭头表明学习者（例如芭芭拉）能够在心理上建立对应的视觉表象的发音——例如当她看到在动画中的波浪式箭头时在心理上会说“风”。同样，从语音的基本信息到视觉表象的基本信息的箭头表示学习者（例如芭芭拉）能够在心理上建立对应于语词发音的表象，例如当解说中说“带正电粒子”，就会在视觉上产生一个＋的符号。

在多媒体信息中打印文本的呈现对图表3.6描绘的双通道系统提出了信息加工方面的挑战。例如，拿艾伦来说，她必须阅读文本和观看插图。语词以视觉形式呈现从而使它们最初必须通过眼睛来加工，如从语词到眼睛的箭头表示。然后，艾伦可能注意到某些新进入的语词（如标有选择图像的箭头所示），把它们带入工作记忆作为视觉表象的基本信息的组成部分。接着，通过在心理发出打印语词表象的读音，艾伦能够将语词送入语音的基本信息（如从图像到发音的箭头所示）。一旦在听觉／言语通道被表征，它们就像上面所述的发声的语词一样被加工。这个路径由图表3.6C显示。正如你看到的，当言语材料必须通过视觉通道进入时，语词在系统中必须经过一条复杂的路线，而且必须和艾伦同样通过视觉通道加工的插图竞争注意。这个问题的重要性在第八章的通道原则中会被更详细地阐述。