交互界面物理平台设计概念

第11章　交互界面硬件设计

【学习的目的】

本章具体讲解互动媒体设计中的交互界面硬平台设计概念，就互动媒体设计中的交互界面硬平台设计的概念以及常用的设计方法等进行深入的研究。

【学习的重点】

交互界面硬平台设计及方法。

【教与学】

采用实例分析讲解交互界面硬平台设计及方法，通过对典型硬件平台设计方法的分析掌握交互界面硬平台设计及方法。

交互设计是一项系统工程，在完成了交互界面软件平台设计后，下一个需要解决的问题就是交互界面硬平台设计，本章将就互动媒体设计中的交互界面硬平台设计的概念以及常用设计方法等进行深入研究。

11.1　交互界面硬平台设计

11.1.1　交互界面物理平台设计概念

所谓交互界面的硬平台即用物理的方式取代软平台中单一的人机交互方式，如用真实的灯光开关来控制软平台设计中的视频里的灯光的开合。硬平台的设计，改变了传统的人机交流方式，使得交互界面更人性化，提升了作品的亲和力，带给使用者身临其境的心理感受。

交互界面硬平台设计集艺术与技术于一体，对于一个从事互动媒体设计的设计师来讲，不仅要有艺术创作能力，还要学会借助技术手段进行交互界面硬平台设计，这样才能制作出完美的互动作品。

设计师或艺术家对各种交互媒体的技术现状、新技术发展趋势有清楚的把握，才能在互动作品构思阶段很好地将新技术结合进来，设计出合理可行的人性化交互界面。虽然作品实施可以找专业人士提供帮助，但并不意味着设计师就可以对技术完全放手，否则不可能构思出好的作品，更不要说目前很多互动艺术作品就是直接依赖新技术手段创作出来的。

The Escape Service是法国国营铁路最新做的一个户外互动广告作品。在广场上，一个大黑盒子吸引着行人的注意，当徘徊的人们终于走近盒子，想按动红色按钮时，却传来“请讲一个你最想逃去的地方?”的提问，当行人回答完问题并按下红色按钮后奇迹出现了，充气的红唇、五彩的丝带烟火、绚丽的霓虹，还有送出大奖的小火车等场景纷纷出现。The Escape Service是一个典型的互动艺术作品，交互界面的设计别出彩，没有简单地运用电脑屏展示虚拟影像，而是采用更真实、更有视觉冲击力的真实物体呈现在观众面前，作品充分运用计算机控制的声光电等技术，给观众营造了一份更真实的身临其境的身心感受，这正是交互界面硬平台所创造的神奇效果，是未来互动媒体艺术形态的发展趋势之一，如图11-1。

图11-1　互动广告The Escape Service

11.1.2　交互界面硬平台设计流程

与界面设计的软平台相比，由于涉及的技术种类更多，因此交互界面硬平台的设计方法更多样，制作上也更加复杂，一些复杂的物理解决方案经常会给从事互动媒体设计的设计师或艺术家带来重大的创作阻碍。这就需要找到一些应对的办法，比如对于较复杂又成熟的技术，如大型投影、触摸屏、半球投影等技术产品可以考虑直接采购成品，而对于其他一些较简单的交互界面硬平台设计，则可通过选择简单易操作的方法或对现有的一些小电子产品进行改造来顺利完成设计任务。

交互界面硬平台设计的目标是用人或生物的一些现有语境，如肢体语言、声音语言等取代键盘、鼠标等传统的人机交互方式，从而使交互艺术作品具有更人性化的交互界面。交互界面硬平台设计的本质就是设计一个装置，可以采集使用者的信息指令，并将此指令发送给计算机软平台;反之，交互界面软平台也可发送指令来控制真实世界的行为，如The Escape Service项目中送大奖的小火车等。

交互界面硬平台设计的基本流程分三步:信号采集、信号传递与信号处理。

1.信号采集

采集外界的生物行为信息，并将其转换成电信号。可利用传感器获取人或生物的行为信息，传感器种类很多，常用的有温度、湿度及运动传感器等，通过这些电子元件，可以捕捉人或其他生物的活动信息，并将其转换为数字或模拟信号再传递给计算机数据端口。

2.信号传递

计算机大多数没法直接接收传感器的数据信息，要想将外界的电子信号输入到计算机，必须借助中间件进行连接，比如一些计算机外设或具有与计算机连接端口的单片机等，他们大多通过USB或无线接口与计算机相连，这些中间件在传感器与计算机间搭建起一座桥梁，一边接收传感器的采集的信息，并对其进行一定的分析处理，一边将处理过的数据发送给计算机的串口。反之也可将计算机发出的指令通过中间件传递到外界，以控制如电动机等外设的运转。

3.信号处理

交互界面软平台从计算机端口处接收信息，并对数据进行处理以调控虚拟场景的变化，如观众可以通过吹气来控制虚拟画面里气球的飘动，而给真实的花盆浇水，即可控制计算机虚拟平台上树木的成长等。反之，在软平台上由虚拟场景发出命令，亦可将指令传输给计算机端口，最终通过中间件控制真实世界的物体，如控制灯光的开关等。

传感器是硬平台设计信息采集的重要工具，传感器种类繁多，可以采集自然界的各类信号，传感器功能强大，体积小巧，在进行互动设计时可以很巧妙地伪装起来，充分展现互动艺术的神奇魅力，如图11-2。

图11-2　各种传感器

11.2　交互界面硬平台设计方法

传感器的即时信息无法直接传输给计算机，需要借助一个中间件来实现信息的传递。中间件作为数据信息传递的桥梁，一边负责接收传感器的信息，一边将信息传递给电脑，所以中间件不仅要能与传感器进行连接，还要方便地与计算机进行连接才能完成传感任务。交互界面硬平台设计的不同实施方法主要取决于中间件的选择，目前比较常用的有以下两种方法。

11.2.1　计算机外设法

中间件的主要特点就是要能与计算机相连，因此键盘、鼠标、摄像头、麦克风等这些电脑外设便成了首选。它们既然不存在与计算机相连接的问题，那么是否可以接收传感器传输来的数据呢?答案自然是没有问题，而且操作起来相对简单，非常适合于初学者进行互动媒体设计尝试。

由于摄像头和麦克风可以直接获取外界信息并传递给计算机，因此它们不仅可以发挥信息传递的功能，还可以解决信息采集的功能，是当前重要的交互界面硬平台设计工具，这里不再赘述。

键盘、鼠标不能直接接收传感器的信息，但他们的使用功能可以接收敲击的信息，所以对他们进行适当的改造，将传感器的信息转换成键盘或鼠标的输入信号，就完成了传感器与中间件的连接。基于键盘或鼠标的信号特点，这种方法必然存在一个很大的局限性，就是只适合于接收开关类传感器的信息，如红外开关传感器等，而对于检测温度或湿度等模拟信号类的传感器来讲，就爱莫能助了。

所谓对键盘和鼠标的改造，也非常简单，就是选择一个旧的键盘、鼠标，这些淘汰下来的旧物只要还能与计算机连接，按键可以不灵活，某些按键也可以失效，只要基本的按键功能完好即可，如图11-3。用螺丝刀将它们拆开，取出连接的线路板，接下来的改造方法如下:

1.鼠标的改造

在左边按键的开关上焊接上两条导线，当导线连接和断开时就可以模拟按键的效果了。将两条导线与开关传感器信号线相连接，当传感器接收到一个开关信号就可以模拟一次鼠标的按键，计算机软平台只需要处理鼠标按键的事件，这样就实现了真实世界与虚拟世界的信息交流。

2.键盘的改造

拆下键盘电路板，一般的键盘电路板都有两组接线脚，取一根导线，各取每组里一个接脚进行连接，当两个脚点连接时，会模拟一个字符的输入。根据这一原理，将开关类传感器的信号线与两脚点连接，当传感器接收一个开关信号，即可模拟一个字符的输入。

图11-3　鼠标、键盘的改造

11.2.2　专用单片机法

外设法简单，容易实施，但其局限性也是明显的，对于那些需要接收模拟信号的项目，这种方法就无计可施了。近几年来，随着新媒体技术的发展，这方面的需求越来越大。为了解决这一问题，在中间件的开发上，一些包含微处理器的单片机模块被越来越多地使用进来，Arduino就是这样一款产品，它是一块包含了微处理器的集成电路产品，提供若干的数字与模拟输入与输出端口，可以直接通过USB接口与计算机相连，可接收大多数传感器的数字与模拟信息，并最终将信号通过计算机串口传入计算机中。

除了将传感器的信息传递给计算机，Arduino还可以将计算机发出的信号通过该模块传输给外部机电设备，如控制电机或LED光源等。甚至抛开计算机，仅利用Arduino自身的微处理器，便可实现真实世界控制真实世界，如传感器采集用户的肢体语言发出的指令，再通过Arduino的数据处理，转而控制同样连接在Arduino上面的小车的移动或灯光的变化等。

Arduino真正实现了计算机的虚拟世界与现实物质世界双向的信息交流问题。也就是说微处理器模块不但可以将参观者的行为等信息通过传感器传入计算机，也可以将计算机互动设计的反馈信息再通过该模块反馈回去，再去控制现实世界。Arduino通用性更强，适用范围更广，为交互界面硬平台设计提供了更多的可能性，为互动设计带来更多人机对话乐趣。

图11-4　Arduino和Wiring单片机模块

应用于新媒体交互设计的单片机模块种类很多，除了Arduino外，还有具有更多输入输出端口的Wiring，如图11-4。即使是Arduino，也有应用于不同场合的数十种型号的产品，有端口极少的只有硬币大小的Mini型、具有蓝牙功能的无线型等可供选择，为互动媒体的界面设计带来更大的发展空间，如图11-5。

图11-5　Mini和无线型Arduino

11.3　Arduino的应用

中间件Arduino为传感器与计算机的数据传输提供了一个通用的平台，一个标准的Arduino带有6个模拟端口和13个数字端口，负责同时接收和输出多路不同类型的信号，Arduino提供了一个专门的程序编写环境，通过将控制程序烧录到Arduino的微处理芯片上，让Arduino按编写好的程序指令去进行信息的沟通与控制。

11.3.1　Arduino的工作原理

Arduino是一个电子模块，通过USB线可以与电脑直接连接，可以直接通过USB线由电脑供电，当然如果负载过大也可以用外接电源。

标准的Arduino模块配有6个模拟口和13个数字口，可以根据实际需要设置成输入或输出端口，它们负责接收或发送信号，实现计算机与外界物理环境的对话，如图11-6。例如如果要接入一个红外线开关类的传感器的信号，由于是数字信号，可以将其接入Arduino的一个数字端口。而如果要接入一个感应温度的温度传感器，由于它是随着温度的变化而不断变化的模拟信号，则需要将其信号线接入Arduino的模拟端口。

图11-6　Arduino模块基本结构

11.3.2　Arduino的安装

在使用Arduino前，必须先安装硬件驱动程序。将Arduino连接到计算机USB端口，第一次连接到计算机时，系统会提示安装硬件，到Arduino官网上下载最新的安装程序，按提示指定驱动文件目录，便可顺利完成安装。安装完成后打开系统设备管理器，在端口列表中可见USBSerial Port，表明硬件已安装完成。

11.3.3　Arduino的编程环境

Arduino主体是一个微处理芯片，它负责对所有输入与输出数据进行预处理，比如采集数据次序、采集频率、对端口的控制等，Arduino有很多端口，每个项目都有不同的连接，如何将这些信息传递给计算机都需要程序进行控制。

Arduino的程序控制是将程序事先写入控制芯片中，由芯片按程序设定对信号进行管理。在连接好硬件线路后，下一步就是在Arduino的软件编程环境中编写调试程序，并最终烧录到芯片中。Arduino的编程环境非常简单明了，编辑窗口的主体是源码编写区和下面的信息反馈区，编写好的源码先要经过编译，结果会显示在信息反馈区中，通过编译的程序才可被烧录到芯片中，如图11-7。Arduino模块的芯片可以被重复写入程序，在不同的项目中反复使用。

图11-7　Arduino编程窗口

打开编程页面，需要对COM口进行确认后方可进行程序编译。打开计算机系统的控制面板，检查安装的Arduino的COM端口编号，然后在Arduino编程环境中，打开菜单TOOLS，选择正确的COM端口编号，正确设置后即可开始魔幻之旅了。

11.4　Arduino的编程规则

11.4.1　HELLO程序

这是一个最简单的Arduino程序，也是一个数字信号输出的处理方法，芯片将控制插在13号数字端口上一个LED灯的开关过程，使其按每秒一次的频率闪烁。程序编写好后，先要进行编译，编译通过后，将程序烧入微处理芯片中，最终即可看见插在13号数字端口的LED灯每隔1秒亮一次。

对上面的程序进行改进，在1号数字端口插入一个数字开关传感器，来控制13号LED灯的开关。

11.4.2　模拟信号输入

在Arduino的实践应用中，除了数字信号的处理外，很多时候还需要将非开关类传感器所发出的模拟信号，如温度、湿度等信息传送给计算机，那么Arduino如何将接收的模拟传感器的信息发送给计算机呢?我们可以看下面的程序段:

通过上面两个例子，我们会发现Arduino的编程非常简单明了，很容易学习掌握。由于本书受篇幅所限，对于更复杂的数字或模拟信号的输入与输出，建议大家访问Arduino的http://www.arduino.cc/技术主页，获取更全面的信息。

11.4.3　与应用软件连接

Arduino可以将外界的物理信号接收进来，并可通过USB端口传递给计算机，计算机将接收到的信号传递给交互设计软平台来控制虚拟平台的元素，如控制Flash或Director的文件播放或动画执行等。

Processing交互设计软平台可以直接读取计算机串口数据，但并不是所有的软件平台都能直接获取串口数据，像Flash或Director都没法直接接收串口数据，而需要一些代理程序进行数据传递。如为了安全起见Flash没有外接的数据接口，但可以通过XML socket来实现与串口代理程序的数据传递，可供Flash选用的串口代理程序有很多种，如serproxy或SS6都是比较常用的方法，通过这些串口代理服务器，Flash可以很方便地接收Arduino传给计算机的串口数据。

在互动界面软平台系统中对串口数据进行分析处理，用串口数据去控制动画运行或视频播放等效果，图11-8所示的交互作品实例中，通过对插入到兰花花盆里的湿度传感器数据的采集，Arduino将湿度模拟信号传递到计算机串口，Flash通过串口服务器接收到实时数据，根据数据来控制虚拟世界中植物的生长。

图11-8　湿度传感器互动设计

【本章思考】

1.分析交互界面硬平台的设计流程。

2.归纳交互界面硬平台的设计方法。