徐迎庆：这7年我们如何做出一款让盲人走进互联网的产品 | 微软亚洲研究院院友会
11月14日下午，微软亚洲研究院在自己的18岁生日之际邀请到众多前微软研究院的成员，现清华大学教授徐迎庆分享了《针对视觉受损人群的触觉认知研究》主题演讲，讲述了过去7年中他和他的团队在触觉研究上的感悟与成果。本文根据徐迎庆的演技整理而成，在不影响愿意的情况下略作删减。
这个项目在微软期间就开始了，大概做了7年。我想做的是针对视觉受损人群的触觉研究。从WHO（World Health Organization）的数字来看，全球有2.85亿人是视觉严重受损，这个数字是可怕的。我们曾经在盲人学校看到，同学们虽然视力严重受损，但是有的同学每天把头贴在屏幕上，渴望着与外界的沟通。记得几年前我们开始这个项目的时候，有一个研究生去了盲人学校回来之后感动得热泪盈眶，她说这些孩子特别了不起，一定要做一点事情为他们。
从那时起，清华大学鲁晓波教授、史元春教授、和我本人就共同发起了这个项目至今。我们希望通过触觉和触觉交互的设计，结合语音等多通道的沉浸认知让盲人通过触摸学习更丰富的知识，比如复杂的图形图像的理解。目前国际上这是一个前沿的研究热点。针对盲人的交互研究有很多的工作已经做了，比如可穿戴移动互联网辅助设备、智能导航盲杖、盲人手表、移动PDA等等，包括各种各样的语音识别软件。这里顺便说一下，如果你们看过盲人用语音聊天，你会感觉非常惊讶，我们现在的语速加速3倍、5倍以后是他们语音的聊天，他们能听得懂，我们跟不上。触觉图像的大幅面、高精度研究，美国、欧洲很多实验室都做过尝试。在多通道方面，我们过去几年一直在开展这个工作。
触觉图像就是通过实体表面的凸凹理解图像，为用户提供直接的触觉体验，可以触觉渲染，也可以视觉渲染。另外制作出这些图像有很多种方法，比如热塑、微囊纸、热敏纸、触点打印等等，这些设备相对来说制作起来不方便，而且相对没有那么多，还有点贵。同时带来一个问题，打了很多纸，纸很厚，有凸凹点，不容易存放和运输，而且只能显示静态的东西。
大家知道互联网的发展，在互联网上除了文字更多的是图形、图像、视频，这样发展的趋势把盲人朋友放在了互联网之外，他们如果没有一个好的工具，就更没有办法理解这个东西，这是一个非常大的挑战。尽管现在有盲人图书、盲人打字机甚至盲人点显器，但是怎么帮助他们学习图形图像抽象的东西，以及获取互联网的信息，这不仅是挑战，而是全人类面临的义务和责任。
触觉图像显示器市场上大尺寸非常贵，而且大尺寸也不是大家想象的那么大，这个就是比较大的了。太小的尺寸，由于分辨率的问题认知效果就大打折扣。即便这样一个小的现在提高价格差不多5.5万欧元，将近40万人民币左右。
针对这样的问题，我们从几方面下手。首先是沉浸认识，要做触觉的东西，从认知的角度，什么是他们能够接受，他们习惯的以及他们能够真正通过触觉来理解的图像。另一方面仅仅是触觉，大家知道盲人的听觉也非常的发达，从听觉的角度来说，触觉和听觉的多通道怎么融合，开发多通道的沉浸的体验，同时我们希望能够开发一款相对低成本的触觉图像显示器。
比如如何提高盲人图形图像的认知和交互体验，如何设计触觉图形。如果把普通的图像简单地提取一个边缘的话，从触觉人质的角度来看是很难理解的，必须有一套相对来说经过改进的图像便于触觉理解。如何设计既有高精度、大幅面又低成本的图像显示器，以及在更多的场景下如何融入触听觉沉浸式信息的获取。我们非常幸运有很多的合作伙伴，例如：北京盲人学校、北京联合大学特殊教育学院，我们和这些专家们探讨如何探索图形库的内容的框架。
我们为测试做了很多的图形准备，这些是从标准的图形库中拿出来的，然后进行很多筛选和用户访谈，包括来主动、被动的使得图形能够更加有效的被识别。这个过程中我们发现了很多与我们的假设完全不一样的事情，比如我们一直认为一个后天的盲人和先天的盲人同样接触识别一组图形的时候，应该是后天的识别的更好，因为他有过经验。但我们的实验表明，先天的盲人表现更好。后来才发现，这些后天盲人的先天经验干扰了他们对正确结果的判断，这些是完全和我们的想象不一样的。还有一个问题是，发生在什么时候。我们每周都在做用户体验的设计，包括主动和被动的。和他们一起讨论，什么样的图形是合适的，怎么提取这里面的关键内容。
同样我们也提出了一套触听觉多通道的交互模型，希望能够从认知能力上，不同的通道能够占用不同的脑力资源，能够从交互界面上触觉和听觉的信息分别占据不同的传输空间，使得干扰最小、融合最大。这个项目本身也是多学科的融合，除了我，还有清华大学美术院系鲁晓波教授、计算机系史元春教授，清华医学院的洪波教授，还有中科院心理所的刘烨研究员、以及我们的研究生焦阳、龚江涛等等。
通过大家的努力，我们得到非常有意思的数据。我们能够看到听觉区域两个方面都是差不多的，而在大脑的结构上盲人的视觉区域小于明眼人的视觉区域。盲人触摸东西非常快，那个速度让我们惊呆了。但是通过脑核磁脑的成像，盲人与明眼人手部运动在脑的成像是差不多的，这个让我们体会到其实我们闭上眼睛经过一但时间训练也可以达到，有些东西是由后天训练确定的。所以当时的一些假设，比如盲人的视觉区域比正常人小，fmRI结果支持了第一个假设，但是我们觉得盲人的手的运动区域要大，但是在实验中没有支持这个假设。这是多学科交叉和融合的工作。
我们对这样的一个设备做了功能的设计，比如我们希望它有这样的一些功能，能够支持、学习、社交、分享。我们提出的技术指标，渲染幅面大于120×60点，现在有7200点，如何在这么小的空间上控制7200点，能够真正实时的显示出来，这并不是简单的事情。这个工作为什么这么困难做了这么多年。这么小的结构，直径1毫米，这样的结构上，我们在这上面设计了几套机械联动装置。
再谈一下产业化的东西，首先如为盲人朋友提供更好的服务是各国政府关心的问题。中国政府也非常关注这个事情，我们也拿到了国家的重大专项的支持，同时联合国儿童基金会，中国残疾人协会等也一直关心相关的研究。我们也在和百度合作，这个项目如果做出来原型，我们会和百度做盲人搜索平台，盲人用这样的设备来搜索、购物，做力所能及的事情。刚开始可能不能什么都做，但是万水千山第一步总是要迈出去。
除了给盲人用以外，我们在计算机视觉上也提出了一些新的挑战。比如什么是图像语义特征，什么是触觉图像的语义特征，如何提取这种图像。例如，简单的阈值计算或者提取边缘并不能够使得盲人能够理解这样的图像，只有真的有语义的、精炼的表达出来才有可能对图像压缩、编码、传输真正起到帮助作用。借这个机会，我也特别感谢微软研究院曾经给过很大的支持，现在一直也在关注和关心这个项目。同时，也有很多单位给了这个项目很大的支持和赞助，比如微软亚洲研究院、Intel中国研究院、百度公司、国家自然科学基金、国家重大专项研究计划、北京盲人学校、北京联合大学特殊教育专业、中科院软件所、中科院心理所、联合国儿童基金会、清华大学美术学院、计算机系、医学院、心理学系等等。衷心感谢团队中的每一位成员的努力！
雷锋网原创文章
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
