算法式生存

文／ 陈赛   插图／ 田克

一个叉子所代表的美丽新世界

去年，法国人发明了一种智能叉子，内置了传感器和芯片。当你吃得太快的时候，叉子就会震动一下，提醒你慢点儿吃。

据设计师说，这个叉子的灵感来自他妻子的抱怨——他平常吃饭总是狼吞虎咽，另外，也是为了帮助很多肥胖症患者，他们无法控制自己的暴饮暴食。

这个叉子起码传达了两个让人不怎么安心的讯息：1，人类并不是那么擅长思考和自我控制的物种； 2，算法通过分析我们的行为，可以监督我们选择，甚至帮我们做出决断。

机器不会说谎，它们是中立的，客观的，理性的，所以，它们的判断比人的判断更值得信任——在心理学上，这种信任感也叫“自动化偏见”，即人们倾向于信任技术，而非不信任技术。因为这种偏见，我们明明很熟悉的一条路，也会跟着GPS的指示而走错。有人认为，正是这种偏见导致了2009年法航477的坠落。同样，我们相信相亲网站的算法希望我们找到最完美的生活伴侣，大众点评网想让我们找到最好的餐馆，亚马逊希望我们看到最符合品位的书，自动驾驶汽车会减少事故的发生，程序能预测和预防犯罪。

相比之下，人类的判断力则备受质疑。人会犯错，包括事实的错误和判断的错误。我们的视野之中有盲点。我们的注意力之间有鸿沟。有时候我们甚至不能回答最简单的问题。上周这个时候我在做什么？我的膝盖疼了多久了？我一天大概花多少钱？因为人的脑力有限，而且我们只能根据残缺的信息做判断。即使信息全面了，我们的判断仍然受到各种认知偏见的影响。比如我们总是喜欢那些同意我们意见的人，而忽略相反的意见（确认偏误）；人们总是习惯把先前发生的事件放大化，并相信它们会影响到未来的结果（赌徒谬误）等等……越来越多的科学家相信，所谓理性思考与自由意志都不过是人的幻觉而已。

作为人类在混乱的现实中对理性与秩序的一种渴望，算法的判断力建立在计算机海量的存储能力与迅捷无比的数据挖掘能力之上。随着“物联网”(internet of things)的兴起，这种能力被赋予越来越多原本沉默的日常之物，既然一个叉子能计算你的吃饭速度，牙刷就能监控你的刷牙时间，鞋子就能纠正你的走路姿势……根据全球技术研究和咨询公司Gartner的最新预测，到2020年，物联网终端将增加到260亿个(不包括个人电脑、平板电脑和智能手机)。

一个由算法所规定的美丽新世界已经初具雏形——搜索引擎引导我们在庞杂的信息之间穿梭，告诉我们哪些信息更重要，更有用，更值得关注；推荐算法根据我们的兴趣和品味，告诉我们应该看什么电影、读什么书、听什么歌；社交网站上各种热门查询算法告诉我们应该跟踪什么潮流与八卦；在美国，警方利用谷歌地图和犯罪数据、社交媒体决定在哪里巡逻；算法比任何保险公司或银行都了解你的风险状况，比如你发生意外或抵押贷款违约的可能性；算法据称还能编写出有灵魂的音乐，在伦敦交响乐团管的演奏之下，竟然没有人能听出区别。但是，有多少人意识到它们背后所编码的权力，以及这种权力一旦被滥用所可能带来的后果？

“玻璃牢笼”：算法的错误与偏见

在即将出版的新书《玻璃牢笼》中，学者尼古拉斯·卡尔很为这个世界过度依赖于自动化的倾向忧心忡忡。他认为，一种节省劳动力的工具，不仅为一项工作的某个环节提供替代品，它还会改变整个任务的性质，包括参与者的角色、态度和技能。简单的说，机器越聪明，就越容易滋生人在心智上的懒惰与迟钝。而且，算法并非万无一失的。算法也会犯错，它们也有偏见。只不过它们的秘密被深锁在层层的技术复杂性之后，就像一个不透明的黑盒子。绝大多数时候，我们根本意识不到黑盒子的存在，更遑论它们的运作原理。直到一些诡异的现象发生，令我们不得不质疑一连串数学公式背后可能的动机——如编程者的意志、商业逻辑、意识形态，或者只是bug作祟？

一个经常被提起的案例是，2010年5月6日发生的所谓“2 : 45的瞬间崩溃”中，美国股票市场的9%消失了5分钟。一名马虎的交易员因为道琼斯指数下降10%受到了指责，但其实，这名交易员当时正在使用的计算机程序才是“罪魁祸首”。短短20分钟之内，这个算法将7.5万股股票以26亿英镑（约为42.57亿美元）的价格抛售，导致其他高频交易算法如法炮制，股市9%的财富瞬间消失，所有人目瞪口呆。没有人知道究竟发生了什么事情，然而，几分钟之后，市场恢复正常。

算法为什么会出错？任何一个懂编程的人都会告诉你：“很简单，算法是人写的。而人会犯错误。”作为趋利避害的生物体，犯错是我们的基本功能。尤其当算法被应用在社会科学与金融交易领域，关于模型与输出的理解较少，环境也更加动态，潜在的问题也会更多。

同样，算法也从来不是中立的。任何一种决定过程（决定如何取舍、排序、分类等），无论人或者算法，无论有意或无意，都有可能引入偏见或误 差。

我们大部分人不会怎么费心去想一个搜索引擎的“偏见”。问一个问题，得到一个答案，再简单不过的一件事情，就跟查字典一样，不是吗？作为世界上最强大的算法之一，谷歌的PageRank号称“由5亿个变量和20亿个词汇构成”，这么巨大的数字本身似乎就代表一种科学上的客观性。但真实情况要复杂的多。Pagerank对搜索结果的重要性的判断，本质上是基于流行度（链接的数量）以及别人对其重要性的理解——“被越多优质的网页所指的网页，它是优质的概率就越大”。除了PageRank之外, 谷歌的搜索引擎还要通过200多个信号来排列搜索结果——包括地址、个性化、时间表、质量(e.g. 垃圾信息/内容农场)等，每一个信号都代表一种信息之相对价值的判断。

随着谷歌的重点从关键词搜索过渡到语义搜索，问题正在变得更加复杂，因为言辞分析必然涉及道德判断、甚至政治判断。比如“独裁者”，一个搜索引擎要如何判断一个历史人物是否独裁者？如果你要搜索“人生的意义”呢……当越来越多的诸如“独裁者”之类的概念知识被融入我们获取信息的方法之中，我们在不知不觉中接受一系列隐含的假定。搜索引擎不再只是信息重要与否的裁决者，他们还是真相的仲裁者。会不会有一天，它也成为道德的仲裁者，告诉我们什么是对，什么是 错？

事实上，这一倾向在谷歌两年前推出的智能个人助理Google Now中已经初露端倪。通过分析Google手中关于你的信息，Google Now会为你的问题预先准备好答案，并且自动以卡片的形式推送给你。例如每到月底时，它都会愉快地报告你本月步行或者骑车了多少英里，即使你从来没有问过这些问题。“在这里，谷歌假设，与开车之类的方式相比，走路更加重要，或许更加道德。它明确无误地在其应用上‘烙上了’道德标签”，互联网批评家叶夫根尼·莫罗佐夫将这种做法称为“算法说服”(algorithmic nudging)。而且，他认为，随着谷歌的各项服务整合为一体——地图、邮箱、日历、视频、图书，谷歌将越来越了解我们在道德上的失败之处；而他们的无人驾驶汽车、智能眼镜、智能手机等产品则通过介入我们与环境之间的互动，不断扩大 “算法说服”的空间。

在叶夫根尼·莫罗佐夫看来，“算法说服”的危险之处在于，它以“产品工程设计”(product engineering)的表象掩盖“社会工程设计”(social engineering)的本质，以为只要有了足够的数据和正确的算法，就能对人的行为进行精确分析、判断、预测，并做出引导。人类不再被视为能够独立思考的公民，而是在一个个痴迷于自我优化的系统中被当作螺丝钉，对系统本身的构成毫无怀疑，甚至根本没意识到它的存在。

为了避免大数据与算法可能造成的“暴政”，莫罗佐夫和其他一些思想家认为，人类需要选拔一类“程序监督 员”——他们是公众信赖的代表，可以审查代码，比如谷歌的页面排序算法如何计算网页的权威性、facebook的算法如何组织朋友之间信息与交往的流动、推特的“趋势”算法怎样决定主题的流行度等等，看看其中是否埋藏了绝对的政治和道德判断，并将他们的发现公之于众。事实上，谷歌、facebook这些大公司一旦在算法上有较大的变动时都会发表公开的声明和解释，但他们不可能完全公开算法的运作，从而威胁到自己的商业竞争优势，或者使自己的算法陷入被恶意玩弄或操纵的危险。

逆向工程——破解黑盒子

哥伦比亚大学新闻学院数据新闻研究中心的研究员Nick Diakopolous的一篇论文《算法责任报道》中设想了一种逆向破解黑盒子的方法——通过对算法的输入输出进行多次逆向分析与研究，从而推导出一个关于算法背后运作机制的理论，至少是一个故事。这与工程师的思维一脉相承——了解一个事物如何运作，最好的办法就是把它拆开。

在这篇论文里，Nick Diakopolous把一个算法的“决定”过程拆解成四种基本单元，优先级、分类、关联与过滤。这些基本单元的排列组合，又会构成一些更复杂的复合型决定，比如相关性算法（relevance），就是对关联的结果进行优先级排序；或者摘要算法（summarization），先优先级排序，然后通过过滤操作整合信息，同时保持信息的解释空间。去年，雅虎花3000万美金收购英国少年尼克·D·阿洛伊西奥开发的Summly就是一种自动摘要算法， 它能对文章的文本内容进行分析，然后帮助读者将长篇的新闻缩减为140字以内的精髓总结。

在拆解过程中，你会发现（即使你不是计算机科学家或者统计学家），算法的每一个决定都涉及信息操纵的可能性。比如，无论优先级排序、分类、关联，或者过滤，它们的标准是什么？这些标准内置的选择与价值又是什么？是否有政治化倾向？测量与实施这些标准的界限在哪里？训练数据本身是否有潜在的倾向性？……

在巴尔的摩和费城，警方已经在利用算法预测哪些囚犯被释放后会再犯罪——他们的软件基于犯罪数据库，根据地理位置、先前的犯罪类型和上一次犯罪的年龄等变量进行优先级计算。据称“该软件旨在取代假释官根据假释犯的犯罪记录做出的判断。”80年代中期，斯坦福大学的计算机科学家Terry Winograd就曾经严厉攻击人工智能的哲学基础，他认为人类的日常行为太过复杂与自发，无法用几条规则来总结。尤其当事关一个人的自由，或者社会公正之类的问题时，是否真的能靠一个数学公式来做出公正、公平的风险评测？

不久前，Facebook为庆祝创立十周年推出一个名叫“回首好时光”（A look back）的新功能，将你在Facebook注册以来的重要时刻自动浓缩为1分钟的影片。Facebook的算法是怎么定义你一生中的“最重要的时刻”的呢？除了最多人点赞的近况更新，最多人点赞的照片之外，这个算法优先选取的还有婴儿、孩子、笑脸、集体照等元素。如果你的facebook缺乏这些元素，你的人生就会显得惨淡许多。

艾利·帕雷瑟是一位美国左翼政治与互联网活动家，但喜欢在facebook上结识保守派人士，“我喜欢听他们的想法，查看他们的链接，从中学到点什么”。直到有一天，保守派朋友的信息从他的动态消息（newsfeed）里突然消失了。原来Facebook在观察他所点击的链接时发现他点击自由派朋友链接的次数比保守派朋友多的多，于是自动将后者排除在外了。这样的“过滤”操作在网上比比皆是。没有它，我们会被淹没在信息爆炸的海洋里。但一旦走到另外一个极端，我们恐怕同样要付出惨重的代价，因为你既无法决定什么被包含在内，更看不到什么被编排在外。

有一种说法是，互联网正在从“搜索”的时代进入“发现”的时代。二者的区别在于：搜索是你明确地知道自己要找什么东西，而发现是你并不明确地知道一些好东西存于世上的时候，这些东西主动找到了你。从算法的角度来说，这其实是一种对“相关性”（relevance）的判断——通过分析你在网上留下的历史数据（包括所有的表述、分类及评价方式等）等纬度，判断什么样的结果可能与你的兴趣、爱好或者价值观最为相关（“与非洲死去的人相比，一只不幸死在你家门口的松鼠与你更为相关”——马克·扎克伯格）。比如当Google一个关键词时，你得到的不再是PageRank计算出来的最权威的网页，而是谷歌认为对你个人而言最好的结果。同样是搜索关于气候变化的证据，一个环境保护主义者与一个石油公司的老板得到的结果会是完全不同的。也就是说，你的搜索被“个性化” 了。

随着大数据时代的来临，几乎所有大网络公司都在“个性化”的名义下代替用户评估和推荐他们从未尝试过的东西，包括新闻、图书、娱乐等。比如亚马逊擅长搜集和分析读者使用电子书的习惯——什么地方做了标注，是否读完了整本书，如果没有，是从哪里开始放弃的等等（正所谓“不仅你在读书，书也在读你”），由此它不仅了解读者喜欢什么，还了解他们不喜欢什么。这意味着它在推荐它所认为的“好书”的同时，也在排除它认为“不好”的书。这家公司最新获得了一项名为“预先发货”的新专利，基于算法的智能发货系统可以根据用户的购买习惯和兴趣爱好，在用户下单之前就开始发货。

帕雷瑟后来写了一本书《过滤气泡：互联网向你隐藏了什么？》，指出互联网的个性化热潮将产生一个危险且意料不到的后果：我们被彼此隔绝在一个个“过滤气泡”之中。在这些气泡里，你可能会觉得很自在，因为它是根据你的世界观、意识形态和预设进行剪裁的，但其代价可能是删除所有我们不同意的观点，躲避一切我们不愿意面对的真相，以及错过其他一切可能开拓我们视野的东西。

正如《纽约书评》上的一篇文章指出的，算法真正的偏见在于，它本质上是减约式（reductive）的。它被设计出来，就是为了在看似庞杂零散的数据中寻找模式和意义。那些它认为“无意义”的数据会被当成噪音无情的抛弃，或者忽略不计。但与之一起被抛弃的，很可能还有人类体验的丰富性与复杂性。

我们都应该学点编程吗

在《机器的力量与人类的理性：从判断到计算》一书中， MIT的科学家乔瑟夫•魏泽保认为，人类永远不应该允许计算机为我们做出重要的决定，因为它们缺乏某些至关重要的人类特质，比如同情心与智慧。他还认为选择与决定是两回事——决定是一种计算行为，可以最终被编程；选择则是判断的产物，才是人之所以为人的能力。复杂的人类判断包含非数学的因素，如情感、道德。任何算法都不应该混淆二者之间的界限。

今天，这条界限早已模糊。数据的采集不再仅限于文本性质，而是扩展到从神经生理学指标（我们燃烧的卡路里太少了吗？）到情绪指标（我们感觉焦虑还是兴奋？）等非语言数据。这意味着我们的喜好、思想、行为、价值观都成为可计算可预测的内容，并最终被用来决定你应该知道什么，如何知道，以及如何行动，甚至如何参与社会。在这样一个越来越程序化的世界中生存，我们显然需要更高的技术智商，或者说一种与技术相处的智慧。

在美国，像Codecademy之类的网络编程学校掀起了一股全民学编程的热潮，包括美国总统奥巴马、纽约市长布隆伯格、NBA篮球明星克里斯据称都在学编程。“编程，或者被编程”，一时间成了一句时髦的口号。按照他们的说法，基础的编程能力其实是一种运用逻辑、抽象思维解决问题的能力，而且并不难学。

“编程，或者被编程”是Douglas Rushkoff写的一本书的题目。他现在是Codecademy的顾问，鼓励每个人都要学点编程，但三年前他是从一个更宽泛的意义上来思考“技术的偏见”这个问题的。所谓“偏见”，或者“被编程”，是指一种技术对人的某种行为模式的强化趋势——比如汽车的偏见是向郊区扩张，枪支的偏见是杀人（你会说，枪不会杀人，是人杀人，但事实上，枪比枕头更偏向于杀人）。让一个心理医生躺在自己诊所的椅子上时，也难免呈现心理病患的特征。

他认为，与这些技术相比，数字技术的偏见更加隐蔽，对现代人的思维与行为方式的影响也更为深刻。所以，在一个程序化的世界里保持一定程度的自主性，第一步就是意识到这些偏见的存在本身。我们越是批判性的使用这些技术，就越能理解人与技术之间坚固而又脆弱的关系——包括我们能从技术那里获得的，以及技术想从我们这里得到的。比如，每个人都应该知道，我们敲到电脑里的每个字，对着手机说的每句话，或者点的每一个“赞”，都会被散播到整个数据网络，绝大部分会被记录在案，并由大数据服务器解析处理。为什么Gmail和Facebook是免费的？因为我们在用自己的数据付费。我们不是顾客，而是产品。

01

什么是算法？

算法，就是用计算机语言编写一组指令，告诉计算机如何一步步处理信息，最终解决一个特定的问题，或者达成一个既定的目标。从根本上来说，它是一套决策系统：考虑、权衡所有参数或信息的重要性，并决定其中最重要的，或者最有价值的。就像跟着食谱烤一个蛋糕，只不过不是按照一般经验来决定面粉的量和烤箱的温度，而是尝试了各种变量之后，从一堆备选方案中得出一个最佳结果。

02

拆解黑盒子

Prioritization

优先级

纽约市消防局利用排序算法，给33万栋建筑物都标注了火灾风险指数。每周检查时，算法会根据这一分数给出一个列表，提醒他们哪些建筑物应该优先注意，比如旧的、闲置的，或者贫民区的房屋结构更容易发生火灾。学校和图书馆等也会受到格外重视。

Classification

分类

物以类聚，人以群分，分类是我们在日常生活中每天都要面对的问题。分类算法的应用非常广泛，如医学疾病判别、垃圾邮件过滤、垃圾短信拦截、客户分析等等。

Google的Content Id 就是一种典型的分类算法，它会自动扫描所有上传到youtube的视频，并根据其中是否含有版权音乐内容进行识别和分类。一旦系统将你的视频分类为“侵权”就会自动删除（过滤），或通知版权方。这是一种简单粗暴的分类方法，根本不考虑版权法中“公平使用”的原则或者背景敏感性。

Association

关联

在不同的实体之间建立关联，包括语义关联、内涵关联等。

去年，哈佛大学一项学术研究发现，谷歌搜索结果中包含“明显的种族歧视”。如果你搜索如 Brad、Luke、Katie等白人的名字，搜索结果旁边的广告会显示“你需要他们的联系方式吗？”但是，如果搜索的名字是如 Leroy、Kareem、或是 Keisha 等黑人的名字，结果却变成了“这些人被关进去了？

Filter

过滤

根据某种规则或者标准，包含或者排除某些资讯。敏感词过滤就是我们最熟悉的一种。

过滤本身则经常同时涉及排序、分类、关联等操作，比如Zite、Flipboard这种个性化新闻阅读应用，其过滤新闻的过程就是先对新闻进行分类，再与用户的兴趣建立关联，并且进行优先级排列。

03

逆向工程

“逆向工程”是Nick Diakopolous从一个新闻调查者的角度提出的方法。在法律暂且缺位、又有商业机密的门槛，这至少是一种监督手段，作为对算法可能的负面力量的一种钳制。他本人就用逆向工程的方法调查了谷歌和必应的搜索引擎自动完成算法是如何屏蔽或审查性与暴力相关的关键词的，以及这些算法在应用它们的编辑标准时会犯哪些错误。他从学术与俚语词汇库中搜集了110个与性相关的关键词，分别一一输入，看哪个结果出来是空的，很可能就是被屏蔽的词汇。他的调查结果显示，绝大部分单词是被立刻阻止的，比如ass和tits，但也有一些并没有被屏蔽。尤其是当在关键词前面加一个“儿童”之后，被屏蔽的几率反而更低了。这显然是算法的一个严重失误，因为这些搜索很可能是直接与儿童色情相关 的。

04

道德答案搜索引擎

丽贝卡·戈尔茨坦在《柏拉图在谷歌》中想像柏拉图访问谷歌位于加州的总部，遇到一位软件工程师向他兜售“道德答案搜索引擎”，解释为何“众包”能比哲学家更好地回答“人应该如何生活”这一问题。

05

乔瑟夫·魏泽保

70年代中期，MIT的科学家乔瑟夫·魏泽保开发了一个能模拟心理治疗的对话算法ELIZA（取自萧伯纳《卖花女》中的伦敦女孩伊莱扎）：它从用户自己的语言中提取关键字，然后用他们的原话进行反馈。尽管很简陋，但只要语境得当，ELIZA几乎就像一个善解人意的心理医生。当时，它被认为是第一个“会思考的机器”，医学界认为魏泽保找到了一种绝妙而实用的心理治疗术。魏泽保却在自己的研究中看到一种危险的可能性：人们竟然会那么迅速、深入的对一个简单的程序产生虚幻的感情。他最终成了当时人工智能最强烈的反对者。

06

一个心理实验

纽约大学的心理学教授加里·马库斯在《纽约客》上提出过一个生动的思想实验。假设你坐在自动驾驶车中通过一座窄桥，一辆满载小孩的失控校车朝你猛冲过来。桥上没有地方允许两辆车错车而过。自动驾驶汽车能否做出决定驶下窄桥，以你的死挽救孩子的生命？