从操纵到对抗，算法进攻人间
专栏推荐 雷慢 · 新金融洛书 2022-01-17 阅读：3211
引：我写过几篇算法的文章，它们是一个系列，在此集结。
一、算法的威胁
2016年，特里斯坦·哈里斯——这位谷歌的内部道德设计师决定离职，此时的他已经意识到，Facebook、谷歌（YouTube、谷歌搜索）、推特这样的互联网科技公司为了商业利益，利用算法吸引人上瘾的产品设计，是不道德的。这已经成为：
“人类生存的一大威胁”。
他想到了对抗。实际上，特里斯坦·哈里斯任职谷歌期间，谷歌有知名的“不作恶”准则。但这一准则并没有阻挡住算法基于商业利益走向偏路。离职两年后，特里斯坦·哈里斯拉着Facebook和Google等大公司离职或在职的技术专家，建立了一个叫“人道科技中心”（Center for Humane Technology）的组织，这个组织在2018年成立，用来——
对抗硅谷互联网公司让人上瘾的设计理论。
除了特里斯坦·哈里斯，参与这个中心工作的人，还有前Facebook运营经理；苹果公司和谷歌前通讯主管林恩·福克斯；前Facebook高管戴夫·莫林；Facebook早期投资人罗杰·麦克纳米。
纪录片截图：“人道科技中心”（Center for Humane Technology）
2017年前后，很多硅谷公司的高管，感觉到了算法操持的互联网平台，出现了道德伦理危机，纷纷离开了所在公司，2020年，网飞（Netflix）公司拍摄了一部纪录片叫《监视资本主义：智能陷阱》。片中，Pinterest 的前总经理、Facebook的前盈利总监Tim Kkendall说他担心算法操纵的世界最终导致美国内战；一个从谷歌出来的工程师，担心整个互联网产业的道德沦丧……
曾与马克·扎克伯格（Mark Zuckerberg）一起创办了Facebook的克里斯·休斯(Chris Hughes)离职后多年后，批评Facebook说，“扎克伯格是个好人。但令我感到愤怒的是，他对增长的关注导致他为了点击而牺牲了安全和道德底线”。
这样严重的担忧，是什么导致的，问题出在哪儿呢？
纪录片截图：一个前谷歌员工离职的原因
01
2018年，推特CEO Jack Dorsey在一次听证会上说，12年前创办推特时，他没想到推特会变成今天这样……
这段话，与《黑镜》第五季第二集的剧情正相契合，该剧正好也是网飞公司拍摄的。男主Chris Gillhaney因为在一次和女友驾车的过程中看手机社交消息，导致车祸，女友当场死亡。当他恢复过来后，他做了一个类似UBER产品的司机，每天在这家叫“碎片”的社交网站公司楼下接客。终于有一天，他接到了一个这家公司员工，绑架了他，通过要挟这个员工，逐层上接，和“碎片”公司CEO接上了电话，而他只是想告诉这个CEO，社交网站是怎样绑架了人们的生活而导致种种悲剧的。这家CEO的回答和推特CEO的回答很相似：
我当初创办这家公司的时候，没有想到它会变成这样。
“碎片”公司CEO阐述了一种逻辑：一个产品成型后，它的走势就不再是他能决定的，每一次更新和功能改进，都是因为用户喜欢、希望得到的结果，这并不一定是一个CEO想要的。
上瘾，几乎成了所有社交App追求的东西。
《监视资本主义：智能陷阱》采访了很多前硅谷科技公司的前高管和投资人。
作为谷歌前道德伦理设计师的特里斯坦说，当年他在谷歌做邮箱设计时，意识到一个问题，历史上从来没有过50个左右的20-35岁的加州工程设计师做出一个决定，就能影响20亿人，影响他们做出从来没有预想到的想法或决定——当用户早上醒来，谷歌邮箱就告诉他，应该这样工作。工作、文化、生活的意义，都来自一个鬼鬼祟祟的第三方操纵。而谷歌内部，没有一个人想把邮箱做得不那么致瘾。
纪录片截图：特里斯坦·哈里斯——谷歌前内部道德设计师
后来他做了一个呼吁：我们这些工程师，有道德责任去审视、讨论致瘾问题。
特里斯坦发出这个呼吁后，很多工程师都赞同，然后，就没有然后了……
作为Facebook 的早期投资者罗杰·麦克纳米说，硅谷的前50年，IBM、谷歌、英特尔都制造软件或硬件产品卖给顾客，商业模式简单而良好。但过去十年，硅谷最大的公司一直在“贩卖顾客”。
互联网时代以前，人们所发明的东西，都是为大众服务的，自行车、汽车、计算器，它们是简单而中性的工具；当互联网时代兴起后，技术慢慢演变为向人类索取、引诱甚至操纵并从人身上获利的工具，已经由以人为主动型技术环境，转变为以人被动接受的、致瘾操纵型的技术环境。社交媒体不再是等在仓库里等着人去骑行的自行车，或驾驶的汽车，而是会自我学习、分析、操纵、致瘾的东西。
硅谷大公司的高管们就很警惕这个问题，比如比尔·盖茨和史蒂夫·乔布斯的小孩，童年就被要求与电子产品完全隔离。
这正是《纽约时报》2018年的一篇文章所说的，“技术专家知道手机的真面目，所以他们很多人决定让自己的孩子远离这些东西。”
雷慢曾说过，互联网是一个喂养型的社会。这种喂养是经过大数据分析、机器学习决策后，推送给人的。
这也是马克思、弗洛伊德等人对“异化”一次观点所说的，人作为客体被动地接受体验世界和自身；“物凌驾于人之上”。就像系统算法凌驾于外卖快递员之上。机器流水线凌驾于工人之上一样。
02
现在，互联网公司提供了大量的免费产品，FaceBook、微信、抖音、推特，大家都不为使用的社交产品付费。为这些社交App付费的是那些广告商，广告商就是社交App的顾客，而用户成了被销售的商品。这就出现了一种现象：
如果你没有花钱买产品，那你就是被卖的产品。
所以FaceBook、推特这些公司的商业模式就是，怎样让你最大程度的上瘾，花更多的时间在这些App上，付出你人生的时间。
人生值多少钱呢？
哈佛商学院教授Shoshana Zuboff被采访时说，在商业上，FaceBook、推特们为了卖出更多的广告，需要给与顾客确定性，所以，商业广告卖的就是确定性，这个“确定性”就来自用户上瘾背后的“数据分析”。
纪录片截屏：大数据可以记录用户在某张图上停留了多长时间，来判断用户对那种图感兴趣。
这就是纪录片标题所说的核心：监视资本主义。
为了获得数据，这些公司需要监视用户去过的每个地方，每种喜好，每种行为数据，无限追踪、分析、评估，无限逐利。
你喜欢看NBA的视频？好的，在你看下一个同类视频前，给你插播一条篮球鞋的广告。
纪录片截图：算法模型会给用户画像，这个画像是由无数的行为数据建立的。
这些数据不用人看管，机器可以自动深度学习，给出预判，这也是推特CEO所说，为什么这些产品成了当初他们所没想到的样子。
但高管们做了什么呢，预判人们行为轨迹的模型是他们做的，能够自动学习的程序代码是他们写的。
这一切都为了一个确定性：尽可能成功的将用户卖给广告商。Shoshana Zuboff将这个市场称为：
从未出现的、最大的人类期货市场。
过去我们交易猪肉期货、钻石期货，现在人类也成了期货。
上瘾带来的后果是，将你还没想到的部分，用算法推送给你，使它们成为你思想的一部分，还让你觉得这是自己所想的。
FaceBook、UBER等公司的高管都曾在斯坦福大学上过这样一个课程：怎么用技术劝服用户？这类行为被称为：
劝服的艺术。
这是一种极端刻意的、对人们行为进行设计的行为。用户的每一次下拉或上拉刷新，都是一次算法的重新推送。它们深入脑袋里，植入一种无意识的习惯，让人的脑袋更深层次地被编程。
FaceBook曾做过一个“海量规模蔓延实验”，测试用FaceBook上的潜意识信号来让更多人在美国中期选举投票，实验结果是：能。
这种影响并不会触发用户的意识，而是一种潜意识，这意味着用户根本不会察觉。
这种实验，谷歌和FaceBook每年要在用户身上做很多，用户就是实验小白鼠。
03
各种致瘾的大数据分析、算法推送，使美国Z世代的年轻人成为了牺牲品。
纽约大学心理学家Jonathan Haidt提供的数据显示，大概在2011年至2013年前后开始，每年因为割腕自残而住院的少女出现了剧烈上升的趋势。
纪录片截图：近20年，美国每年少女因手机上瘾而自残与自杀的趋势
一个常见的现象是，人在孤独、无所事事的时候，总要找点什么事情做。如今这个空隙被算法推送的网络社交、短视频等占据了，人处理情绪的能力就退化了。
Cathy O’neil是一个大数据科学家。她说，算法是内嵌在代码中的观点，它并不是客观的。算法会被成功的商业模式引导、优化。
通常，在一个像FaceBook这样影响数十亿人的公司里，能明白某个程序算法工作逻辑的就几个人，相对于70多亿的人类来说，可以看成：人类失去了对算法系统的控制。
罗杰·麦克纳米说，这就像一个27亿人的《楚门的世界》，每个人都有自己的世界。没有人发现自己所在世界的本质真相。当然，实际上，活在“楚门的世界”里的人可能更多。在中国，类似的产品有今日头条、抖音等。
算法的每一个推送，都代表着一种商业利益。
在中国，中老年人喜欢看的一些鼓吹、煽动的假新闻视频， 并不是制作者一定相信这些事，而是假新闻传播比真新闻更快，流量能给他们带来商业变现，免费看视频的人，才是被卖的商品。
特里斯坦·哈里斯发明了一套理论：技术超越人类的第一个阶段点是超越弱点，其结果就是上瘾，上瘾会激化愤怒、激化虚荣，压制人类天性，挫伤天性。第二个点是超越人类的智慧。
算法喂养的世界里容易出现种种激化的矛盾，每个人的意见越来越不相容，因为每个人都从不同的推送里了解信息，而这些信息、知识又因为推送不同而不同。当两个因为同一个社交网站的鼓吹而同时出现在街上游行的美国人，对同一件事情产生争论的时候，他们容易发现：
哦，原来我们并没有看到相同的信息。
这种激化的分歧的一个知名例子就是“地球是平的”论，这种论调在YouTube上被推荐了几亿次，因为有的人喜欢，算法每天都在变着法地给人们推送“地球是平的”的内容，“地球是圆的”则被他们当作阴谋，而且越来越多的人相信了这种阴谋论。
这个事件的高潮是，今年2月，因为想证实地球是平的，美国发明家迈克尔休斯在用自制的载人火箭进行发射测试后，坠地身亡。
04
算法只推荐给人们感兴趣的东西，它并无道德感，它唯一的动力是商业利益，它可以一而再再而三地给人们推送虚假、阴谋论的信息。今天可以让人相信地球是平的，明天就可以让人相信喝消毒液可以杀死新冠病毒。
2016年，美国有成千上万的民众相信着一个假新闻——一个有民主党高层参与的地下娈童犯罪组织隐藏在一家华盛顿的披萨店，算法在这个事情发酵中，不停地推荐人们加入“披萨门”小组，直到越来越多的人相信它真的存在。
事件的高潮以一个男子拿着枪要进入披萨店仓库去解救“被迫害的孩子”、半路被警察逮捕了而告终。
在美国，疫情期间的谣言，和算法的推波助澜，加剧了谣言传播，个体各自为政。人们在街上游行，有的喊“新冠疫苗是阴谋”，有的喊“人类基因不适合新冠疫苗”。每个人执着于自己看到的信息。一个政府官员将其称为：
新时期的部落主义。
在算法推送的信息浸染下，2017年的一项皮尤研究中心的数据显示，2017年民主党和共和党的政治分歧达到了20年来最高点。
纪录片截图：2017年民主党和共和党的政治分歧达到了20年来最高点。
在缅甸，2017年以来FaceBook上出现了前所未有、情绪高涨的煽动性言论，这些言论被不停地推送给那些喜欢看的极端民族主义者，催生了严重的犯罪行为、种族主义迫害，并导致了70万罗兴亚族MSL逃离了缅甸。
纪录片截图：缅甸罗兴亚族MSL大逃离
《崩溃》一书作者贾雷德·戴蒙德阐明了社会是怎样崩溃的：一个社会一起推动一种不稳定、消极状态的前进，最终导致了社会的崩溃。贾雷德·戴蒙德的学生曾向他问出一个非常有意思的问题：
17世纪，复活节岛生态环境崩溃前，砍倒了岛上最后一棵树的那个人，那一刻在想什么？
二、登峰造极
算法的登峰造极，是在政治领操纵大选。
2013年，37岁的亚历山大·尼克斯（Alexander Nix），在美国共和党的亿万富豪罗伯特·默瑟（Robert Mercer）出资下，和史蒂夫·班农（Steve Bannon）的主导下，成立了一个叫“剑桥分析”的公司。
同年，一个叫亚历山大·科根（Aleksandr Kogan）的剑桥大学教授，用每人5美元的价格，诱导27万Facebook用户参加了一个他开发的一个心理测验，然后，他收集了这些人和他们的好友信息数据，总共超过5000万份。
第二年，科根将这些数据卖给了剑桥分析，后者用它们做政治咨询业务，分析用户的政治倾向。后来事件曝光，Facebook承认这一数据实际为8700万份。
2016年美国大选，特朗普和希拉里打的火热。各自有支持自己的州，竞选的关键落在了怎样搞定那些“摇摆州”的选票上。
那个主导人班农，成了总统候选人特朗普竞选团队的主管。
班农拉着剑桥分析”，正推行一个叫“阿拉莫计划”的秘密行动，每天差不多花费100万美元在Facebook上给特朗普推送政治广告。后来，纪录片《隐私大盗》披露了一组数据显示，特朗普团队在FaceBook投放了590万个视觉广告，相对应的，希拉里只投放了6万6千个。
2018年，剑桥分析CEO亚历山大·尼克斯；来源：纪录片《隐私大盗》
这些政治广告，正是从那8700万用户数据里，经过数据挖掘、用户画像、机器学习，再精准投放的结果，他们找到想要的选民，将政治广告用算法推送给他们，最终将选民洗脑。
2016年的民调中，希拉里曾以6585万张全国选票高于特朗普6298万张，但在选举人团制（electoral vote）下，特朗普或多或少依靠着窃来的数据，以算法、数据分析进行大众心理操控，在多个摇摆州险胜，赢者通吃规则下拿下了那些州的全部选票。
时至今日，我们没法确定算法操控的政治广告.推送，是不是起到了决定性作用，或许结果是明明白白的答案：
11月，特朗普打败希拉里，当选美国总统。
01
在特朗普竞选团队里，有个功臣，是一个叫布拉德帕斯凯尔的男子，2016年，帕斯凯尔担任特朗普竞选团队的数字战略师，他的办法就是：
通过收集选民信息，精准地定位和分析目标选民，并在此基础上投放政治广告。
后来英国的调查结论显示，剑桥分析正是利用从Facebook那买来的数据，利用选民个人信息监控他们，用心理剖绘手段大规模操控选民的情感反应，拿下了“摇摆州”的民众。
Facebook、推特、YouTube等硅谷公司也很擅长做这些事，他们用算法反复给人们推送喜欢的内容，使人的认知越来越狭窄，观点越来偏执。
一个明显的例子是，2017年的一项皮尤研究中心的数据显示，在算法推送的信息浸染下，2017年民主党和共和党的政治分歧达到了20年来最高点。
所以，当剑桥分析团队面对这种信息舆论环境，推送政治广告的行为就会得心应手。
2018年，英国《金融时报》在一篇文章里说，Facebook这种掌握着20亿用户的大技术公司，已逐渐演化出“盗贼统治”。
02
这种依靠大数据分析，来对大众进行营销的操作，在奥巴马竞选的时候已经上演过一波了。
2012年，奥巴马连任竞选时，他的竞选办公室拿到了巨量的电话名单，这些名单的基本信息包括了姓名、电话号码、年龄、姓别、种族、邻居和投票记录等，奥巴马团队按照这些选民被说服的可能性和重要性对姓名进行排序，再决定用电子邮件推送合适的营销内容。
依靠大数据分析，奥巴马改变了电视广告投放策略，还筹集到10亿美元的竞选资金，并用这些资金制作出“摇摆州”选民的详细模型等等。他的竞选团队所作的每一个假设与推定，都以大数据分析做支持。
这年大选结束时，奥巴马的一个竞选官员说：
在政治界，大数据时代已经到来。
2013年之后的互联网，一边是对社交、视频等算法推送信息上瘾的网民；一边是大数据分析个人的政治倾向、喜好。
这两者结合的结果就是，竞选者通过与社交平台、视频网站等公司合作，将政治广告经由算法推送给选民。这种影响不会触发用户的意识，而是一种潜意识，使它们成为你思想的一部分，还让你觉得这是自己的主见。
这种手段被应用在很多决定世界格局的大事上。如英国脱欧公投。2018年，“剑桥分析”为英国脱欧组织“离开欧盟”(Leave.EU)提供“摇摆”选民信息，并教他们怎样操纵选民。后者利用这些数据，复刻了一遍“剑桥分析”在美国大选中的套路。就连“离开欧盟”的公关负责人也说：
剑桥分析的信息收集技术及收集信息的程度令人毛骨悚然。
2020年1月，英国脱离已加入47年了的欧盟。
03
2018年，特朗普当选美国总统两年后，美国学者戴维·卡罗尔（David Carroll）想到一个主意：
假设关于Face book上的个人数据，都在剑桥分析公司总部处理，那么个人就可以向这家公司要求把他的数据还给他。
戴维·卡罗尔；来源：纪录片《隐私大盗》
这年8月，他向剑桥分析公司提出数据请求，希望得到有关他的所有个人数据。戴维·卡罗尔的律师Ravi Naik告诉他，数据权力应该被视为个人的基本权力而得到尊重，而戴维·卡罗尔想要知道的只是——
剑桥分析到底拿这些数据做了什么？
“剑桥分析”曾声称，每个美国投票者背后都有5000多个隐形的数据维度。那么，怎样将这些隐形数据维度为他们所用？
2016年，美国伊隆大学的数据科学家奥尔布赖特(Jonathan Albright)在研究美国大选中假新闻及其背后网络链条后发现，如果一个用户在Facebook上给一则假新闻点赞，就会被“剑桥分析”的算法推送盯上，频繁推送只有其个人才能看到的政治宣传信息——隐秘帖(Dark post)，这些信息里甚至包含大量的假新闻和谣言，都是为了重塑用户的政治观.
这就是剑桥分析和政治玩家对每一个用户所做的事情。
在互联网世界，部分人有主见，部分人没有主见且是容易说服的，剑桥分析的目标就是找到这些人，并说服他们。特朗普的团队和脱欧团队，正是运用了这个手段，拉到了自己的选民。
04
2020年，四年一度的美国大选，算法操控政治的熟悉手段又回来了。
2019年特朗普连任竞选启动时，为了测试Facebook的推送机制，《大西洋月刊》杂志的特约撰稿人麦凯·科平斯(McKay Coppins)创建了一个新的匿名Facebook账户，并使用了一张半遮脸的照片作头像，然后在特朗普和他的连任竞选的官方页面上点了“喜欢”。果然，Facebook的算法立刻邀请他关注亲特朗普的福克斯商业频道(Fox Business)，以及各种名为“我们信任特朗普”(In Trump We Trust)的粉丝页面。
2016年的特朗普竞选团队的功臣布拉德·帕斯凯尔；来源：网络
麦凯·科平斯发现，那个2016年的特朗普竞选团队的功臣帕斯凯尔，再次用起了同样配方的套路，他发动了一场耗资“十亿美元”的虚假信息战，在Facebook、谷歌上的投放广告，用“点对点”式短信平台推送.消息，重塑特朗普的形象，打击竞争对手，确定微目标定位以及赢得话语权。
除了政治操控之外，大数据和算法正在渗透各个领域。
2018年之后，剑桥分析母公司SCL集团已经开始帮助训练北约和美国中情局、五角大楼等组织，利用信息来影响负有敌意的个人行为，比如劝说14-30岁的MSL不要加入基地组织。
在政治宣传中，大数据分析和算法推送玩遍了所有政治宣传花招，利用算法推送给人假新闻，煽动仇恨，让人在愤怒和恐惧中改变或加固某种观念，玩弄人的直觉。
这种操纵，既可以挑起内战，也可以孤立某个群体，或放大群体之间的分歧。
高喊“法西斯自豪”和“白人力量”的游行者；来源：纪录片《隐私大盗》
在网飞的纪录片《隐私大盗》里，曾在剑桥分析呆了三年半、后来选择了“背叛”的布瑞特妮·凯瑟说，算法操控的心理战术，应该被定义为“武器”。
2019年，追踪调查、报道了剑桥分析黑幕的英国《卫报》调查记者卡罗尔·卡德沃拉迪尔，在一次TED演讲里对着硅谷“科技众神”拉里·佩奇、马克·扎克伯格等人问：你们站在了历史错误的一面，还想以“独裁者女仆”的形象被铭记吗？
黑暗降临时，人们正在低头玩手机。
三、对抗算法
算法无孔不入的影响力，使得世界各地不仅出现了对抗硅谷的组织，也出现了从根本上对抗算法的年轻人组织。
2016年某天，麻省理工学院（MIT）的研究生乔伊·布兰维尼（Joy Buolamwini）和电脑人脸识别软件玩起了躲猫猫游戏，先用手把脸遮住，然后放开，来看软件的识别能力。可她发现，电脑根本就识别不了她的脸，她戴上白色面具后，果然，更容易识别了。
后来的种种证据表明，她无法被识别的原因是，人脸识别技术背后的编码是由白人男性写出来的。它们的成功率首先最利于白人男性、其次是白人女性，再是黑人。
不久后，她又在香港参加了一个创业比赛，赛后参观一个创业公司在和一款社交机器人交流时，发现那款机器人也无法识别她的脸，一问，才知道，这款机器人和她之前玩躲猫猫游戏时使用的是同一款人脸识别软件。
乔伊意识到，算法偏见传播得如此之快，即使在地球的另一边，只需要从互联网上下载一个软件，算法偏见就可以完成对一个种族的全球“围剿”。
这种偏见，不光是“无法识别”。在美国的政府、警察部门所应用的人脸识别技术里，黑人被经过算法计算后的摄像头认定为犯罪分子的可能性，要远大于白人。
这年11月，乔伊创办了一个叫“算法正义联盟（Algorithmic Justice League）”的公司，来对抗算法偏见。
乔伊断定，要创造更具有包容性的代码，并且运用有包容性的编程实践，就要从人开始。由谁来编程很重要。
言下之意，什么样的地位决定你写代码时的意识形态。
图：乔伊·布兰维尼（Joy Buolamwini）和“算法正义联盟”AJL；来源：纪录片《编码歧视》截图。
实际上这种代码权力是被谁把控的呢？
2018年，谷歌日前首次发布关于公司雇员的多样性报告，其中全球范围内女性员工占比30.9%。而在美国工作的员工中，黑人占比2.5%，拉丁裔占比3.6%，印第安裔占比0.3%，而其他种族员工占比4.2%。
2020年7月，Facebook的一名黑人员工当地时间周四提出了一项指控，Facebook在招聘、绩效评估、晋升和薪酬方面表现出对黑人员工的歧视，黑人工人只占该公司技术职位的1.5%。
类似的例子在微软、亚马逊等大公司也差不多。在编程时，不同的人群有意识或潜意识的将自己的意识形态和偏见代入到了算法模型中。
“算法就像病毒一样会以飞快的速度大范围地扩散偏见”。乔伊说。
图：亚马逊的脸部识别技术在不同人种中的有效率，来源：纪录片《编码歧视》截图
01
在《技术垄断》一书里，法院、学校、家庭三者是被尼克波斯曼认为防范技术垄断文化带来的信息泛滥的三大防线，这三个防线决定什么信息可以进入它们，比如，学校决定教学生什么、法院决定哪些信息可以作为法官或陪审团的参考意见、证据，家庭准许或杜绝孩子看什么漫画书、电子产品。
如今这一防线正在被算法从内部攻破。
根据网站Propublica的研究，人工智能软件在美国被用来预测犯罪，算法更容易把黑人罪犯识别为高风险可能再犯罪的人，白人罪犯则识别为低风险。
乔伊还发现，为了实现警情预测，执法机构也开始使用起机器学习，一些法官使用机器生成的危险评分来决定囚犯要在监狱里呆多久。
2020年开始的新冠疫情期间，美国爆发了大量的抗议活动，而美国地方、州、联邦警察以及毒品管制局(DEA)、海关和边境保护局(CBP)、移民和海关执法局(ICE)等机构和各种美军正在部署广泛的监控技术，用来收集、分享和分析抗议者的信息。
信息假借算法之手，正在攻破人们对技术垄断文化的防线。我们防范了信息泛滥，却没防住算法精心编排的偏见。
透过手机那块小小的显示屏，算法轻而易举的从人们脑中驱逐了几百年以来的根深蒂固的黑格尔、尼采、康德。
02
2019年5月，美国众议院监督和改革委员会第一次召开了针对脸部识别技术的听证会，研究面部识别技术如何影响公民权利、歧视少数族裔。包括算法正义联盟创始人Joy Buolamwini在内的许多人均作了证词，他们说：
“这些工具太强大了 ，而且很明显存在严重的缺陷，比如极端的人口统计和表型偏见。我们不会允许政府机构使用这些工具，不会让政府基于这些工具的分析结果做决定，然后未来再想办法避免这些工具被误用或滥用。”
2020年一天，一个黑人在英国伦敦的街上被摄像头的人脸识别技术判定为疑似罪犯，随后几个便衣警察拦了他，采集了他的指纹，对照了罪犯库资料后，发现并不相符后又放了他。
这时，伦敦一个叫“Big Brother Watch”（“老大哥观察”）的组织正走向街头，他们鼓励这位黑人和发动有类似遭遇的人们反对人脸识别技术的应用。
图：Big Brother Watch组织的工作人员在发传单鼓励人们反抗算法偏见；来源：纪录片《编码歧视》截图
“Big Brother Watch”名字来自于奥威尔小说《1984》那句著名的“Big Brother Is Watching You”，Big Brother 意为独裁者。这个机构担心的就是：我们必须十分警惕人工智能掌握的权力走向独裁主义。
在乔伊的算法正义联盟和Big Brother Watch等类似的机构抗争下，对抗面部识别技术算法偏见的运动取得了一些成绩。
比如，2019年，旧金山成为首个禁止政府使用面部识别技术的城市，之后，奥克兰和伯克利宣布禁止。
2020年6月，IBM宣布退出面部识别项目，停止研究、停止提供服务和停止销售。IBM首席执行官Arvind Krishna呼吁美国国会颁布改革措施，以推进种族公正、反对系统化的种族歧视。
图：Big Brother Watch组织；来源：纪录片《编码歧视》截图。
03
人脸识别技术只是算法应用的一个方面而已，在更多领域，算法的偏见正在操纵生活的方方面面。
数据科学家凯西·欧奈尔在她《算法霸权——数学杀伤性武器的威胁》一书中，阐述了逐渐严重的“新型大规模杀伤性武器”，即“广泛应用而又神秘的、具有破坏性的算法”，正在被越来越多地运用于决策制定上，而这些决策影响着我们生活的方方面面。
比如贷款审核的算法。
许多金融科技机构正在用学历、户籍、种族等一切信息轻易地给你更高的贷款利率甚至拒绝你的贷款。
《从业经历和教育背景是否能提高借贷成功率？》一文曾证实学历在网贷中的正相关因素，它指出，教育程度在1%的显著水平上与借贷成功率呈正相关关系。此外，性别、领域对借款能否成功产生影响。
中国央行研究局前局长徐忠曾表示，如果将客户个人信息用于信用评估时，可能影响信贷的公平性，有一些指标比如性别、地域、职业等可能对客户的还款能力有解释力，但根据这些指标进行放贷，会涉及到对某些人群的歧视。
但在算法的决策黑箱里，这些都看不见。
一家借贷平台在他的大数据风控的系统中输入一个人用户数以千计的社交数据、搜索数据、浏览数据、交易数据等，经过深度学习和决策模型的计算，最终可能将一个人的信用定为不及格，但这其中的具体决策过程是什么，企业不会告知你。
更甚至于，这个决策过程中出现程序错误、算法歧视时，电脑试图向程序员解释时，程序员也无法明白。
哥伦比亚大学的机器人学家 Hod Lipson曾说：“这就像是向一条狗解释莎士比亚是谁。”
过去几十年，美国民间与政府的博弈过程中，进步人士曾试图要求像谷歌、微软等大公司公布其人工智能决策的逻辑与原理，最后都被后者以“商业保密”借口驳回。
人脸识别技术；来源：纪录片《编码歧视》截图。
04
帕斯奎尔在《黑箱社会：控制金钱和信息的法则》揭露了一种“技术黑箱”。
所谓技术黑箱，实际上是一种无法识别算法逻辑的机制。如果人们把人类的偏见通过数据强加给算法，算法就会继承偏见和意识形态。
如果将算法视为一种工具，那这种工具就是麦克卢汉所认为的：每一种工具里都嵌入了意识形态偏向，它们决定了这种工具用一种方式而不是用另一种方式构建世界的倾向。
算法评价模型怎样反作用于人类社会？
最早的大学排名来自一家美国报纸，知名度逐渐推广后，导致大学依据这排名的评定标准修改教学规则。后来沙特阿拉伯的一所大学，用虚假手段获得排名，比如聘请知名学者作为教授以满足排名标准的影响力准则。这种数据继而再次错误的反馈给算法模型，导致算法更荒谬，模型更为失真，致使其他大学再根据这种荒谬性去整改自己，整个大学教育体制愈加趋于崩塌。
《算法霸权》凯西·欧奈尔将算法总结为，算法是简单的通过历史数据对未来进行预测，她提出了担心编码权力的三大问题：
谁掌握了AI编码的终极权力？归根结底是谁真正拥有这些编码？拥有编码的人如何将编码施加于其他人身上？
在互联网世界，可以说马克扎克伯格是权力最大的人，他可以傲视26亿用户，Facebook可以用算法在广告中歧视网民，但人们没有申诉渠道，也无法追责。推特和facebook甚至可以封掉时任美国总统特朗普的网络账号。
如今，人工智能假借的载体，如美国和英国等国家政府、警方对人脸识别技术在监控系统上的应用，打破了以往的法律体系，它们没有依据任何法律条文，也没有获得认可法律许可。更没有对这些应用的监管体系。
纪录片《编码歧视》中一位受访者称：未来已来，只不过分布不均。一批富有的人掌握了技术，而将这种最具惩罚性、侵略性、基于算法的监控的工具：人脸识别，在另一批底层群体中测试，实施。
小心了，老大哥在看着你！
参考资料：
纪录片《编码歧视》 导演: 莎里妮·坎塔雅 2020
纪录片《监视资本主义：智能陷阱》导演: 杰夫·奥洛威斯基 2020.09
《How I'm fighting bias in algorithms 》 TED 2019.01
《人工智能的种族主义源于算法，若现在不解决未来将更难》 36氪 2017.04
《来自算法正义联盟的信：与面部监控技术的斗争刻不容缓！》 公众号“读芯术”，2020.06
版权声明
本文仅代表作者观点，不代表零壹财经立场。
本文系作者授权零壹财经发表，未经许可，不得转载。
相关文章
用户评论
所有评论
主编精选
more专题推荐
more
第四届中国零售金融发展峰会(共15篇)
资讯排行
- 48h
- 7天
-
首页
-
评论
-
回顶部
游客
自律公约