防走失，电梯直达安全岛报人刘亚东A
来源：知识分子
作者：魏轶
剑桥大学生存风险研究中心执行主任 Seán S. ÓhÉigeartaigh。图片：Mike Thornton，
www.stillvision.co.uk
6月初的一个下午，《知识分子》连线剑桥大学生存风险研究中心执行主任 Seán S. ÓhÉigeartaigh，和他聊了聊疫情中技术的运用和可能的隐忧，以及中美摩擦对于人工智能发展的影响。
ÓhÉigeartaigh 认为，人工智能的发展在伦理上需要有全球共识，但要考虑并理解不同文化背景下技术的使用。人工智能的发展不是零和游戏，只要能够相互理解，就能找到折中的解决方案。他呼吁，当政治家相互谩骂，把对方当成敌人，学者更需努力分享知识和看法、把彼此当做朋友。
以下为对话内容，全文近9000字，读完需约20分钟。
● ● ●
新冠疫情暴发以来，AI 影像诊断、智能测温、防疫机器人等人工智能技术迅速投入应用，在防疫方面发挥了重要作用。但另一方面，这些技术的使用无可避免涉及隐私和安全问题。在人工智能产业飞速发展的今天，伦理专家们如何看待人工智能的道德风险？
剑桥大学生存风险研究中心（Centre for the Study of Existential Risk）执行主任 Seán S. ÓhÉigeartaigh 专注于研究技术轨迹以及人工智能和其他新兴技术的影响。6月22日，他和同事在《自然》杂志发表评论文章，呼吁政府部门和专家重视新冠疫情中运用的人工智能技术的伦理问题[1]。大约在三年前，ÓhÉigeartaigh 与中国学界展开交流与合作，致力于推动人工智能伦理方面的国际合作共识。过去一两年中他们多次参与并举办跨国交流的研讨会，最近则上线了一个学术文件翻译网站，将人工智能相关的中文论文翻译成英文，以帮助世界了解中国的人工智能发展[2]。
最近，在家办公的 ÓhÉigeartaigh 博士每天用一个学校开发的软件上传自己的健康状态，并在线上参加学术会议。
1 在危机中允许信息共享，和以后常态化有本质区别
知识分子：在抗击疫情的过程中，许多国家用科技追踪和发现受感染个体。例如苹果和谷歌在美国共同开发了一个追踪系统，中国建立了健康码体系，英国也开发了一个联系人追踪的软件。这些技术应用涉及哪些可能的隐私问题？
ÓhÉigeartaigh：首先，不同国家的软件使用方式不同，因此情况也不同。在有效控制疫情和保护隐私之间必定要做取舍。
英国采用的是中心化的信息收集方式（注：本文发表时，英国已宣布将其疫情监控软件去中心化并取消联系人追踪功能）。一些防疫人员对这个系统很感兴趣，觉得可以用来监测疫情。不过也有一些人担心数据收集和中心化的问题，因为英国政府有过没管好数据的 “黑历史”。最近几年出现过一些像魔窟（WannaCry）[3] 这样的病毒攻击，有人担心收集过多数据可能会不太安全。英国政府和隐私专家不断沟通，也采取了很多方式同时确保App 的开发和管控，他们发布了一份长长的白皮书 [4] 来披露进展，也公开了源代码以便于研究人员发现其中的漏洞。我认为这些都是确保系统安全的非常好的措施。
韩国的 App 采集了位置信息和信用卡刷卡信息，能非常有效地帮助了解人口流动情况，帮助建立预测疾病传播的模型。但同时很多敏感信息也存在了一个中心化的数据库里，要非常小心防范数据泄露。同时这也涉及隐私问题，人们真的希望保存那么多关于自己的信息吗？
苹果和谷歌开发的 App 就受到很多关注隐私的技术专家的支持。有几个原因，一是它收集的信息非常有限。它并不记录位置信息，除了人和人之间的可能接触，它不记录其他任何形式的个人信息；其次，它采用非中心化的方式，数据没有集中到一处管理，所以也不用担心数据泄露或者被黑客盗走。
但另一方面，不收集数据，就意味着医生们可能获取不了一些有用信息。
根本上，这是一个不同国家和社会可能持有不同立场的取舍问题。疫情当然是个严重的问题，需要采取所有可能的方式来抗疫，挽救生命和减少经济损失，这些应该是我们在伦理上优先需要考虑的。但我们也需要平衡收集多少信息，收集这些信息有多少用处，怎么储存这些信息。不同的社会和个人对此会有不同的偏好和接受程度。
知识分子：从伦理学上考虑，你对此有什么建议？
ÓhÉigeartaigh：我认为很难提出一个解决所有情况、在所有情形下都适用的建议。我们还要考虑很多其他因素。比如这个社会有哪些其他资源可以利用。人工的接触者追踪（manual contact tracing）可以和数字化的接触者追踪配合进行，这样传统的方式也能派上用场。
如果一个社会没有的足够资源做人工追踪，就需要更多依赖数字化追踪。那么问题是，是否所有人都拥有智能手机？也许穷人没有，或者老年人不知道怎么用，他们就被排除在外了，我们也没法很好了解整体情况。
在不同社会和情境里，对信息的需求也不一样。在英国目前疫情不是很严重，也许现在的方式已经足够了。但如果疫情扩散得更快，也许就需要更强力的措施来获取每一份能够获得的有用信息。
人们对数字基础设施的安全性是否信任也很重要。我们是否相信数据储存方和能够获取这些数据的公司？所有的参与方是否都采取了必要的安全措施？在大规模使用新技术时，这就是一件非常有挑战性的事情。
知识分子：关于追踪软件隐私的讨论之一是什么时候弃用和销毁这些收集的数据。在中国，一些地方政府已经提出要将健康码常态化。如杭州政府想在健康码中加入一些其他功能如医疗保险和社会信用评分。你如何看待这类提议？
ÓhÉigeartaigh：保留这些数据有一定好处，因为它们能为人们提供更好的健康保障服务，也许未来遇到疫情也会有用。在伦理和社会层面，这样做都有益处。
但也确实应该担心长期保留这些数据的情况。信息储存越久，出错的可能性就越大。因为我们是人类，而人类总会犯错的。
在危机中做出知情决策，允许信息共享以战胜危机，这和从今往后都这样做是有本质区别的。
补偿性的道德考量非常重要。在危机中引入新技术时，有牺牲隐私的动机，我们不能在情况变化之后继续把危机中的决定当做长期安排。一个例子是美国的行政紧急权力在危机时被引入，延续至今并被用在一些并非本意的地方。
如果数据共享的决定是个体做的，那么每个个体有权决定是否为了疫情而分享数据。如果有一项保留这些信息的计划，那么也许应该再问一下这个人，因为情况已经变化了。如果是中央政府做出保留信息的决定，它就要解释为什么，解释伦理问题和确保数据安全。
伦理专家也会关注谁能获得这些数据，在哪些情况下能获得这些数据。对于中国的情况我不甚了解，但如果是在英国，健康部门和私企合作的话，一个重要的问题是这些私企是否能获得数据？这些数据是否会帮助他们获利，但同时侵害个人权益？
因此，我们必须问一些问题，例如数据如何存储？人们是否同意在疫情之后还保留自己的数据？谁有权访问这些数据？在什么情况下他们可以使用这些数据？如果收集了有关我的信息，并（假设）记录了我有心脏病的信息，未经我允许，这些信息便与保险公司或其他公司共享，让我没法上保险，我个人会觉得不适——除非我从一开始就知道提供数据会导致这种情况。
2
人工智能伦理和治理，重要的是在安全和保障等方面达成国际性共识
知识分子：我们是否需要建立一个人工智能伦理和治理的国际性共识？如果没有这样一个共识，人类社会可能面临哪些风险？
ÓhÉigeartaigh：风险之一是我们可能会失去分享信息和互相学习的机会。比如现在我们有机会学习中国如何用数字技术抗疫， 因为疫情在中国暴发得更早而政府的反应也更快，即使我们应对的方式不一样，这也是学习的好机会。
在全球范围内建立强大的信息共享文化非常重要，这样我们可以彼此学习；许多数字技术都是全球性的，因此也需要建立一些共识：如果我们在一个国家发展某种技术，它也将影响到另一个国家。
想在所有问题上达成共识不太可能，因为我们处于不同的文化和不同的国家，在价值观和优先事项上存在差异。如果每个人关心不同的事物，没道理要求每个人对所有事情都遵守完全相同的规则。某些国家或地区的人们非常关心隐私，但是却不太关心可以使用技术实现的一些更有益的事情；有些人则没那么担心隐私，那么我觉得可以有差别。
重要的是在安全和保障等方面达成共识。这样一来，如果英国开发出一个可以收集信息、存储在英国的 APP，我们将其带到中国或新加坡也不用担心它的安全性或者信息泄漏。
最重要的是要有这样的共识：人们会根据不同的文化价值观采取不同的方法。我在和曾毅、刘哲讨论时，发现在许多方面，我们在伦理上相互误解。西方国家认为中国的伦理原则（和西方）差异非常大，但实际上并没有那么大差异。因此，如果我们能减少彼此误解的领域，就可以知道哪些情况下我们可以用稍微不同的方法处理，以及哪些事情上我们应该达成共识。
知识分子：有些人认为文化差异会影响不同国家的人看待隐私的方式。你认为文化不同是政府或地区间讨论人工智能伦理产生冲突的主要原因吗？为什么？
ÓhÉigeartaigh：（文化不同）难免会造成冲突，但这件事比我们想象中更细微和复杂。
有些观点过于简单化，比如认为在中国，人们完全不关心数据隐私；认为在美国和英国，大家非常关心隐私但不关心社会整体受益的情况。两者都不太对，都太过简化了。近年来中国出台了很多关于数据隐私和数据安全的规定，我在和北京智源人工智能研究院以及腾讯旗下的微众银行（WeBank）的交流中得知，很多缺乏隐私保护政策的 App 被下架了。中国的专家们也在关注和学习其他地区的法规，例如欧盟的 GDPR。他们没有全盘照搬，因为情况不同，只是从中获得一些启发。
话虽如此，不同文化背景的人确实有不同的哲学传统，也对个人权利和社会整体受益的优先级有不同考量。即使在同一个国家里，人们的态度也不一样。比如在英国，有些人觉得政府对他们挺好，有些人觉得受到了不平等对待，因此不那么信任政府。在美国情况也是如此，骚乱正在发生，因为白人社群受到政府和警察机构的支持，而黑人社群没有。这些社群在信任政府、健康服务和警察方面就会有很大不同。
即使在国家层面上谈，也存在过度简化的问题。人们和政府互动的历史和社会规范都会影响他们希望如何使用人工智能，无论是在向政府提供什么数据，还是如何使用机器人等问题上。
例如在日本，人们对于用机器人辅助老年人接受度很高，因为日本有把机器人视为友善之物的文化。如果是在英国，情况就会很不一样。英国人重视人性化关爱，让老年人和机器人互动会被视为一种侮辱和轻视。这不仅仅是个技术问题，也是文化问题。无可避免。所有这些历史和社会因素都会影响我们思考什么样的技术在特定时间是可接受的。
3 在中西交流与合作中，中国像是一面单面镜
知识分子：你和曾毅、刘哲等人的论文提到不同地区、文化之间的信任缺失是人工智能伦理及治理实现国际合作的最大障碍。 科学家和政策制定者应该做些什么来跨越这个障碍？
ÓhÉigeartaigh：有许多能做的事情。其中之一是使可能被技术应用影响的人参与到决策中来，这可以增加科学家和决策者与技术使用者们之间的信任。很多时候我们（决策者）犯错是因为在决定在一个地区，比如曼彻斯特，使用技术之前没有充分了解这个城市的方方面面，所以不知道会有哪些后果。
美国正在司法领域应用人工智能，有些地方已经犯错了，而这些错误是可以避免的。比如有的人脸识别系统在白人中识别能力总是高于其他人种，因为训练它的数据库是白人大学生的照片。
让使用这些技术的人参与到决策过程中，他们能指出测试的不准确之处，也会提升（对技术的）信任程度，因为他们觉得自己的声音在这个过程中被听到了。这在技术发展中是个很重要的因素。
硅谷也正在意识到很多科技发展的决定是由并不完全代表美国的人做出的。他们也在学习引入不同文化背景的人参与开发受信任的技术。
如果是文化间和国家之间的技术合作，那么最重要的是找到尽可能多的对话途径。
写疫情中的人工智能伦理论文时，我在和刘哲、曾毅讨论的过程中学到很多，在访问北京和参与工作坊的过程中也学到了许多。我们在文中建议多访问交流，英国的学者们应该积极主持中国优秀学者的访学计划，反之亦然，以此促进理解技术在另一种社会背景下的使用。如果没有这种交流，媒体有时会做错误的猜测。
如果我们不面对面交流，很可能会错误解读对方的动机。我觉得这是现下一个非常实际的担忧。美国媒体的主流叙事是美国要主导世界和技术，否则中国会主导世界和技术，其他的东西都围绕着这个叙事展开，实际上误解了美国和中国发展这些技术的真正原因。
美国的医学人工智能科学家很可能不在乎美国是否主导世界和技术，他们只想挽救生命。同样，如果有人在为工厂制造人工智能设备，他们可能只是想提高工厂的效率和降低工作风险。这与“哪个国家在领跑”毫无关联。
还有一个建议是多做一些翻译工作。中国像一面单面镜，中国学者对欧洲和美国的人工智能研究工作非常关注，而我们很无知，不知道（中国）有哪些学术思考，一部分也许是因为我们不够努力，一部分是因为很多中国人会说英语，看得懂英文文献，而美国和欧洲只有少数人能读懂中文论文。
我和曾毅一起翻译了一些中英文文献，以高质量的翻译保证准确的信息传递，促进互相理解。我们这周早些时候刚刚上线一个网站，目前还只有少量文章，但我们希望能继续做这件事。翻译的文件里包括《北京人工智能共识》。这对我很有帮助，通过它（翻译）我能真正理解（中国）专家表达的意思。我希望能和中国学者以及英文学者在对等的水平上进行讨论。这也是一个有关尊重的问题。
知识分子：人工智能伦理方面，有哪些国际上已经达成的基本共识？有哪些仍在激辩中？
ÓhÉigeartaigh：美国电机电子工程师学会（IEEE）、联合国（UN）、经合组织（OECD）和国际标准化组织（ISO）等国际组织都出台或者在讨论人工智能伦理的标准，美国、欧盟和中国也都出台了自己的规范。目前没有一个单个文本是公认的全球基本共识，但我认为已经有一个比较松散的共识，关于哪些东西需要纳入伦理规则的学术讨论。已有的文本中已经存在许多共识，这也是个好的迹象。
我们在英国和欧洲语境里做的一个研究是关于原则之间的冲突。原则本身是好的，但是有时候它们会互相排斥，比如一个使用人工智能助益社会的原则会和一个保护隐私的原则冲突。有趣的是当你把这些原则放到实践中，想要形成一本人人认同的全球性指南，那会是个大错误，原因我们在上文讨论过。这些国家面临不同境遇和挑战，人民也有不同的期望和道德标准。
所以我觉得有一个比较软性的伦理共识是比较好的。接下来几年中，我们会更多了解不同文化如何平衡这些原则。
4
人工智能促进社会发展令人期待，但要注意公平和代表性
知识分子：隐私问题外，人工智能技术的很多方面都有伦理问题，一些已经出现的短期问题包括歧视和安全，一些长期的新问题包括社会规则和法律体系的改变。目前最紧要最需要解决的是哪些问题？为什么？
ÓhÉigeartaigh：一个重要的问题是公平和代表性。人们寄望人工智能促进社会发展，但是如果不精心规划，它给社会中某些人带来的收益可能会比其他人多很多。一些群体比另一些群体有更大的决策话语权。重要的是认识人工智能如何影响整个社会，并确保它公平地使每个人受益，而不是不成比例地只给一个群体带来收益。要确保人们不因此陷入弱势地位，比如因为机器没有正确识别出他们的脸，又或是因为他们没有智能手机或者基础设施。
人工智能如何影响就业会是一个非常有趣的问题。Frey、Osborne [5] 的著名论文探讨这个问题，李开复 [6] 也写了很多文章讨论有哪些工作将会自动化。我们还不知道答案，但应该思考人工智能会不会在特定领域导致一些职业变得更加稀缺。比如，如果一个工人或医生现在的工作量是的过去10倍，他们未来是会做得更多，还是变得无事可干？
我们常常担心技术会让人失业，但是技术也会创造出新的工作。人工智能可能也是这样，也会创造出新的职位。但要过多久才能创造出新的工作？如果很多工作在短时间内被自动化取代了，社会就面临动荡，因为创造新的工作需要更多时间。如果新工作出现旧工作消失，失业的人是否有足够的训练来进入新的工作？他们的技能符合新工作的需要吗？如果旧工作是重复性的手工劳作，而新工作与技术有关，那么就需要大量的训练。
这些都没有答案。我并不是说人工智能让人失业就是不好的，但我们需要注意到这些，并且确保我们关注发生了什么，哪些行业可能会被影响，以及我们如何帮助那些可能需要转换工作方式的人。
另外，理解人工智能系统如何运行非常重要。如果我们用这些系统来帮我们做决定，来帮我们在不同情境下解读数据，理解这些系统的局限性在哪里就非常重要。
例如，在医院里使用人工智能，它基于一个人肺部的片子给了建议，那么医生就要能够理解它是怎么给出这个建议的，这种分析的原理是什么，有哪些情况人工智能系统可能会做出错误的判断。
这个问题在一些领域已经浮现。例如在航空产业，飞行员并不清楚应该在多大程度上依赖自动飞行驾驶系统。自动系统有时候会做一些难以预料的事情，飞行员这时应该介入。我们在开始用人工智能系统的时候，要确保用人工智能辅助做决定的人理解系统是如何运行的，有哪些结论，有哪些内生的假设。
法律上，关于责任判定的问题非常重要，而我们还在探究和解答中。如果一辆自动驾驶汽车出了车祸，是车内的人类驾驶员的错，还是车辆制造商的错？或是这辆车内安装的神经网络系统的设计师的错？该在什么样的情况下判定为谁的错呢？问题非常多。同样，如果一个医疗推荐系统犯了错，谁应该承担责任也是个非常有挑战性也是非常重要的问题。
有趣的问题是，哪些情境下使用人工智能是可接受的。在哪些情形下我们真的需要它们？人工智能应该被用于罪案调查或战争吗？对此有很多讨论，中国是很多反对的国家之一，而美国目前并不反对。一些军事伦理理论认为，一台机器不应该获取做出能杀死人类的决定的权力，不过这其中有很多复杂问题。如果一个人工智能系统给士兵提了一个建议，而士兵做决定，这可行吗？如果因为事情发展的太快，这个士兵需要马上反应而他并不了解为什么人工智能给出了这个建议，有时间让他思考吗？会有很多需要解答的问题。
5 等着法律追上技术的脚步，会产生太多问题
知识分子：在一些国家，立法的滞后导致一些人工智能应用未经伦理审核就进入使用。这种情况在近年来愈加频繁。对此您有什么看法？这会带来哪些风险？国际共识能改善这个局面吗？
ÓhÉigeartaigh：引进新技术时，如果现有法律并不能很好地适应新的情况，会出现一些我们没有探索过的灰色地带。通常，在法律更新换代的过程中，技术社区不免会犯一些错。我比较担心的事情之一是如果犯了太多错，人们对于技术的信任会随之减弱，大家会对人工智能在很多情境下的使用产生疑虑。
所以在发展技术的过程中，不仅科学家需要参与，法律、伦理和社会科学学者也应该参与每个步骤，提供一些预见性，真正思考这些技术将会被应用在哪些情境里，有哪些犯错的可能性，有哪些没有预计到的后果。如果我们在英国的社会情境下发展了这项技术，再应用到其他国家，会有哪些可能在那个国家产生的新问题？
有许多这样的问题，而我们需要在发展技术时的每一步都主动思考，在推广技术之前考虑清楚。光是等着法律来追上技术的脚步，而在过程中不断犯错，这会产生太多的问题。
6 特朗普把中国当敌人，对人工智能发展无益
知识分子：你如何看待中国的人工智能伦理的发展？你观察到哪些进步和不足？
ÓhÉigeartaigh：对中国的情况我了解的不多。我对一些中国的伦理学者和研究机构印象深刻。例如中国最大的互联网公司之一腾讯几年前曾出版过一本关于人工智能的书，这本书的研究深度让我印象深刻。他们不仅列出了世界各地的情况，还比较了这些信息。相比欧美学者对中国的了解，一些中国的伦理学者对欧洲和美国的伦理学情况有相对更深入的了解。像《北京人工智能共识》这样的文件非常成熟，也给了我信心。
中国在数据保护上的有力措施以及其受到的外来影响，我也非常惊讶。我一直有种错误的印象，隐私对中国好像不是很重要。但各种 App 因隐私政策被禁，一些公司也被要求改变隐私政策，这些都是积极的变化。
中国学者在联合国和世卫组织等国际机构和国际电信联盟（ITU）等国际会议里也逐渐更有主导地位，这也非常棒。
全球而言，我们需要注意推广技术的速度以及如何使大众参与到技术的发展和使用中。中国发展技术的速度非常令人惊叹，但它确实带来一些担忧，在技术发展过快的时候，有可能我们会犯一些错误或无法给机构和社会提供足够的信息。
中国是有着10亿多人口的国家，有许许多多不同的声音和看法需要被纳入这些过程。也许这已经在发生了。但当技术发展得过快，留给这个过程的时间就很少了。我的中国同事也许可以给出更多这方面中国如何做得更好的建议，和他们合作给了我很大的信心，我也非常愿意看到更多的进展。
知识分子：中美关系逐渐紧张，是否会如何影响人工智能的发展，尤其是人工智能伦理共识的发展？
ÓhÉigeartaigh：我对此非常担忧。我原本不太愿意评论政治人物，但我完全不介意批评像特朗普总统这样的人物的言论。他所说的非常无益。我看了非常生气且灰心。他用一些非常敌对的语言和叙述针对中国和其他国家，尤其把中国当做敌人。我想很多时候，这是从美国本土转移注意力的方式。但对人工智能产业来说，政治会是更大的问题，会影响人工智能技术和伦理。
我提到过信息分享以及在其他国家访学、学术交流的重要性。但假如美国拒签中国学者的签证，我们如何进行信息共享呢？我担心这样的手段带来反效果，让双方的互相理解更加困难，也阻碍了信息共享。如果国家领导人倡导的叙事是来自另一个文化的人们是敌人，那么合作会变得非常困难。
最重要的是要认识到我们都是人类，有相似的关照和原则。也许我们情况不同，偏好也不同，使用人工智能的方式也不同。但只要我们互相理解，就能找到折中的解决方案。但如果每天媒体上的叙事都是某些人需要赢得这场比赛，或是这是文化和理念之间的斗争，那么找到共同的立足点来互相理解会更加困难。
学界有更重要的角色。尽管政治家互相谩骂，作为学者，我们应遵循学术的基本理念，分享知识和看法。
如果政治家们把对方当做敌人，那么学者分享知识和把彼此当做朋友的努力就显得更加重要。
参考资料：
[1] https://www.baai.ac.cn/research/translation-series-on-ai-ethics-en
[2] https://www.nature.com/articles/s42256-020-0195-0
[3] 魔窟（WannaCry）是一种利用NSA的“永恒之蓝”（EternalBlue）漏洞，透过互联网对全球运行Microsoft Windows操作系统的计算机进行攻击的加密型勒索软件兼蠕虫病毒。
https://www.antiy.com/response/Antiy_Wannacry_FAQ3.html
[4] 英国政府的白皮书：https://www.gov.uk/government/consultations/online-harms-white-paper
[5]THE FUTURE OF EMPLOYMENT: HOW SUSCEPTIBLE ARE JOBS TO COMPUTERISATION?, Carl Benedikt Frey and Michael A. Osborne, 2013, https://www.oxfordmartin.ox.ac.uk/downloads/academic/The_Future_of_Employment.pdf
[6] How to Prepare for AI Job Displacement, Kai Fu Lee, 2018, https://medium.com/@kaifulee/10-jobs-that-are-safe-in-an-ai-world-ec4c45523f4f
