2020年12月19日上午，首届清华大学人工智能合作与治理国际论坛举行了“人工智能与数据安全”分论坛，由北京智源人工智能研究院承办。在分论坛上，学者与产业专家聚焦讨论了数据与人工智能的近期与远期风险与安全挑战及对策。剑桥大学智能未来研究中心研究员丹尼特·加尔（Danit Gal）重点总结了人工智能安全相关的内部风险与外部防御的近期挑战，并对各国数据规制应当形成全球协作提出建议。荷兰埃因霍温科技大学教授文森特·穆勒（Vincent Muller）指出通用人工智能和超级智能的长远风险具有极大不确定性。美国路易斯维尔大学教授罗曼·扬波尔斯基（Roman Yampolskiy）谈及人工智能、安全和防御的未来，并表达了对于人工智能的担忧。奇虎360人工智能研究院院长邓亚峰、数据科学家麻丹彤、腾讯研究院高级研究员曹建峰、北京师范大学网络法治国际中心执行主任吴沈括也分别就人工智能与数据安全、面临的机遇、挑战和发展趋势等发表了一系列前瞻洞见。与会专家一致表示，全球应当深度协作应对数据与人工智能的近期与长远风险。分论坛由北京智源人工智能研究院人工智能伦理与可持续发展中心主任、中科院自动化所中英人工智能伦理与治理中心主任曾毅主持。

此次论坛得到了清华大学人工智能研究院、清华大学智能产业研究院、清华大学战略与安全研究中心、北京智源人工智能研究院、清华大学中国科技政策研究中心、清华大学科技发展与治理研究中心、美国布鲁金斯学会、SPARK联合国开发计划署可持续发展创新实验室以及清华大学产业发展与环境治理研究中心等机构的合作与支持。

专家观点

（根据首届清华大学人工智能发展与治理国际论坛上的专家发言整理）

1.丹尼特·加尔(Danit Gal)：人工智能安全相关的内部风险与外部防御

新兴科技影响着我们所有人，它的安全和保障也是如此。可悲的是，我们应对新兴科技影响的能力远远落后于科学技术的开发和使用。科技快速发展带来的不确定性和社会风险，往往是全面且不可逆的，危害程度也非常高。

人工智能相关的自动化趋势，其实存在一种“悖论”：机器越能干，对操作者的技能要求和熟练度程度就越高：其一，有能力和直觉的系统通过自动纠正我们的错误来适应人类的无能；其二，这种能力消除了人类实践的需要，因此即使是熟练的操作人员也可以脱离实践；其三，当系统确实发生故障时，它会以意想不到的方式发生故障，或者产生意想不到的情况，需要熟练的人工处理才能恢复过来。针对自动化引起的安全问题，电气与电子工程师协会标准协会（IEEESA）正在制定自治和半自治系统的故障安全设计标准。该标准为在自治和半自治系统中开发，实施和使用有效的故障安全机制建立了特定方法和工具的实用技术基准。该标准包括（但不限于）：用于测量，测试和认证系统从弱到强的安全失效能力的清晰程序，以及在性能不令人满意的情况下进行改进的说明。该标准是开发人员以及用户和监管者以健壮，透明和负责任的方式设计故障安全机制的基础。

人工智能和数据流进一步复杂化了这一动态，引入并连接了新的机会和新的漏洞。当人们通过互联网和人工智能系统连接到社会系统之中时，系统的脆弱性被放大了。其一，技术及其前景和危险不可能被地缘政治边界完全遏制；其二，现有的漏洞被人工智能和数据流放大了，引入了新的故障点，安全隐患就此埋下；其三，这些故障的传播范围很广，通常是不可见的，影响着全球连接的网络；其四，我们没有全球机制来确定和共同开发技术和社会解决方案。因此，我们必须投资于全球合作与协调，以减少脆弱性，同时最大限度地扩大机会。

2.文森特·穆勒（Vincent Muller）：超级智能终将引致存在性风险

超级智能（Superintelligence）将带来技术奇点（Singularity），进而让人类面临“存在性风险”（X-risk：existential risk）。所谓“存在性风险”，是指以Musk和霍金为代表的这些人最害怕的是人工智能将威胁人类在地球上的生存与存在。

超级智能（Superintelligence）将带来技术奇点（Singularity）建立在诸多假设的基础上。第一个基础假设是，运算速度的提升、数据量的无限膨胀、潜在技术能力的进一步释放。当第一台超智能机器诞生时，就注定了这一台机器是人类最不需要的发明。因此，人类要在开发人工智能时，需要不时反问自身，只要机器足够温顺，能告诉我们如何控制它。第二个基础假设是，认知科学不再是发展人工智能技术所必须考虑的基础问题了，虽然，技术设计者面临“常识知识不简单，复杂问题不困难”的悖论。第三个基础假设是，在诸多感知领域，人工智能的专项技能的性能表现已经超越了人类器官。也就是说，至少在生活中的部分领域出现了人类级别的机器智能，甚至是超人类级别的机器智能。对人类身体技能的全面超越，就目前的技术发展趋势，完全有可能。

从技术奇点到生存性危机同样需要基于以下两个基础假设。第一个基础假设是，理性主体决策理论适用于人工智能。当人类还囿于情绪、无意识等自身因素时，人工智能做出的选择，永远是理性选择，即具有最大主观期望效用的是理性的，期望效用=效用*概率。决策理论是规范性的，而不是描述性的。但对于传统AI来说是规范和描述性的。科学上重要但被忽视的问题：极高的效用*低的可能性，也可以被人工智能充分利用，甚至构建出来。第二个基础假设为正交性假设。即智慧和道德，对于人工智能而言，是完全不同的两个话语维度。也就是说，在技术奇点出现之后，在人工智能的眼中，智力和最终的道德目标是正交的坐标轴，在这条坐标系中，可能的代理可以自由地变化。换句话说，或多或少，任何水平的智力在原则上都可以与各种的任何最终目标（无论其道德或者不道德）相结合。正交性理论暗示，合成大脑可以拥有完全非拟人化的目的，就像我们眼中的沙粒计数或剪纸夹最大化一样古怪。也就是说，超级智能极有可能是不道德的。

奇点之后，人们需要无时不刻的与人工智能处于一种链接状态，上传自己的一切数据，然后被机器决定。人类将无法控制事态的发展，无法面对自身生存的风险。当机器全面接管之后，人类注定要灭亡。

3.罗曼·扬波尔斯基（Roman Yampolskiy）：人工智能安全和防御的未来

当前超级智能正在来临，超级智能意味着超级聪明（SuperSmart）、超级复杂（SuperComplex）、超级快速（SuperFast）、超级控制（SuperControlling）、超级病毒（SuperViruses）。为了解决人类关于人工智能的忧惧，目前，有几项非常值得关注的研究工作，包括通往危险的人工智能的路径分类学、人工智能安全不可能的结果、缓解负面影响、人工智能的限制问题等。他认为，人工智能失败的时间轴，呈指数趋势，人工智能失败的频率和严重程度都会增加，这与人工智能的能力成比例。

超级智能的超级聪明在特定领域变现的尤为明显：AlphaGo系列战胜围棋世界冠军、IBM的沃森在“危险边缘”竞赛中战神两期冠军、虚拟机器人在德州扑克中战胜多名玩家、模拟算法在团队电子游戏Dota2中战胜世界冠军团队等等。

超级智能在复杂系统中的行为更是难以追踪。在航空控制和航空驾驶中，面对复杂的系统，飞机操作人员或飞行员中很少有人了解那部分软件；但是，对于超级智能而言，却是非常轻松胜任操作工作，但是，其复杂程度已然超过了顶级飞行员的理解能力。

超级智能的运算速度明显强于人类。当人类将决策赋权为机器智能后，超级智能可能在极其短暂的时间内做出大量的决策，其结果可能是毁灭式的。根据Scientific Reports中的陈述表明：2008年金融危机的起因极有可能是华尔街的超级计算机20秒内大规模的自动量化交易引起的美国当地股市大崩盘。

随着越来越多的产业加速其数字化进程，超级智能展现出越来越强大的控制能力——“超级控制”的概念被多次提及。例如在能源领域，机器智能越来多地出现在核电站的管理中；智能电网对供电网络的全面升级；金融领域中，目前75%以上的交易订单由自动交易系统产生；在军事领域中，人脸识别技术等人工智能被运用到武器开发中，出现了新型智能武器，同时，智能监控系统、自动发射系统也被用到武器自动控制中；在航空领域，超级智能的自动化，可以实现不间断自动巡航系统，在增强安全性能的同时极大地降低了人力成本。

随着智能化程序的诞生，计算机病毒也随之“水涨船高”，出现了各种超级病毒。自互联网时代以来，超级病毒层出不穷。例如，通过Microsoft Outlook电子邮件系统传播的爱虫病毒（I LOVE YOU）、通过软件之间的相互拷贝、盗版光盘的使用和Internet的传播而大面积传染CIH病毒、“黑色星期五”等病毒，而且，随着人工智能的出现，很多病毒开始与智能化程序相结合的趋势，增强了计算机病毒深入各类机器系统的能力，其潜在风险逐步加大。

在面对超级智能带来的超级聪明、超级复杂、超级快速、超级控制、超级病毒等人类不可控的情景时，来自产业界、政界或学界的专家学者纷纷表达出各种担忧。而且，通过危险人工智能的分类学研究，可以发现，按照应对危险的部署逻辑时段和主导因素两位维度，可以将超级智能危险分为8类：不道德的人（黑客，罪犯，军人，公司，政府，邪教，精神病患者等等）故意危险行为、低劣技术设计（程序漏洞BUG，错误的赋值，错误的数据，错误的目标）的副作用、系统周围环境的突发案例或影响（软件错误、对外星智能的探索SETI）、失控的自我完善过程（违背道德的目标转向、突发状况）。

为了缓解超级智能的负面影响，从计算机诞生之日起，也伴随着诞生了形形色色的解决方案。显然，限制人工智能的限制并不可取，但是，保留“重新设置”的权力确实非常有必要，因为人工智能失败的频率和严重程度都会增加，该频率和严重程度与人工智能的能力成比例。

4.邓亚峰：正视人工智能风险，乐观拥抱未来

近年来，随着深度学习技术的迅猛发展，人工智能在社会经济的各个领域都取得了巨大进步。比如，最近AlphaFold在蛋白质结构预测领域的进步又一次震惊了世界。我们身处一个数字化、智能化的时代，人工智能已迎来了应用落地发展的时代契机，对整个人类世界而言，人工智能已成为新一轮产业变革的核心驱动力量。但是，随着人工智能和大数据技术的应用落地，特别是在诸多安全敏感型的场景应用越来越多，比如自动驾驶、人脸识别、恶意代码检测、医疗诊断等，AI和数据安全问题也受到世界的广泛关注。

首先，由于人工智能是快速出现的新应用，AI应用生产和部署的各个环节都暴露出了一系列的安全风险。比如在人工智能框架方面，深度学习框架及依赖组件可能带有漏洞，存在着容易被忽视的安全隐患；在人工智能应用方面，存在着模型文件窃取、数据流的降维攻击等安全风险；在人工智能硬件方面，存在传感器干扰实现欺骗、致盲，海豚音攻击等安全风险；在人工智能算法方面，由于神经网络模型的黑盒属性（不可解释性），导致了一系列以模型误判为目标的恶意攻击，如投毒攻击、逃逸攻击、后门攻击、对抗样本攻击等。

其次，人工智能和大数据应用往往与大量隐私数据关联，这些数据往往需要被送到云端进行分析和计算，这就造成了比原来更严重的数据泄露和安全风险。我们在实践中就发现了大量以隐私窃取为目标的攻击，如模型反转攻击、模型萃取攻击、成员推断攻击等。而且，随着数字化的程度加深，物理空间和虚拟空间已经打通，安全问题将不区分虚拟还是物理空间，而且是全局性、规模化的。

其三，虽然从技术角度看，人工智能体很长一段时间都无法拥有真正的自我意识，但是，我们无法排除一些坏人会对人工智能加以利用，伪装为坏的AI对人类安全造成威胁的可能。而这会带来大量的社会伦理问题，比如无人驾驶汽车出了问题，到底是AI的问题，是汽车厂商的责任，还是车主的责任。这样的话题还有非常多。这也从社会伦理层面，在人工智能和数据治理方面，产生了很多复杂问题。在英国的电视剧《黑镜》中，就体现了大量人工智能带来的威胁，这在以后的世界中确实会存在。

其四，由于AI在短期内会造成一部分从事简单重复性工作的人类失业，这会引起一定的恐慌和排斥。此外，AI也因为技术的不成熟，会被认为在识别结果上存在一定的歧视，当然，作为一个技术人员，相信结果的不完美并不是故意歧视，只是数据分布造成的不够完美。这些也是AI带来的短期问题。

当然还有很多其他潜在的威胁，在此不再赘述。

正是由于人工智能和数据的治理速度远远落后于人工智能和数据的应用速度，全球的每个组织和个人都有很多可以为此做的事情。首先，需要相关国家和组织联合起来，针对隐私保护和人工智能伦理问题等新情况，制定更加明晰有效的法律法规，保证在应用人工智能为人类造福的同时，保护数据隐私，避免相关社会伦理问题的困扰；其次，需要构建统一的人工智能硬件、软件、算法的安全评估标准和准则，并开发相关的系统，用于检测和确定人工智能相关的系统的整体安全，特别是开源框架和软件方面，更需要统一行动；再次，针对人工智能的安全，以及用人工智能解决安全问题等领域，需要联合起来，用更加开放协同的方式进行科学研究和技术交流，推动在上述两个方面人工智能技术更快速的落地。人工智能和数据安全，是全世界都统一面临的问题，需要全世界的组织和个人联合起来一起行动。

5.麻丹彤：数据安全是全球性的，需要各国合作解决

在过去的几年中，我在私营和公共部门从事AI方面的工作，我发现了一个有趣的现象：关于人工智能竞争的讨论很多，但关于人工智能治理协作的讨论还远远不够。让我感到担忧，因为零和心态可能会导致竞争加剧。

数据安全性是全球性的。因为创建漏洞和邀请攻击只需要一个弱点。

在这一方面，中国取得了长足的进步。10月，发布了《个人信息保护法》草案。 它与全球个人数据保护方法高度一致。 中国是技术提供商和消费者最大的市场之一。 因此，中国为适应全球趋势而进行的立法努力是维护数据治理全球标准的有意义的举措。

6.曹建峰：人工智能开发与隐私保护存在紧张关系

人工智能产生偏差的原因多种多样，比较突出的原因是数据与算法。众所周知，要使当前的人工智能系统正常工作，您必须使用大量数据来训练算法。如果您的训练数据有偏差，或者包含的数据不够充分，您的系统在以后的使用中将显示有偏差的行为。许多人工智能系统，包括面部识别，聊天机器人，推荐系统，广告算法，招聘人工智能工具，语音识别，都因显示出对某些人或某些人群的偏见而受到批评。人口偏见是最突出的偏见，例如对种族，性别和年龄的偏见。至于偏差的来源，数据是人工智能偏差的最重要来源。因此，我认为开发应该对数据质量进行合理的控制。但是数据并不是造成偏差的唯一原因。

人工智能产生偏差的另一个重要原因是不法分子的滥用和非法使用。最突出的例子也许是deepfake。因此，在特殊的AI算法（称为生成对抗网络）的驱动下，deepfake可以生成面部，声音和视频，而无需真实的人实际说出来或在现实中做。但是，Deepfake的概念是对AI技术背后的误解。因此，我们认为深度综合是一个更好的术语。因为它有许多积极的应用。例如，这项技术可以将已经过世的演员重新带入电影中。由于真正的演员必须待在家里，因此它还可以创建数字虚拟演员来参与大流行中的电影拍摄。也许将来我们会拥有超级巨星虚拟演员，因为我们现在有许多著名的虚拟歌手。合成语音还支持许多语音助手应用程序。但是，如果不采取适当的保护措施，恶意参与者可以将Deepfake技术用于非法活动，例如欺诈，色情复仇，伪造身份，伪造新闻和虚假信息。例如，十月份，用户使用Telegram上的deepfake僵尸程序轻松制作和传播伪造的裸体图片。不良行为者也可能出于非法或不道德目的滥用或使用其他人工智能技术。

为解决这些问题，可以从以下四点方面着手：其一，人工智能与数据产品开发需要遵循“通过设计的伦理”（ethics by design）理念，将公平、安全等伦理价值融入产品设计全周期，并有防止滥用的保障措施；二是在企业、国家乃至国际层面建立负责任的人工智能开发和数据使用的道德准则；三是在国际社会分享最佳实践经验；四是业界需要探索开发隐私保护型的AI技术方法，如联邦学习等，来在隐私保护与数据利用之间实现更好平衡。

7.吴沈括：国际社会需面对数据违法行为带来的法律漏洞

在AI时代，当前的数据冲突已遍及全球。按照这种观点，国际社会需要直面新技术环境中数据违规所带来的新挑战和法律空白，可以肯定的有以下几点：第一，不同地区和国家法律法规的缺失和差异，导致对新型数据违规的司法监管不足；第二，各国当前的法律制度框架尚不能完全确保快速，有效的跨境证据收集和交换；第三，在一些国家，监控，早期预警和应急机制变得越来越难以有效应对网络匿名环境下脆弱性问题的迅速增长。

在全球化深入发展的新时代，数据违规的跨国发展要求更高水平的国际合作管理，以应对日益严重的数据违规性。从这个意义上讲，我们可以考虑的方法选项包括3个元素：首先，我们必须在最大范围内建立国际共识，并积极构建全球法律框架，例如针对数据违约的国际条约，其重点是与责任标准，管辖权协调，信息共享，司法协助有关的系统规范设计等等。其次，我们需要最大程度地学习最佳做法，并及时创新跨国合作机制。特别是，迫切需要改进的是网络威胁信息共享和证据保留方面的通用跨国惯例。最后，我们应加强所有利益相关者的能力建设。为此，关键是要通过各种手段（例如人员培训和技术设备）更好地整合和增强诸如执法机构，行业以及公民社区等多个学科的商业技术知识和实践技能。从这个意义上说，我们高度赞赏国际社会近年来不断加强其反数据违反工作，而众多的全球对话平台是促进全球国家协同治理与多元治理的一个突出代表。