催生第四次工业革命到来的重要原因，可被归结为人类社会数字化转型进程的深入，使得“数据驱动”开始成为新范式，并在不同领域得到应用。药物研发、可再生能源管理、智能制造的生产调度，都是在不同领域、针对不同数据进行收集、存储、分析的人类活动。伴随此过程，算法作为挖掘数据价值的基本方法，其重要性也与日俱增。但第四次工业革命背景下，算法的变革性影响还不止于此。

英国著名学者迈克尔·波兰尼曾指出，“人类知道的，远比其能表达的更多（Humans Know More than He Can Speak）”。传统信息技术下，算法可被视为人类知识的表达，只有能够清楚界定的需求，才能通过算法以数字化的形式实现出来。第四次工业革命背景下，人工智能技术突破了波兰尼论断的限制，算法实现过程不再依赖人类知识的表达。基于大量数据或案例，算法可以通过自我学习自动抽取出特定规则。由此，第四次工业革命进一步扩大了算法的应用范围，加速了人类社会数字化转型的进程，并凸显了算法作为人类社会数字环境新规则的重要性。

这一变革固然将带来诸多益处，但围绕规则合法性、合理性、正当性、平等性的争论，也同时意味着变革风险的必然存在——而这也正是“算法治理”所要关注的要点。

算法治理要回应的，是算法变革所带来的治理风险。“算法作为规则”的独特性决定了第四次工业革命背景下，算法所引发治理风险的挑战性。具体而言，相关风险可被概括为三个方面。

让我们先从一个实例说起。亚马逊公司曾经在2014年开发了一套“算法筛选系统”来帮助亚马逊在招聘时筛选简历。开发小组开发出了500个模型，同时教算法识别50000个曾经在简历中出现的术语，以让算法学习在不同能力间分配权重。但是久而久之，开发团队发现算法对男性应聘者有着明显的偏好，当算法识别出“女性”相关词汇的时候，便会给简历相对较低的分数。最终亚马逊公司停止了该算法的开发和使用。但是为什么看似中立的算法会对女性产生歧视呢？原来，亚马逊公司的整体员工构成以男性为主，亚马逊用来训练算法的“老师（即简历数据）”本身就带有很强的性别偏差，而年幼无知的算法则只能“邯郸学步”，从以往的简历数据学习，自然而然就学到了这个偏差。这个例子就是一个典型的算法歧视案例。

从概念上讲，算法歧视的基本内涵是指：当将算法应用于决策领域时，基于群体身份特征，算法将形成具有系统性偏差的决策结果。典型案例比如在犯罪风险评估算法中，黑人的犯罪风险会系统性地高于白人；在招聘机会推荐算法中，男性获得高薪资工作的推荐几率显著高于女性等。在贷款申请、广告推荐、公共服务等各个领域，自动化算法决策结果都可能存在对特定群体的系统性偏差。

造成算法歧视性风险的原因，固然有技术缺陷或人为主观意图的影响，但更复杂的因素还在于算法与其应用环境相互影响的结果。

算法责任是又一个被频繁提及的治理风险，其主要内涵是指：当算法决策或应用结果损害特定主体权利时，由于归责原则不清晰而导致利益救济不到位的风险问题。技术治理传统视角下，技术或产品仅被视为工具，其背后的设计者或应用者才是承担民事责任的主体。但第四次工业革命背景下，算法责任性风险的新挑战主要体现在两个方面。

一方面，人工智能技术推动下，算法具备了一定程度的主体性。人工智能算法的变革意义在于突破了人类表达能力的限制，基于大量数据或案例的自我学习过程，事实上意味着算法应用结果与人类行为之间，并不一定存在必然且直接的因果联系，由此导致传统归责原则失效。

另一方面，算法责任的新挑战还在于算法的“黑箱性”。也就是说，我们对算法形成特定结果的内在机制和因果联系看不清楚、说不明白。这种情况将影响责任溯源的过程，以及相关责任的界定。虽然我们不能完全排除商业平台刻意隐瞒算法运行原理的情况，但导致算法“黑箱性”的根本原因，还在于算法基于大量案例的自我学习过程本身的不可解释性。例如，算法虽然能够在短时间内阅读所有《人民日报》文章，并判断哪一篇文章可能在社交媒体上得到最多人的分享，但其却不能给出人们愿意分享该文章的具体理由；类似的，算法能够为用户推荐最匹配的资讯内容，但却不能给出用户喜欢该资讯内容的具体原因。在上述例子中，如果算法应用结果给用户造成权益损失时，因为难以确定导致损失的原因，传统归责体系也就难以确定应该由谁、用何种方式对用户给予合理的赔偿。

算法虽然能够以更高效率处理大量数据，但其仍然存在诸多局限性。如果忽略这些局限性，将算法应用在不当环境之中，便可能引发误用及滥用的风险，这又具体体现在三个方面。

首先，算法往往是“死板”的：虽然算法可以基于大量数据或案例实现自我学习，但学习的目标却需要具体而明确地人为设定，但现实生活的复杂性并不一定总是能满足这一要求。其次，算法往往是“短视”的：算法往往要求实时反馈结果以评估决策效果，这也导致其能更好满足“短期目标”，但在应对“长期目标”方面可能力不从心。最后，算法往往是“僵化”的：基于大量数据或案例的机器学习算法，在客观上要求输入大数据集与其应用环境具有概率上的分布一致性，但动态变化的应用环境往往使得基于特定数据集的算法决策很快过时，并因而难以用于指导当前及未来的预测或分析。

以资讯推荐算法为例。首先，资讯推荐算法的目的在于为用户提供最匹配且有质量的内容，但算法并不理解何为“匹配”或“有质量”，因而设计者不得不将这一模糊目标转化为“用户点击率最高”这一具体的替代目标。但很明显地，替代目标与真实目标并不完全一致，“点击率最高”并不意味着“有质量”，算法的“死板”可能带来额外风险。其次，“用户点击率”更多体现为当前的“短期目标”，但过多重视点击率却可能导致低俗内容盛行，从而不利于平台可持续发展这一长期目标，但算法却无法将后者纳入考虑范围，由此带来“短视”风险。最后，资讯推荐算法往往需要根据用户历史阅读数据来预测用户偏好，但其却往往难以捕捉用户所在环境的具体需求（例如在课堂或医院等特殊场合），进而可能推送不合时宜内容，并因此体现其“僵化”风险。

基于上述风险的梳理不难看出，不同于传统意义上的技术治理，第四次工业革命背景下的算法治理，并不局限于技术或产品本身，而更多体现了算法与人类社会交互影响而形成的新挑战。正因为此，算法治理不仅要求算法设计者关注功能的完备性和鲁棒性，更要求算法应用者和用户深度参与治理进程，为算法的动态演化及其影响结果提供实时反馈，而这也相应要求治理理念、体系、机制的革新。

第四次工业革命背景下，算法治理的新挑战在于，算法的生产与应用过程已经深度嵌入人类社会之中，其作为规则的普遍性、可执行性与动态性，都使得我们需要更新治理理念，并创新治理体系和治理机制。

在传统的技术治理视野下，“以人为本”更多是指技术创新应服务于人类社会发展，而不能“作恶”。但对于第四次工业革命背景下的算法治理而言，“以人为本”的内涵还不仅如此，其同时要求技术研发与应用的价值应体现为“赋能于人”，而非“人的替代”。算法治理理念需要回归并丰富“以人为本”的基本内涵，有两方面原因。

第一，在第四次工业革命背景下，算法已经开始作为独立的行为主体参与人类生产、生活，并以“规则”的形式体现其对于人类行为的深度影响。由此引发的重要问题在于，原先由“人”来承担的行为责任能否、且如何向“机器”转移。在没有对此问题作出很好回答之前，将重要规则的决策权归还于“人”，仍然可能是短期内我们的次优选择。

第二，算法所体现出的自动化、智能化特征，可能诱导技术研发者和应用者，在提高效率、降低成本的引导下，更多追求控制乃至替代人类行为的自主性，进而忽略了算法辅助并赋能于人的可能性。举例而言，“犯罪风险评估”司法机制的设计初衷，是为了更好促进并创造个体向善的动机与环境，而非片面减少人为判断的主观性以提升决策效率。特别的，如果我们意识到算法还存在“死板”、“短视”、“僵化”的弱点，在忽略人类社会复杂性的前提下，片面追求效率导向，以在不同场景下“替代”人类决策的技术研发和应用思路，将可能造成更大风险。

技术治理的传统体系是典型的“命令-控制”结构，针对确定的治理风险（例如汽车事故），政府作为监管者预先制定标准（例如汽车产品质量标准）与规范（例如驾驶者的行为规范），并要求相关主体遵照执行。但第四次工业革命背景下，算法更多作为“规则”，而非“产品”，被应用于人类社会并产生影响，由此也使得算法治理风险体现出多元化、动态性、不确定等特征。在搜索引擎排序算法的例子中，程序员以“最大化用户点击率”作为算法设计原则，本身并无太大争议，但当应用于具体环境并体现出特定社会心理倾向之后，歧视性风险最终产生。面对这种情况，监管者既难以提前预设规制标准（因风险难以提前预知），也难以针对明确的被监管者制定行为规范（因并非特定主体的特定行为直接导致风险），传统的“命令-控制”结构难以为继。因此，治理体系的延伸成为必然选择。技术研发者、设计制造者、部署应用者乃至用户都应当加入治理体系，与政府监管部门共同构成推进算法治理的利益相关方。在遵循各自行为规范的基础上，利益相关方还应建立风险共享与应对机制，以及时发现治理风险，约束相关方修正技术发展和应用路径。

另一方面，将利益相关方纳入治理体系，并不意味着必然就会带来良好的治理绩效。算法治理的新挑战要求利益相关方共同探索新的、有效的治理机制，以发挥不同主体优势、整合治理资源。就此而言，以“敏捷治理”引领算法治理机制创新，可能是值得探索的希望路径之一。“敏捷治理”是世界经济论坛2018年提出的新概念，其意味着“一套具有柔韧性、流动性、灵活性或适应性的行动或方法，是一种自适应且具有包容性和可持续的决策过程”。敏捷治理在广泛纳入利益相关者的同时，要求以更快速度识别变化中的风险，监管者与被监管者的清晰边界被打破，进而共同探索应对风险的渐进式策略。对于算法治理而言，其嵌入社会的规则属性恰好需要“敏捷治理”式的机制创新：一方面，算法本身的动态变化，以及应用过程中才浮现的治理风险，在客观上要求快速的治理应对；另一方面，算法治理风险类型与程度的不确定，反过来要求利益相关方在探索中表达治理诉求、形成治理方案。

关于作者 | 贾开：电子科技大学公共管理学院副教授；

薛澜：清华大学文科资深教授、清华大学苏世民书院院长、清华大学人工智能国际治理研究院院长

来源 | 本文刊登于《清华管理评论》2021年4月刊，内容有删减