在 2018 年专家小组会议上,中国的立场文件主张 LAWS 的定义应包含以下特征:我们认为,致命性自主武器系统应包括但不限于以下 5 个基本特征:(1)致命性,“这意味着足够的有效载荷(费用)和手段是致命的”;(2)自主,“这意味着在执行任务的整个过程中没有人的干预和控制”;(3)不可能终止,“意味着一旦开始就没有办法终止该装置”;(4)无差别效应,“指装置将执行杀伤和瞄准的任务,而不管条件、场景和目标”;(5)进化,“意味着通过与环境的交互,设备可以自主学习,以超出人类预期的方式扩展其功能和能力”。中国的立场文件还对此类系统是否能够区分士兵和平民,并担心会降低战争成本,从而增加战争频率。最后,也可能是针对美国(和俄罗斯)的军事人工智能政策,该文件批评了目前各国零敲碎打的审查,
认为各国的审查大相径庭,而且如果在致命性自主武器系统方面没有任何明确的国际标准,就不可能相信这些审查能减轻人们对军事人工智能的担忧。在专家组会议上的立场文件中,虽然中国没有重申呼吁制定具有约束力的法律来规范致命性自主武器系统,但中国代表团确实呼吁与会代表“谈判并达成一项简洁的议定书,禁止使用完全自主的武器系统”。中国提出的致命性自主武器系统定义可能不会涵盖美国或任何其他国家的任何武器系统。中国提出的定义中的第三条标准,即武器一旦开始执行任务就不可能停止,似乎排除了任何由人操控的系统。即使是完全自主模式的宙斯盾防御系统也很可能不符合这些要求,因为即使该系统对威胁做出反应的速度可能快于人类的反应速度,人类仍有能力阻止系统的运行。此外,根据中国的定义,即使是发射后无法召回的巡飞弹,
也只有在根据环境学习并以不可预测的方式改变行为时才会被归类为致命性自主武器系统。因此,尽管中国呼吁对致命性自主武器系统实施严格、具有约束力的禁令,但即使禁令采用了中国的定义,也可能不会影响任何当前或计划中的美国或中国武器系统。不过,无论是出于道义还是操作方面的原因,此类声明都有助于表明中国打算在其自身开发人工智能武器系统的过程中划清界限。
中国禁令。中国自 1997 年起加入《化学武器公约》,自 1984 年起加入《生物和毒素武器公约》。 2002 年和 2006 年,美国国务院援引进攻性生物武器所需的气溶胶技术方面的出版物,声称中国似乎拥有一个活跃的生物武器项目。到 2010 年,这一计划似乎已经停止。这一年,美国国务院仅提到,中国正在从事一些《生物武器公约》允许的双重用途生物活动,并对中国从未公开承认其 20 世纪 80 年代的生物武器计划,也未令人满意地证明其已销毁所有生物武器储备表示关切。2011 年和 2012 年的报告也得出了同样的结论。中国当前似乎没有开展任何化学武器计划,但中国公司曾因出口军民两用产品。2000年代初,中国公司因向伊朗扩散军民两用化学设备而受到制裁,但可能更多是由于缺乏监督,而非政策有意为之。正如武器控制协会 2005 年的一份报告所指出的,
即使中国在西方的压力下通过了符合国际标准的国内出口控制法律,“中国既定法律的规定与中国持续执行这些法律的能力之间仍存在巨大差距”。中国在遵守这两项条约方面还有许多不尽如人意的地方,但随着时间的推移已经有所改善,而且相比生产地雷和集束弹药,中国在这些领域表现出了更大的克制。鉴于中国在 LAWS 讨论中提到了《特定常规武器公约》的《激光致盲武器议定书》,中国在该条约上的表现值得特别关注。议定书签署后,中国停止了 ZM-87 永久致盲激光系统的生产。此后,中国似乎一直遵守协议的文字,即使没有遵守协议的精神。中国的几种新型步枪型激光武器在网上引起了极大关注。虽然很难获得有关这些系统的可靠技术信息,但据报道,这些系统只会造成暂时性失明,因此在技术上符合条约规定。某地光学精密机械研究所的 ZKZM-500 原型或许更令人担忧。
这种步枪式便携激光武器可在数百米之外对敌方士兵和装备造成灼伤,并可能造成永久性失明。尽管如此,该武器的主要功能是灼伤皮肤和装备,而不是致盲。技术专家对该系统的实际能力表示怀疑。解放军尚未购买该系统,也可能永远不会购买。中国在吉布提附近和东海上空激光攻击是一形式,但从技术上讲,这些攻击可能并不违反条约,因为激光的威力显然不足以造成永久性失明。虽然中国愿意开发并使用暂时致盲的激光系统,但“大凡'规则',必有例外”。也就是说,尽管中国看到了激光致盲武器的价值,并在过去出于技术、道德或政治原因开发了永久致盲激光,但似乎并未部署此类武器。至少,中国坚持认为其现有激光武器符合条约规定,表明中国认为违反国际军控协议的代价太大。
正如在生化武器问题上所提到的,与中国签署的任何军备协议都会有一个关键问题,那就是执行机制不严格。即使中国希望遵守禁止某些武器系统的国际承诺,也可能缺乏确保履行承诺所需的法律基础设施。正如解放军海军军事法院系统的一位学者所指出的那样,中国并没有什么法律审查程序来确保武器系统符合国际法,而且在研发武器时也没有充分考虑法律问题。中国的军事文献也呼吁解放军改善其法律基础设施。虽然中国遵守军控条约的问题反复出现,但在已签署条约的领域(激光和生物武器),中国的行为确实比未签署条约的领域(地雷和集束弹药)更为克制。中国在激光武器问题上模糊界限的倾向令人担忧,特别是很难获取其所使用武器的技术信息,因此很难确定其是否符合条约规定。此外,远距离使用的合规武器在近距离使用时可能会造成永久性失明。
致命性武器系统禁令也有类似的问题。如前所述,就自主程度而言,合规系统与不合规系统之间的区别可能只是软件上的,甚至一个开关都能产生很大差异,一个国家很难或不可能知道另一个国家的武器设置。话虽如此,虽然我们无法判断如果中国从未签署该条约会发生什么,但如果中国没有对其条约义务表现出一定的克制,中国的激光致盲武器、化学武器和生物武器很可能会更加危险和广泛。最终,支持中国禁止致命性自主武器系统的提议可能符合美国的利益。如上所述,中国对致命性自主武器系统的定义标准过高,不太可能影响美国现有或计划中系统的发展。因此,中国不太可能变相阻碍美国的人工智能发展。美国的标准已经比拟议禁令中的标准更加严格。不过,在谈判国际协议时,美国可能希望在一定程度上缩小致命性自主武器系统的定义,以便与国防部指令更加一致。
例如,美国谈判代表可能希望取消一些标准,如“只有从环境中学习并自主扩展功能和能力的系统才是致命性自主武器系统”。此外,尽管中国“国家法律审查不足以确保遵守禁令”的建议可能是在暗中攻击美国的国防政策,但实际上这些建议也可能有利于美国的利益。目前,中国尚无法律审查程序可言,而美国的法律审查程序是美国武器发展项目必须通过的一道不对称障碍。中国的外交承诺若能在多大程度上对解放军实施类似且同样透明的程序,可能为国防部带来福音。即使中国版禁令为中国设定的道德标准低于美国,但至少会给中国(希望也能赋予其他国家)施加一些明确的道德义务。这样,美国就能向中国施压,要求其“提高标准”,提出提高中国法律审查程序透明度的措施,并在解放军违反自己的承诺时施加政治代价。
中国对军事人工智能的担忧。无论解放军在军事人工智能的发展程度上做出何种决定,都不太可能受到私营部门的强烈反对。虽然一些知识分子,如某交通大学至少从 2010 年代初就开始讨论军事人工智能的伦理问题,但 2017 年之前,这样的讨论极为罕见,而且与其他国家相比,在中国这样的讨论仍然很少。中国还没有发展出像“阻止杀手机器人运动”这样的重要政策倡导组织,相对于中国作为世界领先的人工智能大国之一的地位,中国对此类国际组织的参与也是微乎其微。2017年年中,中国《新一代人工智能发展规划》发布后,人们对人工智能,尤其是人工智能伦理的兴趣变得更加广泛。该计划要求在 2020 年前制定有关人工智能的伦理规范和法律,在 2025 年前建立评估和确保人工智能应用安全的体系,并在 2030 年前进一步完善这些法律。
根据该计划,这些规范和法律应从无人车辆和服务机器人开始,并应为民事和刑事案件建立框架。该计划还呼吁中国积极参与制定国际人工智能法律。中国的学者和企业已经开始响应这一号召。某讯是中国最大的人工智能公司之一,也是流行的在线聊天和支付软件的制造商,该公司于2017年11月出版了一本关于人工智能的书,其中有一整章是关于伦理问题的。该公司提到了军事人工智能,认为自主武器必须区分战斗人员和平民,并遵守国际人道主义法的其他规定。2017年以来,一些知名学者和商界人士公开呼吁加强对人工智能的监管,包括军事人工智能。在埃隆·马斯克和其他著名人工智能人士发表公开信呼吁禁止LAWS后不久,优必选科技创始人周剑和其他一些中国科技行业领袖也呼吁禁止LAWS。
2018年,国内学者分别对LAWS持严重保留意见称,人工智能可能成为资本为人类准备的“掘墓人”,而不是工人阶级。2017年以来,呼吁对人工智能进行伦理约束和其他规范的呼声得到了新闻机构的报道。埃隆·马斯克和其他人工智能人士致信联合国,呼吁禁止致命LAWS,这封信也出现在中国媒体上,如新华社和《科技日报》。虽然这些媒体没有公开支持这封信,但还是给予了相对正面的报道,提到了马斯克的可怕警告,并援引专家的话说,如果这类系统被开发出来,要禁止它们将非常困难。新华社的一篇文章也提到,一些中国科技界人士表示支持禁止杀手机器人声称,武器化人工智能对人类构成严重威胁的文章已经发表在一份期刊上。广大民众对人工智能伦理和隐私保护的担忧也与日俱增,
尤其是自2017年年中以来。《北京青年报》 2017 年公布的一项民意调查发现,私人数据泄露是消费者最关心的问题。2018年初,某网络零售商通过将用户协议偷偷塞进一个不相关的应用程序,偷偷将人们纳入某信用系统(该系统通过收集用户的联系人、购物行为、财务状况等各种数据,为人们打出一个可信度分数),此举引起了公众的轩然大波。2018 年 3 月,中国另一家领先的人工智能公司发起了一项调查,发现人们对人工智能(之后的工作可能会自动化)最关心的两个问题是:人工智能是否构成威胁,以及人工智能是否能够具备道德或法律意识。虽然在《新一代人工智能发展规划》发布后,中国的技术专家、学者和评论家们开始对人工智能的安全性进行猜测,且他们的行为很可能并不是受某委托,
但国家在整个运动中的影响力远大于西方。中国的人工智能会议和标准制定机构主要由国家组织、互联网公司和大学主导,它们都与政府关系密切,独立民间组织的投入相对较少。即使在隐私领域,公众似乎对一些中国互联网公司的恶劣行径确实感到愤怒,但国家也介入其中,以引导讨论,确保不干涉其运作。对军事人工智能的担忧尤其如此,而这种担忧往与中国在《特定常规武器公约》会议上表明的立场一致。虽然人工智能领域的一些科学家和工程师可能对开发军用人工智能有道德上的顾虑,但他们并没有组织起类似于“西方阻止杀手机器人运动”的活动,而且很难想象会有大型中国人工智能公司在政府压力下拒绝接受重要的军事合同。为了与政府声明的优先事项保持一致,伦理和人工智能方面的公开讨论往往更侧重于商业应用和安全性。
在中国,在国家参与人工智能伦理讨论方面,其中一个指标是由某机构而非民间组织牵头提出和起草该领域的安全标准。这与美国参与此类标准制定机构的情况明显不同,美国的标准制定机构是由私营部门主导的,几乎没有政府的协调。2018 年 4 月,国际标准化组织和国际电工委员会(共同负责约 85% 的国际产品标准)联合技术委员会第 1 技术委员会第 42 小组委员会人工智能会议在国内召开,中国由中国电子技术标准化研究院率领,该机构是工信部直属的标准制定机构。由该院牵头的中国主要科技公司和大学联盟为会议起草了一份白皮书,提出了人工智能产品和服务的拟议标准。该院指出了人工智能系统必须遵循的四项关键道德原则,包括在系统设计中以人类利益为中心、在系统出现故障时建立明确的责任、这些系统运行的透明度,
以及平衡透明度责任与公司保守商业秘密需求的必要性。维护隐私的必要性也得到了强调。该文件将“军用机器人”列为人工智能产品,因此其制定的任何标准都可能在一定程度上适用于军事领域。截至2019 年 8 月,第 42 小组委员会正在准备一份“伦理和社会问题概述”以及风险管理概述。一份关于人工智能决策偏差的正式文件已撰写完毕,一份关于人工智能系统可信度的概述草案正在委员会中进行表决。该院和其他国家主导的组织可能会继续制定国内人工智能安全、责任和道德标准,并寻求将这些标准国际化。中国再次公开承诺制定人工智能道德标准,但这些标准是标准,国内组织的监督作用微乎其微。为企业而非为政府制定严格的隐私标准与人工智能相关伦理的其他方面相比,中国公众对隐私权的讨论可能更多一些,但政府主导的组织在讨论中的作用仍然很大。
例如,2018年初起诉百度非法收集个人信息的消费者保护组织就是由政府支持的。2018年,全国信息安全标准化技术委员会发布了《信息安全技术—个人信息安全规范》。这些标准为中国消费者提供了广泛的保护,包括保证任何使用消费者数据的组织只能将数据用于相应服务,并且在实现该目的后必须将数据删除或匿名化。这些标准还重申了中国早先的立法,防止将中国消费者的数据传输给中国以外的实体。这些保护措施在很多方面都可与欧洲严格的《通用数据保护条例》相媲美。不过,尽管这些标准可以保护用户免受私营公司的侵害,但却存在很大的漏洞,即在任何与国家或公共安全有关的项目中,都可以自由收集数据。因此,尽管中国私营企业在数据使用的法律限制方面可能会日益与美国和欧洲同行处于更平等的地位(由于美国缺乏类似的隐私立法,
中国私营企业实际上可能略微处于劣势),但与国防部相比,可能会继续不受约束地使用公民数据。
结论。解放军正在积极开发机器人和软件人工智能应用。目前还没有已知的、完全自主的中国武器系统投入实战或正在研发,但有些系统已经高度自主,如果对其软件进行修改,很可能可以在没有人类参与的情况下运行。如果解放军走这条路,在确定致命性自主武器系统行为的责任和问责方面,将面临与美国相同的挑战。事实上,鉴于解放军历来不愿下放权力,这些挑战对中国来说可能更大。解放军目前正在研究机器学习目标识别技术,将使他们的武器更加独立于操作人员。中国还在研究各种基于人工智能和机器学习的系统,以自主整合各种传感器的数据,识别隐藏目标,为指挥官提供共同的作战画面,实现快速决策。未来,解放军希望该系统能充当“数字参谋”,为指挥官提供信息、建议和规划意见。
尽管中国已正式呼吁禁止致命性自主武器系统,但其对该类武器的定义过于狭隘即使禁令获得批准,也很可能不会对中美两国目前正在研发的任何系统产生影响。中国越来越多地参与到有关军事人工智能道德性的讨论中,但这种参与主要是由国家和国家附属机构主导的。无论中国学者和技术巨头有什么疑虑,他们都不可能约束政府的行动。尽管如此,在限制开发或使用致命武器系统方面,美国与中国就相关国际协议进行谈判并不会有什么损失。中国提出的禁令似乎并非是为了变相限制美国的人工智能发展,因为美国的标准已经比拟议禁令的标准更为严格。如果有一项国际条约要求某种程度的人为控制,中国就更有可能约束自己的行为。因此,参与谈判可能对美国更有利,并努力确保联合国最终通过的LAWS 定义尽可能接近美国国防部关于自主武器的道德准则。请继续关注下一期。