【学术新探】董青岭：新战争伦理-规范和约束致命性自主武器系统

内容提要

        作为一种新兴武器平台，“致命性自主武器系统”本质上是一种“杀手机器人”，它可以在不经过人类干预情形下，独立搜索、识别攻击目标并做出攻击决策。未来，伴随着自主武器系统“自主”性能的逐步提高，机器算法或将取代人本身而成为军事行动的实际决策者和执行者,从而开启“致命决策的去人类化”进程，传统战争形态也或将由目前的“人与人之间的相互伤害”模式演变为“人机大战”或“机器人之间的相互杀戮”。有鉴于杀手机器人的不确定前景，在致命决策中人的决策主体地位、无辜者的生命尊严以及和社会规范所一贯珍视的价值理念，都或将遭受前所未有之挑战。从武器自动化到武器自主化，所进化的不仅仅是人类相互屠戮的技术手段同时还有机器伦理和战争规则。未来战争关于他人生死的独立决策是否应被托付给一个智能系统，目前学界和政策界争论不已，在没有或无法植入社会正义理念的情景下，自主武器系统的研发、部署和使用势必会给人类社会带来潜在伤害，因而有关致命性自主武器系统的研发、交易、部署和使用等每个环节都应受到国际规制严格约束和监管。

当前，随着数据科学与深度学习技术的突飞猛进，人工智能时代的来临已露端倪。继生化武器与核武器之后，“致命性自主武器系统（Lethal Autonomous Weapons Systems，简称LAWS）”的研发、部署和应用正在引发新一轮军备竞赛，并有可能颠覆传统战争形态和重塑国际人道主义规范。简单来说，所谓“致命性自主武器系统”指的是一种基于AI技术且具有自主决策性能的“杀手机器人（Killer Robots）”武器攻击平台，它可以在不经过人类操作员干预的情况下，独立搜索、识别目标并自主性地做出攻击决策，其设计初衷是寄望于以智能机器人取代人类战士从事战场侦察、日常巡逻和执行危险性战斗任务，从而达到降低人员伤亡、减少战争损耗和实现精准打击之功效。与传统由人为操作或远程控制的自动化和半自动化武器不同，“致命性自主武器系统”通常被描述为“能够在没有任何人类指令输入或人机互动操作情形下自主选择攻击目标并开火的一种武器平台”，“自主性”是该类武器区别于其他武器的本质属性，其技术特征集中体现为人工智能技术的介入和战争决策的算法驱动。伴随着各国争相研发、部署和使用此类武器系统，未来战争的“去人类中心化”和“去人类控制化”趋势已然显现。在人工智能技术的驱动下，人类自身的生存从未像今天这样面临自我毁灭之风险，人类的创造物——自主武器系统——正在取代人本身而成为生杀予夺的决策中心，基于机器算法逻辑的自动搜索与自主攻击正在颠覆传统战争理念，未来机器人战争将会拯救更多的士兵生命还是会波及伤害更多的无辜平民，目前已成新军事革命和国际人道主义规范重塑的前瞻性话题。

作为一种新型的武器平台，“致命性自主武器系统”本质上是一套算法逻辑规则与传统物理器械的结合，其最大军事化效应在于对传统武器的智能化改造，即常规武器可以通过自主性武器系统这一应用平台获得前所未有的“自主性”，届时任务被授权给机器，机器将取代人而成为军事行动的实际决策者和实施者，从而开启“致命决策的去人类化”进程，这或将导致战争形态由传统的“人与人之间的相互伤害”演变为“人机大战”乃至“机器人之间的相互杀戮”。对此，红十字国际委员会批评道，致命性自主武器系统“完全抹杀了致命决策中人类自身的决策主体地位并会伤害到无辜人群的生命权和人类社会的基本价值理念”。有鉴于此，未来战争关于生死的独立决策是否应被托付给一个智能系统，无论是从伦理上还是从法律上，都将造成人屈从于机器、人沦为机器奴隶的危险境地，“如果未来有一天，机器和计算完全接管了世界，那么这种放弃就是末日之始。”

根据相关新闻报道，截至到目前为止，全球已有40多个国家被披露正在设计、研发和试图使用所谓的“致命性自主武器”系统其中尤以2013年韩国研发并投入使用的“SGR-1哨兵机器人”最为接近“杀手机器人”特征。据悉该机器人系统由韩国三星集团旗下一家科技子公司牵头研发，系统总体造价约为20万美元，配有红外探测器和音视频通信系统，能够即时探测并识别2千米（白天）和1千米（夜间）以外的人、汽车或树木，还可探测到4千米（白天）和2千米（夜间）以外的移动物体，能够盘问10米以内的来客并在侦测到闯入者时发出警报，如果警告无效该系统可自动向闯入者开火。除此以外，作为一种极具杀伤力的新型无人作战飞机，美国通用原子航空系统公司研制的“MQ-9死神(Reaper)”无人机也颇为引人注目，早在2014年2月该无人机就进行了首航和试飞，其发动机设计输出功率为900马力，装备6个武器挂架，可搭载海尔法导弹和500磅炸弹，主要用于自动情报收集、无人监视与侦察等任务。当然，有意愿研发和部署此类智能武器的国家远不止美国和韩国，作为全球影响重大的军火贸易大国和军事强国，俄罗斯近年来也在积极研发并试图部署名为Nerekhta的无人战车，该自主武器系统除拥有一般装甲车的战斗力外，还兼具运输和侦察功能，可支援重型火炮和榴弹发射器，同时还能配合反坦克导弹系统并与无人机分享情报。对此，俄军方内部人士指出涅列赫塔（Nerekhta）无人战车的研发，标志着俄军作战形态和作战理念正式迈向无人化和智能化，俄军方期望最终以人工智能技术全面取代战场上的士兵和机师。

总体而言，尽管在技术上致命性自主武器系统依托大数据、机器学习等手段实现了无人值守和战场态势的智能研判，但机器人的智能决策真的能够等效或优于人类士兵决策吗？致命性自主武器系统是否真的如设计人员所想象的那样可以将战斗人员和无辜人员加以严格区分吗？当机器的算法逻辑违背人类社会的道德良俗与国际人道主义规范时，“杀手机器人”又是否能够拒绝非正当的杀人指令呢？其实早在2007年10月，上述忧虑就已在人工智能实战应用中略露端倪。根据《中国国防报》和美国《陆军时报》等多家媒体的相关报道，当时美军第3机步师下属部队携带3台“利剑”机器人进攻一个反美武装据点，由于没有及时更新软件，其中1台“利剑”机器人竟把枪口对准美军操作人员，即便在操作人员发出“行动取消”的指令后，失控的“利剑”依然不听指挥，直到另一名美军上尉用火箭筒把它炸翻才化险为夷。2013年6月，联合国法外杀戮特别报告员克里斯托弗·海恩斯（Christ of Heyns）起草的一份调查报告更是指出，致命性自主武器系统将人排除在战争决策之外，会极大降低国家开战或使用致命武力的门槛，同时算法程序如果不能百分之百的排除逻辑故障存在，则机器对人类的毁灭性风险就始终存在。

当然，最为令人不寒而栗的是，2017年11月13日至17日联合国在日内瓦召开《特定常规武器公约》缔约国会议，“机器人杀手禁令运动（Campaign to Stop Killer Robots）”组织公布了一段视频：一群基于AI驱动、形似杀人蜂的小型机器人，通过人脸定位瞬间杀死了正在上课的几十名学生，场面血腥、恐怖至极。虽然视频中的机器杀人场景仅是假想模拟，但在现实中杀手机器人不仅业已存在而且被广泛应用于各个军事领域，智能化武器的发展不仅正在改变着人与人之间的彼此伤害方式，而且还有可能会颠覆掉人类社会现行的道德体系甚至人类本身。目前已经部署并投入使用的自主武器系统主要有：美国“宙斯盾”巡洋舰的“方阵”系统，它能自动发现、跟踪和打击反舰导弹以及飞机等防空作战威胁；以色列的“哈比”系统，主要用来探测、攻击并摧毁雷达发射器；英国“雷神”喷气式无人战斗机，可以自主地对敌人进行搜索、识别和定位，但只有在得到任务指挥官授权时才能攻击目标；部署在朝韩非军事区的韩国三星Techwin监控及保安机器人，该武器系统主要通过红外传感器探测目标，尽管目前是由人类操纵但它拥有一个人类缺位时的“自主模式”。

鉴于自主武器系统所带来的种种潜在风险和不确定性，包括埃隆·马斯克和斯蒂芬·霍金在内的不少人工智能精英呼吁，未来自主武器的研发和使用应植入人类道德原则，并且要着力解决机器作为人类助手在遭遇道德两难时的抉择问题。一个典型的应用场景是：如果一个训练有素的士兵接到指令去攻击一个中立的平民村庄，他通常可以识别并拒绝非法和非道义命令；但对于自主武器系统而言它只能判断攻击与否却无从考虑攻击背后的政治立场、冲突原由与正义与否，更难以判断受伤士兵和放下武器之敌人是否应该继续被伤害。在某种意义上，致命性自主武器系统无论是扮演拯救己方士兵的保护者还是伤害无辜者的失控者角色，目前都是游离于社会规范和既有战争原则之外，它更多地体现为一种杀人效率工具，而非具有独立意识和道德立场的理性决策者。在没有或无法植入社会正义理念的情景下，自主武器系统的研发和部署势必会给人类社会带来持久伤害。

正是有鉴于自主武器系统在实战中的参与率越来越高，智能化战争机器人对现有武器控制体系和国际人道法原则均构成了潜在挑战，更为关键的是，由自主武器系统所引发的“致命决策去人类化”进程，正在边缘化人类本身在未来社会中的地位和作用。如何在自主武器系统中嵌入符合人类伦理规范的算法规则，使其能在面对道德困境时做出正确的判断和选择，目前已成人工智能军事化所面临的道德挑战。有鉴于此，2017年8月20日在澳大利亚墨尔本举行的国际人工智能大会上，116位机器人和人工智能专家发表联名公开信，认为致命性自主武器系统足以构成继火药与核武器之后的第三次武器革命，这种技术一旦开发成功，将有可能把战争冲突从目前“人类相互伤害”演变为“机器灭绝人类”。公开信的签署者们担忧，致命性自主武器一旦被劫持或滥用，极有可能会成为独裁者和恐怖分子残害无辜的手段，进而呼吁联合国应在全球范围内禁止“致命性自主武器系统”的研发和使用。

从武器自动化到武器自主化，所进化的不仅仅是人类相互屠戮的技术手段，同时还有社会伦理和战争规则。目前围绕着致命性自主武器系统所带来的潜在风险，学界和政策界还在争论不已。其中一种观点认为，自主武器系统并非完全是令人生畏的，在很多方面它具有一定的和平塑造效应，不应完全被禁止而宜逐步通过法律规范加以规约。该观点认为，在未来战争形态中，由于机器决策效能显著优于人类直觉判断，人类的作用可能会慢慢减弱，届时“自主化”将成为战场环境和武器系统的一个普遍特征。但在可预见的未来，武器的“真正自治”几乎是不可能的。在目前技术条件下，所谓的“机器杀手”或自主武器系统仍然是按照人的预设规则和指令行事，对于那些程式化、重复性和危险性战斗工作，机器人较之人本身更为聪明机敏,譬如用于搜索地雷或者引爆炸弹的机器人，可以最大限度地减少士兵伤亡，但机器人终究是人类的制造物和附属品，始终无法脱离人类而自治。进而，该观点认为，机器人之间的战斗和较量，在一定程度上为人类正式退出暴力舞台创造了技术可能，以前人们必须付诸流血才能捍卫生命和财产安全，现在这一切行将由机器人之间的对抗和决斗来取代。

当然，也有反对意见认为，致命性自主武器系统如果不加限制，人类会终究走向毁灭。该观点认为，最初许多自主武器系统之所以被设计出来是因为特殊作战环境的需要，譬如海军舰载的自动反导系统通常是在没有平民在场的环境中使用，另外一些自主性武器如便携式小型移动机器人可以充当替代人类士兵的巡回侦察兵，在危险环境中起到保护作战人员免受狙击手威胁之作用。对于这些自主性武器系统而言，非议之所以较小是因为这些武器都不是针对无辜者或平民的，但这并不意味着所有自主性武器系统都是合乎法律或道德的。反对者构想了这样一个未来冲突场景：如果两个敌对国家都部署了数量庞大的自主武器系统，那么两个国家之间的冲突会不会因为机器人的自主决策和相互误判而被裹挟升级呢？机器人之间的战争会不会导致军事冲突升级为一场由人和机器人共同参加的地球毁灭战呢？鉴于目前机器编程过程中道德原则的缺失，谁也无法排除未来机器人因拯救部分人而触发一场人类灭绝战之可能。因而，纯粹机器之间的决策和较量很可能极度危险。

概括而言，自主武器系统的发展初衷是减少人类战士在战场上的伤亡,如美军在伊拉克军事行动中所采用的爆炸物处理机器人(EOD)，实际扮演了生命拯救者角色，每一个进入维修车间的机器人至少挽救了一个人的生命。但从另外一个侧面来看，正如海恩斯所指出的那样，“尽管有能力生产自主机器人杀手的政府表示目前不会考虑在武装冲突或其它场合使用这一系统，但人们不应当忘记，飞机和无人机最初在武装冲突期间使用时也只是用于侦察目的，不考虑以进攻为目的来使用；但后来的经验表明，一旦相关技术日臻完善，最初的考虑和保证往往就会被抛掷脑后。”假设如果有朝一日致命性自主武器系统真正得到部署或使用，则其在道义层面所产生的冲击可以说是将令人“不寒而栗”。

首先是算法上的漏洞和误差。假设一国基于深度学习训练自主武器系统来识别恐怖分子，样本内模型建构以50万人为训练样本，训练识别准确率为99.9999%,那么即使只有0.0001%的识别误差，放大到500万人口规模的实战场景中，也会造成500名无辜人员被误杀、放大到5000万人口规模将会有5000名无辜人员失去生命。就此而言，算法本身是会作恶的，它为了捍卫一部分人的生命安全却漠视了另外一部分人的生命价值，这是与现存国际规范体系和人道主义原则相抵触的，更是违背了人类最基本道德良知。联合国《公民权利与政治权利国际公约》第6条第（1）款规定，“每个人都有与生俱来的生命权。这项权利应受法律保护。任何人不得随意剥夺他人的生命。”这是国际人权法的一项基本条款和基本精神，它永远不能被暂停。即使是在人工智能时代，该项不被任意剥夺生命的权利依然适用。

其次，与自主武器系统相关的另外一个关键问题是，智能化军事机器人技术的发展会极大降低非军事人员军事参与的门槛并触发国家间新军备竞赛。美国前总统奥巴马曾表示，自主武器系统的引入即将开启“后英雄主义社会”，即使是平民百姓也可以参与到军事和平计划中来。就此而言，自主武器系统堪称一场新的军事革命，它将极大模糊战斗人员和非战斗人员、人类战士和机械战士的区别。随着时间的演变，由机器人参与或操控的战争决策很可能会使全球武装冲突“常态化”，科学家、编程人员和游戏玩家等各色人员都有可能利用无人系统参与到武装冲突中来，机器杀人程序的“开源”传播和低廉制作成本，行将塑造人人都将拥有相互进行数字伤害能力的冲突进程。当然，没有人会真的希望那一刻的到来，但自主机器人杀手却勾勒了一个终极不对称战争和人机混战的未来冲突可怖场景。

最后，自主武器系统的部署还将对参战人员的杀戮心理产生重大影响,随着谨慎决策和正当杀人的心理阀门被逐步移除或降低，杀人将不再是完全出于自保或特定政治目的，而是越来越取决于机器在新环境中所习得的逻辑规则，由此国际战争法则的基本交战规则，特别是国际人道主义法的区分原则和比例原则也将不再被遵守。

1.区分原则。《日内瓦公约第一附加议定书》第48条规定，“冲突各方无论何时均应在平民居民和战斗员之间、在民用物体和军事目标之间加以区别，冲突一方的军事行动仅应以军事目标为对象。”《第一附加议定书》第51条第2款甚至还专门具体规定了对平民的保护：“平民居民本身以及平民个人，不应成为攻击的对象。禁止以在平民居民中散布恐怖为主要目的的暴力行为或暴力威胁。”《第二附加议定书》第4条第1款规定：“一切未直接参加或已停止参加敌对行动的人，不论其自由是否受限制，均有权享受对其人身、荣誉以及信念和宗教仪式的尊重。这类人应在任何情况下受人道待遇，而不加任何不利区别。下令杀无赦，是禁止的。”由此可见，平民及民用物体并非合法攻击目标，但随着自主武器系统参与实战的比例不断升高，作为基本交战规则的区分原则正在遭受前所未有之挑战。一些机器人专家认为，遵守区别原则需要复杂的评估过程，在武装冲突的危急情况下，复杂的价值判断是必须的，即便是传感器技术取得重大进展，问题的焦点仍然是区分判断能否通过算法来实现，当今武装冲突中最为典型冲突场景是“非对称战争”和“城市战争”环境：一方面，面对城市环境和混迹于大众人群中的恐怖分子，算法上如何确保精确区分合法目标与非法目标；另一方面，在击杀非法目标的同时能否确保合法目标即无辜者不受波及伤害。

显而易见，要做到精确执行区分原则不仅要考虑算法逻辑，更要考虑决策情景和价值判断。在暴力冲突中，现行武装冲突法和国际人道主义法要求武装人员必须在诉诸武力之前尽可能穷尽非暴力手段，即除非证明非暴力不可行，方可使用武力。这就要求战斗人员需要富有人类的同理心、谈判技巧、高水平的训练以及对动态和不可预测情况进行评估和反应的能力，在这方面机器人显而易见不可能按照国际标准来履行这些道义职责。正如克里斯托弗·海恩斯所指出的那样，在武装冲突中对生死的决定可能需要同情和直觉，人类虽然容易犯错误，但他们至少可能拥有机器人绝对没有的道德品质，已投降或受伤的敌方战斗人员被视为非战斗人员，享受国际人道主义法的保护。在非道德编程或无法将道德原则植入算法程序情形下，自主武器系统是否能够准确识别合法目标和非法目标，目前是值得怀疑的。

2.比例原则。除了区分原则之外，比例原则是国际人道主义法另一个基本支柱。虽然区分原则严格禁止针对平民的直接攻击，但武装冲突中对平民的间接伤害有时是难以避免的。《日内瓦公约第一附加议定书》第51条第5款第2项规定，“战斗人员不得发动有可能附带使平民生命受损失、平民受伤害、平民物体受损害、或三种情形均有而且与预期具体或直接军事利益相比损害过分的攻击”。《第一附加议定书》第57条第2款第1项补充规定：“计划或攻击的人应：尽可能查明将予攻击的目标既非平民也非民用物体，而且不受特殊保护，而是第五十二条的意义内的军事目标，并查明对该目标的攻击不是本议定书的规定所禁止的；在选择攻击手段和方法时，采取一切可能的预防措施，以期避免，并无论如何，减少平民生命附带受损失、平民受伤害和民用物体受损害。”这两条规定都不完全禁止间接伤害，但判断是否“过分”，不是简单地将平民伤亡与敌方伤亡相比较，而是应根据具体情况进行价值估测，判断发动攻击是否符合军事必要原则，以确定哪些是国际法可允许或道义上可接受的附带伤害。如果目标显然不是军事目标，或受到特殊保护，或违反比例原则时必须取消或暂停攻击。此外，如果有可能在几个军事目标之间作出选择，那么被选择的攻击目标必须是对平民生命和平民物品造成最小安全威胁的那个，而目前尚不清楚自主武器系统能否做出这种符合道德原则的价值判断。如果自主武器系统不能在保护平民和战斗人员之间作出明确区分，那么这种系统只能从一开始就应被限定部署在平民不在场的情形下。

综上所述，有关致命性自主武器系统能否遵守国际人道主义法的基本原则，目前仍存诸多争议。一些专家预计依赖算法和传感器自主武器系统终将能够实现国际法的道义要求，而另一些专家则对此表示明确怀疑。现代武装冲突日益朝向高复杂和不确定性演变，即使是最好的自主武器系统也难以具有包罗万象的情景识别能力。从本质上来讲，自主武器系统是一个逻辑算法框架，而不是道德选择机制。

考虑到致命性自主武器系统的潜在破坏性影响，2014年5月联合国《特定常规武器公约》缔约国举行了为期四天的非正式会议来讨论“致命性自主武器系统”的性质和监管问题，由此自主武器问题开始进入联合国军控和裁军议程。在此背景下，英国国防部表态，英国目前无意开发武器指挥和控制链中没有人为干预的系统，但它确实希望提高自动化水平，以便使武器系统更为有效；美国国防部则声称，它寻求建立一个发展自主性武器系统的审批程序，并要求安全措施审查须成为未来自主武器系统设计的一个必要环节；2016年5月，欧盟法律事务委员会发布《就机器人民事法律规则向欧盟委员会提出立法建议》的报告草案，呼吁“应禁止发展、生产和使用完全自主的武器”。除此以外，“机器人杀手禁令运动”组织也呼吁建立一种新的法律框架以“全面、先发制人地禁止完全自主武器”，并强调人类的致命决策需经过深思熟虑的道德推理，由人类来进行而不是简单化的委托给缺乏道德意识的机器。因为一旦致命决策出现重大失误，就会涉及责任归因和追责问题，究竟是制造和部署机器的人应该负责还是机器本身来负责？

显而易见，致命性自主武器系统是在无人干预的情形下“自主”做出攻击决策的，但机器本身并不存在着可以杀人或预谋杀人的主观意思表示，机器之所以杀人那是因为预置初始程序和机器学习的结果。在现存法律体系下，机器本身尚不具备承担法律责任的“准人格”或“类人格”地位，但没有人能够保证未来人工智能的突飞猛进不会演化出类人智慧和类人情感，届时机器或将习得人类社会规范并将基于自我道德判断而行事，并由此取得与人类同等或拟人化的法律人格。但那只是想象中的未来场景，当前围绕着机器杀人谁应该承担责任问题，学界主要陷入以下争议和思考：

第一，编程者责任论。伦敦帝国理工学院认知机器人学教授穆雷•沙纳汗(Murray Shanahan)认为，“到了现在，我们应该对我们创造的一些机器负起责任，就像我们要对那些伟大的艺术作品负责那样。”如果一个程序员恶意编写算法，让机器人不分青红皂白地攻击平民，那么在法理上他既存在主观故意的犯罪意图，同时又造成可核查的实际伤害，则依据国际战争法则或国内刑事法律可对其刑事追责。然而，在现实实践中事情往往并非如此简单，由于自主武器系统极其复杂，即使是那些参与制造的人也未必从一开始就能够预见部署该武器后的可能后果，再加之外部环境的变化和机器本身所具有的自适应学习算法，机器杀人究竟是出于其拥有者或制造者的主观故意还是源于外部不可抗力，基本上很难取证，从而是否应对程序设计者追责也就变得模糊不清。

第二，战地指挥官责任论。《国际刑事法院罗马规约》第28条规定，军事指挥官或以军事指挥官身份有效行事的人，如果未对在其有效指挥和控制下的部队，或在其有效管辖和控制下的部队适当行使控制，在下列情况下,应对这些部队实施的犯罪负刑事责任：（1）该军事指挥官或该人知道，或者由于当时的情况理应知道，部队正在实施或即将实施这些犯罪；（2）该军事指挥官或该人未采取在其权力范围内的一切必要而合理的措施，防止或制止这些犯罪的实施，或报请主管当局就此事进行调查和起诉。然而，这一规定并不能以类推的方式应用于自主武器系统，不能将责任划分转移到人与机器人之间的关系上。因为如果算法使武器系统的行为变得不可预测，或者算法系统本身是自适应的，那么在什么情况下，该指挥官应该知道其所部署的“自主化武器系统将违反国际人道主义法的规则”呢？显而易见，当指挥官观察到机器人由于软件错误或其他故障而开始进行战争犯罪时，如果他没有立即中止任务并使机器失效，或没有报请主观机构就机器失灵进行调查处理，那么该指挥官至少要对没有管控好自己的机器人而承担责任。简单来说，责任随着系统自主性的增加而降低，一个系统越自主地采取行动，潜在的责任缺口就越大。如果一个战地指挥官非常明确了解自主武器系统的缺陷，却仍执意部署该武器并造成无辜者伤亡，那么在现存国际法框架下，该指挥官会被追究刑事责任。。

第三，国家责任论。根据《国际法委员会关于国家责任的条款》第4条的规定，国家对其机关的行动承担责任。如果一个自主武器系统是由国家所属军队所部属的且在执行任务时违反了国际法，那么，部署该装置的武装部队所属之国家至少应承担损失责任。同时，又由于机器人虽然能进行自主逻辑判断，但其本身并不具有法律人格地位，无论是其设计制造还是其部署应用都属于国家对自身所属器物使用之行为，因而由机器人自主决策所造成的人员伤害和附带损失，也理应由机器人所属国或直接控制使用国所承担，其法理依据可参照1972年生效的《空间物体所造成损害的国际责任公约》第2条之规定，“发射国对其在地面上的空间物体或者飞行中的航空器所造成的损害，应当承担赔偿责任。”就此而言，虽然国际上目前并不存在一部“机器人武装冲突法”或“机器人战争法”，但有关国家责任的“地面空间物体”和“飞行中的航空器”概述本身涵括了一切地面杀人系统和空中杀人系统，因而可以直接适用上述国际法律有关国家责任之规定。同时，1949年《日内瓦公约》第一条规定：“各缔约国承诺在一切情况下尊重本公约并保证本公约之被尊重”，原则上这一条有关国家责任的尽职承诺似乎可以转移到国家对自主武器系统所担负之责任上来。总体来讲，国家有责任采取一切必要可行之措施，确保无论是人类战斗员还是自主武器系统都要遵守国际人道法，严控自主性武器系统对无辜平民和物体的意外伤害。

无可否认，作为武装冲突的新式打击手段，自主武器系统将代替部分战斗人员进行前线作战，这直接降低了武装冲突的战争门槛，将传统冲突形式由“人与人之间的正面搏斗”转变为“人与机器人之间的生存较量”，尤其是当冲突一方除经济费用外无任何代价时，武装冲突将更倾向于超脱一切伦理约束的单方面杀戮。除此以外，随着武器自主性能的不断提升，“致命决策的去人类化”将会进一步削弱甚至磨灭“人之所以为人”最基本尊严。放眼未来，完全禁止自主武器系统近乎是不可能的，自主武器系统必须严加管制和约束。

第一，规范研发。当前，各国领导人和军事专家大多已经认识到，致命性自主武器系统如果完全不受人类控制，终究有一天会伤及人类自身甚至人本身会成为机器消灭对象，因而在攸关生死的关键决策中应始终保留人工控制功能，如有可能最好在程序设计伊始就设立道德审核标准、规范算法流程以及法律化编程行为。2015年4月德国政府就自主武器系统发表立场声明，关于生死的重大决策不应完全由一个自主系统来执行，在选择目标和参与进程方面放弃人为干预是危险的；随后法国和日本也宣布，目前两国不寻求发展完全自主的武器系统，他们只是想增强军事武装力量的自动化程度而不是自主性，以便在部署这些武器时提高精准打击效率和加快反应速度。“保持关键部分的人工控制，目前虽然已成国际社会所广泛认可的研发惯例”，但有关如何界定“关键部分”与如何定义“控制功能”，目前学界和政策界尚无严格执行标准，已有的关切和讨论仅涉及以下几点审查要素：其一，要考虑人工决策与机器自主决策之间的最佳时间间隔；其二，要限定机器的部署环境，特别是要充分确认环境中是否存在平民；其三，要明确界定机器部署的目的是进行防御还是执行进攻任务；其三，要明确说明该机器是否被设置为致命武器；其四，要确立可执行标准评估机器操作人员的素质水平，等等。

第二，限制部署。鉴于自主武器目前尚无法区分战斗人员与无辜平民,更无法判断已经放下武器的战斗人员是否只是诈降，此类武器的部署应严格限制在无人地区如海上或沙漠环境中进行军事目标瞄准和自动执勤，不宜在人群聚集或人员流动频繁的城镇复杂环境中执行作战任务，尤其是在人类生活区中应完全禁止使用自主武器，或无论出于何种军事目的激活武器系统的自主决策功能，以免造成不分青红皂白的无辜平民伤害。另外，部署致命性自主武器系统应仅限定为执行具有防御性质的特定军事任务，如情报收集、监视和救援等和平塑造活动或非攻击行为，而不宜涵括那些机器易于造成误判或误伤的安全问题。无人机反恐由于算法误差不仅会经常性地造成误炸和误杀，而且还有可能造成机器以正义之名行屠戮之实，特别是机器依赖自主决策将恐怖嫌疑分子“就地正法”，剥夺了嫌疑人公平受审和自证清白的合法权利，极可能造成“机器暴政”和人人随时沦为机器猎杀对象的恐怖局面。总体上，伴随着人工智能技术的进步与日臻成熟，“自主性”业已成为现代武器系统的一个重要进化趋势，全面禁止致命性自主武器系统在现实中已不太可能，即便实施了禁令，也很可能不会产生效果。2014年，联合国专门展开特别会议集中讨论致命性自主武器问题，与会国87国中仅有古巴、厄瓜多尔、埃及、巴基斯坦和梵蒂冈五国提交了敦促全面禁止自主武器的声明，其他数十个国家可能或正在研发军事机器人。在这种环境下，要禁止致命性自主武器，不太可能也不太现实。当前，建立必要的规则框架，限制部署或规范部署致命性自主武器系统应是当务之急。

第三，建章立制。《海恩斯报告》指出，监管意味着负责机构将提供必要的工具，用于理解和衡量战争中武器的自主化程度；监管同时也意味着将限制自主武器的开发和使用将打击非人性的杀戮与国家支持的机器暗杀；但监管需要一个国际谈判过程，才能找到有效规约自主武器系统的答案。海恩斯建议应在联合国设立一个跨学科委员会，为发展和部署自主武器系统建立一个协商一致的国际法律框架，而在此之前，各个国家应暂停对此类系统进行试验、制造、销售和部署。然而，到目前为止，还没有任何国家颁布或有意愿执行这样的禁令。究其原因，一个潜在的逻辑很可能是自主武器系统本质上是一套软件程序，易开发、易传播、易获取且成本低廉，如果国家没有足够可行的方法来完全杜绝人们私自开发此类武器的冲动，那么颁布有关此类武器的禁令无异于鼓励人们暗地研发和进行黑市交易，则此类武器将更加容易失去控制，也更加无法对开发此类武器的实体进行问责。

就此而言，一切自主武器系统的研发、交易、部署和使用等各个环节均应置于有效的国际监管之下，首先要确保自主武器系统的研发和部署要符合国际人道主义原则。国际武装冲突法的一个基本原则是：“在任何武装冲突中，冲突各方选择作战方法和手段的权利，不是无限制的。”根据《马顿斯条款》，新武器的引入属于现有国际法条文未规定之事项，其部署和使用不得侵犯“国际法之原则、文明人民之惯例、人道之原则和良心之要求”。如果研发中的自主武器有违国际人道主义精神，则此类武器应严禁部署和使用，在这方面可借鉴《禁止化学武器公约》和《不扩散核武器公约》的相关实践与指导原则；其次，国际社会需要共同磋商并建立一套行之有效的自主武器使用问责架构，对任何未按照国际标准程序和惯例使用自主武器的组织和个人进行问责和追责，必要时建立一个专门性的自主武器国际监督组织并赋予其具体的监督权力和核查使命。最后，各国需要重新审视现有法律规约体系并订立新契约，形成一整套完善的人工智能交战法则和军事智能化法律体系，特别是要对自主武器系统的“致命性”加以严格规制。新的国际规范可以有多种不同的形式：可以是一种全新的法律文件，也可以是现有国际法框架下的一项新协议，当然也可以设计成类似于“塔林手册”的局部共识。

毋庸置疑，人工智能时代军事机器人将会获得越来越多的自主性，也将越来越广泛地被应用在各种实战场景，而未来人类社会的生存也或将越来越取决于能否通过技术编程和规范约束让自主武器系统处于可控范围之内。但以目前技术进展来看，自主武器系统作为人类编程产物，尚无社会规范意识，机器伦理道德是按照算法规则来定义的，机器行为选择一般只服膺于算法而不是人类道德判断，以至于一个军事机器人在选择杀人与否时只会考虑潜在目标的特征符合度和攻击精准度，而不会考虑被攻击者是否是真的敌人，更不会核实被攻击者是否是无辜者。总体而言，在道德判断和法律规约缺位状态下，自主武器系统不会考虑行为的后果，同时更不会关切攻击行为的社会正义性与否。在没有或无法植入社会正义理念的情景下，致命性自主武器系统的出现，如果不加以约束和监督，势必会给人类社会带来潜在伤害。（注释略）