科技伦理审查新规：重点关注人工智能 对重大风险新兴科技活动进行清单管理168体育

　　新一轮科技革命和产业变革加速演进，新兴技术突破和应用给经济社会发展带来的影响日益深刻，伴随产生的伦理问题成为全世界面临的共同挑战。近日，科技部会同教育部、工业和信息化部、国家卫生健康委等十部门联合印发《科技伦理审查办法（试行）》（以下简称《办法》）。

　　《办法》要求，利用人类生物样本、个人信息数据等的科技活动等需进行科技伦理审查；从事生命科学、医学、人工智能等科技活动的单位，研究内容涉及科技伦理敏感领域的，应设立科技伦理（审查）委员会。

　　值得注意的是，《办法》要求制定“需要开展伦理审查复核的科技活动清单”，并给出了清单明细：具有舆论社会动员能力和社会意识引导能力的算法模型、应用程序及系统的研发，面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发等。

　　南开大学法学院副院长、中国新一代人工智能战略发展研究院特约研究员陈兵认为，根据《办法》的规定，纳入清单管理的科技活动将面临更加严格的科技伦理审查、动态跟踪和伦理风险防控，且未按照规定通过科技伦理审查和专家复核擅自开展纳入清单管理的科技活动的需要承担一定的法律责任。故对此类科技活动实施清单管理一方面能够明确审查重点，避免对清单范围外的科技活动进行程度不相当的惩罚，以推动审查的规范性。另一方面，能够保证审查更加透明可预期，保障主体开展科技活动的积极性。

　　根据科技部有关负责人解读，起草过程中既要促进科技向善，防范科技活动可能带来的潜在风险，保证科技创新活动的正确方向；还要遵循科技规律，立足我国科技发展阶段和社会文化特点，推动科技创新与科技伦理的协同发展、良性互动。

　　哪些科技活动需要进行科技伦理审查？《办法》明确提出：涉及以人为研究参与者的科技活动，包括以人为测试、调查、观察等研究活动的对象，以及利用人类生物样本、个人信息数据等的科技活动；不直接涉及人或实验动物，但可能在生命健康、生态环境、公共秩序、可持续发展等方面带来伦理风险挑战的科技活动等。

　　此外，科技部有关负责人还指出，《办法》起草过程坚持问题导向，重点解决科技伦理审查职责不明确、程序不规范、机制不健全等问题。

　　可以看到，《办法》要求从事生命科学、医学、人工智能等科技活动的单位，研究内容涉及科技伦理敏感领域的，应设立科技伦理（审查）委员会。

　　并且，应为科技伦理（审查）委员会履职配备必要的工作人员、提供办公场所和经费等条件，并采取有效措施保障科技伦理（审查）委员会独立开展伦理审查工作。

　　21世纪经济报道记者梳理发现，目前，已经有广东、四川、云南、黑龙江、辽宁168体育、湖南等多地建立了科技伦理审查备案中心或制定了科技伦理治理的相关政策。在企业层面，国内阿里巴巴、商汤等企业已设立相关的科技伦理委员会，防范伦理风险，推动企业科技自省与自律。

　　纵观《办法》可以看到，涉及数据以及算法是科技审查的重点，上述总则提及“利用人类生物样本、个人信息数据等的科技活动”是审查内容。

　　此外，科技伦理（审查）委员会应对重点内容进行审查，其中就包括涉及以人为研究参与者的科技活动，所制定的招募方案公平合理，生物样本的收集、储存、使用及处置合法合规，个人隐私数据、生物特征信息等信息处理符合个人信息保护的有关规定……所提供的知情同意书内容完整、风险告知客观充分、表述清晰易懂，获取个人知情同意的方式和过程合规恰当。

　　此外，还要重点审查涉及数据和算法的科技活动，数据的收集、存储、加工、使用等处理活动以及研究开发数据新技术等符合国家数据安全和个人信息保护等有关规定，数据安全风险监测及应急处理方案得当；算法、模型和系统的设计、实现、应用等遵守公平、公正、透明、可靠、可控等原则，符合国家有关要求，伦理风险评估审核和应急处置方案合理168体育，用户权益保护措施全面得当。

　　在北京大成律师事务所高级合伙人邓志松看来，上述规定意味着相关主体在进行个人信息以及数据合规的基础上，也应进行科技伦理审查。

　　不过，北京航空航天大学法学院副教授、北京科技创新中心研究基地副主任赵精武认为，对于涉及个人信息、数据及算法的科技活动，科技伦理审查是应用场景的目的性审查。

　　21世纪经济报道记者注意到，今年8月份发布的《个人信息保护合规审计管理办法（征求意见稿）》中，在利用个人信息进行自动化决策中，要求重点审计事前是否算法模型进行科技伦理审查。一定程度上也衔接了科技伦理审查的要求。

　　值得注意的是，《办法》制定“需要开展伦理审查复核的科技活动清单”：要求建立需要开展专家复核的科技活动清单制度，对可能产生较大伦理风险挑战的新兴科技活动实施清单管理。

　　科技部有关负责人指出，制定清单的主要目的是为了有效应对生命科学、人工智能等新技术加速突破和应用所带来的伦理风险与挑战。纳入清单管理的科技活动主要考虑三个方面的因素。一是科学技术自身的伦理风险，包括科学知识和安全信息的充分程度，技术的成熟度168体育、操作难易程度、安全性、有效性和可控性；二是科技活动伦理风险发生的可能性、风险种类、严重程度、影响范围等；三是科技活动的必要合理性、目标人群或目标应用场景等。

　　在需要开展伦理审查复核的科技活动清单中，有三项活动与人工智能密切相关：对人类主观行为、心理情绪和生命健康等具有较强影响的人机融合系统的研发；具有舆论社会动员能力和社会意识引导能力的算法模型、应用程序及系统的研发；面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发。

　　陈兵看来，在人工智能领域开展科技伦理审查，有助于推动可信人工智能的实现，推动人工智能产业健康有序发展，在全球竞争中获得话语权。“可信任、可解释、更安全不仅是伦理要求，也代表了人工智能技术的发展方向，是需要抢占的技术制高点。开展科技伦理审查能在一定程度上避免技术无序、野蛮发展的情况。”

　　赵精武指出，科技伦理审查已经成为人工智能技术风险治理的重要工具。“法律所能化解的风险类型终归有限，面对持续创168体育新的人工智能技术，更重要的是对其应用方式和实际功能作出伦理性指引，避免机器与人类之间的主体地位颠倒。”

　　对于《办法》中规定的“专家复核”，赵精武指出，专家复核是出于现阶段算法公平等滥用实践的考量，因为企业运营的核心目标的是追求利润的最大化，在这一目标的实现过程中可能会忽视技术对于个体权利的影响。并且从监管层面来看，人工智能技术的专业属性极强，简单的书面形式审核并不能起到风险预防作用，需要交由专家进行实质意义上的复核。

　　对此，陈兵指出，不能仅看企业短期的成本负担，而应关注若放任人工智能的算法缺陷从而引发伦理风险所产生的社会成本。专家复核是科技产品投入市场前的必要安全审核程序，从长远来看有利于人工智能企业的可持续发展。