核能领域应坚持人工主导决策
摘要
核能领域应用人工智能需兼顾可信性、透明度与可解释性,并通过验证、确认和防护机制建立信任。人工智能应辅助而非驱动决策,其输出仅作为合格人类专家综合研判的一项输入。经过适当培训,专家可结合解释、性能指标及其他证据评估建议,在保留人工判断与问责的前提下提升决策和运维规划能力。
这是一个非常有趣的问题,也是研究界和产业界已经在努力应对的问题。围绕在核能领域实际应用人工智能的讨论,很多都涉及可信性、透明度和可解释性等概念。从概念上讲,这些方面相互交织:通过透明流程生成可解释结果的人工智能,本质上更容易借助严格的验证、确认和防护机制获得信任。建立这种信任不能仅依靠对最终结果准确率、精确率或召回率的简单衡量。即使结果不正确,作为人类专家,我们也必须能够审查其“思考过程”,判断其所依据的证据,并对人工智能工具整体的有效性得出结论。这样一来,无须要求每个人都成为人工智能算法和结构方面的专家,我们也能对这一过程建立信任。
不过,除此之外,我们还应当重新界定这一问题,将其视为人工智能辅助决策,而不是人工智能驱动决策。正如我们可以利用风险衡量结果为设计、监管或运行提供参考一样,人工智能也能提供有助于决策的实用见解,但不应成为任何决策的主要驱动力。如果将人工智能视为合格人类专家的助手,那么我们就可以把人工智能输出作为决策过程中的一项输入进行评估。
当我们仍然依靠人类领域专家作出最终决策时,问题就转变为:“我们如何相信人类能够结合所有其他输入来评估人工智能的建议?”我们已经信任人类能够权衡证据并作出决策,而且他们往往需要在数据不完整或各种迹象相互矛盾的情况下这样做。经过适当培训,能够解读人工智能建议并理解其局限性的人类专家,可以将人工智能生成的结果及其解释和性能衡量指标作为另一项输入加以审查。真正的信任并非来自取代人类判断和问责,而是来自将人工智能作为整体性、人工主导决策系统的一个组成部分加以使用。
Jamie Coble([email protected])是University of Wisconsin–Madison核工程与工程物理系教授。她的专业领域是应用数据分析、机器学习和人工智能,为核电站及其他核设施的稳健决策以及运行和维护规划提供支持。
