核能AI基准测试套件开发启动
摘要
随着AI在核电站应用需求增长,Atomic Canyon与Idaho国家实验室合作开发首个核能AI基准测试套件。该基准将评估RAG和LLM模型在核能领域的性能,建立行业标准,解决现有基准无法满足核能安全、监管等特殊要求的问题。公司计划六个月内完成数据集整理和评估指标定义,并以开源方式发布所有资源。

随着人工智能在核电站应用方面的兴趣和投资不断增长,标准化基准测试方面仍存在空白,无法定量比较和衡量新产品的质量和可靠性。
专门针对核能领域的人工智能开发商Atomic Canyon正在通过与Idaho美国国家实验室建立新的战略合作伙伴关系来填补这一空白,开发和发布"首个用于评估核能应用中检索增强生成(RAG)和大语言模型(LLM)的综合基准测试套件"。
背景:Atomic Canyon与美国能源部的首次合作是在2024年3月,当时该公司与Oak Ridge美国国家实验室合作开发核能领域的人工智能工具。随后在去年11月,Pacific Gas & Electric在Diablo Canyon核电站部署了Atomic Canyon的人工智能技术,这是行业首创。
自此之后,核能与人工智能之间的联系变得更加紧密,正如今年7月由INL和ORNL共同主办的AI x Nuclear Executive Summit所表明的那样。在那里,Atomic Canyon和ORNL签署了一份谅解备忘录,扩大现有合作范围,以简化核电站的许可流程。
Atomic Canyon并非该领域唯一的开发商。本周早些时候,人工智能初创公司Nuclearn筹集了1050万美元的A轮融资,用于推进其核电站运营人工智能平台的开发,进一步凸显了这一新兴领域对基准测试的需求。
更多细节:Atomic Canyon解释说,这个新的基准测试套件将特别允许评估能够通过RAG技术访问公共核能文档的人工智能系统。该公司还表示,更广泛地说,它将"为核设施运营中的人工智能采用建立关键标准,满足行业对核环境中生成式人工智能系统客观评估方法的需求"。
Atomic Canyon表示,由于核能领域在安全、监管和安保方面的独特要求,现有的人工智能基准测试不足以满足核能领域的需求。核能人工智能还将需要处理公共文档和各种不同的设施特定数据的组合。考虑到Atomic Canyon目前正在与代表"美国核电机组40%至50%"的公用事业公司进行谈判,确保人工智能在不同电站之间保持可靠性将至关重要。
开源:在接受Latitude Media采访时,Atomic Canyon首席执行官Trey Lauderdale表示:"我们相信,作为生成式人工智能和核能领域的领导者,我们有责任为行业创建首个基准测试,以评估这些大语言模型在使用时的表现。"
为了履行这一认知责任,Atomic Canyon计划在宽松的开源公共许可下发布所有数据、定义、准则和评估软件。该公司设定了六个月的时间表来整理数据集、定义基准测试任务和评估指标,并制作技术摘要。
