调查关注发表后的模型能否实际调用

发表于 Journal of Cheminformatics 的这项综述,考察计算 NAMs 模型发表后能否被其他人使用。其原始场景是化学品危害识别,覆盖遗传毒性、致癌性、生殖发育毒性和特定器官毒性等终点。对使用计算方法进行药物安全筛查的读者,文中关于模型资料、版本和适用范围的问题也具有方法质量上的参考价值。

研究检索 2018–2023 年文献,共筛选 2266 条文章记录,最后保留 274 条涉及机器学习定量构效关系(quantitative structure–activity relationship,QSAR)模型的记录。由于部分文章涉及多个终点,这些记录对应 260 篇独立文章。作者检查的是已发表资料能否让用户进行预测,并未系统验证每个模型是否适合某项具体筛查任务。

可直接调用、可尝试重建和资料不足分别统计

作者把模型分为 3 类:有现成软件或网络服务的模型属于直接可用;提供模型文件、足够的数学表示,或重建所需数据与脚本的模型,属于潜在可用;缺少这些信息、无法由公开资料进行调用或重建的模型,归入不可用。

在 274 条记录中,47 条被归为直接可用,占 17.2%;60 条为潜在可用,占 21.9%;167 条为不可用,占 60.9%。这里的不可用,依据的是发表资料能否支持模型调用或重建。对潜在可用模型,研究也没有逐一检验能否成功重建。

这一区分把论文中的性能报告与模型能否交给别人使用分开。一个模型可以在原研究中有较好的统计表现,用户若拿不到其实际表示、输入处理方法或必需数据,仍难以独立核验结果。

作者按公开资料,将模型分为直接可用、潜在可用和不可用 3 类。

窄屏可横向滑动查看完整图表。

作者按公开资料,将模型分为直接可用、潜在可用和不可用 3 类。(Geven Piir et al. / Journal of Cheminformatics, 2026, Fig. 2;CC BY 4.0)

核验需要终点、输入和模型资料相互对应

作者提出的框架先检查模型是否可获取,再检查资料能否支持核验。实验数据需要说明测量终点、物种、单位和原始来源;经过清洗或转换的数据,还应交代处理过程。用户需要能够把模型预测与相应的实验记录逐项对应。

受试物的标识与用于建模的分子表示同样重要。盐型、混合物、互变异构和立体异构等处理方式,可能使不同团队得到不同输入。作者建议将受试物标识、实际使用的结构和预处理信息一起公开。

对于描述符,即用于表示受试物特征的数值,资料应包含名称、计算软件及版本、计算过程和实际数值。模型本身则需要可用的数学表示或模型文件,以及开发软件、参数和训练/验证集预测值。这些信息共同支持对单项预测和总体统计指标的核验。

即使用户使用的是现成软件,公开训练集和验证集中的预测值也有意义:它们能够帮助核对软件是否仍在产生发表时的结果,以及论文报告的统计指标是否可以由这些预测重新计算。模型接口可用与结果可核验,需要分别得到资料支持。

预测结果还需要范围与不确定性信息

能够运行模型后,预测结果还应提供判断其可靠性的线索,例如相似受试物的预测、质量估计、适用范围及模型文档。按调查记录,236 条涉及分类模型,22 条只有回归模型,16 条同时涉及分类与回归。作者指出,多数对象输出的是二分类结果,而风险表征有时需要更具体的剂量与反应关系;预测任务和实际决策所需的信息因此要分别明确。对于二分类模型,划分阳性与阴性的阈值,也应与评价任务的要求一致。

作者将这份技术清单定位为进一步评价前的准备工作。它与经济合作与发展组织(Organisation for Economic Co-operation and Development,OECD)的定量构效关系评价框架互补,先确认必要资料是否齐备,再开展对模型与预测有效性的系统评价。通过资料清单只说明有条件进行后续评价,不能代替对具体用途的性能判断。

保存最终模型和版本信息,方便长期复用

网络服务可以降低使用门槛,但服务中止、访问政策变化或资料遗失,都可能影响长期复用。作者建议保存能够在不同平台读取的模型表示,也讨论了预测模型标记语言(Predictive Model Markup Language,PMML)和开放神经网络交换格式(Open Neural Network Exchange,ONNX)等方案。

重建脚本有助于透明地说明开发过程,但部分机器学习方法带有随机性,只保存脚本可能得到与发表时不同的模型。把最终模型、数据处理信息和版本一起保存,有助于核验已发表的预测,也让后来用户明确正在使用哪一个模型。

这份调查分别讨论模型能否获得、结果能否核验,以及预测是否有助于决策。对药物毒性筛查而言,明确终点、输入、参考数据和适用范围,是复用模型时同样需要解决的问题。

来源与延伸阅读

  1. Piir G, Sild S, Tcheremenskaia O, et al. Perspective on applicability of data-driven machine learning computational new approach methodologies for hazard identification in chemicals risk assessment. Journal of Cheminformatics. 2026;18:57. First published 26 March 2026. doi:10.1186/s13321-026-01184-8. ↗