NephroTox AI 完整外部数据与置信度筛选子集的 AUC、覆盖范围及错误分布。
NephroTox AI 完整外部数据与置信度筛选子集的 AUC、覆盖范围及错误分布。(NAMs China)

把肾毒性分类与预测置信度一起报告

澳门理工大学(Macao Polytechnic University)团队在 Journal of Cheminformatics 报告 NephroTox AI,用于从分子信息预测药物相关肾毒性。研究将数据整理、模型比较、特征解释和不确定性分层放在同一计算流程中,关注预测能否用于训练资料之外的化合物。

论文最值得一并观察的两个结果,是外部预测性能和覆盖范围。完整外部集的受试者工作特征曲线下面积(area under the receiver operating characteristic curve,AUC)为 0.727;只保留高、中置信度结果后达到 0.902,但评价对象也从 247 种化合物缩至约 54 种。

建模与外部比较使用不同资料来源

研究从 3 个公开来源整理出 2,157 种不重复化合物,初始分类包括 1,111 个肾毒性阳性和 1,046 个阴性。结构去重和标签冲突处理后,又通过质量检查排除了部分记录,最终建模集合为 1,829 种,外部集合为 247 种。

外部资料来自以药品标签和临床报告为依据的 DIRIL 数据集,研究将其留作独立评价。建模集合在 10 个随机种子下分别划分训练、验证和测试子集;这里的内部测试与按资料来源留出的外部比较属于不同的评价。

团队组合 7 种分类算法和 4 类描述符,共比较 28 种配置。随机森林结合 RDKit 二维描述符的表现最好,内部验证 AUC 为 0.907,留出测试 AUC 为 0.896;这两个数值高于完整外部集的表现。

筛选提高 AUC,同时缩小覆盖范围

置信度依据随机森林各决策树预测的离散程度分为 4 档。完整外部集上,模型 AUC 为 0.727;限制至高、中置信度子集后,AUC 升至 0.902,保留范围为 21.7%。

被排除的低及很低置信度档中,集中了 88.3% 的假阴性和 94.5% 的假阳性。这个结果说明,模型能够将较多错误集中在需要谨慎处理的预测中;与此同时,大部分外部化合物并未保留在高、中置信度范围。

AUC 的上升对应筛除不确定对象后的子集评价。对药物安全性筛查而言,外部集性能、保留比例和未判定对象共同决定这一工具能够承担的任务。

解释性分析提供统计线索

SHAP 特征分析把部分电荷、分子复杂度和分子量列为重要输入。这些描述符与肾脏药物处置有生理上的联系;SHAP 衡量的是它们对模型预测的贡献,作者将其作为统计关联解释。

研究还把模型应用于 11,093 种 DrugBank 化合物,得到 59 个高或中置信度的阳性预测,包含顺铂等已知肾毒性药物。网络分析和分子对接进一步提出候选靶点联系,尚未替代新候选的体外生物学验证。

网页输出概率、置信度和特征贡献

NephroTox AI 网页提供分类、预测概率、置信度以及全局和单个化合物的特征解释,另有语言模型辅助说明。研究没有开展正式使用者队列评价;语言解释属于帮助理解结果的功能。

作者指出,当前任务使用肾毒性二分类和二维分子信息,尚未区分肾小管、间质及肾小球等不同损伤类型。完整外部集的性能下降,也提示继续扩大独立数据与实验验证的重要性。

来源与延伸阅读

  1. NephroTox AI: an explainable machine learning framework with uncertainty quantification for drug-induced nephrotoxicity prediction ↗