复旦大学合作开发新的方法，优化2型糖尿病血糖控制

2023年9月14日，复旦大学李小英、陈颖及北京邮电大学王光宇共同在《Nature Medicine》上发表了题为“Optimized glycemic control of type 2 diabetes with reinforcement learning: a proof-of-concept trial”的研究论文，该研究提出了一个基于模型的强化学习(RL)框架(称为RL-DITR)，该框架通过分析患者模型相互作用的血糖状态奖励来学习较佳胰岛素方案。在开发阶段对T2D住院患者的管理进行评估时，与其他深度学习模型和标准临床方法相比，RL-DITR获得了更好的胰岛素滴定优化(平均绝对误差(MAE)为1.10±0.03 U)。该研究对人工智能系统进行了从模拟到部署的逐步临床验证，通过盲法评价的定量(MAE为1.18±0.09 U)和定性指标，与初级和中级医生相比，人工智能系统在住院患者的血糖控制方面表现更好。此外，在16例T2D患者中进行了单臂、患者盲法、概念可行性验证试验。主要终点是试验期间平均每日毛细血管血糖的差异，从11.1(±3.6)降至8.6(±2.4)mmol L−1 (P < 0.01)，达到预定终点。未发生严重低血糖或高血糖伴酮症发作。这些初步结果值得在更大、更多样化的临床研究中进一步调查。

研究背景

2型糖尿病(T2D)是全球常见的慢性疾病之一，导致相当高的死亡率和社会负担。血糖控制不佳的T2D患者在疾病进展过程中需要胰岛素治疗。虽然良好的血糖控制可以显著降低住院糖尿病患者的糖尿病并发症和死亡率，但将胰岛素剂量调整在有效和安全的范围内仍然具有挑战性且耗时。

人工智能(AI)方法已成为辅助疾病诊断和治疗的潜在强大工具。现有方法使用监督学习(supervised learning, SL)进行疾病检测或发病率预测，其中必须提供正确的标签列表。然而，基于SL的方法假设专家的性能是较优的，由于人体代谢的复杂性和个体对药物的反应差异，这并不总是与真实世界的结果一致。

强化学习(RL)被提出作为机器学习的一个分支领域，使智能体通过与动态环境的试错交互来学习有效的策略。RL可以为不同的医疗保健领域，特别是长期患者护理的动态治疗方案(DTR)，提供一个有吸引力的解决方案。随着病案数据的日益增多，RL已被用于各种临床场景的序贯医疗决策系统，包括脓毒症、冠心病和人工胰腺系统的血糖调节。虽然有几项研究使用无模型RL模型进行治疗建议，但这些方法通常面临挑战，如样本效率和缺乏对环境的准确模拟时可能出现的不安全策略。在复杂或长期的治疗方案中，安全性是首要考虑的问题，基于模型的RL可以模拟不同的情况，从而在决策时提供可靠的前瞻性计划。尽管RL方法在基于患者结局的奖励设置优化治疗方案方面具有潜力，但由于其在临床实践中的潜在风险，其在真实世界治疗中的应用仍然有限。因此，将基于RL的方法从开发到采用纳入真实世界的临床工作流程需要进行全面的评估。

研究过程

本研究中，研究人员开发了一个基于RL的AI系统，称为RL-DITR，用于为T2D患者提供个性化和动态的胰岛素剂量。研究人员进行了开发阶段验证和临床验证，包括内部验证，使用定量和定性指标将AI与医师进行比较，使用重测进行外部验证和前瞻性部署，以及使用临床试验进行概念验证可行性研究。综上所述，研究结果表明，RL-DITR系统有潜力作为一种可行的方法来优化2型糖尿病住院患者的血糖控制。

为了解决血糖控制的个性化胰岛素滴定算法的挑战，研究人员基于RL的架构进行了量身定制，在临床监督下为个体患者实现精准治疗。首先，研究人员构建了一个患者模型，作为中间步骤，为政策模型提供环境动力学(葡萄糖动力学)的知识。此外，研究人员的基于RL的系统结合了临床决策的优化策略和有经验的医生的模拟，为正在接受皮下注射胰岛素的2型糖尿病患者提供连续和实时的胰岛素剂量建议。

研究人员进行了一项概念验证可行性试验，以证明RL-DITR系统在2型糖尿病住院患者中的可行性。结果表明，RL-DITR系统有潜力为住院的2型糖尿病患者提供可行的胰岛素剂量。大型多中心随机对照试验将有助于确定这一临床AI解决方案的疗效和益处。RL-DITR系统被设计为一种闭环智能工具，可以使用实时患者数据跟踪血糖轨迹，并相应地修改治疗方案。

此外，RL-DITR系统是根据住院2型糖尿病患者的电子病历开发的，但其在其他人群(如门诊患者)中的普遍适用性有待进一步研究。虽然RL-DITR系统在胰岛素剂量滴定方面取得了良好的性能，但仍存在一些挑战。

一项评估AI系统对2型糖尿病患者血糖控制的影响的概念验证可行性试验

研究意义

综上所述，研究人员开发了一个基于RL的临床决策系统，用于动态推荐2型糖尿病患者血糖控制的剂量，并证明了该系统的可行性。此外，研究人员对人工智能系统进行了从模拟到部署的逐步验证，并进行了概念可行性验证试验。这些证明了RL方法是一种潜在的工具，可以帮助临床医师，特别是初级医师和非内分泌专科医师，对住院的2型糖尿病患者进行糖尿病管理。