復(fù)旦大學(xué)合作開發(fā)新的方法,優(yōu)化2型糖尿病血糖控制
2023年9月14日,復(fù)旦大學(xué)李小英、陳穎及北京郵電大學(xué)王光宇共同在《Nature Medicine》上發(fā)表了題為“Optimized glycemic control of type 2 diabetes with reinforcement learning: a proof-of-concept trial”的研究論文,該研究提出了一個(gè)基于模型的強(qiáng)化學(xué)習(xí)(RL)框架(稱為RL-DITR),該框架通過分析患者模型相互作用的血糖狀態(tài)獎(jiǎng)勵(lì)來學(xué)習(xí)較佳胰島素方案。在開發(fā)階段對(duì)T2D住院患者的管理進(jìn)行評(píng)估時(shí),與其他深度學(xué)習(xí)模型和標(biāo)準(zhǔn)臨床方法相比,RL-DITR獲得了更好的胰島素滴定優(yōu)化(平均絕對(duì)誤差(MAE)為1.10±0.03 U)。該研究對(duì)人工智能系統(tǒng)進(jìn)行了從模擬到部署的逐步臨床驗(yàn)證,通過盲法評(píng)價(jià)的定量(MAE為1.18±0.09 U)和定性指標(biāo),與初級(jí)和中級(jí)醫(yī)生相比,人工智能系統(tǒng)在住院患者的血糖控制方面表現(xiàn)更好。此外,在16例T2D患者中進(jìn)行了單臂、患者盲法、概念可行性驗(yàn)證試驗(yàn)。主要終點(diǎn)是試驗(yàn)期間平均每日毛細(xì)血管血糖的差異,從11.1(±3.6)降至8.6(±2.4)mmol L?1 (P < 0.01),達(dá)到預(yù)定終點(diǎn)。未發(fā)生嚴(yán)重低血糖或高血糖伴酮癥發(fā)作。這些初步結(jié)果值得在更大、更多樣化的臨床研究中進(jìn)一步調(diào)查。
研究背景
2型糖尿病(T2D)是全球常見的慢性疾病之一,導(dǎo)致相當(dāng)高的死亡率和社會(huì)負(fù)擔(dān)。血糖控制不佳的T2D患者在疾病進(jìn)展過程中需要胰島素治療。雖然良好的血糖控制可以顯著降低住院糖尿病患者的糖尿病并發(fā)癥和死亡率,但將胰島素劑量調(diào)整在有效和安全的范圍內(nèi)仍然具有挑戰(zhàn)性且耗時(shí)。
人工智能(AI)方法已成為輔助疾病診斷和治療的潛在強(qiáng)大工具。現(xiàn)有方法使用監(jiān)督學(xué)習(xí)(supervised learning, SL)進(jìn)行疾病檢測(cè)或發(fā)病率預(yù)測(cè),其中必須提供正確的標(biāo)簽列表。然而,基于SL的方法假設(shè)專家的性能是較優(yōu)的,由于人體代謝的復(fù)雜性和個(gè)體對(duì)藥物的反應(yīng)差異,這并不總是與真實(shí)世界的結(jié)果一致。
強(qiáng)化學(xué)習(xí)(RL)被提出作為機(jī)器學(xué)習(xí)的一個(gè)分支領(lǐng)域,使智能體通過與動(dòng)態(tài)環(huán)境的試錯(cuò)交互來學(xué)習(xí)有效的策略。RL可以為不同的醫(yī)療保健領(lǐng)域,特別是長(zhǎng)期患者護(hù)理的動(dòng)態(tài)治療方案(DTR),提供一個(gè)有吸引力的解決方案。隨著病案數(shù)據(jù)的日益增多,RL已被用于各種臨床場(chǎng)景的序貫醫(yī)療決策系統(tǒng),包括膿毒癥、冠心病和人工胰腺系統(tǒng)的血糖調(diào)節(jié)。雖然有幾項(xiàng)研究使用無模型RL模型進(jìn)行治療建議,但這些方法通常面臨挑戰(zhàn),如樣本效率和缺乏對(duì)環(huán)境的準(zhǔn)確模擬時(shí)可能出現(xiàn)的不安全策略。在復(fù)雜或長(zhǎng)期的治療方案中,安全性是首要考慮的問題,基于模型的RL可以模擬不同的情況,從而在決策時(shí)提供可靠的前瞻性計(jì)劃。盡管RL方法在基于患者結(jié)局的獎(jiǎng)勵(lì)設(shè)置優(yōu)化治療方案方面具有潛力,但由于其在臨床實(shí)踐中的潛在風(fēng)險(xiǎn),其在真實(shí)世界治療中的應(yīng)用仍然有限。因此,將基于RL的方法從開發(fā)到采用納入真實(shí)世界的臨床工作流程需要進(jìn)行全面的評(píng)估。
研究過程
本研究中,研究人員開發(fā)了一個(gè)基于RL的AI系統(tǒng),稱為RL-DITR,用于為T2D患者提供個(gè)性化和動(dòng)態(tài)的胰島素劑量。研究人員進(jìn)行了開發(fā)階段驗(yàn)證和臨床驗(yàn)證,包括內(nèi)部驗(yàn)證,使用定量和定性指標(biāo)將AI與醫(yī)師進(jìn)行比較,使用重測(cè)進(jìn)行外部驗(yàn)證和前瞻性部署,以及使用臨床試驗(yàn)進(jìn)行概念驗(yàn)證可行性研究。綜上所述,研究結(jié)果表明,RL-DITR系統(tǒng)有潛力作為一種可行的方法來優(yōu)化2型糖尿病住院患者的血糖控制。
為了解決血糖控制的個(gè)性化胰島素滴定算法的挑戰(zhàn),研究人員基于RL的架構(gòu)進(jìn)行了量身定制,在臨床監(jiān)督下為個(gè)體患者實(shí)現(xiàn)精準(zhǔn)治療。首先,研究人員構(gòu)建了一個(gè)患者模型,作為中間步驟,為政策模型提供環(huán)境動(dòng)力學(xué)(葡萄糖動(dòng)力學(xué))的知識(shí)。此外,研究人員的基于RL的系統(tǒng)結(jié)合了臨床決策的優(yōu)化策略和有經(jīng)驗(yàn)的醫(yī)生的模擬,為正在接受皮下注射胰島素的2型糖尿病患者提供連續(xù)和實(shí)時(shí)的胰島素劑量建議。
研究人員進(jìn)行了一項(xiàng)概念驗(yàn)證可行性試驗(yàn),以證明RL-DITR系統(tǒng)在2型糖尿病住院患者中的可行性。結(jié)果表明,RL-DITR系統(tǒng)有潛力為住院的2型糖尿病患者提供可行的胰島素劑量。大型多中心隨機(jī)對(duì)照試驗(yàn)將有助于確定這一臨床AI解決方案的療效和益處。RL-DITR系統(tǒng)被設(shè)計(jì)為一種閉環(huán)智能工具,可以使用實(shí)時(shí)患者數(shù)據(jù)跟蹤血糖軌跡,并相應(yīng)地修改治療方案。
此外,RL-DITR系統(tǒng)是根據(jù)住院2型糖尿病患者的電子病歷開發(fā)的,但其在其他人群(如門診患者)中的普遍適用性有待進(jìn)一步研究。雖然RL-DITR系統(tǒng)在胰島素劑量滴定方面取得了良好的性能,但仍存在一些挑戰(zhàn)。
一項(xiàng)評(píng)估AI系統(tǒng)對(duì)2型糖尿病患者血糖控制的影響的概念驗(yàn)證可行性試驗(yàn)
研究意義
綜上所述,研究人員開發(fā)了一個(gè)基于RL的臨床決策系統(tǒng),用于動(dòng)態(tài)推薦2型糖尿病患者血糖控制的劑量,并證明了該系統(tǒng)的可行性。此外,研究人員對(duì)人工智能系統(tǒng)進(jìn)行了從模擬到部署的逐步驗(yàn)證,并進(jìn)行了概念可行性驗(yàn)證試驗(yàn)。這些證明了RL方法是一種潛在的工具,可以幫助臨床醫(yī)師,特別是初級(jí)醫(yī)師和非內(nèi)分泌專科醫(yī)師,對(duì)住院的2型糖尿病患者進(jìn)行糖尿病管理。
聲明:本文版權(quán)歸原作者所有,轉(zhuǎn)載文章僅為傳播更多信息,如作者信息標(biāo)記有誤,或侵犯您的版權(quán),請(qǐng)聯(lián)系我們,我們將在及時(shí)修改或刪除內(nèi)容,聯(lián)系郵箱:marketing@360worldcare.com