gotopgi

【生醫評析】美國FDA「以AI/ML技術為基礎之SaMD行動計畫」內容回顧

2022-02-21 孫世昌 生醫資深顧問


      在筆者前一回所撰寫的「為建置GMLP築基?美國FDA公布10項新指引原則」這篇文章末段曾經提到…將會為讀者們回顧整理一下美國FDA稍早於2021年初時所公布的一份「以AI/ML技術為基礎之SaMD行動計畫」(即Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan,簡稱「SaMD行動計畫」)內容,好讓大家能更充分的掌握美國FDA為促進這類以AI/ML技術為基礎的「醫療器材軟體」(簡稱SaMD)的快速發展,所打算提出的新法規監管架構及相關配套措施的進度與走向。而一如先前所說,這份「SaMD行動計畫」乃是FDA藉著蒐集公眾對其稍早於2019年4月所提出的這份「針對做為醫療器材使用之以AI/ML技術為基礎軟體之法規管理架構修正草案-討論文件」(Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning-Based Software as a Medical Device(SaMD)-Discussion Paper,簡稱「SaMD法規架構討論文件」)內容所回饋的意見的機會,經由詳細統整、摘要後,再針對其所梳理出的5項與SaMD發展相關議題的回應,順勢轉化為FDA承諾將來欲執行的相關措施(此即所謂的「行動計畫」)而生。為使讀者能更容易的在腦海中勾勒出這份「SaMD行動計畫」與先前「討論文件」兩者間的關聯性,故以下,筆者將以拆分一前一後兩段落的方式(即於前一段落將先簡單摘要FDA先前所公布的「SaMD法規架構討論文件」中較受外界關切的重要措施,而於下一段落,則將擇要說明 FDA針對公眾就該份「討論文件」所提供的回饋意見,究竟是打算想採取哪些個實際行動來加以回應),來嘗試與讀者們完整扣連並說明這份「SaMD行動計畫」的內容。

FDA於先前公布的SaMD法規架構討論文件中提出了哪些新管理措施?
        關於FDA為解決以AI/ML技術為基礎的醫療器材軟體上市法規監管問題而於2019年時所公布的這份「SaMD法規架構討論文件」,在內容中所提到較重要的規範思維(也就是FDA原本的構想)與未來可能的管理方向,大致如下:
(一) 指明將修訂一套新的法規監管架構:開宗明義的指出,FDA將嘗試藉由適當修訂法規監管的方式,讓以AI/ML技術為基礎的醫療器材軟體產品,在能夠維持其本身的安全與有效性等前提下充分的發揮其功能,並藉此改善病患所獲得的醫療照護服務品質。
(二) 嘗試界定以AI/ML技術為基礎SaMD的Modification類型:即依SaMD產品對於使用者(例如:病患、專業醫療照護人員或其他人員等)所可能造成的影響,將SaMD所可能的Modification區分為以下幾類:
1. 「與SaMD本身的功能表現有關」的Modification(不改變原始預期用途或輸入資料類型):可改進軟體之臨床分析及功能表現,一般來說,廠商通常多聚焦在「於不改變所宣稱該產品原預期用途的情況下,為使用者升級新的功能表現」此點上(例如:於數位胸部X光造影檢測可疑之病灶時,增加 SaMD的敏感度)。
2. 「與SaMD本身的輸入資料類型有關」的Modification (不改變原始預期用途):即目的可能是為了能夠利用新類型的輸入資料而對原AI/ML演算法所進行的變更(不涉及改變該產品的原預期用途),包括:
(1) 擴大 SaMD與其他來源的相同類型輸入資料間的相容性:例如透過修改SaMD來支援與由其他製造商所生產的CT掃描儀的相容性;或
(2) 增加不同類型的輸入資料:例如透過擴大某種可用以診斷心房顫動SaMD 的輸入資料類型,來進一步涵蓋與血氧檢測有關的輸入資料。
3. 「與 SaMD本身的預期用途有關」的Modification:此指由SaMD所產出資料的「臨床重要性」發生變化的修改,例如:其信心數值從「診斷輔助」(驅動臨床管理)轉變成「明確診斷」(此類型亦可能包含可導致原本適用的醫療照護狀況或生理條件狀態發生改變的modification)。
(三) 強調將導入「整體產品生命週期管控」的概念:基於這類新興軟體具備可在真實世界中使用的過程中進行自我學習與不斷改進、適應的能力,故FDA點明,對於以AI/ML技術為基礎的 SaMD產品的上市管理,將會於新修訂的法規架構中,導入「整體產品生命週期管控」(Total Product Lifecycle Control,簡稱TPLC)概念,而這也就是說,對於SaMD產品自上市前開發階段至上市後的功能表現,將會持續對其進行適當的評估及管控。另外,在前述TPLC概念下,FDA預計將採取的管理方式,原則上包括:
1. 將要求製造商就此類新興軟體產品建立可符合相應標準及相關法規之「品質管理系統」(Quality Systems)及遵循「優良機器學習規範」(Good Machine Learning Practices,簡稱GMLP)。
2. 對須提交上市申請之SaMD,執行上市前審查,以確保此類新興軟體產品之安全性與功效。
3. 製造商應就其所開發之AI/ML醫療器材產品進行監控,並應採納以風險為基礎之管理方法、及其他於“Deciding When to Submit a 510(k) for a Software Change to an Existing Device”指引文件中所描述之相關方式,例如:「SaMD預定規格」(SaMD Pre-Specifications,簡稱SPS)及「演算法變更協定」(Algorithm Change Protocol,簡稱ACP)。
4. 利用持續更新並提交產品上市後「於真實世界使用之功能表現監控報告」(Real-World Performance Monitoring Report)或援引其他既有相關機制,以增加此類產品對使用者及FDA之透明度。

FDA新公布的SaMD行動計畫內容有哪些重點?
(一) 在打算藉由以AI/ML技術為基礎的SaMD來協助促進其國內醫療與健康照護服務創新、回應各利益相關者對於先前「SaMD法規架構討論文件」所回饋的寶貴意見等前提下,FDA提出了這項「以AI/ML技術為基礎的軟體作為醫療器材的行動計畫」(AI/ML-Based Software as a Medical Device Action Plan)。
(二) 而正如先前所提到的,這份「SaMD行動計畫」,主要是FDA藉著蒐集公眾對「SaMD法規架構討論文件」內容提供回饋意見的機會,經過去蕪存菁並依該回饋意見所屬類別,於分門別類後統一為之的官方回應(分5部分),再順勢轉化為FDA將來所打算執行的相關措施而產生,故在這樣的脈絡下,筆者認為…或許透過採「回饋-回應」這種導引式的說明方法,說不定可以讓讀者們更容易的來理解,FDA在調整與決定其未來對這類以AI/ML技術為基礎的SaMD產品管理走向的同時,其究竟是如何的盡可能的去貼合該國國內產業界的真正需求與聲音?如下:
1. 第1部分:將為以AI/ML技術為基礎的SaMD量身制訂法規監管架構
(1) FDA收到了哪些意見?
依FDA說明,有為數不少的利益相關者,就FDA後續將針對以AI/ML技術為基礎的SaMD所制訂的建議性規範架構及與上市前審查有關的「預定變更控制計畫」(Predetermined Change Control Plan)等部分,提供了許多建議。
(2) FDA打算採取什麼「行動」來回應?
a. 將會以「所收到關於以AI/ML技術為基礎的SaMD討論文件的回饋意見」及「新近的上市文件提交審查經驗」為基礎,就先前其針對以AI/ML技術為基礎的SaMD所提出的建議性新法規監管架構,再做調整更新。
b. 將發布一項關於「預定變更控制計畫」指引文件草案以徵求公眾意見,且於這份指引文件草案中,將同時包含一項提議,亦即於SPS及ACP中宜含括哪些內容,可用來支持以AI/ML技術為基礎的 SaMD演算法的安全與有效性。
c. 承諾將就適於納入此項新法規監管架構下的軟體的modification類型進行「再細緻化」。
 2. 第2部分:關於「優良機器學習規範」(Good Machine Learning Practice,簡稱GMLP)
(1) FDA收到了哪些意見?
FDA表示,於所收到的回饋意見中,利益相關者對於GMLP的想法與重要性,多普遍表達支持,且亦多建議,FDA應該要透過推動「共識性標準」(Consensus Standards)及「其他社群團體倡議(Initiatives)」等方式,來鼓勵GMLP發展的一致化。
(2) FDA打算採取什麼「行動」來回應?
a. 明白表示將鼓勵GMLP發展的一致化。
b. 關於前項由FDA所為的承諾,我們可間接從下列事項來加以瞭解:
(a) 鑑於對GMLP的需求,FDA已積極地參加與發展GMLP有關的多項工作,包括「對標準化所為的努力」以及「各社群團體的合作研發」,舉例來說:FDA與「電機電子工程師學會」(Institute of Electrical and Electronics Engineers,簡稱IEEE) P2801人工智慧醫療器材工作小組(P2801 Artificial Intelligence Medical Device Working Group)與ISO/聯合技術委員會-1/Sub Committee-42(ISO/ IEC JTC 1/SC 42)等單位,均密切保持聯繫;且FDA也參與了「醫療儀器促進協會」(Association for the Advancement of Medical Instrumentation,簡稱AAMI)/「英國標準協會」(British Standards Institution,簡稱BSI)關於「醫療技術領域中的AI倡議計畫」(Initiative on AI in medical technology)。
(b) 於2021年,FDA除參加“Collaborative Community on Ophthalmic Imaging”外,亦正式成為“AI World Consortium Collaborative Community”與“Pathology Innovation Collaborative Community”的成員,並同時加入了「國際醫療器材法規監管機構論壇」(International Medical Device Regulators Forum,簡稱IMDRF)的「AI醫療器材」(AIMD)工作小組。
c. FDA指出,其目前正致力於深化在上述所提到的各個社群團體中所參與的工作項目,以鼓勵產出對以AI/ML技術為基礎的各種技術的開發及監管最有用的共識性結果(這些對GMLP所為的相關努力,未來則將會朝著與FDA的「醫療器材網路安全計畫」相互搭配的方向持續前進)。
3. 第3部分:將採取「以病患為中心的方法」來納入對產品使用者的透明度
(1) FDA收到了哪些意見?
於FDA所收到的這類相關回饋意見中,利益相關者多高聲呼籲…未來應該要有能夠進一步與FDA討論以AI/ML為基礎的各種技術產品,將如何可來與人們進行互動此項問題的機會(而當然,前述問題也包括了對於使用者及病患來說,應該要具備或達到何種透明度此項問題的討論)。
(2) FDA打算採取什麼「行動」來回應?
a. 於FDA下設的「病患參與諮詢委員會」(Patient Engagement Advisory Committee,簡稱PEAC)近期針對「以AI/ML技術為基礎的醫療器材」召開會議後,FDA表示,其下一步是…將舉辦一場關於「要如何透過醫療器材的『標示』,來支援對產品使用者的透明度,並增加對以AI/ML技術為基礎的醫療器材的信任感?」的Public Workshop。
b. 承上,FDA承認,就以AI/ML技術為基礎的SaMD本身而言,確實有其獨特的考量,換言之…針對此類產品的開發與使用的管理,FDA認為,應有必要採取更積極的「以病患為中心的方法」(Patient-Centered Approach),並同時將包括如:可用性(Usability)、公平、信任與有責性(Accountability)等問題納入考慮。
c. FDA目前正彙整於上述PEAC會議期間所收集到的相關回饋意見,以嘗試鑑別出在製造商於FDA所建議的「以AI/ML技術為基礎的醫療器材產品標示」當中,應包含哪些類型的資訊,以便能夠來支援對產品使用者的透明度(這些支持AI/ML技術的透明度與信任度的相關活動,FDA表示,將會透過其所參與的社群團體工作的方式來進行告知)。
4. 第4部分:關於與演算法「偏誤」及「穩健性」相關的法規科學方法
(1) FDA收到了哪些意見?
依FDA的說明,於大部分此類回饋意見中,利益相關者描述了他們對於改善相關方法的需求,以評估及解決演算法的「偏誤」(Bias)並提升其「穩健性」。
(2) FDA打算採取什麼「行動」來回應?
a. 直接點明,雖然「偏誤」與「可推論性」(Generalizability)並不是以AI/ML技術為基礎的醫療器材所特有的問題,不過,考量許多AI/ML演算法功能很有可能會產生某種程度的不透明性,以及大眾期望這些醫療器材能在醫療照護服務中發揮巨大的作用等面向,因此,詳細思考這些問題背後所可能帶來的風險,對於以AI/ML技術為基礎的產品來說便顯的特別重要。
b. 承上,FDA進一步補充,由於AI/ML系統是利用從歷史資料群組而來的數據來進行開發與訓練的,故其非常容易產生偏見(也就是說在這樣的過程中,AI/ML系統會很容易地反映出於訓練用的數據資料中所存有的偏見),而眾所周知,由於醫療照護服務會因種族、民族及社經地位等因素的不同而有不同;因此,在我們的醫療照護系統中既存的某些偏見,很有可能將會在這類產品的開發與訓練過程中,被無意的導入到演算法內。
c. 對此,FDA已認知到,將來對於以AI/ML技術為基礎的演算法本身的評估鑑別與自我學習改進的改善方法的需求(例如:鑑別與消除偏見的各種方法以及這類演算法的穩健性與恢復力),以承受不斷改變的臨床輸入與條件。(FDA正在支援許多法規科學的研究工作,以開發那些用可來評估以AI/ML技術為基礎的SaMD的方法)
5. 第5部分:關於SaMD的「真實世界的功能表現」
(1) FDA收到了哪些意見?
FDA說明,於所收到的回饋意見中,利益相關者多提到需釐清對於以AI/ML技術為基礎軟體的「真實世界功能表現」(Real-World Performance,簡稱RWP)監控的法規管理上的清晰度及相關問題。
(2) FDA打算採取什麼「行動」來回應?
a. 將與以AI/ML為基礎的SaMD的RWP流程的利益相關者共同合作。
b. FDA說明,其於先前討論文件中,曾描述了一種管理思維,亦即…對於以AI/ML技術為基礎的SaMD的法規監管,FDA打算要完全採納「整體產品生命週期」的方法,而對這些SaMD應用程式將來可能的modification,則可以透過收集與監測該軟體的RWP的數據資料的方式來加以支應。
c. 對此,FDA補充:「收集SaMD在真實世界中使用所產生的功能表現資料,除可讓製造商瞭解他們的產品是如何地被使用的?以鑑別出任何改進的機會外,對產品的「安全性」或「可使用性」等問題,亦可積極地加以回應」,且FDA還認為「真實世界資料的收集與監測是一個重要的機制,製造商除可以利用它來減少modify以AI/ML技術為基礎的SaMD時所涉的風險外,亦可以使用它來支持在對於特定的上市前文件提交時所需執行的『利益-風險』狀況的整體評估」。
d. 在前項思維下,FDA表示,其將會在自願性的基礎上,與利益相關者共同合作,來支持真實世界功能表現監測的試行性工作,而前述所工作,將會在與FDA其他正進行的聚焦在真實世界資料使用的專案計畫共同協調的方式下來完成(此項工作將聚焦在協助FDA發展出一項可用來優化並針對以AI/ML技術為基礎的SaMD的RWP的參數與相關指標的收集與驗證的規範架構上)。

        最後,為加深讀者們印象,筆者也順手將上述FDA未來打算採取的各項細部行動(措施)及相應的預定目標,再更簡化的整理於下,以方便大家參考:
(一) 將對以AI/ML技術為基礎的SaMD討論文件中所提議的法規監管架構進行更新,包括藉由發布一項「預設變更控制計畫」指引文件(草案)。
(二) FDA將進一步的透過參與相關社群團體與建置共識性標準有關的工作(或計畫),來強化FDA對於一致化「優良機器學習規範」發展所給予的鼓勵。(此部分的最新進展即包括筆者於前一篇文章所提到的由美/英/加三國主管機關所共同發布的GMLP的10項新指引原則)
(三) 將藉由繼續主持關於「透明度」對以AI/ML技術為基礎的醫療器材使用者所扮演的角色的討論,來支持「以病患為中心的方法」,且將在2020年10月所召開的「病患參與諮詢委員會會議」(Patient Engagement Advisory Committee Meeting)的基礎上(聚焦病患對各種AI/ML技術的信任),另舉辦醫療器材標示的Public Workshop,以支援對以AI/ML技術為基礎的醫療器材使用者的透明度。
(四) 支援與機器學習演算法的評估與改善所發展的方法學有關的法規科學工作,包括鑑別與消除偏見,及這類演算法的穩健性及復原力,以承受不斷變化的臨床輸入與條件。
(五) 在與利益相關者及FDA的其他項目相互協調下,推進真實世界的功能表現試行計畫,以進一步釐清,關於以AI/ML技術為基礎的SaMD的真實世界證據資料生成計畫,可能會是什麼樣的面貌。

參考資料:
1. About the full text of the “Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning-Based Software as a Medical Device(SaMD)-Discussion Paper”, Available at this website:https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-software-medical-device
2. For more information about the “Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan”, please refer to this website:
https://www.fda.gov/news-events/press-announcements/fda-releases-artificial-intelligencemachine-learning-action-plan
3. About the full text of the “Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan”, Available at this website:
https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-software-medical-device
4. For more information about the “ Good Machine Learning Practice for Medical Device Development: Guiding Principles”, please refer to this website:
https://www.fda.gov/media/153486/download
5. 有關筆者先前所撰寫的「為建置GMLP築基?美國FDA公布10項新指引原則」文章內容,可參考網站:http://www.giant-group.com.tw/law-detail-1058.html
6. 有關筆者先前所撰寫的「量身打造以AI技術為基礎之醫療器材軟體上市法規環境~美國FDA公布新管理架構概念討論文件內容」文章內容,可參考網站:
http://www.giant-group.com.tw/law-detail-734.html