【生醫評析】為建置GMLP築基？美國FDA公布10項新指引原則
「人工智慧」(Artificial Intelligence，簡稱AI)與「機器學習」(Machine Learning，簡稱ML)技術，具有可透過從每日提供醫療照護過程所產生大量的數據資料中衍生的新穎及重要的洞察(Insight)結果，來促進醫療照護轉型的強大潛力，故目前，全球已有許多醫療器材製造商，正積極地嘗試利用這些新技術，來對他們的產品進行任何可能的創新，以期待能更有效的協助醫療照護提供者並改善病患照護；不過，卻也由於這類「以AI/ML為基礎」的醫療器材軟體本身所具的複雜性、反覆性與Data-Driven等特徵，故對其將來的廣泛使用，也帶來了一些獨特且必要的考量。有鑑於此，為協助製造商能夠在兼顧安全性、有效性等前提下，開發出具高品質的以AI/ML為基礎的醫療器材產品，美國「食品藥物管理局」(US Food and Drug Administration)於2021(去)年10月時，與「加拿大衛生部」(Health Canada)及英國「藥品與健康照護產品管理局」(Medicines and Healthcare products Regulatory Agency)一同公布了其所共同鑑別出的10項指引原則，以促進此項新興領域相關醫材產品的快速成長。
關於上述提到的由美、英、加等國主管機關所共同鑑別出的10項指引原則，現簡要說明於下：
(一)指引原則-1：在整體產品生命週期中妥善運用多門學科的專業知識
- 說明：對於某項模型在臨床作業流程中所預期的整合、可能產生的利益及相關病患風險進行深入瞭解，可協助確保配置有ML的醫療器材產品，是為安全與有效的，且亦可在該項醫療器材產品的整體生命週期內，妥善處理有臨床上意義的需求。
(二)指引原則-2：落實優良軟體工程與相關安全性規範
- 說明：應在注意「基本原則」的前提下，來進行模型的設計。根據這份文件內容，於此處所提到的「基本原則」，主要是指：優良軟體工程規範、數據資料品質保證、資料管理與健全的網路安全規範等等，原因是，在這些個規範中，實包含著一定合理的風險管理及設計流程方法，可以適當的銜接與連結此類產品開發設計、執行及各項風險管理決策及合理理由，並進一步確保資料的真實性與完整性。
(三)指引原則-3：臨床研究的「參與者」與「資料組群」(Data Sets)能代表預期的病患族群
- 說明：「資料收集流程方法」(Data Collection Protocols)應確保預期病患群體的相關特徵(例如在年齡、性別、種族及民族等方面)、使用與測量輸入，在臨床研究、訓練與測試的資料組群中，有足夠規模的代表性樣本，從而使結果可合理地推論並擴及至感興趣的人口群。而這對於偏見(Bias)管理、提升預期病患群體整體的合適性與普及性的功能表現、可用性評估及鑑別出該模型可能的功能表現不良的情況來說，是相當重要的。
(四)指引原則-4：訓練用的資料組群獨立於測試用的資料組群之外
- 說明：「訓練用」與「測試用」資料組群的選擇及維護，彼此間應適當的區隔(即相互獨立)，且應同時考慮並解決所有潛在依賴因素的來源，包括：病患、資料取得與現場實地因素，以確保兩不同資料組群間的獨立性。
(五)指引原則-5：所選擇的「參考用資料組群」(Reference Datasets)是以現有的最佳方法為基礎
- 說明：應建置一套「參考用的資料組群」(其為一種參考性標準)，除宜使用一種公認性的、最佳可得的方法，以確保所收集到的數據資料係為具臨床相關性與明確的特徵外，亦應清楚的瞭解及掌握所建置的參考用資料組群的局限性。(如可得，於模型開發及測試中應使用具公認性的參考用資料組群，以提升及證明模型的穩健性，及其在預期病患群體中的普遍性)
(六)指引原則-6：模型設計(Model Design)適於現行可取得數據資料並可反映出醫療器材的預期用途
- 說明：
1. 模型設計應適於所可取得的數據資料，並要能夠支援對已知風險的主動緩減，比如說：「過度擬合」(Overfitting)、功能表現下降與安全風險等。
2. 該產品的臨床效益及相關風險均已被充分瞭解，並被用來作為獲取具臨床意義的功能表現的測試目標，以支援該產品能夠安全且有效地實現其預期用途。
3. 此處所應考量的因素包括：對整體及局部的功能表現影響、該醫療器材數據資料的輸入(Input)、輸出(Output)、預期病患群體以及臨床使用條件的不確定性/變異性等等。
2. 該產品的臨床效益及相關風險均已被充分瞭解，並被用來作為獲取具臨床意義的功能表現的測試目標，以支援該產品能夠安全且有效地實現其預期用途。
3. 此處所應考量的因素包括：對整體及局部的功能表現影響、該醫療器材數據資料的輸入(Input)、輸出(Output)、預期病患群體以及臨床使用條件的不確定性/變異性等等。
(七)指引原則-7：應將重點擺放在“Human-AI Team”的整體表現上
- 說明：當所設計的模型具有“Human in the Loop”(人為監督)的情況下，對於人為因素的考量及該模型輸出數據資料的人為的可解釋性等部分，應著眼在“Human-AI team”的整體表現上，而不應僅是聚焦於採取單獨分離的模型功能表現來加以處理。
(八)指引原則-8：在「相對應的臨床條件下」來測試證明醫療器材的功能表現
- 說明：制訂並執行具統計學上意義的測試計畫，以產生獨立於「訓練用」資料組群之外的且具臨床相關性的醫療器材功能表現資料。對此，於這份文件中所建議的相關考量點包括：預期病患群體、重要的次群體(Subgroup)、臨床環境及透過“Human-AI team”方式所進行的使用、量測數據資料的輸入及「潛在干擾因子」(Potential Confounding Factors)等。
(九)指引原則-9：提供使用者明確、必要的資訊
- 說明：
1. 向使用者提供明確的、與其背景相關的、適合於預期的訊息受眾(例如：醫療照護提供者或病患)的資訊。
2. 就上述所提到的資訊包括：產品的預期用途及適應症、模型在合適的Subgroups中的功能表現、用於訓練與測試模型的數據資料特徵、可接受的輸入、已知的限制、使用者介面解釋及模型的臨床作業流程整合。
3. 另外，亦應讓該產品使用者能夠意識到：該醫療器材的修正/變更、與從真實世界功能表現監測而來的相關資訊更新、決策作成依據(如可得)，及與開發商溝通產品問題的方法等。
2. 就上述所提到的資訊包括：產品的預期用途及適應症、模型在合適的Subgroups中的功能表現、用於訓練與測試模型的數據資料特徵、可接受的輸入、已知的限制、使用者介面解釋及模型的臨床作業流程整合。
3. 另外，亦應讓該產品使用者能夠意識到：該醫療器材的修正/變更、與從真實世界功能表現監測而來的相關資訊更新、決策作成依據(如可得)，及與開發商溝通產品問題的方法等。
(十)指引原則-10：對於已部署的模型應進行功能表現監測，並對「再訓練的風險」(Re-training Risks)進行管理
- 說明：
1. 就已部署的模型 在聚焦於維持或改善其安全及功能表現前提下，應具備可對其在真實世界中的使用加以監控的能力。
2. 另外，當模型部署後，如後續將以定期或持續的方式對其進行訓練時(即所謂的再訓練)，應具有適當的管控措施來對可能的風險進行管理(例如：Overfitting、Unintended Bias或模型衰退(如資料組群漂移)等可能會影響該模型的安全性與功能表現的風險)。
就這次所公布的10項指引原則，除是打算要為將來「優良機器學習規範」(Good Machine Learning Practice，簡稱GMLP)的建置，預先性的奠下基礎外(其亦為建置GMLP時的一項重要參考依據)，於草擬之初，這些指引原則也被FDA設想可用於：1.進一步採納於其他領域中已被證實的優良實務範例；2.進一步將來自於其他領域中的作法量身進行調整後，使其能適用於醫療及健康照護領域；3.進一步為醫療及健康照護領域打造新的特定規範等用途上。而值得留意的是，這些指引原則，也並非是在毫無規劃及根據的情況下被憑空想像出來的，根據筆者手邊的資料顯示，在稍早FDA於2021年初所公布的一份「以人工智慧/機器學習(AI/ML)技術為基礎之醫療器材軟體(SaMD)的行動計畫」(Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan)中，於該文件的「第2部分」即已明確提到，未來FDA將會採取與開發AI/ML技術&共識性標準的相關機構(如IMDRF、國際標準組織、英國標準協會等)及其他民間社群團體合作的模式，來積極推動GMLP及相關共識性標準的發展，以妥善回應業界需求！故由此可知，為了加速美國國內以AI/ML為基礎的醫療器材軟體產品的開發與創新，FDA這回可真說的上是卯足了全力，而至於，未來FDA又將會提出(或更新)哪些管理規範或相關措施？也請各位讀者們耐心的與筆者一同持續關注下去。(關於此處所提到的「行動計畫」內容，筆者將於另篇文章中，為有興趣的讀者做個簡單的回顧整理)
參考資料：
1. For more information about the “FDA Releases Artificial Intelligence/Machine Learning Action Plan”, please refer to this website：
https://www.fda.gov/news-events/press-announcements/fda-releases-artificial-intelligencemachine-learning-action-plan
2. For more information, about the “Good Machine Learning Practice for Medical Device Development: Guiding Principles”,please refer to these website：
https://www.fda.gov/medical-devices/software-medical-device-samd/good-machine-learning-practice-medical-device-development-guiding-principles；
https://www.gov.uk/government/publications/good-machine-learning-practice-for-medical-device-development-guiding-principles
3. About the full text of the“Good Machine Learning Practice for Medical Device Development: Guiding Principles”, available at this website：
https://www.fda.gov/media/153486/download
4. For more information, about the “FDA Issues Good Machine Learning Practice Guiding Principles” , please refer to this website：
https://www.natlawreview.com/article/fda-issues-good-machine-learning-practice-guiding-principles
https://www.fda.gov/news-events/press-announcements/fda-releases-artificial-intelligencemachine-learning-action-plan
2. For more information, about the “Good Machine Learning Practice for Medical Device Development: Guiding Principles”,please refer to these website：
https://www.fda.gov/medical-devices/software-medical-device-samd/good-machine-learning-practice-medical-device-development-guiding-principles；
https://www.gov.uk/government/publications/good-machine-learning-practice-for-medical-device-development-guiding-principles
3. About the full text of the“Good Machine Learning Practice for Medical Device Development: Guiding Principles”, available at this website：
https://www.fda.gov/media/153486/download
4. For more information, about the “FDA Issues Good Machine Learning Practice Guiding Principles” , please refer to this website：
https://www.natlawreview.com/article/fda-issues-good-machine-learning-practice-guiding-principles
