【生醫評析】降級後法規監管的再明確化？FDA發布新修正版CADe-510(k)-Submission指引文件(下)-巨群國際專利商標法律事務所

【生醫評析】降級後法規監管的再明確化？FDA發布新修正版CADe-510(k) Submission指引文件(下)

2023-03-07

同前一篇文章所提，在(下)篇文章中，筆者將針對FDA於2022年所發布的新修正版CADe-510(k) Submission指引文件的下半部，也就是…與510(k)「實質等同」(Substantial Equivalence)審查判斷有密切關係的「獨立功能表現評估」與「臨床功能表現評估」等部分內容，續為讀者們進行重點整理。現說明於下：

針對「獨立功能表現評估」FDA提出了哪些建議？
1. 由於每一項新的CADe產品即代表了廠商對於CADe「演算法」與「軟體」的一種新的實現，因此，FDA預期，即便是在具有相同「預期用途」的前提下，就廠商所開發出的每一種新CADe產品(此包括廠商對於自家先前經許可後的CADe產品的軟體與其他設計、技術或功能表現方面所為的變更)，或仍有可能會與已合法上市的Predicate Device具不同的技術性特徵；譬如，若廠商所開發的新CADe產品，在影像處理元件、特徵、分類演算法、訓練方法、訓練資料組群或演算法參數等部分有加以變更(或修改)時，FDA或有可能會認為，這類對原CADe產品所為的變更(或修改)，很有可能會對其在安全性或功效等方面產生重大影響；對此，FDA強調，依FD&C Act, Section 513(i)(1)(A)條規定，就510(K)申請案「實質等同」的審查判定，主要是取決該廠商於申請時所提交的相關資訊(此包括合適的臨床或科學性資料)，是否能夠證明其所開發的新(或經變更/修改)的醫療器材產品與已合法上市Predicate Device兩者間，具相同的安全性及功效，且亦不會惹起與Predicate Device不同的安全性及功效等方面的風險而定(至於廠商對其原有的CADe醫療器材產品所打算提出的變更或修改，究竟會不會構成所謂的「重大變更」而需按規定向主管機關提出510(k)申請？FDA鼓勵該廠商可多利用現有諮詢機制與其聯繫)。
2. 為支應對於某項新CADe產品的510(k)「實質等同」判定(或廠商就某項經許可上市的CADe產品所為的可能會顯著影響該醫療器材安全性或功效的變更/修改)，FDA建議，廠商最好是在「未與臨床醫師進行互動」的情況下，自行測量與報告其所開發(或變更/修改)的CADe產品的功能表現(此即所謂的「獨立功能表現評估」)，例如：透過測量來估算該項新CADe產品對「已知的異常區域」正確加以標記的好壞程度，以及對「已知的異常區域以外區域」(如正常器官與組織結構)正確加以標記的好壞程度(這裡所提到的應加以標記或未加以標記的異常區域的性質及類型，按FDA的說法，其應與該廠商所宣稱的「預期用途」相一致)。
3. 另外，FDA另從以下幾點，分別說明其於實質等同判斷時所將考量關鍵處：
  1. 關於研究樣本群體：
    1. 新開發(或變更/修改)的新CADe產品的「獨立功能表現」所為的分析及提交的測試資料，應與其用來進行「開發」與「訓練」該產品的數據資料相互獨立並作出區隔。
    2. 在符合某些條件下，可例外地接受廠商選擇利用患病/異常病例來充實其樣本群體的作法；不過，FDA也強調，此種作法或也有可能將會影響到對該產品的獨立功能表現的估算(例如：其功能表現估算結果有可能會無法普遍的推論至預期使用的人口群)。
    3. 研究的樣本數量應足夠大，以便使該研究具備足夠的能力來測試由廠商所提出的具統計學意義的功能表現要求。
    4. 就用供進行測試時所使用的「資料庫」，廠商應加以描述說明(可參考新修正指引文件Section IV-G. Database內容)，並將其納為所提交「獨立功能表現評估」資料的一部。
  2. 關於測試資料的重複使用：
    1. 當廠商一再重複地使用同一測試資料時(亦即對於相同的數據資料執行多次測試)，對於在解釋獨立功能表現的測試結果時，或將可能會發生問題(FDA認為，於測試過程中，假使廠商多次使用相同的測試資料組群時，該CADe演算法很可能會明顯的(或暗中的)與所使用的測試資料間相互調和)。
    2. 倘若廠商是真的打算想在其CADe產品獨立功能表現評估的過程中，重複的使用同一數據資料時，FDA建議，廠商除應該要能證明(或驗證)其所反覆使用的測試資料(任何部分)，均不會為該CADe產品的功能表現評估結果帶來不合理的偏誤外，也應該要建置一項合適的「追蹤稽核」方法。
  3. 關於檢測的準確性：
    1. 此部分可參照先前所提到的「評分流程」內容來就其CADe產品的獨立功能表現進行估算與報告(新修正指引文件Section IV.I. Scoring)。
    2. 就「真陽性」、「真陰性」、「偽陽性」與「偽陰性」等CADe mark的定義，應與該產品的預期用途相互一致。
    3. 對於一個「須仰賴檢視判讀者解釋說明」的參考標準(例如：疾病類型、位置及範圍)，FDA建議，廠商可在其CADe獨立功能表現的評估中，同時將於Truthing process中潛在的「判讀者變異性」因素及「專家判讀者間的各種共識的形成(或同意)的方法或原則」納入考量。
    4. 就所有的功能表現測量方法皆應與其相應的「信賴區間」(Confidence intervals，簡稱CIs)一同加以報告，且就用來估算這些CIs所使用的方法學及這些CIs相關的臨床意義，廠商均應提供相應說明。
  4. 關於Generalizability測試：
    1. 除應就所執行的研究其於多大的程度上可普遍化到其所定義的收集技術範圍加以測試，以深入瞭解CADe演算法的穩定性外，廠商亦應以適當且不會為病患帶來額外風險的方式(例如：增加輻射或對比曝光)來進行此種額外的測試，並同時檢查各種影像收集干擾因素的影響，例如：
      - 用來造影的硬體設備；
      - 用來造影或掃描的Protocol；
      - 影像或資料特徵。
    2. 在這部分所需提交的資料中，FDA建議宜提供如下資訊：
      - 就廠商所預期將可能會為檢測結果帶來變化的參數所為的評估(例如：掃描特徵、造影醫療器材品牌及型號等)。
      - 描述說明所進行的研究；及
      - 評估結果及相關統計分析資料。
  5. 關於與Predicate Device的比較：
    1. 於實務上，當廠商想直接將所開發的CADe產品與其他製造商的Predicate Device進行比較時，或可能並非總是能如願，不過…，假使當「直接比較」兩者的情況成為可能時(例如：兩個產品均為同一家廠商所開發)，FDA建議，此時廠商應選擇直接將其新產品與Predicate Device兩者的獨立功能表現進行比較(應使用相同的評估流程與測試資料組群)。
    2. 當兩醫療器材可以直接比較時，應比較新(或經變更/修改)的CADe醫療器材及Predicate Device兩者間的真陽性與偽陽性CADe marks的位置(例如：兩醫療器材所提示的真陽性marks重疊的平均百分比、兩醫療器材所提示的偽陽性marks重疊的平均百分比等等)。

針對「臨床功能表現評估」FDA提出了哪些建議？

FDA明白表示，若廠商能將其新CADe產品的「獨立功能表現」與所選擇的Predicate Device的「獨立功能表現」兩者直接進行比較(前提是使用相同的評估流程與測試資料組群)，且又能證明該項新(或經變更/修改)的醫療器材，且又至少有如下任何一種情形時，則有可能毋需執行新的臨床功能表現評估研究：
1. 在獨立的靈敏度量測指標方面的改善(例如：增加Lesion-based的靈敏度)，及某種穩定(或經改善)的獨立偽陽性率量測指標。
2. 在獨立的偽陽性率量測指標方面的改善(例如：降低每個病例的偽陽性數量)，及某種穩定或改善的獨立靈敏度量測指標；或
3. 在獨立FROC曲線方面的改善。

(值得留意的是，針對有上述任一情形的新(或經變更/修正)CADe產品， FDA還多補上了一個要件，也就是「其所產生的真陽性與偽陽性CADe marks，其在位置及範圍上均與Predicate Device所產生的marks合理一致」)

不過，當新CADe產品的Indications for Use發生變化或當其與Predicate間存在著實質的技術性差異時，FDA認為，於此種情況下，僅單純將其與Predicate Device在獨立功能表現方面進行直接比較，或可能會是不足夠的，而將有執行臨床評估的必要。
就上述第2點所提到的「臨床功能表現評估」，FDA建議，廠商可評估其CADe產品相對於某種管控模式下的臨床表現，並可採用對照組(最常見的是使用「無輔助判讀」方法)。
更多關於「臨床功能表現評估方法」的詳細內容，FDA乃將其擺放在這份名為“Clinical Performance Assessment: Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data in Premarket Notification (510(k)) Submissions”的指引文件中(讀者不妨將這份文件視為是這份新修正指引文件的補充性資料)，而如有機會，筆者將於另篇文章中再與大家整理說明。

除「獨立功能表現」及「臨床功能表現」評估外，還有幾點，或也宜稍微留意：

就FDA過往所收到的「針對經許可的CADe醫療器材的變更(修改)」510(k)申請案件中，其曾要求廠商補交「臨床功能表現評估」資料的若干實務案例及所持理由，略摘要整理如下表：

案例	描述說明	差異處 (FDA理由)
案例-1	不能證明被廠商用來「評估其新的CADe產品獨立功能表現」的資料庫的特徵(或組成)，與被用來評估Predicate Device獨立功能表現的資料庫的特徵(或組成)，兩者間具有可比性，且所存在的那些差異，亦引發了臨床方面的考量。	資料庫特徵或組成 (可能顯著影響安全性或功效)
案例-2	新的(或經變更/修改)的CADe產品的獨立功能表現評估結果，經比較後發現不如所選擇的Predicate Device。	功能表現 (新產品功能未具廠商所宣稱的預期優勢)
案例-3	CADe marks的位置或範圍與Predicate Device兩者具實質差異，且這些差異引發了臨床方面的考量。	CADe marks位置或範圍 (可能顯著影響安全性或功效)
案例-4	參考標準定義、評分流程、分析方法或功能表現終點與Predicate Device不同，而這些差異對於臨床醫師或病患的意義與影響，在文獻中並非為人所知(或並非被描述得很清楚)。	參考標準定義、評分流程、分析方法或功能表現終點 (可能引發安全性或功效問題)
案例-5	該項新的(或經變更/修改)的CADe產品的演算法設計與Predicate Device不同，且此種差異引起了臨床方面的考量。	演算法設計 (可能嚴重影響安全性或功效)
案例-6	該項新的(或經變更/修改)CADe產品採用了某種新的收集技術或protocol，而改變了CADe的inputs的性質(例如：新的CADe醫療器材適用於數位化放射圖片，而Predicate Device適用於以感光底片為基礎的放射圖片)，這些差異引起了臨床方面的考量。	收集技術或protocol (可能影響安全性或功效)

參考資料：筆者自行整理。

廠商應提交一份關於產品使用者訓練的流程摘要

原則上，此類CADe產品於核准上市後，廠商應要向其使用者提供一項訓練，一方面，除可協助臨床醫師能夠採取合適的方式來使用該項CADe產品外，另一方面，藉由在訓練過程中廠商所做的說明，也可一併將其產品的「預期優勢」與「已知的局限性」明確告知使用醫師(例如：該CADe產品並無法鑑別出鈣化結節)，以便讓這類CADe產品能夠真正發揮其預期功效(此同時也可降低人為操作風險達到保障病患健康安全目的)；而為確保廠商有確實提供相關訓練，FDA遂特別在這份文件中，明文要求廠商應就其所建置將於CADe產品上市後用來訓練該產品預期使用者的相關流程，簡單提供一份摘要說明，作為510(k)申請案提交文件之一部。

整體來說，美國政府對於這類可結合近年最夯的AI/ML技術，來大幅優化醫學影像臨床判讀作業的CADe產品，除了藉由降級管理的方式，來刺激其國內相關業者的開發意願外(此也間接增加了異業廠商結合共同進行跨產業發展的商業機會)，在觀察這份指引文件後，筆者也發覺到，FDA更進一步地透過於文件中聲明，在廠商所開發的產品能符合一定條件的前提下(詳前文)，可例外免除其提交「臨床功能表現評估」數據資料的做法，來鼓勵CADe廠商積極突破與提升自家既有產品與技術；而換個角度來看，美國政府透過降級、減輕廠商提交文件與成本負擔、持續修法優化法規環境等措施，正在多管齊下的為其國內將來智慧醫療相關產品的國際化發展與競爭，不斷地挹注更多的動力；而回頭來看我國，根據衛福部「食品藥物管理署」(即TFDA)於110年5月7日所發布的官方消息顯示，為加速可輔助臨床單位在分流、偵測或診斷的「人工智慧/機器學習技術之醫療器材」順利上市，並促進民眾能獲得更高品質的醫療照護服務，目前除已經成立「智慧醫療器材專案辦公室」外，復又於111年8月底，正式公告了「人工智慧/機器學習技術之電腦輔助偵測(CADe)及電腦輔助診斷(CADx)醫療器材軟體查驗登記」技術指引文件，以作為國內廠商評估產品開發及申請查驗登記所須資料的重要參考；對此，整合種種跡象，從國內/外這類智慧醫療器材軟體(或系統)產品未來的全球發展此角度來說，筆者是抱持著相當樂觀的心態來加以看待，且就其背後所隱藏的龐大商機，筆者認為…若再一併將當前全球在人工智慧相關技術與應用正在以跳躍式的方式前進此點納入考慮的話…的確是不容小覷！

參考資料

1. For more information about the “Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data-Premarket Notification [510(k)] Submissions-Guidance for Industry and Food and Drug Administration Staff”, please refer to this website：https://www.fda.gov/regulatory-information/search-fda-guidance-documents/computer-assisted-detection-devices-applied-radiology-images-and-radiology-device-data-premarket
2. About the article of “United States: FDA Issues Final Orders Classifying Radiological Image Analyzers And Related Software”, please refer to this website：https://www.mondaq.com/unitedstates/life-sciences-biotechnology--nanotechnology/888566/fda-issues-final-orders-classifying-radiological-image-analyzers-and-related-software
3. For more information about the “21 CFR 892.2050- Medical image management and processing system”, please refer to the website：https://www.accessdata.fda.gov/scripts/cdrh/cfdocs/cfcfr/cfrsearch.cfm?fr=892.2050
4. For more information about the “21 CFR 892.2050- Medical image analyzer”, please refer to the website：https://www.accessdata.fda.gov/scripts/cdrh/cfdocs/cfcfr/cfrsearch.cfm?fr=892.2070
5. 有關我國TFDA於110年5月7日所發布「食品藥物管理署智慧醫療器材專案辦公室成立」官方新聞內容，可參考網站：https://www.mohw.gov.tw/cp-5016-59558-1.html
6. 有關我國TFDA於111年8月所公告「人工智慧/機器學習技術之電腦輔助偵測(CADe)及電腦輔助診斷(CADx)醫療器材軟體查驗登記技術指引」之官方消息，可參考網站：https://aimd.fda.gov.tw/regulation/detail/33
7.有關筆者先前所撰寫的「降級後法規監管的再明確化？FDA發布新修正版CADe-510(k) Submission指引文件(上)」文章內容，讀者可至巨群網站瀏覽：http://www.giant-group.com.tw/law-detail-1180.html
8. 更多的內容與分析，有興趣的讀者可至「巨群生醫網站」瀏覽：http://biomed.giant-group.com.tw/biomed/index.php/biomed-regulation-2?view=article&id=60:post-44&catid=14