실세계 데이터(Real-World Data, RWD)란?

RWD는 일상적인 의료 환경에서 수집되는 환자 건강 상태 및 의료 서비스 제공과 관련된 데이터이다. 주요 RWD 원천은 다음과 같다:

• 전자 건강 기록(Electronic Health Records, EHR)
• 레지스트리(Registries)
• 행정 청구 데이터(Administrative Claims Data)
• 기기 생성 데이터(Device-Generated Data)
• 공중보건 감시 데이터(Public Health Surveillance Data)
• 임상적으로 주석 처리된 바이오뱅크(Clinically Annotated Biobanks)
• 의료기기 데이터 리포지토리(Medical Device Data Repositories)
• 차지마스터 및 청구 데이터(Chargemaster and/or Billing Data)

본 보고서에 포함된 73개 사례의 제출 유형 분류

이 보고서는 시판 전 제출 중심이나, 시판 후 연구를 포함한 전체 제품 수명주기에서 RWE를 활용한 사례 3건도 포함한다.

RWE 활용의 다양성

본 보고서의 사례들이 보여주는 RWE 활용 유형:

• 신규 기기 및 적응증 확대를 위한 1차 임상 근거 원천으로서 RWE 활용
• 다른 임상 근거를 보완하는 보충적 임상 근거로서 RWE 활용
• 기기 성능 평가를 위한 외부 대조군 또는 역사적 대조군 생성에 RWD 활용
• 시판 전·후 요구 사항을 모두 충족하는 전체 제품 수명주기에 걸친 RWD 활용
• 보다 강력한 근거 생성을 위한 다수 RWD 원천의 연계 및 결합 활용

AI/머신러닝 분야의 혁신적 적용

• RWD를 활용하여 기기 소프트웨어 기능을 검증한 인공지능(AI) 및 머신러닝 기반 의료기기의 다수 사례 포함
• 국제 바이오뱅크, 레지스트리, 의무기록 연계 등 고도화된 데이터 통합 방식 사례

방법론적 발전

• 레지스트리-청구 데이터 연계: 장기 시판 후 감시를 위한 성숙하고 점점 보편화되는 방식
• 성향점수 방법(Propensity Score Methods) 및 기타 고급 통계 기법 활용
• 임상시험 데이터와 RWD를 통합한 하이브리드 연구 설계
• 단일군 연구 설계를 지지하는 RWD 기반 외부 대조군 생성

CDRH는 관련성(Relevance)과 신뢰성(Reliability) 원칙이 충족될 때 RWE의 활용이 가장 효과적임을 강조하며, 이는 CDRH RWE 지침(FDA 2025년 가이던스: “Use of Real-World Evidence to Support Regulatory Decision-Making for Medical Devices”)에 상세히 기술되어 있다.

본 보고서의 구성

총 9개 섹션으로 구성되며, 기기 유형(치료기기 vs 체외진단기기) 및 RWD 원천에 따라 분류된다:

제출 요약 표 구성 요소

키 태그 정의 (20개)

예시 1. PMA – 선택적 내부 방사선 치료기기의 신규 PMA 승인 (의무기록 활용)

시판 전 임상 근거

예시 2. PMA – 와우 이식 시스템의 적응증 확대 PMA 승인 (의무기록 활용)

시판 전 임상 근거

예시 3. PMA – 정맥 스텐트 적응증 확대 PMA 승인 (체계적 문헌 고찰 및 의무기록 활용)

시판 전 임상 근거

예시 4. HDE – 전거골 대치 금속 보철 기기의 신규 HDE 승인 (의무기록 활용)

시판 전 임상 근거

예시 5. De Novo – 문맥압 측정 시스템 분류 (의무기록 활용)

시판 전 임상 근거

예시 6. De Novo – 혈역학 불안정 보조 지시기 소프트웨어 분류 (의무기록 활용)

시판 전 임상 근거

예시 7. De Novo – 레이저 하대정맥 필터 제거 카테터 분류 (의무기록 활용)

시판 전 임상 근거

예시 8. De Novo – 심혈관 머신러닝 기반 알림 소프트웨어 분류 (의무기록 활용)

시판 전 임상 근거

예시 9. 510(k) – 혈역학 불안정 예측 머신러닝 소프트웨어 인가 (의무기록 활용)

예시 10. 510(k) – 해부학적 어깨 보철물 인가 (의무기록 활용)

예시 11–28: 510(k) 의무기록 활용 사례 요약표

예시 29. PMA – 와우 이식 시스템 PMA 적응증 확대 (스폰서 레지스트리 활용)

예시 30. PMA – 상기도 자극 시스템 적응증 확대 (레지스트리 데이터 활용)

예시 31. PMA – 경경동맥 스텐트 시스템 적응증 확대 (전문학회 레지스트리 데이터 활용)

시판 전 임상 근거 (핵심)

예시 32–47: 레지스트리 활용 PMA/510(k)/De Novo 사례 요약표

예시 48. PMA – 이식형 주입 펌프 적응증 확대 (체계적 문헌 고찰 활용)

예시 49. PMA – 초음파 영상 기기 신규 PMA 승인 (의무기록 활용)

예시 50–53: 의무기록+레지스트리 병용 510(k) 사례 요약

예시 54. PMA – 척수 자극 시스템 적응증 확대 (행정 청구 데이터 활용)

예시 55. 510(k) – 수술 시스템 라벨 수정 (행정 청구 데이터 활용)

예시 56. PMA – 경피적 대동맥 판막 적응증 확대 및 시판 후 연구 (레지스트리+행정 청구 데이터 활용)

예시 57–59: 레지스트리+행정 청구 데이터 병용 PMA 사례 요약

예시 57 및 58 주요 특징: Edwards SAPIEN 3/3 Ultra 판막 시리즈로, STS/ACC TVT Registry와 CMS 청구 데이터를 연계하여 시판 전 근거 및 최대 10년 장기 시판 후 감시를 동시 수행하는 전체 제품 수명주기(Total-Product Lifecycle) 접근방식의 대표 사례이다.

예시 59 주요 특징: 난치성·재발성 복수 치료를 위한 alfapump® System의 신규 PMA로, 주요 임상 근거는 단일군 임상시험(POSEIDON trial)이었으나, 안전성 입증을 위해 NACSELD III 레지스트리 및 Medicare SAF(Standard Analytical Files)에서 외부 대조군을 생성하여 활용하였다.

예시 60. PMA – 조절형 풍선 시스템 신규 PMA 승인 (시판 후 감시 데이터 활용)

예시 61–62: 공중보건 감시 데이터 활용 510(k) 사례 요약

예시 62 주요 특징: 공중보건 감시 데이터(의료관련 감염(HAI) 국가 데이터베이스)와 제조사 고객 데이터베이스를 연계하여 Clave NCT 사용 병원을 식별하는 데이터 연계(Linkage) 방식 활용. 중심정맥-관련 혈류 감염(CLABSI) 및 혈류 감염 관련 사망이 주요 안전성 평가변수.

예시 63. PMA – 제세동 전극 신규 PMA 승인 (기기 생성 데이터 활용)

예시 64–66: 기기 생성 데이터 활용 PMA/510(k) 사례 요약

예시 65 주요 특징: 프랑스 국가 보건 데이터베이스(Système National Des Données de Santé, SNDS)를 활용한 미국 외 행정 청구 데이터 + 기기 생성 데이터의 결합. 심부전 입원 예측 알고리즘 검증에 활용된 혁신적 사례.

예시 67. PMA – 횡격막 페이싱 시스템 신규 PMA 승인 (출판 문헌 데이터 활용)

예시 68. De Novo – 내시경적 위 해부학 변형 봉합 기기 분류 (레지스트리+시판 후 감시 데이터 활용)

예시 69. De Novo – 국제 바이오뱅크 데이터를 활용한 체외진단 검사 분류

예시 70–73: IVD RWD 활용 510(k)/De Novo 사례 요약

예시 71 주요 특징: NFL(미국 프로미식축구) COVID-19 직업적 감시 검사 프로그램 데이터를 공중보건 감시 데이터로 활용하여 무증상 개인을 위한 SARS-CoV-2 검사 적응증 확대 지원.

예시 72 주요 특징: UK Biobank의 460,506명 코호트 데이터(중앙 추적 관찰 기간 11.2년)를 활용하여 Lp(a) 농도와 죽상경화성 심혈관 질환(ASCVD) 간 연관성 라벨링 지원. 대규모 코호트 바이오뱅크 데이터를 IVD 라벨링에 활용한 혁신적 사례.

1. FDA 규제 적합성 평가

본 보고서는 FDA가 실세계 근거를 의료기기 규제 결정에 공식적으로 활용하는 방식을 체계적으로 정리하였으며, 다음의 주요 시사점을 제공한다:

규제 근거로서 RWE의 활용 영역

2. 관련 FDA 가이던스

• Use of Real-World Evidence to Support Regulatory Decision-Making for Medical Devices (CDRH RWE 가이던스, FDA, 2025)
• Considerations for the Design, Conduct, and Analysis of Observational Studies Using Real-World Data (FDA, 향후 발행 예정)
• Software as a Medical Device (SaMD): Clinical Evaluation (IMDRF/SAMD N41, 2017)
• Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan (FDA CDRH, 2021)

3. MFDS(식약처) 관점에서의 시사점

본 보고서의 사례들은 한국 MFDS의 의료기기 규제 제출에도 적용 가능한 다음의 시사점을 제공한다:

RWE 활용 적합성 원칙 (FDA와 MFDS 공통)

• 관련성(Relevance): RWD가 제출 기기의 허가 목적과 직접적으로 관련이 있어야 함
• 신뢰성(Reliability): RWD 수집, 관리, 분석 과정의 질이 규제 목적에 적합해야 함

MFDS 관련 가이드라인

• 식약처 고시 「의료기기 임상시험 계획서 작성 가이드라인」
• 식약처 가이드라인 「실세계 증거를 활용한 의료기기 임상 평가 가이드라인(안)」(개발 중 또는 발행됨)
• ICH E9(R1): 임상시험의 통계적 원칙 (Addendum: 추정 목표)
• ISO 14155: 의료기기의 인체 대상 임상 조사

국내 적용 시 주요 고려 사항

• AI/SaMD 기기의 경우 검증 연구(Validation Study)에 실세계 의무기록 데이터 활용이 확립된 방식으로 인정됨
• 레지스트리 기반 연구의 경우 데이터 품질 보증 체계(QA) 문서화 필요
• 외부 대조군 생성 시 성향점수 매칭(PSM) 방법론에 대한 방법론적 정당성 제시 필요
• 체계적 문헌 고찰을 통한 RWE 활용 시 PRISMA 기준 준수 필요

4. 통계 방법론 시사점

본 보고서의 사례들에서 나타난 주요 통계 방법론:

본 번역본은 FDA 공식 보고서(Examples of Real-World Evidence Used in Medical Device Regulatory Decisions, Fiscal Years 2020–2025, April 2026)를 전문 기반으로 한국어로 번역한 것입니다. 원본 영문 보고서와 함께 참조하시기 바랍니다.

1.1 문제의 정의

임상시험 설계 시 약물의 다양한 측면을 평가하기 위해 다수의 평가변수(endpoints)가 포함된다. 이는 질병의 여러 양상을 포괄적으로 문서화하기 위한 필요성에서 비롯된다. 그러나 단일 시험에서 분석되는 평가변수(endpoint)의 개수가 증가함에 따라, 약물의 효과에 관한 거짓 결론을 도출할 가능성이 증가한다.

핵심 문제: “약물의 효과에 관하여 하나 이상의 평가변수와 관련하여 거짓 결론을 내릴 가능성은 다중성에 대한 적절한 조정이 없을 경우 우려의 대상이 된다.”

1.2 통계적 배경

이 문제는 제1종 오류(Type I Error) 또는 제1종 오차 확률(α error)의 증가와 직결된다. 단일 검정에서 유의수준(significance level, α)이 0.05로 설정되어 있더라도:

• 2개 독립 검정 수행 시: 최소 1개 이상의 거짓양성이 나타날 확률 ≈ 1 - (0.95)² = 0.0975
• 10개 독립 검정 수행 시: 최소 1개 이상의 거짓양성이 나타날 확률 ≈ 1 - (0.95)¹⁰ ≈ 0.40

따라서 평가변수의 개수가 증가할수록 가족단위 제1종 오류율(Family-Wise Error Rate, FWER) 또는 거짓발견율(False Discovery Rate, FDR)을 통제하는 것이 중요하다.

1.3 가이던스의 목적

이 가이던스의 목적은 스폰서와 FDA 검토 담당자가 다음을 수행할 수 있도록 돕는 것이다:

1. 평가변수를 체계적으로 분류하고 순서 정하기 (grouping and ordering)
2. 확립된 통계 방법을 적용하여 시험 내 다중성 통제
3. 약물 효과에 관한 잘못된 결론을 방지

2.1 주평가변수 (Primary Endpoint)

정의: 임상시험의 주요 목적을 평가하기 위해 미리 정의된 가장 중요한 평가변수

특성: - 시험 프로토콜에 명확하게 사전 지정(pre-specified) - 약물 효능의 핵심을 나타냄 - 일반적으로 1개 또는 제한된 개수로 설정 - 주요 통계 분석의 대상 - 규제 의사결정의 근거가 됨

고려사항: - 질병의 임상적 의미 있는 측면을 측정해야 함 - 신뢰성 있고 타당한 측정이 가능해야 함 - 표본 크기 계산의 기초가 됨

2.2 부평가변수 (Secondary Endpoint)

정의: 주평가변수를 지지하거나 약물의 추가적인 효과를 평가하기 위한 평가변수

특성: - 사전에 정의되지만 주평가변수보다 중요도가 낮음 - 약물의 추가적 이점 또는 영향을 평가 - 다중성 조정의 대상이 될 수 있음 - 탐색적 증거로서의 역할 가능

활용: - 약물의 전반적인 임상적 이점 평가 - 부작용(adverse effect) 또는 안전성 측면 - 삶의 질(quality of life) 또는 기능적 측면 - 특정 부분군(subgroup) 분석

2.3 복합평가변수 (Composite Endpoint)

정의: 2개 이상의 개별 이벤트(event)로 구성되어 있으며, 피험자가 정의된 이벤트 중 하나라도 경험하면 복합평가변수 기준을 충족하는 평가변수

예시: - 주요 심혈관 이벤트 (Major Adverse Cardiovascular Events, MACE) = 심근경색 + 뇌졸중 + 심혈관 사망 - 3-point MACE = MI + stroke + all-cause mortality

장점: - 필요한 표본 크기 감소 - 임상적으로 의미 있는 결과의 종합적 평가 - 이벤트 발생 빈도 증가로 통계 검정력 향상

위험도: - 개별 성분의 효과 크기가 상이할 경우 전체 효과 마스킹(masking) 위험 - 한 성분이 지배적이 되면 다른 성분의 영향 무시될 가능성 - 성분 간 상관관계 존재 시 다중성 문제 발생

FDA 권고사항: 복합평가변수 구성 시 다음을 고려해야 한다:

1. 성분 선택: 임상적으로 중요하고 측정 가능한 이벤트만 포함
2. 가중치 부여: 각 성분의 임상적 중요도를 명확히 정의
3. 사전 정의: 복합평가변수의 구성과 순서를 프로토콜에 명확히 기술
4. 통계 분석: 전체 복합평가변수와 개별 성분에 대한 분석 결과 모두 제시

2.4 기타 평가변수 (Tertiary and Exploratory Endpoints)

3차 평가변수 (Tertiary Endpoint): - 부평가변수를 추가로 지지하거나 탐색적 증거를 제공하는 평가변수 - 일반적으로 다중성 조정 대상이 아님

탐색적 평가변수 (Exploratory Endpoint): - 사전에 구체적으로 정의되지 않은 평가변수 - 데이터 기반의 가설 생성 목적 - 검증이 필요한 가설만 제시 - 결과 해석 시 신중함이 필요

3.1 다중성의 정의 및 발생 원인

다중성 (Multiplicity)란 단일 임상시험에서 여러 개의 통계 검정이 수행될 때 발생하는 현상이다.

다중성이 발생하는 주요 원인:

1. 다중 평가변수 (Multiple Endpoints): 동일한 질문에 대해 여러 개의 평가변수로 검정
2. 다중 비교 (Multiple Comparisons): 2개 이상의 처리군(treatment group)을 비교
3. 부분군 분석 (Subgroup Analysis): 환자 부분군별로 반복되는 검정
4. 중간 분석 (Interim Analysis): 시험 진행 중 반복되는 검정
5. 반복 측정 (Repeated Measures): 동일한 변수를 여러 시점에서 측정 비교

3.2 다중성으로 인한 문제: 거짓양성 발생률 증가

예시 계산:

단일 검정에서 유의수준(α) = 0.05일 때: - 1개 검정: P(적어도 1개 거짓양성) = 0.05 - 2개 독립 검정: P(적어도 1개 거짓양성) = 1 - (1-0.05)² = 0.0975 (97.5%) - 5개 독립 검정: P(적어도 1개 거짓양성) = 1 - (0.95)⁵ ≈ 0.226 - 10개 독립 검정: P(적어도 1개 거짓양성) = 1 - (0.95)¹⁰ ≈ 0.401

결론: 다중성 조정 없이 다수의 검정을 수행하면 거짓양성 결론을 도출할 확률이 급격하게 증가한다.

3.3 가족단위 제1종 오류율 (Family-Wise Error Rate, FWER)

정의: 단일 시험에서 수행되는 모든 검정(family of tests) 중 최소 1개 이상의 거짓양성(Type I error)이 발생할 확률

수식:

강한 FWER 통제 (Strong FWER Control): - 모든 가능한 참 귀무가설(true null hypotheses) 조합에서 FWER ≤ α를 유지 - 일반적으로 임상시험에서 요구되는 기준

약한 FWER 통제 (Weak FWER Control): - 전체 귀무가설이 참일 때만 FWER ≤ α를 유지 - 실제로는 덜 엄격함

3.4 거짓발견율 (False Discovery Rate, FDR)

정의: 거짓양성(false positive)이 차지하는 비율

FWER과의 관계: - FWER 통제가 더 엄격한 기준 (FDR 통제보다 보수적) - FDR 통제는 다수의 검정에서 더 통계 검정력 제공

FDR 통제 사용 시점: - 대규모 탐색적 분석(genome-wide association studies 등) - 사후 검정(post-hoc) 분석 - 이차 또는 탐색적 평가변수 분석

4.1 개요 및 분류

FDA 가이던스에서 인정하는 주요 다중성 조정 방법:

1. 계층적 검정 (Hierarchical Testing/Gatekeeping)
2. 동시 신뢰도 구간 (Simultaneous Confidence Intervals)
3. 재표본추출 기반 방법 (Resampling-based Methods)
4. Bonferroni와 그 변형 (Bonferroni and Variants)
5. Hochberg 방법
6. Holm 방법
7. 결합 검정 (Combination Tests)

4.2 Bonferroni 방법

4.3 Holm 방법 (Holm-Bonferroni Method)

4.4 Hochberg 방법

4.5 계층적 검정/게이트키핑 (Hierarchical Testing/Gatekeeping Procedures)

Level 1 (Gate 1): Primary Endpoint
  └─ If significant → proceed to Level 2
     Level 2a: Secondary Endpoint A
     Level 2b: Secondary Endpoint B
     Level 2c: Secondary Endpoint C

Level 1: Primary Efficacy Endpoint
  └─ If significant → proceed to Level 2
     Level 2: Secondary Efficacy Endpoints (1-3 endpoints)
       └─ If all/specified endpoints significant → proceed to Level 3
          Level 3: Exploratory Endpoints

Primary Endpoint:
- Mortality (사망률)
  α = 0.025

If Primary Endpoint Significant (p < 0.025):
│
├─ Secondary Endpoint 1: Hospitalization due to HF
│  α = 0.0125 (from remaining 0.025 + 0.00625)
│
├─ Secondary Endpoint 2: Quality of Life Score
│  α = 0.0125
│
└─ Secondary Endpoint 3: LVEF Improvement
   α = 0.0125

If ALL Secondary Endpoints Significant:
│
└─ Exploratory: Subgroup Analyses (no formal α allocation)

4.6 결합 검정 (Combination Tests)

4.7 재표본추출 기반 방법 (Resampling-based Methods)

4.8 동시 신뢰도 구간 (Simultaneous Confidence Intervals)

5.1 부분군 분석 (Subgroup Analyses)

5.2 중간 분석 (Interim Analysis)

분석 단계     1차 (50% 정보)    2차 (100% 정보)
유의수준      0.0051            0.0462
            (매우 엄격)        (느슨함)

분석 단계     1차 (50%)    2차 (100%)
유의수준      0.0158       0.0158
           (항상 동일)

5.3 반복 측정 (Repeated Measures)

Primary Analysis:
├─ Primary Timepoint: Week 12 (최종 시점)
└─ FWER 통제를 위해 다른 시점 분석은 보조적으로 수행

5.4 복합 평가변수 분석 (Composite Endpoint Analysis)

6.1 통계 분석 계획 (Statistical Analysis Plan, SAP)

Primary Endpoints:
├─ Primary Efficacy Endpoint: Change in HbA1c from baseline to Week 24
└─ Primary Safety Endpoint: Adverse Events requiring treatment

Secondary Endpoints:
├─ Change in Fasting Glucose
├─ Change in Body Weight
├─ Change in Lipid Profile
└─ Health-Related Quality of Life

Exploratory Endpoints:
├─ Biomarker Changes
└─ Pharmacokinetic Parameters

### Multiple Comparison Adjustment Strategy

The trial employs a hierarchical testing procedure to control
the Family-Wise Error Rate (FWER) at 0.05 (two-sided).

Level 1 (Gate 1): Primary Efficacy Endpoint
- Hypothesis: HbA1c change differs between treatment and control
- α = 0.05 (two-sided)
- If significant → proceed to Level 2
- If not significant → all other efficacy endpoints considered supporting evidence only

Level 2: Secondary Efficacy Endpoints
- Available α: 0.05 (since Level 1 did not use it, or
  conditional on Level 1 significance)
- Bonferroni correction applied to 3 secondary endpoints
- Each endpoint α = 0.05/3 ≈ 0.0167 (two-sided)

Primary Safety Endpoint:
- Evaluated separately; FWER controlled independently
- No formal α allocation; descriptive summary

PRIMARY ANALYSIS STRATEGY: Hierarchical Fixed Sequence Testing

┌─────────────────────────────────────────────────┐
│ Level 1: Primary Endpoint                        │
│ ├─ HbA1c Change (ITT Population)                │
│ └─ α = 0.05 (two-sided)                         │
│   └─ Success Criterion: p < 0.05                │
│     └─ If SUCCESS: Proceed to Level 2           │
│     └─ If FAIL: Stop, Level 2 endpoints         │
│        considered supporting evidence only      │
└─────────────────────────────────────────────────┘
                      │
                      ▼
┌─────────────────────────────────────────────────┐
│ Level 2: Secondary Efficacy Endpoints            │
│ (CONDITIONAL on Level 1 Success)                 │
│                                                  │
│ 2a. Weight Loss (per protocol α = 0.025)         │
│     └─ Bonferroni-adjusted α = 0.025/3          │
│                                                  │
│ 2b. Lipid Profile (per protocol α = 0.025)      │
│     └─ Bonferroni-adjusted α = 0.025/3          │
│                                                  │
│ 2c. Blood Pressure (per protocol α = 0.025)     │
│     └─ Bonferroni-adjusted α = 0.025/3          │
└─────────────────────────────────────────────────┘
                      │
                      ▼
┌─────────────────────────────────────────────────┐
│ Exploratory Endpoints:                           │
│ (No formal α allocation; p-values descriptive)  │
│ ├─ Quality of Life Score                        │
│ ├─ Biomarker Changes                            │
│ └─ Other exploratory analyses                   │
└─────────────────────────────────────────────────┘

SAFETY ENDPOINTS:
├─ Analyzed separately; no formal α allocation
├─ Descriptive summaries and listings provided
└─ Analysis conducted regardless of primary endpoint result

6.2 IND/BLA 신청 시 요구사항

6.3 MFDS (식약처) 관련 고려사항

사례 1: Type 2 당뇨병 약물 (Antidiabetic Agent)

HIERARCHICAL TESTING STRATEGY:

Gate 1: Primary Efficacy Endpoint
├─ HbA1c Change (α = 0.025, ITT population)
└─ Success Criterion: p < 0.025

Gate 2: Primary Safety Endpoint (PARALLEL evaluation)
├─ AE Incidence Rate (α = 0.025, Safety population)
└─ No formal success criterion; descriptive evaluation

If Gate 1 SUCCESS:
│
└─ Level 2: Secondary Endpoints
   ├─ 2a. FPG Change (Bonferroni α = 0.025/4 ≈ 0.0063)
   ├─ 2b. HbA1c < 7% Achievement (Bonferroni α = 0.025/4)
   ├─ 2c. Body Weight Change (Bonferroni α = 0.025/4)
   └─ 2d. Lipid Profile Components (Hochberg correction)
      - Total Cholesterol (α = ...)
      - HDL (α = ...)
      - LDL (α = ...)
      - Triglycerides (α = ...)

If Gate 1 FAIL:
└─ Level 2 endpoints: Supporting evidence only (no formal α)

사례 2: 암(Oncology) 약물 — 복합평가변수

ANALYSIS HIERARCHY:

PRIMARY ANALYSIS:
├─ Overall Survival (OS)
│  └─ α = 0.05 (two-sided log-rank test)
│     └─ Landmark Analysis: 2-year OS rate
│        └─ Success Criterion: p < 0.05
└─ Only if OS significant: Proceed to Level 2

LEVEL 2: SECONDARY ENDPOINTS
├─ Progression-Free Survival (PFS)
│  └─ Bonferroni-adjusted α = 0.05/4 = 0.0125
├─ Objective Response Rate (ORR)
│  └─ Bonferroni-adjusted α = 0.0125
├─ Duration of Response (DOR)
│  └─ Bonferroni-adjusted α = 0.0125
└─ Quality of Life (QoL)
   └─ Bonferroni-adjusted α = 0.0125

EXPLORATORY ANALYSES:
├─ Biomarker-Stratified Analyses (Subgroup Analysis)
├─ Landmark Analyses at different time points
└─ Sensitivity Analyses

사례 3: 심혈관계 약물 — Co-Primary Endpoints

약물이 효과적이려면:
1. MI 위험 통계적 유의하게 감소 (p < 0.025, two-sided) AND
2. 근육 독성 증가 없음 (p > 0.05 for increased risk)

Co-Primary Endpoints Analysis (Logical AND):

Hypothesis 1: MI Risk Reduction
├─ Null: HR_MI = 1.0
├─ Alternative: HR_MI < 1.0
└─ α = 0.025 (one-sided) or 0.05 (two-sided, split between two endpoints)

AND

Hypothesis 2: No Increased Muscle Toxicity
├─ Null: Incidence_Drug > Incidence_Control
├─ Alternative: Incidence_Drug ≤ Incidence_Control
└─ α = 0.025

COMBINED CONCLUSION:
If both p1 < 0.025 AND (not p2_safety < threshold) → EFFICACY ESTABLISHED

9.1 기계학습(ML)/인공지능(AI) 기반 분석

종래의 통계 기반 다중성 조정이 기계학습 모델에 직접 적용되지 않을 수 있으므로:

1. 명확한 주평가변수 정의 필수
2. 검증 데이터셋(validation set) 사용
3. 사전 명시된 분석 계획
4. 복제(replication) 또는 외부 검증

9.2 적응형 시험 설계 (Adaptive Trial Design)

중간 분석 결과에 따라 시험 설계를 수정하는 적응형 시험에서:

1. 미리 정의된 적응 규칙
2. Conditional Type I error control
3. 최종 분석에서의 p-value 조정

FDA 신청 시 활용 방법

MFDS (식약처) 관련성

SAP (Statistical Analysis Plan) 작성 유의사항

❌ 나쁜 예:
"We will analyze primary efficacy endpoints using appropriate
statistical methods and adjust for multiplicity as needed."

✓ 좋은 예:
"Primary Efficacy Analysis:
- Endpoint: Change in HbA1c from baseline to Week 24
- Comparison: Treatment vs. Control (t-test)
- Analysis Population: Intent-to-Treat (ITT)
- Multiplicity Adjustment: Bonferroni correction
- Target α: 0.05 (two-sided)
- Adjusted α per endpoint: 0.025 (for 2 primary endpoints)
- Success Criterion: p < 0.025"

# Statistical Analysis Plan (SAP) Template

## 1. Overview
- 시험의 목적 및 설계
- 주요 가설

## 2. Study Objectives and Endpoints
### 2.1 Primary Objective
- Primary Efficacy Endpoint 정의
- 비교 기준 (차이, 비율 등)

### 2.2 Secondary Objectives
- 각 Secondary Endpoint 명시
- 임상적 중요도 설명

### 2.3 Exploratory Objectives
- 탐색적 평가변수 (해당 시)

## 3. Statistical Methods
### 3.1 Analysis Populations
- ITT, PP, Safety population 정의
- 제외 기준 명시

### 3.2 Primary Analysis
- 사용할 통계 검정 (parametric, non-parametric)
- Assumptions 및 검정 방법
- 결측치 처리 방법

### 3.3 Multiplicity Adjustment Strategy
#### 평가변수 분류:
- Gate 1: Primary Endpoints
  - Endpoint A (α = 0.025)
  - Endpoint B (α = 0.025)
- Gate 2: Secondary Endpoints (조건부 분석)
  - Endpoint C (Bonferroni α = 0.025/3)
  - Endpoint D
  - Endpoint E

#### 조정 방법:
- Hierarchical testing procedure (Name/Reference)
- Type I error control: FWER
- If interim analysis: Boundary type (O'Brien-Fleming/Pocock)

### 3.4 Subgroup Analyses
- 사전 정의 부분군 명시
- 각 부분군 크기
- 상호작용 검정 계획

### 3.5 Interim Analysis (해당 시)
- 분석 시점 및 정보도
- 의사결정 규칙
- Futility criterion

## 4. Sensitivity Analyses
- LOCF (Last Observation Carried Forward) vs. observed data
- 이상치 포함/제외 분석
- 프로토콜 위반 대상자 처리

## 5. Sample Size Calculation
- 주요 가정 (기저 효과율, 기대 효과 크기)
- 통계 검정력 (일반적으로 80% 또는 90%)
- 탈락율(dropout rate)

## 6. References
- 통계 방법론 문헌
- 관련 가이던스 (FDA, EMA, MFDS)

추가 학습 자료

1. FDA 관련 가이던스
   • Multiple Endpoints in Clinical Trials (2022)
   • Adaptive Design Clinical Trials for Drugs and Biologics (2019)
   • Multiple Comparisons in Clinical Trials (2001)
2. 통계 교재
   • Dmitrienko, A., Tamhane, A. C., & Bretz, F. (2009). Multiple Testing Problems in Pharmaceutical Statistics. Chapman and Hall/CRC
   • Hochberg, Y., & Tamhane, A. C. (1987). Multiple Comparison Procedures. John Wiley & Sons
3. 실무 자료
   • FDA CDER/CBER 웹사이트의 Q&A 섹션
   • 임상시험 통계 관련 국제 협회 (International Society for Biopharmaceutical Statistics, ISBS)
   • 한국 생물통계학회 (Korean Statistical Society)

실제 임상시험 설계 체크리스트

• 주평가변수가 명확하고 단일하게 정의되었는가?
• 부평가변수/탐색적 평가변수가 분류되었는가?
• 다중성 조정 방법이 사전 정의되었는가?
• SAP에 다중성 조정 전략이 명시되었는가?
• 부분군 분석이 사전 정의되었는가?
• 중간 분석 계획이 있는가? (있다면 경계선 정의)
• 표본 크기가 주평가변수 기반으로 계산되었는가?
• 통계학자가 시험 설계 단계부터 참여했는가?
• Regulatory pathway (FDA/MFDS) 고려사항을 검토했는가?

마지막 업데이트: 2026-03-14 가이던스 원본 발행일: 2022-10 (FDA) 문서 버전: 1.0

ICH E9 & E9(R1)

임상시험에서의 통계적 원칙을 다루는 ICH 핵심 가이던스. E9(R1) Addendum은 Estimand 프레임워크를 도입하여 임상시험 목적, 설계, 분석 간의 정합성을 강조한다.

Non-Inferiority (비열등성) 가이던스 (2016)

비열등성 시험의 설계·NI margin 설정·통계적 검정 방법 및 규제 해석에 대한 FDA의 공식 입장을 제시한다.

Adaptive Design Guidances

• CDER/CBER (2019): 의약품/생물의약품에 대한 적응형 설계 (group sequential, sample size re-estimation 등)
• CDRH (2016): 의료기기에 대한 적응형 설계 (Bayesian adaptive 포함)

Multiple Endpoints (2022)

다중 평가변수(primary/secondary/multiplicity)에 대한 통계적 접근 방법(Bonferroni, Hochberg, hierarchical testing 등)을 구체적으로 제시한다.

Adjusting for Covariates (2023)

무작위 배정 임상시험에서 기저치 공변량(covariate)을 활용한 분석 방법(ANCOVA, G-computation 등)에 대한 FDA 권고사항을 제시한다.

Bayesian Methodology Draft (2026)

의약품·생물의약품 임상시험에서의 Bayesian 방법론 활용에 대한 최신 Draft 가이던스. 사전 분포(prior distribution) 설정, 정보 차용(information borrowing), 소아 외삽(pediatric extrapolation) 등 포함.

Bayesian Statistics for Medical Devices (2010)

의료기기 임상시험에서 Bayesian 통계 활용에 대한 CDRH 가이던스. Bayesian adaptive design, hierarchical Bayes, prior elicitation 등을 다룬다.

1-1. 의약품 분야

주요 내용 (안내서-0249-01) - 임상시험 계획 단계의 통계 설계: 무작위배정, 눈가림, 층화 - 표본수(시험대상자 수) 산출 원칙 및 방법 - 1차/2차 평가변수 정의 및 통계 분석 방법 - 분석군(ITT, PP, mITT) 정의 기준 - 결측치(Missing data) 처리 원칙 - 중간 분석(Interim analysis) 및 알파 소모(alpha spending) 방법 - 비열등성 시험, 동등성 시험의 통계적 고려사항 - 통계분석계획서(SAP) 작성 원칙

1-2. 의료기기 분야

주요 내용 - 우월성(Superiority), 비열등성(Non-inferiority), 동등성(Equivalence) 시험 설계 및 검정 - 표본수 산출 공식 및 사례 예시 - 베이지안(Bayesian) 방법 활용 개요 - 평행군(Parallel), 교차(Crossover), 짝진(Paired) 설계에 따른 분석 방법 - 1차 평가변수의 통계 분석 방법 일치성 요건

1-3. 연간 임상통계 상담사례집 (시리즈)

의료제품(의약품·의료기기) 임상통계 심사·상담 사례를 연간 발간하는 민원인 안내서

시리즈 주요 수록 내용 - 무작위배정(Randomization) 관련 심사 보완 사례 - 시험대상자 수 산출(Sample size calculation) 오류 및 수정 사례 - 분석군(ITT/PP) 및 결측치(Missing data) 처리 심사 사례 - 통계 분석 방법 적절성 관련 다빈도 Q&A - 통계적 용어 해설 및 용어집

📌 핵심 요약

이 가이드라인은 기존 생물학적 원인이 알려진 특정 유전 질환을 대상으로 하는 개별화 치료제 개발에 ’그럴듯한 기전 프레임워크(Plausible Mechanism Framework)’를 적용하는 방법을 제시합니다. 소수 환자를 대상으로 하는 희귀질환 치료제에서 전통적인 무작위 대조군 임상시험이 불가능한 경우, 제한된 임상 증거로도 안전성과 유효성을 입증할 수 있는 방법론을 다룹니다. 주로 유전자 편집(Genome Editing)과 RNA 기반 치료제(ASO 등)에 적용되며, 기존 승인 경로 하에서 마케팅 승인을 받을 수 있는 방안을 제시합니다.

🎯 주요 내용

1. 그럴듯한 기전 프레임워크의 5대 구성요소
   • 질환 적응증과 명확한 연관성을 가진 특정 유전적/세포적/분자적 이상 식별
   • 근본적 또는 근접 병원성 생물학적 변화를 표적으로 하는 치료제 개발
   • 치료받지 않은 집단에서 잘 특성화된 질환의 자연사(Natural History)에 의존
   • 표적이 성공적으로 약물화 또는 편집되었음을 확인
   • 임상 결과 또는 경과의 개선 입증
2. 규제 승인 경로(Regulatory Pathway)
   • 기존 승인 경로 하에서 개별화 치료제의 마케팅 승인 가능
   • 확증적 증거를 동반한 단일 적절하고 잘 통제된 임상시험으로 실질적 유효성 증거 확립 예상
   • 중증 쇠약성 또는 생명을 위협하는 질환(SDLT) 맥락에서 안전성 고려
   • 치료 옵션이 제한적이거나 없는 상황에서 편익-위험 평가 중심 검토
3. 비임상(Nonclinical) 요구사항
   • 충분한 편집 또는 표적화를 지지하는 비임상 데이터 필요
   • 분자적/세포적 이상과 치료 표적 간의 명확한 기전적 근거 요구
   • 근접 병원성 경로 또는 잘 특성화된 하위/보상 기전에 대한 표적화 허용
   • 국소 및 전신 독성, 면역원성의 발생과 해결 완화 능력 평가
4. 임상(Clinical) 요구사항
   • 첫 번째 인체시험이 승인을 위한 피벗 시험으로 설계 가능
   • 소수 환자에서 제한된 임상 증거로도 안전성과 유효성 입증 가능
   • 환자를 자체 대조군으로 활용하는 단일군 시험 접근법 적용
   • 빠르게 진행하는 질환으로 조기 사망 및/또는 치명적이고 비가역적 이환율 고려
5. 화학, 제조 및 관리(CMC) 요구사항
   • 제품이 규제 품질 기준에 따라 제조될 수 있음을 입증하는 데이터
   • 개별화 치료제의 특성을 고려한 품질 관리 기준
   • 제품 품질을 지지하는 CMC 데이터의 신중한 평가 필요

🔄 변경사항

초판 발표 (2026년 2월 드래프트 가이던스)

🏥 적용 대상

• 알려진 생물학적 원인을 가진 특정 유전 질환 대상 개별화 치료제
• 유전자 편집(Genome Editing) 치료제
• RNA 기반 치료제 (안티센스 올리고뉴클레오티드, ASO 등)
• 중증 쇠약성 또는 생명을 위협하는 희귀 유전 질환 치료제
• 무작위 대조군 시험이 실행 불가능한 소수 환자군 대상 치료제

📊 통계/임상시험 관련 요구사항

• 시험 설계: 확증적 증거를 동반한 단일 적절하고 잘 통제된 임상시험으로 실질적 유효성 증거 확립 가능
• 대조군 설정: 환자를 자체 대조군으로 활용하는 단일군 시험 접근법 적용
• 표본 크기: 매우 제한된 환자 수에서도 승인 가능 (구체적 수치 명시되지 않음)
• 피벗 시험: 첫 번째 인체시험(First-in-Human)이 피벗 시험으로 설계 가능
• 외부 대조군: 잘 특성화된 질환의 자연사 데이터 활용 권장

⚠️ 주의사항

• 이 가이던스는 구체적인 개발 프로그램, 환자군, 평가변수, 승인 경로(가속승인 vs 일반승인)에 대한 권고사항은 제공하지 않음
• NDA/BLA 제출의 분야별 내용 및 형식에 대한 권고사항 미포함
• 해당 검토부서와의 사전 논의 필수
• 제시된 사례는 예시 목적으로만 사용되며 특정 질환군이나 평가변수를 보증하지 않음
• 법적 구속력이 없는 권고사항이며, 관련 법규 요구사항이 인용된 경우를 제외하고는 권장사항으로만 간주
• 편익-위험 평가는 마케팅 신청서 검토 시 개별적으로 고려됨

1.1 Counterfactual causal inference

• The counterfactual framework
  • placed causal inference within a statistical or predictive framework
    • causal estimands could be precisely defined and
    • expressed in terms of unobserved data within a statistical model
      • connecting to ideas in survey sampling and missing-data imputatation(Little, 1993, Little and Rubin, 2002)
• Big data : The counterfactual framework
  • allows causal inference from observational data
    • using the same structure used to model controlled experiments

1.2 Bootstrapping and simulation-based inference

• The bootstrap opened the door to a form of implicit nonparametric modeling
• Big data: Bootstrapping can be used for
  • bias correction and variance estimation for
    • complex surveys, experimental designs, and other data structures
      • where analytical calculations are not possible

1.3 Overparametrized models and regularization

• Overparametrized models and regularization
  • formalized and generalized the existing practice of restricting a model’s size
    • based on the ability to estimate its parameters from the data
      • related to cross validation and information criteria (Akaike, 1973, Mallows, 1973, Watanabe, 2010)
• Big data: Regularization allows
  • users to include more predictors in a model without so much concern about overfitting

1.4 Bayesian multilevel models

• Multilevel models formalized
  • Empirical bayes techniques of estimating a prior distribution from data
    • leading to the use of such methods with more computational and inferential stability
• Big data: Multilevel models use
  • partial pooling to incorporate information from different sources
  • applying the principle of meta-analysis more generally

1.5 Generic computation algorithms

• Generic computation algorithms make it possible
  • for applied practitioners to quickly fit advanced models for
    • causal inference, multilevel analysis, reinforcement learning and may other areas
    • leading to a broader impact of core ideas in statistics and machine learning
• Big Data: Generic computation algorithms allow
  • users to fit larger models
  • which can be necessary to connect available data to underlying questions of interest

1.6 Adaptive decision analysis

• Adaptive decision analysis connects
  • engineering problems of optimal control to the field of statistical learning
    • going far beyond classical experimental design
• Big Data: Adaptive decision analysis make use of
  • stochastic optimization methods developed in numerical analysis

1.7 Robust inference

• Robust inference formalized intuitions about inferential stability
  • framing these questions in a way that allowed
    • formal evaluation and modeling of different procedures
      • to handle outliers and model misspecification
  • ideas of robust inference have informed ideas of
    • nonparametric estimation
• Big Data: Robust inference allows
  • more routine use of data with outliers, correlations, and other aspects

1.8 Exploratory data analysis

• Exploratoy data analysis moved
  • graphical techniques and discovery in to the mainstream of statistcal practice
  • to better understand and diagnose problems of new complex classes of probability models that are being fit to data
• Big Data: Exploratory data analysis opens the door to
  • visualization of complex datasets and
  • has motivated the development of tidy data analysis and
  • the integration of statistical analysis, computation, and communication

2.1 Ideas lead to methods and workflows

• Each of these ideas was a
  • codification
  • bringing inside the tent an approach
    • considred more a matter of taste of philosophy than statistics

2.2 Advances in computing

• Meta-algorithms
  • def: workflows that make use of existing models and inferential procedures
  • have always been with us in statistics
    • e.g., least squares, the method of moments, maximum likelihood
• The learning meta-algorithms are associated with
  • divide-and-conquer computational methods
  • most notably variational Bayes and expectation propagation
    • generalizations of algorithms that iterate over parameters
    • or that combine inference from subsets of the data
• Importance of meta-algorithms and iterative computations in statistics
  • the general idea of combining information from multiple sources or creating a strong learner by combining weak learners
    • can be applied broadly
  • adaptive algorithms play well with onling learning and ultimately can be viewed as
    • representing a modern view of statistics in which data and computation are dispersed
    • a view in which information exchange and computational archtecture are part of the meta-model or inferential procedure
      • (Efron and Hastie, 2016)

• Modern computation usage in statistics
  • Bootstrapping, overparametrized models, and machine learning meta-analysis
    • directly take advantage of computing speed
    • e.g., the popularity of neural networks increased substantially only after the introduction of efficient GPU cards and cloud computing
  • The dispersion of computing resources
    • desktop computers allowed statisticians and computer scientists to experiment with new methods and then allowed practitioners to use them
  • Exploratory data analysis
    • has completely changed with developments in computer graphics
  • Variational and Markov chain simulation methods
    • have allowed separation of model building and development of inference algorithms
      • leading to probabilistic programming that has freed domain experts in different fields
        • to focus on model building and get inference done automatically
    • an increase in popularity of Bayesian methods in many applied fields starting in the 1990s
  • Adaptive decision analysis, Bayesian optimization and online learning
    • are used in computationally and data-intensive problems
    • e.g., optimizing big machine learning and neural network models, real time image processing and natural language processing
  • Robust statistics
    • the use was associated with a computation-fueled move away from closed-form estimates
      • e.g., least squares
    • The development and understanding of robust methods
      • was facilitated by a simulation study
        • that used extensive computation for its time (Andrews et al., 1972)
  • Shrinkage for multivariate inference can be justified
    • on computational grounds
    • motivating a new kind of asymptotic theory(Donoho, 2006, Candes, Romberg, and Tao, 2008)
  • Causal inference has advanced by the
    • use of computationally intensive nonparametric methods
    • leading to a unification of causal and predictive modeling in
      • statistics, economics, and machine learning
      • (Hill, 2011, Wager and Athey, 2018, Chernozhuskov et al., 2018)

2.3 Big data

• Modern computing -> big data
  • the application and development of new statistical methods
    • gene arrays, streaming image and text data,
    • online control problems such as self-driving cars
• The development of statistical programming environments
  • most notably S
  • and then R
  • general-purpose inference engines beginning with BUGS and its successors
• Reproducible research environments
  • Jupyter notebooks
• Probabilistic programming environments
  • Stan, Tensorflow, and Pyro

2.4 Connections and interactions among these ideas

• The idea of interconnections
  • the connection between robust statistics and exploratory data analysis
  • e.g., residual plots and hinging rootograms can be derived from specific model classes
• Purely computational methods can be interpreted as
  • solutions to statistical inference problems
  • e.g., Monte Carlo evaluation of integrals be interpreted as solutions to statistical inference problems
• Outcome framework for causal inference
  • a different treatment effect for each unit in the population
    • can be modeled using multilevel regression in the analyses of experiments or observational studies
• Regularized overparametrized models are
  • optimized using machine-learning meta-algorithms
    • which in turn can yield inferences that are robust to contamination
  • Deep learning models are related to a form of multilevel logistic regression and
    • relates to reproducing kernal Hilbert spaces, which are used in splines and support vector machines

• Bayesian hierarchical models
  • highly parametrized machine learning methods
  • Baysian computational methods can help
    • capture uncertainty in inference and prediction
    • and efficient optimization algorithms can be used to approximate model-based inference

2.5 Links to other new and useful developments in statistics

3.1 Looking backward

3.2 Looking forward

1. Regulatory Framework

2. Study Design

임상 연구의 목적, 연구 유형, 연구 모집단에 대해 항목별로 소개합니다.

3. Sample Size Estimation

대상자 수 산정에 대한 부분은 1차 평가 변수, 대상자 수 산정 공식, 효과 크기에 대해 항목별로 기술합니다.

4. Statistical Methodology

계획서에 기술된 1차, 2차 평가변수들의 통계 분석방법에 대해 어떤 통계 검정방법이 적용되었는 지 위주로 기술 합니다.

5. Study Research

진행하는 프로젝트 관련 기술이나 평가변수에 대해 추가로 조사한 것들에 대해 기술합니다. 가령, 당뇨병 연구에서 CGM 관련 metric 을 어떻게 평가해야 하는 지와 같은 평가 지표 관련된 개념을 정리하거나, Automated Insulin Delivery 와 같은 연관 기술에 대해 조사한 내용을 소개하고 참조한 문헌을 첨부합니다.

by Shantanu Nundy

• Advisor on Artificial Intelligence(Contractor), Office of the Commissioner, U.S. FDA
• FDA의 mission 은 promote and protect health
• AI는 두가지 모두를 할 능력이 있음
• 15년 동안 이 분야에서 일을 해온 내 경험에서는 이런 자리가 정말 중요하다고 느낌 #### Accelerating AI in Drug Development
• Real World Data and evidence
• Reduce animal testing and model toxicity
• AI-enabled endpoints and biomarkers
• Clinical trial design
• Clinical Trial Enrollment

by M. Khair Elzarrd

• Director, Office of Medical Policy (OMP), Center for Drug Evaluation and Research (CDER), U.S. FDA
• Innovation means additional risks
• Increasing engagements 가 주 목표
  • 지금은 listening, interview 등에 의존하지만, 더 나은 방법을 찾아가고 싶음
  • FDA는 데이터가 필요함
    • early engagement is very critical
• Transparency
  • 어떻게 모델이 동작하고 왜 동작하지 않는 지에 대한 이해가 필요함
  • 이를 위해 transparency 가 중요함
• Data Governance
  • 데이터를 모으고 수집하는 데 중요함
• Context of use
  • 맥락 중요함
  • 어떤 상황에서 사용되고 하는 지에 대한 이해가 필요함
• Mutlidisciplinary review
  • 다양한 분야 전문가의 필요한 의견을 어떻게 적시에 받을 수 있을 것인지?
  • Rapid engagement 를 어떻게 가능하게 할 것인지?
• Global Harmonization
  • 여전히 국제 조화가 이루어지고 있지 않음
  • privacy 에 대한 이견도 국가별로 다름
  • 지역별 규제기관의 견해도 서로 다름
• Upskilling
  • 우리가 현재 중요하게 배우고 있는 부분임
  • 우리도 또한 기술을 이해하기 위해 많이 노력하고 있음
• Responsive Infrastructure
  • 데이터의 규모가 엄청나게 커질 것임(terabyte)
  • 기관의 Infrastructure 가 data sharing 등을 뒷받침할 수 있어야 함
• Guidance
  • 이제 3,4년에 한번씩 가이던스를 발표하는 방식으로는 안될 것임
  • 우리는 AI로 인한 challenge 를 잘 맞서기 위해 노력하고 있음

by Gabriel Innes

• Assistant Director, Data Science and Artificial Intelligence Policy, OMP, CDER, U.S. FDA

• 새 Guidance(Considerations for the Use of AI to Support Regulatory Decision-Making for Drug and Biological Products) 소개

  • 7 different office center 가 협력하여 만든 guidance 임
  • 우리가 Innovative technology 에 고민하고 있음을 잘 보여주는 문서임
  • Risk based approach 에 중심을 둠

• Fundamentals

  • Model risk 에 비례하여 risk 평가할 것을 요청함
  • AI dynamic 이 정적(static)이 아님을 이해하고 있음
  • FDA와 산업계가 조기에 제품의 개발에 대해 논의할 것을 요청함

• 통합적인 문서화(comprehensive documentation)이 중요

AI in Drug & Biological Development by Greg Meyers

• 제품 개발(Product Development) 단계에서의 AI 활용 기회
  • 어떻게 개발 일정을 줄일 수 있을지?
  • 제조 단계에서의 일정을 얼마나 줄일 수 있을까?
• Causal human biology
  • Human level 에서의 variability 가 큼
  • 질병에 대한 이해가 중요함
  • 3D printer 로 cell 에 대한 실험을 할 수 있음
    • In silico simulation 이 가능
• Matching modality to mechanism
  • AI/ML solution: Accelerated virtual screening and ML-guided MPO with dynamic profiling
  • AI가 lead optimization 등에 도움을 주고 있음
  • Molecule design 에 AI 활용가능
    • e.g., brain barrier 를 투과할 수 있는 molecule 의 개발에 적용 등
    • 실험을 in silico setting 에서 진행
• Path to clinical proof of concept
  • AI 를 활용하여 광대한 data에서 tumor 에 대한 이해를 할 수 있음
• AI is useful at every stage of clinical development
  • MTD (Maximal Tolerated Dose)의 추정에도 AI simulation 활용 가능
  • Real world understanding 에도 도움이 됨
  • Statistical rigor 를 확보하면서도 patient 의 어려움을 줄이는 데에 도움이 될 것임
  • Digital biomarker의 활용도 점점 증가할 것임
• AI based Parameter Optimization within manufacturing
  • 약물 제조 단계에서도 AI의 활용이 가능
  • 제조 가능에서 확보 가능한 많은 데이터를 이용하여 수율의 최대화(maximize yield)를 하는 데 적용 가능

Presentation by Dana

• 우리가 AI를 앞으로 가장 잘 활용할 수 있는 부분은 어떤 영역일지?
  • Problem/disease에 대해 아직 잘 알려져 있지 않아 training이 잘 되지 않은 영역
• A study on LLMs & Chart Notes
  • 실제 질문을 구성하여 3 LLMs 이 답변하게 함
  • Prompt mattered
  • 어떤 prompt 를 사용하는 지에 따라 답변의 내용, level 이 달라졌음
• How to titrate when titration hasn’t been studied?
  • 동물에 대한 정보를 페북에서 보고 본인의 증상에 대입하여 본인이 해당 증상(Exocrine pancreatic insufficiency)이 실제 있는 것을 알게 되었음
  • 동물 실험의 결과를 human 에게 어떻게 titrate 하여 해석할 수 있을지?
  • Symptom score 를 구성하여 비교하게 함
    • 이 경우, EPI 여부를 AUC 0.86 으로 구분할 수 있었음
    • 이전에는 metric, 관련 study 등이 존재하지 않았었음
• PERT Pilot (Pancreatic Enzyme Replacement Therapy)
  • 본인의 질환 치료를 위해 Personal use 목적의 app을 개발하여 배포하게 됨
  • 이제 AI를 활용하여 이런 형태의 app 을 배포하고 better decision 을 환자가 내리는 데 도움을 줄 수 있음
• Let’s think about
  • Regulators
    • Make sure policies Dana’t penalize for RWE
    • Make easier pathways for repurposing
  • Companies & Researchers
    • Record & Retain & Report more granular data
    • Make open datasets… and use pre-prints
    • Actually make data available
    • create pathways to draw in real-world data
    • Existing drugs still have a lot of room for improvment
      ### Presentation by Thomas
• 우리는 현재 변환점(inflection point)에 와 있음
• FDA가 이런 논의를 할 기회를 준 것에 감사함
• How is biomedical knowledge generated? & How AI can help?
  • Linear 하게 발전하는 것이 아님
  • cross talk 과정이 존재함
  • ML vs LLM
    • 분리된 것이 아님
    • 서로 영향을 주면서 발전할 수 있음
• Preclinical
  • 단백질 구조의 예측이 이미 가능함
• Clinical
  • 환자 등록이 큰 어려움임
  • 이 때 Multi-Agent 의 활용이 가능할 것임
    • 전통적인 tumor board 활용 대신
  • Adaptive trial design 을 활용하여 환자의 안전성 확보 및 임상시험의 효율을 올릴 수 있음
  • 충분히 데이터가 모이면 수정구슬처럼 질병의 발생확률을 더 정확히 예측할 수 있을 것임

Panel Discussion

• by Moderator
  • Greg에게 질문이 있습니다. 새로운 방식을 제안하고 있는데, 전통적인 drug development 와 대비하여 어떻게 과정이 바뀌고 있는지 설명해주세요
    • Greg
      • design optimal protocol에 활용 가능함
        • historically, protocol 의 작성단계에서 natural inconsistency 가 존재했었음
        • CVD trial 을 그 동안 많이 해왔는데, AI에게 분석을 해보았을 때, 다른 biomarker 의 영향이 예상보다 컸었음 Historical approach 와는 다른 패턴이었음
          • more database 를 활용하면 더 효율적인 임상 진행이 가능할 것임
          • 환자 enrollment 도 실시간으로 예측 가능
            • drop out 가능성에 대한 평가가 정밀해짐
      • 임상시험에서 환자 enrollment process 에 도움을 줄 수 있음
        • sites 에 대한 세밀한 평가가 가능해짐
        • oversight 의 효율이 올라갈 수 있음
      • Being able to predict, build a model for screening failure 평가
        • screening failure 에 대해 미리 예측한 후 미리(prospectively) 대응이 가능하게 될 것임
        • 이전의 관례에서는 이미 기관에서 일이(저조한 등록 과 같은…) 발생한 후에 대응할 수 밖에 없었음
  • Dana 에게 질문. 환자 입장에서 AI를 활용하는 것에 대한 발표가 정말 인상적이었습니다. Use case 에 기반하여 patient researchers 가 어떤 관점을 제공해 줄 수 있을 지 궁금.
    • by Dana
      • 환자가 결정권을 얻고 치료 결정에 대한 의견을 낼 수 있게 하는 구조에 도움을 줄 수 있음
    • by Thomas
      • 어떤 구조로 그런 걸 만들 수 있을지에 대해 궁금함
    • by Dana
      • 산업계에서 환자가 목소리를 낼 수 있는 구조에 대한 고민이 필요함
  • Thomas 에게 질문. 본인이 생각하는 가장 유망한 AI의 use는? (most potential promise that AI can be used)
    • by Thomas
      • 현재 사용되고 있는 여러 tool 이 있지만, real power 는 collaboration 을 유용하게 하는 것에 있음
      • 현재 여러 연구들은 분리되어 이루어지고 holistic view 에서 이루어지고 있지 않고 silo 가 존재하지만 AI를 잘 활용하면 이런 문제를 해결할 수 있을 것임
      • share information, data, techniques 를 할 domain 이 현재는 부족함
      • AI를 활용하여 현재 10 ~ 15년이 걸리는 신약 개발 절차를 가속화할 수 있다면 큰 혁신(major breakthroughs)이 될 것임
  • Dana에게 질문. Regulator 에 대한 관점이 궁금함. Regulator 가 가져야 할 중요한 관점이 무엇일지 궁금함.
    • by Dana
      • Real world evidence 에 대한 논의가 정말 인상적이었음
      • 나도 researcher 이자 환자로써 여러 연구 과정에서 소외되는 것이 아쉬웠음
        • 당뇨병 환자는 매우 complex 한 그룹임
        • 임상 연구에서 아예 제외됨. (off label group이 되어버림)
      • Risk based modeling 을 활용하여 소외된 질병환자군에 대한 고려가 더 빨리 될 수 없는 것인지?
        • Type I diabetes 환자로 아쉬운 적이 많음
        • 혈당이 높으면 신약의 적용을 아예 받을 수 없는 것인지?
        • data 활용을 통해 그런 적용을 AI가 더 쉽게 할 수 있지 않을까 하는 기대가 있음
      • Label 에 반영할 경로를 regulator 가 고려해야 함
      • Data availability 가 더 넓어졌음 함
    • by Greg
      • digital therapeutics
      • in risk profiles, safety profiles, add home monitoring 등의 적용이 가능할 것임
      • Biomarker 의 발견(respiratory symptom,heart variability 등의 측정)이 더 많아질 것임
      • 아직 Functional pathway 가 존재하지 않음
      • BMS 가 prediction model 를 만들더라도 환자가 바로 benefit 을 얻을 수 있도록 하기는 어려움
        • FDA가 이런 시도에 incentive 를 줄 수 있어야 함
      • small specialty group을 임상시험에 포함할 경우, 부작용, 안전성 profile 에 큰 부정적인 영향을 줄 수 있어 포함을 시키는 것이 조심스러움
    • by Thomas
      • high level issue 는 비용 그리고 속도(speed) 임
      • 우리가 약간 다른 approach 를 취한다면 바뀔 수 있을 것들이 있음
      • data의 access뿐만 아니라 data의 normalize, cleaning 등도 있어야 함
      • 모두가 same level에서 자료를 수집하고 비교할 수 있다면 효율성이 올라갈 것임
      • 하지만 쉽지 않은 것이 모두가 데이터를 공유하려고 하는 것은 아님
      • small group 에서 얻은 data를 통합하고 personalize 하려고 할 때 blind spot 여부를 현재는 명확히 알 수 없음
      • Rule, incentive, regulatory pressure 등을 통해 public good 을 위해 데이터를 활용할 수 있어야 함
    • by Greg
      • NIH grant 를 활용할 경우 결과를 공유해야 한다는 것이 new White AI 선언에 있었음
      • 산업계가 on board
      • public - industry 의 협력이 필요함
    • by Dana
      • AI를 잘 활용할 경우, 표준화된 데이터의 수집, 해석이 훨씬 용이해질 것임
      • 현재부터 데이터의 수집을 시작해야 함
      • When something is flattened, AI, LLM은 데이터가 없을 경우 어떤 결론을 내릴 수 없음
      • 아직 어떻게 데이터를 활용할 지 모르더라도 데이터의 수집은 지금부터라도 당장 시작할 수 있어야 함
    • by Greg
      • Study fails, nobody cares about sharing data
      • 우리는 과학자로써, 실패한 임상시험에 대한 retrospective analysis 도 필요할 것임
      • Explosion of data
      • AI’s ability to clean 은 중요, human 이 하지 못했던 작업을 훨씬 효율적으로 할 수 있을 것임
    • by Dana
      • Safety profiling 에 대한 정보 없이 약물의 사용이 어려웠음
      • negative result 에 대한 분석도 매우 유용할 것임
      • 실패한 임상시험의 자료도 매우 유용할 것임
  • by Moderator: 매우 인상적인 논의였음
    • by Thomas
      • 임상시험에서의 negative result 를 아예 보고하지 않았던 것도 다시 활용이 필요함
    • by Dana
      • Chronic Pancreatic 질환이 있는 환자로써 본인 경험 공유
      • AI scribe 를 활용하여 실수가 있을 경우 어떻게 수정할 것인지?
      • Risk of AI만을 이야기할 것이 아니라 human error 에 대한 것도 솔직히 평가, 공유할 수 있어야 함
      • AI가 fix 를 하는 것을 적극적으로 활용하면 전반적으로 error의 net reduction 이 있을 것임
    • by Greg
      • AI가 이제는 human mistake 를 찾아내는 상황이 됨
      • 몇년 전에는 human 이 AI의 mistake 를 찾아냈었음
      • AI가 궁극적으로는 human error 를 잡아내고 교정하는 수준에 이를 것임
        • 현재는 중간 단계
  • by Moderator
    • Critical element 가 향후 몇년은 무엇일지?
    • by Dana
      • AI활용으로 어떤 benefit, opportunities 가 있을 지 솔직히 논의할 수 있어야 함
      • 많은 사람들이 1개 이상의 질환이 있음
      • AI, human decision 이 혼재할 것임
      • 시간이 많지 않음
      • 현재 고통을 받는 사람들이 많이 존재함
      • 시장에 유효한 치료법이 빨리 활용될 수 있도록 해야함
      • 다양한 방식으로 AI가 human 을 도울 수 있도록 적극 활용되어야 함
    • by Greg
      • Federated learning 을 통해 AI 의 효율성을 높일 수 있음
      • IP의 문제가 있으나…
      • new technology 의 활용이 핵심임
      • 기술을 적극적으로 활용하여 데이터의 공유를 활성화하고 이용하는 데 적극적이어야 함
      • AI가 중립적인 3자(neutral third party)로써 도움을 줄 수 있을 것임
    • by Thomas
      • 기술은 현재 매우 빨리 발전하고 있음. 압도적임.
      • 현재 tool 이 부족한 것이 아니라 people, process, data 를 효율적으로 활용하는 것이 중요함
      • fly wheel 을 돌리려면 education, training 이 중요함
    • by Greg
      • people is the hardest problem
      • people is great barrier to adopting AI
      • Bringing AI in manufacturing process 는 어려움
        • 무엇이 가능하고 무엇이 가능하지 않을지?
        • Risk 가 무엇일지?
    • by Dana
      • 우리가 왜 기존에 하던 대로 연구하고 데이터를 수집해야 하나?
      • AI가 여러 일을 더 쉽게 할 수 있을 능력이 있음
      • 방송을 듣는 여러분도 어떻게 AI를 잘 활용할 수 있을지 고민하면 좋겠음
      • 물론 status quo를 깨는 것은 어렵지만, 바꾸도록 해야 함

용어정의 및 참고사항

임상결과보고서 평가시 고려사항

임상통계 검토서 작성기준

• 식약처 원문 링크

임상통계 검토서의 구성

• 임상시험계획서 검토 요약은 계획서 별로 각각 작성한다
• 임상결과보고서의 검토요약은 임상시험별로 각각 작성한다

임상통계 검토서 양식

[붙임1] 검토의견

[붙임2] 임상통계 검토요약

1. Background

1. 배경

이 지침(guidance)은 진단 검사(diagnostic tests)를 평가하는 서로 다른 연구들의 결과 보고를 위해 통계적으로 적절한 관례(practices)를 기술하고 몇몇 흔한 부적절한 관례를 식별하는 데 그 목적이 있다. 이 지침의 권고사항들은 최종 결과가 질적(qualitative)인 진단 검사(기저 측정치는 양적(quantitative)이라 할지라도)와 관련이 있다. 우리는 불일치 해결(discrepant resolution)이라 불리는 관례와 이와 연관된 문제에 대해 특별히 주의를 집중하였다.

1998년 2월 11일에, CDRH(Center for Devices and Radiological Health)는 미생물학, 혈액학/병리학, 임상 화학/독성학 그리고 면역학 기기 패널의 공동 회의(joint meeting)를 소집하였다. 이 회의의 목적은 “새로운 기기가 잘 알려진 참조 방식 또는 ‘gold standard’인 다른 기기 혹은 흔하게 사용되지 않는 다른 절차와/또는 진단을 위한 임상적 판단기준(clinical criteria)과 비교될 때 체외 진단기기(in vitro diagnostic devices) 사용을 위한 적응증을 뒷받침하기 위해 탄탄한 과학적, 통계적 분석을 사용하여 적절한 데이터 수집, 분석, 그리고 불일치 결과의 해결”에 대한 권고사항을 얻는 것이었다. 그 회의의 조언(input)을 사용하여, 새로운 진단기기에 대한 평가 연구 결과를 보고하는 데 있어서 통계적으로 타당한 일부 방식들을 논의하는 초안 지침 문서(draft guidance document)가 개발되었다. 이 초안 지침은 2003년 3월 12일에 공적인 의견(public comment)을 얻기 위해 배포되었다.

이 초안 지침의 출판 후에, FDA는 11건의 의견을 받았다. 전반적으로, 의견은 호의적이었고 최종 지침에 추가적인 정보가 포함될 것을 요구하는 내용이었다. 일부 응답자들은 표준 용어(standard terminology)의 사용에 더 주의를 기울여달라고 요구하였다.

성능(performance) 결과를 설명하기 위한 용어의 올바른 사용이 진단기기의 안전하고 효과적인 사용을 보장하기 위해 중요하다. 언제든 가능한 대로, 이 지침은 Clinical and Laboratory Standards Institute (CLSI) Harmonized Terminology Database에 수집되어 있는 대로 국제적으로 용인되는 용어와 정의를 사용하였다. 이 지침은 또한 STARD(STAandards for Reporting of Diagnostic Accuracy) Initiative에 정의된 대로 용어들을 사용하였다. STARD Initiative에서는 진단기기 동등성(equivalence)를 보이기 위해 디자인된 연구들을 특별히 다루고 있지는 않지만, 보고 개념(reporting concepts)의 대다수는 여전히 적용 가능하다.

이 가이드 문서를 포함한 FDA의 지침 문서들은 법적으로 강요되는 책임에 대해 다루고 있지 않다. 대신에, 지침 문서들은 기관이 현재 이 토픽에 대해 가지고 있는 관점을 묘사하고 있으며 특정한 규제 또는 법에 명시된 요구 사항(statutory requirements)이 인용되어 있지 않은 이상은 권고사항으로만 받아들여져야 한다. 기관의 지침서에 ‘해야한다(should)’란 단어를 쓰는 것은 어떠한 것이 제안되거나 권고된다는 의미이지 요구된다는 의미는 아니다.

우리는 의료 기기 규제의 모든 분야에 가장 부담이 덜한 방식(the least burdensome approach)를 고려해야 한다고 믿는다. 이 지침서는 적절한 과학적, 법적 요구조건에 대해 우리가 신중히 검토한 것과 이러한 요구조건을 따를 때 가장 부담이 덜한 방식이라고 우리가 믿는 사항들을 반영하고 있다. 하지만 만약에 당신이 부담이 더 덜한 대체 방식이 있다고 생각한다면 우리가 당신의 관점을 고려해볼 수 있도록 우리에게 연락을 주기 바란다. 당신이 기술한 의견을 이 지침서의 서안(preface)에 명시된 직원에게 송부하거나 CDRH 옴부즈맨(Ombudsman)에 송부할 수 있다. 의견을 전달할 수 있는 방식을 포함하여 CDRH의 옴부즈맨에 관한 전반적인 정보는 http://www.fda.gov/cdrh/ombudsman/ 에서 볼 수 있다.

2. Scope

2. 범위

이 문서는 진단기기(검사)에 대한 premarket notification(510(k))과 premarket approval(PMA) 신청의 제출을 위한 지침서를 제공한다. 이 지침서는 PMA와 510(k)에서 두 가지 가능한 결과(양성 또는 음성)를 가지는 진단기기를 평가하는 여러 유형의 연구들로부터의 결과를 보고하는 방식을 다루고 있다.

이 지침서는 진단기기에 대한 임상 연구의 디자인과 모니터링과 연관된 근본적인 통계적 이슈들은 다루고 있지 않다.

3. Introduction

3. 소개

이 섹션에서는 이 지침서와 관련된 개념들의 설명을 다루고 있다. 우리는 처음에 새로운 진단 검사의 평가에는 의도된 사용군(intended use population), 즉 , 그 검사가 사용되도록 의도된 대상자들/환자들로부터 적절하고 관련된 진단 기준점(benchmark)에 대해서 새로운 기기의 결과(검사 결과)를 비교해야 한다고 주지한다. STARD에서, 이것은 목표군(target population)이라고 불린다.

그 외 중요한 개념과 정의는 다음과 같다:

4. Benchmark and Study Population Recommendations

5. Reporting Recommendations

5. 권장사항들을 보고하기

유사한 보고 원칙들이 비교 기준점이 참조 표준인지 여부와는 상관없이, 진단 검사를 평가하는 어느 연구에서라도 적용된다.

6. Statistically Inappropriate Practices

6. 통계적으로 부적절한 관행

결과를 보고하기 위한 일부 흔한 관행들은 통계적으로 부적절한데 왜냐하면 이것들이 검사 성능을 오도하거나 부정확한 추정치를 초래할 수 있기 때문이다. 이러한 관행들은 새로운 검사가 참조 표준 외의 비교 방식과 비교될 때 가장 자주 일어난다.

새로운 검사를 비-참조 표준과 비교하는 것이 참 성능(true performance)을 도출하는 것은 아니다. 만약 새로운 검사가 비-참조 표준보다 더 낫다면, 일치도는 형편없을 것이다. 마찬가지로, 비-참조 표준이 꽤 정확하고 새로운 검사가 부정확하다면 일치도는 형편없을 것이다. 이 중 어떤 시나리오가 진짜 상황인지를 판정할 수 있는 통계적인 해결책은 없다.

새로운 검사를 비-참조 표준과 비교할 때, FDA는 오도하거나 부정확한 결과치를 초래한다고 우리가 믿는 4가지 흔한 관행들에 관한 다음 권고사항들을 제시한다.

7. Appendices

7. 부록

7.1 Calculating Estimates of Sensitivity and Specificity

7.1 민감도와 특이도 추정치의 계산

민감도와 특이도는 진단 검사의 성능에 대한 기본 척도이다. 함께, 이것들은 특정 조건이 존재하는지 부재하는지 여부를 검사가 얼마나 잘 판정할 수 있는 지를 설명한다. 이것들은 각각 별개이면서도 동등하게 중요한 정보를 제공하며, FDA는 이것들을 함께 제시할 것을 권장한다:

민감도 Sensitivity는 관심 질환이 존재할 때 검사가 얼마나 자주 양성으로 나오는 지를 지칭함.

특이도 Specificity는 관심 질환이 존재하지 않을 때 검사가 얼마나 자주 음성으로 나오는 지를 지칭함.

민감도가 [1-특이도]와 동일한 진단 검사는 진단적 가치가 전혀 없음에 주의하라. 즉, 만약 관심 질환이 있을 때 양성 검사 결과를 보이는 대상자들의 퍼센트(민감도)가 관심 질환이 없을 때 양성 검사 결과를 보이는 대상자들의 퍼센트(1-특이도)와 동일하다면, 새로운 검사 결과는 관심 질환의 영향을 받지 않으며 그 관심 질환에 대한 진단적 가치가 전혀 없다. 그러나, 민감도와 특이도 모두 값이 1에 가까운 검사는 훌륭한 진단 능력(diagnostic ability)을 지니고 있다.

대개, 민감도와 특이도를 추정하기 위해서, 새로운 검사의 결과는 의도된 사용(질환이 존재하거나 존재하지 않는 경우 모두를 포함)군의 대상자들을 사용한 참조 표준과 비교된다.

우리는 당신의 연구에 한 명의 대상자들로부터의 여러 표본을 데이터에 포함하지 않았다고 가정한다. 만약 그러한 데이터가 당신의 연구에 포함되어 있다면, 우리는 적절한 계산 방법에 대해 FDA 통계학자와 상의할 것을 권장한다.

결과는 Table 1과 같은 2x2 테이블로 보고한다.

Table 1. Common 2x2 table format for reporting results comparing a new test outcome to the reference standard outcome

Table 1. 새로운 검사 결과를 참조 표준 결과와 비교한 것을 보고하기 위한 일반적인 2x2 테이블 포맷

새로운 검사는 양성(+)이나 음성(-)의 두 가지 가능한 결과를 지니고 있다. 관심 질환이 있는 대상자는 참조 표준 (+)로 제시되며 관심 질환이 없는 대상자는 참조 표준 (-)로 제시된다.

여기서, TP = 참 양성 사건의 수 (number of true positive events) FP = 위 양성 사건의 수 (number of false positive events) TN = 위 음성 사건의 수 (number of true negative events) FN = 위 음성 사건의 수 (number of false negative events)

Table 1로부터, 추정된 민감도는 새로운 검사+ (New Test+)이면서 관심 질환을 가진 대상자들(참조 표준+ (reference standard+))의 비율이다. 추정된 특이도는 새로운 검사- (New Test-)이면서 관심 질환이 없는 대상자들 (참조 표준- (reference standard-))의 비율이다. 공식은 다음과 같다.

이 계산의 예는 다음과 같다. 의도된 사용군에서 220명의 대상자로부터 각각 한 개의 검체가 채취되었다고 가정하자. 각 검체는 새로운 검사와 참조 표준으로 검사되었다. 51명의 대상자가 관심 질환을 가지고 있었고 169명은 그렇지 않았다. 결과는 Table 2에 2x2 테이블 포맷으로 제시되었다.

Table 2. Example of results comparing a new test to reference standrad for 220 subjects

Table 2. 220명의 대상자에 대해 새로운 검사를 참조 표준에 비교한 결과의 예시

Table 2로부터, 추정된 민감도와 특이도는 다음과 같은 방식으로 계산된다:

민감도와 특이도에 대한 양측 95% score 신뢰구간은 각각 (74.3%, 93.2%)와 (96.7%, 99.9%)이다. 

Altman et al. (2000)과 CLSI EP12-A의 가장 최신판을 신뢰구간 계산에 대한 간략한 논의를 위해 참조하고, 대안적으로 민감도와 특이도에 대한 exact (Clopper-Pearson) 신뢰구간도 확인해보라.

8. Glossary

8. 용어집

편의가 있는 추정치 biased estimate - 체계적으로(systematically) 너무 높거나 너무 낮은 추정치

진단 정확도 diagnostic accuracy - 새로운 검사와 참조 표준의 결과 간 일치도의 정도

불일치 해결책 discrepant resolution - 해결책(resolver)을 새로운 검사와 비-참조 표준이 불일치하는 대상자들을 분류하기 위한 시도로써 사용하는 2-단계 검사 과정

외적 타당도 external validity - 연구의 결과가 의도된 사용군의 “실제 세계(real world)“ 성능을 충분히 반영하는 정도

위음성 결과 false negative result - 관심 질환이 있는(지명된 참조 표준에 의해 판정됨) 대상자에 대한 음성 검사 결과

위양성 결과 false positive result - 관심 질환이 없는(지명된 참조 표준에 의해 판정됨) 대상자에 대한 양성 검사 결과

FN - 위음성 결과의 대상자/검체의 수

FP - 위양성 결과의 대상자/검체의 수

의도된 사용군 intended use population - 검사가 사용되도록 의도된 대상자들/검체들 (그리고 검체 유형들); STARD에서는 목표 집단 target population이라고 불림

음성 검사의 우도비 likelihood ratio of negative test - 참 양성 비율(민감도)과 위 양성 비율(1- 특이도)의 비; 민감도/(1-특이도)로 계산됨.

양성 검사의 우도비 likelihood ratio of positive test - 위 음성 비율(1-민감도)과 참 음성 비율(특이도)의 비: (1-민감도)/특이도로 계산됨.

음성 퍼센트 일치도 negative percent agreement (new/non ref. std.) - 비-참조 표준 결과가 음성인 대상자들 중 새로운 검사가 음성인 대상자들의 비율

전반적 일치도 overall agreement - 새로운 검사와 비-참조 표준이 동일한 결과인 대상자들의 비율

양성 퍼센트 일치도 positive percent agreement (new/non ref. std.) - 비-참조 표준 결과가 양성인 대상자들 중 새로운 검사가 양성인 대상자들의 비율

음성 결과의 예측도 predictive value of a negative result (음성 예측도 혹은 NPV(negative predictive value)라고도 불림) - 목표 질환이 없는, 검사 결과 음성인 대상자들의 비율; 100xTN/(TN+FN)

양성 결과의 예측도 predictive value of a positive result (양성 예측도 혹은 PPV(positive predictive value)라고도 불림) - 목표 질환이 있는, 검사 결과 양성인 대상자들의 비율; 100xTP/(TP+FP)

유병률 prevalence - 명시된 군 내 사람들의 총 수(관심 질환이 있는 사람들+ 질환이 없는 사람들)와 비교하여 명시된 군 내에서 관심 질환이 있는 사람들의 수의 비율로써 표현되는, 한 주어진 시점에서 관심 질환의 빈도; 명시된 군 내 관심 질환의 시험전 확률(pretest probability)

참조 표준 reference standard - 목표 질환 유무를 확립하기 위한 최선의 사용가능한 방식; 참조 표준은 단일 검사 또는 방식이거나 임상적 추적조사를 포함한 방식과 기술의 조합일 수 있음.

민감도 sensitivity - 목표 질환이 있는 대상자들 중 검사가 양성인 대상자들의 비율; 100 x TP/(TP+FN)으로 계산됨.

특이도 specificity - 목표 질환이 없는 대상자들 중 검사가 음성인 대상자들의 비율; 100 x TN/(TN+FP)으로 계산됨.

연구군 study population - 연구에 포함된 대상자들/환자들 (그리고 검체 유형들)

목표 질환 (관심 질환) target condition (condition of interest) - 이미 존재하고 있는 것으로 알려진 질병의 단계를 매기는 것이나 치료의 시작, 수정 혹은 종료와 같은 임상적 조치를 촉발하는 건강 상태처럼 특정 질병, 질병 단계, 건강 상태 혹은 환자 내에서의 그 외 식별가능한 상태.

TN - 참음성 결과의 대상자/검체의 수

TP - 참양성 결과의 대상자/검체의 수

참 음성 결과 true negative result - 관심 질환이 없는(지명된 참조 표준에 의해 판정됨) 대상자에 대한 음성 검사 결과

참 양성 결과 true positive result - 관심 질환이 있는(지명된 참조 표준에 의해 판정됨) 대상자에 대한 양성 검사 결과