[Review] Outlier-based detection of unusual patient-management actions: an ICU study

0. Abstract

Medical errors remain a significant problem in healthcare. This paper investigates a data-driven outlier-based monitoring and alerting framework that uses data in the Electronic Medical Records (EMRs) repositories of past patient cases to identify any unusual clinical actions in the EMR of a current patient. Our conjecture is that these unusual clinical actions correspond to medical errors often enough to justify their detection and alerting. Our approach works by using EMR repositories to learn statistical models that relate patient states to patient-management actions. We evaluated this approach on the EMR data for 24,658 intensive care unit (ICU) patient cases. A total of 16,500 cases were used to train statistical models for ordering medications and laboratory tests given the patient state summarizing the patient’s clinical history. The models were applied to a separate test set of 8,158 ICU patient cases and used to generate alerts. A subset of 240 alerts generated by the models were evaluated and assessed by eighteen ICU clinicians. The overall true positive rates for the alerts (TPARs) ranged from 0.44 to 0.71. The TPAR for medication order alerts specifically ranged from 0.31 to 0.61 and for laboratory order alerts from 0.44 to 0.75. These results support outlier-based alerting as a promising new approach to data-driven clinical alerting that is generated automatically based on past EMR data.

• 의료 오류를 줄이기 위해, 병원 전자 의무기록 데이터를 기반으로 '이상한 진료 행동'을 자동으로 찾아내는 AI 시스템 개발
• 과거 ICU 환자의 기록을 분석해 '보통 이럴 때 이런 처방을 내린다'는 패턴을 학습한 뒤, 새 환자의 처방이 그 패턴에서 벗어나면 이상 경고 발생
• 이 연구에서는 결과적으로 약 처방 알림(TPAR 0.31 ~ 061), 검사 알림(TPAR 0.44~0.75) 으로 나타났으며, 실제로 의미 있는 경고가 절반 이상이었다는 뜻
• 전문가 규칙 없이도 데이터만으로 임상 경고를 생성할 수 있음을 보임
  
  

1. Short Background

• 1999년 미국의 IOM 보고서 “To Err is Human”은 매년 약 98,000명이 의료 오류로 사망한다고 하며 연간 400,000명 이상이 사망, 그 10배 이상의 환자는 심각한 부작용을 겪음
• 대부분 병원의 경고 알림은 전문가가 만든 규칙에 의존함 하지만 이런 규칙은 시간이 많이  들고, 적용 범위가 좁으며 거짓 경고가 많음
• 과거 환자 데이터를 분석해 보통의 진료 패턴을 모델링하고 그 패턴에서 벗어나는 진료를 이상치로 간주해 경고를 주는 방식으로 새로운 접근법을 시도
• 전문가가 일일이 규칙을 만들 필요 없고 기존 규칙 기반 시스템의 한계를 보완하도록 함.
  
  

2. Methods

(1) 데이터 세분화

• 각 환자 기록은 24시간 단위로 잘려서 여러개의 환자 상태 인스턴스로 분리됨
• 한명명의 환자 입원 기간 전체를 24시간 구간 단위로 나누어 각 시점의 상태를 따로 정의함
• 환자의 상태 변화를 시간 순서대로 분석

(2) 시간 기반 특징 생성

• 각 시간 구간에서 환자의 검사, 생리학적 변수, 투약 등의 시계열 데이터를 바탕으로 다양한 특징을 생성
• 결과적으로 한시점 t에 대해 환자 상태를 대표하는 벡터가 만들어짐
• 해당 벡터는 해당 시점까지의 환지 이력을 요약함.

(3) 상태-행동 매칭

• 각 환자 상태 벡터에 대해 다음 24시간 동안 발생한 임상 행위를 레이블로 연결
• 이 과정을 통해 입력은 환자 상태, 출력은 다음 24시간 내 발생한 행위로 구성된 데이터셋을 생성 

(4) 모델 학습

• 각 행위마다 별도의 모델을 학습(해파린 처방 여부, INR 검사 주문 여부 등)
• 학습에 사용된 알고리즘은 선형 커널을 사용한 SVM 머신러닝 기법을 사용함
• 각 행위별로 가장 예측력이 높은 상위 30개 임상변수를 사용하여 피쳐 집합을 구성함
• 약물 주문(1,075종), 검사 주문(222종)에 대해 각각 SVM 모델을 학습함.

(5) 데이터 분할

• 샤용 데이터 셋은 HIDENIC (High-Density Intensive Care dataset) 24,658건의 ICU 입원 사례 (1999.12 ~ 2004.06)
• 학습 데이터: 16,500명 (1999.12 ~ 2003.03)
• 검증 데이터: 8,158명 (2003.03 ~ 2004.06)
• 24시간 구간 단위로 잘라 225,894개의 학습 데이터셋, 104,698개의 테스트 데이터셋을 생성

(6) 모델 선택 및 평가

• 모든 모델이 이상치 탐지에 적합한 것은 아니기 때문에 AUROC (Area Under ROC) 와 avgPPV10 (평균 양성예측도 상위 10%) 기준으로 우수한 모델만 선택
• 최종적으로 선택된 모델은 실제 EMR에서 비정상적이거나 비일상적인 임상행위를 탐지하는 데 사용
  
  

3. Results

(1) 평가 데이터 구성

• 총 24,658명의 ICU 환자 데이터를 사용.(학습용: 16,500명, 테스트용: 8,158명)
• 평가용: 모델이 생성한 경고 240건을 18명의 중환자의학과 전문의가 직접 검토함
• 공동 평가 된 240개중 165개는 약물 누락 경보, 75개의 검사 누락 경보 등등 임
• 이 데이터가 실제 SVM 기반 모델 성능을 평가하는 데 사용됨

(2) 평가 절차 시스템 (PATRIA 시스템)

• 경보 발생 시점까지의 환자 EMR 전체를 시각화
• 평가자(의사)는 이를 보고 설문을 작성함
  • 경보가 적절한가? (Appropriateness)
  • 그 이유는 무엇인가? (Free-text justification)
  • 만약 내가 담당이라면 조치를 취할 것인가?
  • 그 조치의 중요도는 어떤가?
• 각 경보에 대해 “세 명 중 두 명 이상이 Yes”면 → True Positive (적절한 경보) 로 간주

(3)  핵심 지표 TPAR

• TPAR = 적절한 경보 수 / 전체 경보 수
• 경보 민감도 조절 변수 알파를 바꿔가며 측정

• α를 낮추면 경보가 많아지고, 높이면 정확도가 올라감.

(4)  실제 행동 기반 검증

• 모델은 과거 데이터 기반으로 “이상한 행동”을 경보로 표시했지만, 연구진은 의사들이 실제로 나중에 같은 행동을 했는지 확인
• 예시로 모델이 “Heparin 처방 누락” 경보를 냈는데, 실제로 24시간 내 의사가 Heparin을 처방 → 모델 경보가 옳았던 것
• 이 실제 행동 기반 TPAR도 비슷하게 0.4~0.7 수준으로 나타남.

(5)  잘못된 경보 분석

• 총 18명의 임상의 중 일부가 “이 경보는 부적절하다” 고 표시한 사례를 수집
  
• 두 명의 의사(Clermont, Visweswaran)가 모든 부적절 경보를 검토해 원인 분류표 작성오류 유형 설명

  불필요한 경보	환자가 말기·완화 치료 중이라 검사 불필요
  대체 검사 존재	경보된 검사 대신 이미 다른 적절한 검사 시행됨 (예: PTT 대신 INR)
  임상 맥락 누락	환자 상태가 안정화되어 추가 조치 필요 없음
  모델 한계	SVM이 맥락적 관계(복합 질환, 다중 약물) 반영 불가

• 모델이 틀린 이유 대부분은 의학적 맥락을 반영하지 못했기 때문

(6)  임상의 일치도 (Reviewer Agreement)

• 3명 중 2명 이상이 동일하게 판단해야 True Positive로 인정.
• Reviewer 간 Cohen’s κ (카파) 값은 그룹별로 다소 낮게 나왔음

(7)  주요 해석 및 의미

• SVM 기반 이상행동 감지 모델은 실제 의사 판단과 약 50~70% 수준의 일치율.
• 이는 기존 규칙 기반(alert rule) 시스템보다 훨씬 유연하고 데이터 기반임.
• 하지만 여전히 의학적 맥락과 병원별 프로토콜 반영은 부족.
  
  

4. Conclusion 

• 본 연구는 의료기록 데이터를 기반으로 비정상적인 진료 행동을 탐지하는 데이터 기반 경보 시스템을 제안
• ICU 환자 데이터를 24시간 단위로 분할하고, 각 구간의 임상상태를 벡터 형태로 변환하여 SVM 학습
• 모델은 다음날 실제로 이루어진 임상 행동을 에측하고 예측과 다른 실제 행동을 이상행동으로 탐지
• 평가 결과는 약물 누락 경보: 0.30–0.58, 검사 누락 경보: 0.45–0.75이며 전체 경보중 약 40~70 % 가 임상적으로 타당한 경보
• 경보 빈도를 조정함으로써 경보 정확도와 발생 빈도 사이의 균형 조절 가능함이 입증
• 데이터 기반 이상행동 감지는 실제 의사들의 판단을 일정 부분 재현할 수 있으며, 임상 의사결정을 보조하는 도구로 유용함.
  
  

5. Discussion

• 본 연구는 데이터 기반 접근이 기존의 지식기반 시스템을 보완할 수 있음을 보여줌.
• 특징 기반 환자 상태 모델링 + SVM 예측을 통해 자동으로 “이상 행동”을 식별하는 구조를 제시
• 2000–2004년 ICU 데이터로 학습했기 때문에, 일부 약물이나 치료법은 현재와 다름.
• 모델은 단순히 드문 행동을 이상으로 판단하기 때문에, 실제로는 환자의 상태 변화나 치료 목표(완화치료, 대체검사)를 고려하지 못함.
• 경보의 적절성 평가는 3명의 의사 합의 기반으로 이뤄졌기 때문에 해석의 일관성(Cohen’s κ)이 완벽하지 않음.
• 규칙 기반 + 이상행동 기반 모델을 통합해 “맥락을 이해하는 경보 시스템”으로 발전 가능성 제시
• 단순 수치형 데이터 외에 진료 기록 텍스트, 영상 데이터를 통합하여 임상적 맥락 이해 향상.