[Review] Decoding AI Complexity: SHAP Textual Explanationsvia LLM for Improved Model Transparency

0. Abstract

With the continuous advancement of artificial intelligence (AI), particularly in widespread domains such as healthcare and environmental applications, there is an increasing demand for model interpretability. Understanding the decisionmaking process of models contributes to building trust in them. Hence, the development of Explainable AI (XAI) has become crucial. This study proposes an approach to generate text via a large language model (LLM) for interpretation to enhance the interpretability of SHAP (Shapley Additive exPlanations) plots. The goal is to make the interpretability of model decisions accessible even to non-IT experts through textual explanations.

• 인공지능의 발전으로 특히 의료 및 환경 분야에서 모델 해석 가능성의 중요성이 커짐
• 기존의 시각화 중심 XAI 방법은 비전문가에게 난해할 수 있어, 대중적 신뢰 확보에 어려움 존재
• 본 연구는 SHAP 그래프를 LLM을 이용하여 자연어 설명으로 자동 변환하는 방법을 제안
• 텍스트 설명을 통해 모델의 판단 근거를 쉽게 이해 할 수 있게 하여, AI 모델의 투명성과 신뢰도 증진 목표

 

1. Short Background

• AI 모델의 복잡성이 증가하며, '블랙박스' 모델에 대한 불신 존재하며, 민감한 도메인에서는 결과의 해석 가능성이 필수적임
• SHAP 같은 시각화 툴은 전문가에게는 유용하나, 일반 사용자에게 난해한 정보로 인식함
• 특히 SHAP global plot은 특성 중요도와 영향력을 시각화하지만, 언어적 설명이 부족해 정보 격차 발생.

 

2. Methods

• 본 연구의 핵심 방법은 SHAP 시각화 결과를 언어적 설명으로 자동 변환하는 체계를 설게하는 것
• 저자들은 SHAP 기반 수치 데이터를 정량화하고, LLM에 입력하여 자연어 텍스트를 생성하는 절차를 제안

(1) SHAP 전역 중요도 수치 추출

• SHAP(Shapley Additive Explanations) 기법을 이용하여, AI 모델의 예측 결과에 각 특성이 얼마나 기여했는지를 계산
• SHAP의 전역(Global) 중요도는 모든 데이터 포인트에서 피처의 SHAP 기여도의 절댓값을 합산하여 구함
• 계산된 중요도 값은 “피처 이름 - 중요도” 형식으로 정리되며 모델이 어떤 피처를 더 신뢰하고 의존하는지를 보여주는 핵심 지표

(2) 피처 값과 SHAP 값 간의 상관관계 분석

• 각 피처의 원래 값과 해당 SHAP 값 간의 선형 관계를 Pearson 상관계수로 계산
• γ 값이 +1에 가까우면 양의 상관관계, -1에 가까우면 음의 상관관계, 0에 가까우면 상관성이 거의 없는 것으로 해석

(3) 통계 정보를 구조화하여 테이블로 정리

• SHAP 중요도 값과 상관계수 값은 언어 모델(ChatGPT)이 이해할 수 있도록 CSV 혹은 표(table) 형식으로 재구성
• 각각의 표는 주제별로 구분되며, 대표적으로 두 가지 테이블이 생성
  ① 피처 중요도 테이블 (Feature vs. Importance)
  ② 피처 상관관계 테이블 (Feature vs. Correlation)
• ChatGPT가 시각화 없이도 핵심 정보를 해석할 수 있도록 도와줌

(4) LLM에 테이블 입력 후 텍스트 설명 자동 생성

• 정리된 표들을 ChatGPT와 같은 대형 언어 모델(LLM)에 프롬프트와 함께 입력
• ex) “아래의 피처 중요도 및 상관관계 테이블을 바탕으로, 각 특성이 예측 결과에 어떤 영향을 주는지 100단어 이내로 설명해주세요.”
• chatGPT는 표의 수치 데이터를 바탕으로 문장을 생성하며, 어떤 특성이 중요한지 ,어떤 특성이 예측에 긍정적 혹은 부정적으로 작용하는지 상관관계의 방향과 강도 등을 사람이 읽기 쉬운 문장으로 정리
• 생성된 문장은 전문가가 아니더라도 모델의 작동 원리와 판단 근거를 이해할 수 있게 해주며, XAI(설명 가능한 AI)의 실효성을 높이는 데 기여

 

3. Results

• SHAP 플롯을 자동으로 설명 문장으로 바꾸는 방법의 유효성을 검증하기 위해 실험을 수행함
• 실험은 환경 분야의 수질 예측 모델을 대상으로 진행되며 두 가지 실제 수질 데이터셋을 사용하고, XGBoost를 적용함

(1) 사용 데이터 및 모델 세팅

• 해당 논문에서는 환경 분야의 두 수질 데이터셋( Kaggle의 Water Potability Dataset, 다양한 수질 특성이 포함된 Water Quality Dataset)이 사용됨
• 예측 모델로는 XGBoost가 활용되었으며, 모델 예측 결과를 SHAP(Global) 그래프로 시각화함
• 두 모델의 예측 정확도는 각각 0.765(데이터셋 1)와 0.965(데이터셋 2)로 측정됨

(2) SHAP 플롯 분석 및 비교

• Fig. 1의 왼쪽 플롯은 정확도가 낮아 SHAP 값 분포가 흐릿하고 피처별 영향력이 불분명함
• 반면, 오른쪽 플롯은 SHAP 값이 명확히 분리되어 각 피처의 영향력과 방향성이 뚜렷하게 드러남
• 오른쪽 SHAP 플롯은 해석 가능성이 훨씬 높은 형태를 보임

(3) 피처 중요도 설명 결과 (Table 2)

• SHAP 중요도를 추출하여 표로 구성한 뒤, ChatGPT에 “100단어 이내로 요약하라”는 프롬프트와 함께 입력함
• 예시 데이터로는 “aluminum: 4523.131”, “mercury: 265.849”와 같은 중요도 수치가 포함
• ChatGPT는 aluminum이 가장 중요한 피처이며 mercury는 상대적으로 덜 중요하다고 해석
• 생성된 문장은 피처 간 상대적 영향력을 요약하며, 실제 의사결정 활용 가능성을 언급하는 등 실용적 표현도 포함

(4) SHAP-피처 상관관계 설명 결과 (Tables 3, 4)

• SHAP 값과 피처 값 간의 Pearson 상관계수를 계산하여, 해당 관계를 ChatGPT에 설명하도록 요청함
• 왼쪽 플롯은 정확도 0.765이며 대부분 상관계수 값이 ±0.2 이하로 낮아 명확한 해석이 어려웠음
• 오른쪽 플롯은 0.965이며 강한 양/음의 상관관계를 보인 피처들이 뚜렷하게 구분되었음.

(5) 결과 종합 및 해석

• 모델 정확도가 높을수록 SHAP 값이 명확하고, 상관관계도 뚜렷하게 나타나 LLM 설명 품질이 향상
• 입력 데이터의 구조와 수치 품질이 좋을수록 ChatGPT는 보다 정밀하고 일관된 문장을 생성
• 특히 오른쪽 플롯처럼 정보가 선명할 경우, ChatGPT는 각 피처의 기여 방향과 강도를 효과적으로 요약

 

4. Conclusion 

• 본 연구는 SHAP(Shapley Additive Explanations) 기반의 설명을 LLM(Large Language Model 을 통해 텍스트 형태로 자동 생성하는 새로운 접근 방식을 제안
• 제안된 방법은 비전문가도 이해할 수 있도록 복잡한 AI 모델의 예측 근거를 언어적 설명으로 변환한다는 점에서 의미있음
• 두 개의 데이터셋을 활용한 실험 결과, LLM 기반 SHAP 해석 문장 생성이 충분히 실행 가능하고 신뢰할 만한 수준의 품질보임
• 본 연구는 XAI의 실질적 활용을 확장할 수 있는 기반을 마련하였으며, 향후 의료, 금융 등 다양한 영역에 적용 가능

 

5. Discussion

• 기존의 SHAP 시각화는 전문가 중심의 분석 도구로 제한되어 있었으나, LLM을 활용함으로써 비전문가 사용자도 결과를 언어적으로 이해할 수 있는 환경이 마련
• LLM은 SHAP 값의 수치적 의미를 자연어로 변환하여, 각 변수가 모델 결과에 미치는 영향을 직관적으로 설명할 수 있었음
• LLM의 출력은 원래의 SHAP 수치를 기반으로 하지만, 모델이 “사실적 근거” 대신 언어적 추론을 추가할 가능성이 존재
• 정량적 검증 지표(예: BLEU, ROUGE, human evaluation)를 통해 신뢰성을 보완할 필요가 있음
• 다양한 ML/DL 모델의 SHAP 해석에도 일반화 가능