거대 언어 모델의 지식 언러닝(unlearning)이 진짜로 일어났는지를, 출력 수준의 행동만 믿는 대신 언러닝 전후의 내부 표현(은닉 상태 및 활성값)을 비교하여 판별하는 연구 — "잊혀진" 지식이 모델 내부에서 실제로 사라졌는지를 탐색합니다.
거대 언어 모델을 위한 머신 언러닝은 개인정보, 저작권 콘텐츠, 유해 정보와 같은 특정 지식을 모델을 처음부터 재학습하지 않고 제거하는 것을 목표로 합니다. 언러닝의 성공 여부를 판단하는 가장 일반적인 방법은 모델의 출력을 살펴보는 것입니다. 즉, 모델이 대상 지식에 관한 질문에 더 이상 답하지 않거나 이를 재현하기를 거부하면 해당 지식이 "잊혀졌다"고 선언합니다.
그러나 출력 수준의 평가는 취약합니다. 모델이 암기한 답을 표면적으로 억제하면서도 그 근저의 정보를 내부 연산 속에 여전히 보유하고 있을 수 있습니다. 이런 경우 해당 지식은 문장을 바꾼 프롬프트, 적대적 탐침, 소수의 예시를 이용한 재학습, 또는 양자화 상황에서 다시 드러날 수 있으며, 이는 그 망각이 실제가 아니라 표면적이었음을 보여줍니다.
핵심 문제: 출력 수준의 언러닝 지표는 오해를 낳을 수 있습니다. 출력에서 어떤 사실을 "잊은" 것처럼 보이는 모델이 여전히 그 사실을 은닉 표현 속에 인코딩하고 있을 수 있으므로, 표면적인 거부나 정확도 하락은 지식이 실제로 모델에서 지워졌다는 신뢰할 만한 증거가 되지 못합니다.
이는 지식이 실제로 자리 잡고 있는 수준 — 즉 모델의 내부 표현 — 에서 언러닝을 평가할 필요성을 시사합니다. 언러닝이 진짜라면, 모델이 잊어야 할 지식을 내부적으로 표현하는 방식이 언러닝 이전과 유의미하게 달라져야 하며, 이상적으로는 애초에 가진 적 없는 지식을 다루는 방식과 구별할 수 없게 되어야 합니다. 본 연구는 내부 표현을 비교하는 것이 행동적 지표만으로 판단하는 것보다 진정한 망각에 대한 더 충실한 신호를 제공하는지 탐구합니다.
본 연구는 언러닝 평가를 내부 표현에 대한 비교 문제로 정식화하여, 여러 조건에 걸쳐 모델의 내부 상태를 대조함으로써 대상 지식이 실제로 제거되었는지를 진단합니다.
언러닝이 개인정보 보호 준수, 저작권 제거, 안전을 위한 메커니즘으로 점점 더 제안됨에 따라, 그 성공을 측정하는 방식이 결정적으로 중요해집니다. 평가가 출력 행동에만 의존한다면, 언러닝 기법이 실제로는 단지 숨겨진 망각에 대해 성공으로 인정받을 위험이 있으며 — 이는 실제 상황의 탐침 앞에서 무너질 수 있는 잘못된 안전감입니다.
내부 표현에 평가를 정박함으로써, 본 연구는 민감한 지식이 은폐된 것이 아니라 진정으로 제거되었음을 검증하는 보다 신뢰할 수 있는 기준을 향해 나아갑니다. 이는 표면적 망각이 자칫 발각되지 않고 통과될 수 있는 언러닝 모델의 감사 및 인증 상황에서 특히 가치가 있습니다.
본 연구는 또한 보다 넓은 해석 가능성(interpretability) 연구와도 연결됩니다. 지식이 모델의 어디에 그리고 어떻게 저장되는지를 이해하는 것은 이를 신뢰성 있게 제거하기 위한 전제 조건입니다. 본 연구는 LLM의 지식 언러닝에 관한 연구실의 선행 연구(EMNLP 2025)를 토대로, 더 나은 망각을 만들어내는 것에서 나아가 망각이 실제로 일어났는지를 충실하게 평가하는 방향으로 초점을 확장합니다.