한줄 요약
희소 오토인코더(SAE)의 인코더 측 키(key) 특징과 디코더 측 값(value) 특징을 함께 해석하고, 나아가 모듈을 매개로 하는 간접 효과까지 반영하도록 Logit Lens를 확장한 Query Lens를 제안합니다. 이를 통해 Logit Lens로는 해석되지 않던 희소 특징들에 대해서도 일관된 토큰 시그니처를 얻을 수 있으며, "하위 모듈은 특징을 계층별(layer-specific) 부분공간을 통해 읽는다"는 부분공간 채널 가설(Subspace Channel Hypothesis)을 제시합니다.
배경 및 동기
희소 오토인코더(SAE)는 모델 활성값을 개별 뉴런보다 훨씬 단의미적(monosemantic)이고 사람이 해석하기 쉬운 특징들로 분해해 주기 때문에, 기계론적 해석(mechanistic interpretability) 연구의 핵심 도구로 자리 잡았습니다. 그러나 SAE 특징을 얻는 것은 시작에 불과합니다. 각 특징이 실제로 무엇을 의미하는지 -- 어떤 입력이 그 특징을 활성화하고 어떤 동작을 유발하는지 -- 를 안정적으로 규명하는 일은 여전히 어려운 미해결 과제입니다.
이러한 규명에 널리 쓰이는 기법이 Logit Lens입니다. Logit Lens는 특징 벡터를 언임베딩(unembedding) 행렬을 통해 모델의 어휘 공간에 직접 투영하여, 그 특징이 촉진하는 것으로 보이는 토큰들을 드러냅니다. 단순하고 별도의 학습이 필요 없다는 점에서 매력적이지만, Logit Lens는 특징에서 출력 로짓으로 이어지는 직접적인 경로만을 포착합니다. 잔차 스트림에 기록된 많은 특징들은 언임베딩에 곧바로 소비되지 않고, 출력에 영향을 주기 전에 하위의 어텐션 및 MLP 모듈에 의해 다시 읽히고 변형됩니다.
Logit Lens는 이러한 하위 처리 과정을 무시하기 때문에, 상당수의 SAE 특징이 일관성 없거나 무의미한 토큰 집합으로 투영되어 사실상 해석 불가능한 상태로 남습니다. 이는 특징이 어휘로 직진한다고 가정하는 대신, 그 특징을 실제로 읽는 모듈들을 따라 특징을 추적하는 새로운 렌즈의 필요성을 제기합니다.
핵심 과제: Logit Lens가 많은 SAE 특징을 해석하지 못하는 이유는 오직 직접 효과(direct effect) -- 특징을 어휘 공간에 즉시 투영하는 것 -- 만을 포착하기 때문입니다. 잔차 스트림에 기록된 특징은 하위 모듈에 의해 쿼리로 읽히는 경우가 많으며, 이때 Logit Lens가 볼 수 없는 모듈 매개 간접 효과(indirect, module-mediated effects)가 발생합니다. 따라서 이러한 간접 효과를 무시하는 해석은 불완전할 뿐만 아니라 충실하지 못한 해석이 될 수 있습니다.
제안 방법: Query Lens
Query Lens는 SAE 특징을 출력 토큰만을 촉진하는 단일한 값으로 보지 않고, 인코더 측과 디코더 측이 상호 보완적인 의미를 담는 키-값(key-value) 객체로 다루며, 특징을 소비하는 하위 모듈을 통해 명시적으로 전파함으로써 Logit Lens를 일반화합니다.
실험 결과
평가는 SAE 특징을 규명하는 과제에서 Query Lens를 표준 Logit Lens와 비교합니다. 논문의 핵심적이고 충실한 발견은 정성적입니다. 즉, Query Lens는 Logit Lens로는 해석되지 않던 특징들에 대해 일관된 토큰 시그니처를 산출하는데, 이는 바로 Logit Lens가 놓치는 키/값 구조와 모듈 매개 간접 효과를 반영하기 때문입니다. 아래 표는 특정 벤치마크 점수가 아니라 개념적 비교를 요약한 것입니다.
| 해석 방법 | 사용하는 특징 측면 | 포착하는 효과 | 해석 가능성 범위 |
|---|---|---|---|
| Logit Lens | 값(value)만 (출력 투영) | 직접 효과만 | 제한적 — 다수 특징이 비일관적 |
| Query Lens (제안) | 키 + 값 (입력 & 출력) | 직접 + 간접(모듈 매개) | 더 넓음 — 일관된 시그니처 복원 |
- 해석 가능성 복원: Logit Lens에서 비일관적인 토큰 집합으로 투영되던 특징들이 Query Lens에서는 일관된 토큰 시그니처를 얻으며, 이는 누락되어 있던 구조가 모듈 매개 간접 효과에 있었음을 보여줍니다.
- 양면적 규명: 인코더 측 키 특징과 디코더 측 값 특징을 함께 읽음으로써, 특징을 활성화하는 입력과 특징이 촉진하는 출력을 모두 식별합니다. 이는 값만 보는 Logit Lens로는 만들 수 없는 기술입니다.
- 직접성보다 충실성: 특징을 실제로 읽는 하위 모듈을 따라 추적함으로써, Query Lens는 어휘로의 직접 경로를 가정하는 대신 네트워크가 각 특징을 사용하는 방식에 부합하는 해석을 산출합니다.
- 구조적 가설: 실험 결과는 하위 모듈이 특징을 계층별 부분공간을 통해 읽는다는 부분공간 채널 가설을 뒷받침하며, 간접 효과가 왜 계층에 따라 달라지는지에 대한 원리적 설명을 제공합니다.
의의
희소 특징에 대한 신뢰할 수 있는 해석은 대규모 언어 모델의 기계론적 설명을 신뢰하기 위한 전제 조건입니다. 널리 쓰이는 렌즈가 상당수의 특징을 체계적으로 잘못 규정하거나 규명하지 못한다면, 모델이 무엇을 "알고" 무엇을 "하는지"에 관한 하위 주장들이 그 맹점을 그대로 물려받게 됩니다. Query Lens는 특징이 네트워크 내부에서 실제로 소비되는 방식에 해석을 충실하게 맞춤으로써 이 문제를 직접적으로 다룹니다.
- 더 많은 특징의 해석 가능화: 기존에 해석 불가능하던 특징들에 대해 일관된 시그니처를 복원함으로써, Query Lens는 SAE 기반 해석의 실효적 범위를 넓힙니다.
- 충실한 양면적 관점: 키와 값 특징을 함께 고려하고 간접 효과를 반영하여, 모델의 실제 연산을 존중하는 규명을 산출하고 직접 경로만 보는 오도된 결론의 위험을 줄입니다.
- 새로운 구조적 이해: 부분공간 채널 가설은 하위 모듈이 잔차 스트림 특징을 읽는 방식을 재구성하여, 계층별 부분공간을 통한 특징 소통을 연구하는 구체적인 방향을 제시합니다.