한줄 요약
본 논문은 "인식론적 한계(epistemic boundedness)" 개념을 도입하여 생성형 AI가 공공 행정가의 지식 한계를 단순히 확장하는 것이 아니라 근본적으로 변형시킨다는 점을 분석하며, AI 기반 의사결정에는 전통적 제한된 합리성 대응과는 전혀 다른 새로운 제도적 안전장치가 필요함을 논증합니다.
배경 및 동기
공공 행정가들은 정책 분석, 문서 작성, 의사결정 지원을 위해 대규모 언어 모델(LLM) 등 생성형 AI 도구를 점점 더 활용하고 있습니다. Herbert Simon의 고전적 "제한된 합리성(bounded rationality)"(1947) 개념은 인간 의사결정자의 인지적 한계 — 제한된 정보, 유한한 처리 능력, 시간 압박 — 를 오랫동안 설명해 왔지만, AI의 도입은 기존 프레임워크로는 포착할 수 없는 질적으로 다른 인식론적 과제를 야기합니다.
Simon의 핵심 통찰은 인간 의사결정자가 모든 대안을 식별하고, 모든 결과를 평가하며, 최적의 행동 방침을 선택할 인지적 자원이 부족하다는 것이었습니다. 대신 그들은 휴리스틱을 사용하고 만족화(satisfice) — 최소 수용 기준을 충족하는 첫 번째 옵션을 선택합니다. 이후 March and Simon(1958), Lindblom(1959) 등의 학자들은 이를 점증주의와 조직 의사결정 이론으로 확장했습니다. 수십 년간 정보 기술은 합리성의 경계를 밀어낼 수 있는 도구로 이해되었습니다: 데이터베이스는 더 많은 정보를 제공하고, 스프레드시트는 더 빠른 계산을 가능하게 하며, 의사결정 지원 시스템은 선택지를 더 명확하게 구조화했습니다. 그러나 생성형 AI는 이 패러다임을 근본적으로 깨뜨립니다.
핵심 문제: 제한된 합리성에서 인식론적 한계로
- 제한된 합리성 (Simon, 1947): 의사결정자는 정보를 탐색, 처리, 평가하는 인지 능력에 한계가 있어 최적화가 아닌 "만족화(satisficing)"를 추구합니다. 병목은 의사결정자의 처리 능력에 있습니다.
- AI의 약속: 생성형 AI는 방대한 말뭉치를 처리하고, 정책 문서를 초안하고, 규제를 요약하고, 분석을 초인적 속도로 생성하여 인지적 노동을 기계에 위임함으로써 제한된 합리성을 극복하는 것처럼 보입니다.
- 숨겨진 함정: AI 출력은 유창하고 확신에 차 있으며 권위 있게 들리지만, 사실적으로 부정확(환각)하거나 학습 데이터 분포에 의해 편향되거나 특정 행정적·법적 맥락에 대한 이해가 부족할 수 있습니다. 계산기나 데이터베이스와 달리 AI는 지식을 단순히 검색하는 것이 아니라 생성하며, 그 생성 과정은 불투명합니다.
- 인식론적 한계: 의사결정자는 AI가 생성한 지식의 신뢰성과 타당성 자체를 평가할 수 없습니다. 전통적 제한된 합리성과 달리, 이 한계는 더 많은 정보를 처리하는 것이 아니라 그 정보가 신뢰할 수 있는지를 아는 것에 관한 것입니다. 병목이 의사결정자의 인지 능력에서 AI 시스템의 인식론적 불투명성으로 이동합니다.
이 격차는 의사결정이 법적 구속력을 갖고, 시민의 권리에 영향을 미치며, 민주적 책임성을 요구하는 공공 행정에서 특히 위험합니다. 구체적인 시나리오를 고려해 봅시다: LLM이 작성한 정책 메모에 날조된 법적 선례나 잘못 기술된 규제 요건이 포함될 수 있으나, 법률 전문성이 없는 행정가는 이를 감지할 수 없습니다 — 그러면서도 메모의 전문적인 어조가 그 정확성에 대한 거짓 확신을 제공합니다. 시민 서비스를 위해 배치된 챗봇이 복지 수급 자격에 대해 확신에 차지만 부정확한 정보를 제공하여 실질적 피해를 초래할 수 있습니다. AI가 생성한 위험 평가 요약이 학습 데이터의 편향 때문에 소수자 커뮤니티에 관련된 요소를 체계적으로 과소 반영할 수 있습니다. 각 경우에서 행정가가 직면하는 것은 정보의 부족이 아니라 받은 정보의 인식론적 지위를 평가할 수 없음입니다.
본 논문은 이 과제를 알고리즘 거버넌스와 공공 기관에서의 재량권 자동화에 관한 보다 광범위한 논의 속에 위치시킵니다. 판단의 소재(locus)를 그대로 두면서 인간의 역량을 증강하던 이전 형태의 IT와 달리, 생성형 AI는 지식 생산의 소재를 인간 전문가에서 불투명한 통계 모델로 이전시킬 위험이 있으며 — 이는 행정 행위의 정당성과 책임성에 심대한 함의를 갖습니다.
제안 방법: 이론적 프레임워크 개발
본 논문은 공공 행정 이론, 인식론, AI 연구를 연결하는 다층적 이론 프레임워크를 구축하여 생성형 AI가 거버넌스에 제기하는 새로운 지식 문제를 체계적으로 규명합니다. 계산적 방법이나 실증 실험을 제안하는 대신, 공공 행정학, 과학철학, AI 안전성 문헌에 기반한 엄밀한 이론적 분석을 통해 새로운 분석 어휘와 제도 설계 원칙을 개발하는 개념적·규범적 기여를 목표로 합니다.
1
인식론적 한계의 개념적 분석
인식론적 한계를 제한된 합리성과 세 가지 차원에서 구분합니다: (a) 한계의 원천 — 인지 능력 vs. AI 생성 지식의 검증 불가능성; (b) 문제의 본질 — 정보 부족 vs. 정보 불투명성; (c) 대응 전략 — 휴리스틱과 만족화 vs. 제도적 검증과 인식론적 거버넌스. 여기서 핵심적 통찰은 증강의 역설(paradox of augmentation)입니다: 제한된 합리성은 더 많은 정보 제공으로 부분적으로 해결 가능하지만, 인식론적 한계는 AI 생성 정보가 많아질수록 각 출력의 신뢰성이 평가 불가능하므로 오히려 증폭됩니다. 본 논문은 철학적 인식론 — 특히 정당화된 참된 믿음(justified true belief)과 단순한 참된 믿음(mere true belief)의 구분 — 에 기반하여 AI 생성 출력이 참일 수는 있지만 이를 사용하는 행정가에 의해 인식론적으로 정당화될 수 없으며, 이것이 행정 행위의 지식 기반을 약화시킨다고 논증합니다.
2
행정 맥락에서의 AI 실패 모드 분류
생성형 AI의 주요 실패 모드가 공공 행정 시나리오에서 구체적으로 어떻게 발현되는지 체계적으로 매핑하여 다섯 가지 범주의 상세한 분류 체계를 구축합니다:
(i) 환각(Hallucination) — 그럴듯하지만 존재하지 않는 사실의 날조 (예: 법률 의견서 초안에 실재하지 않는 판례 인용, 정책 분석에 통계 데이터 조작);
(ii) 학습 데이터 편향 — 과대 대표된 관점으로의 체계적 편향 (예: 복지 정책 권고가 다수 집단의 관점을 반영하면서 소수자 필요를 주변화);
(iii) 시간적 지식 격차 — 학습 데이터 마감 이후의 최신 법률 개정, 판례, 정책 변경을 반영하지 못하는 문제;
(iv) 상황 인식 부재 — 실제 행정 실무를 형성하는 지역 제도적 규범, 정치적 역학, 관할권별 규제를 고려하지 못하는 한계;
(v) 아첨 경향(Sycophancy) — 비판적이거나 균형 잡힌 분석 대신 사용자의 명백한 선호를 확인하는 출력 생성.
각 실패 모드에 대해 기술적 한계 → 행정적 위험 → 민주적 피해로 이어지는 인과 경로를 추적합니다: 예를 들어, 환각 → 날조된 법률 인용 → 위법한 정책 권고 → 시민 권리 침해 → 공공 신뢰 훼손.
3
인식론적 비대칭성 분석
행정가가 추론 과정을 검사하거나 평가할 수 없는 AI 시스템에 의존할 때 발생하는 구조적 권력 불균형을 분석합니다. 이 "인식론적 비대칭"을 세 가지 상호 연결된 관점에서 검토합니다:
(a) 기술적 불투명성: 수십억 개의 매개변수를 가진 트랜스포머 기반 LLM은 비기술 사용자에게 블랙박스로 작동합니다. "설명 가능한 AI" 기법조차 생성 과정에 대한 진정한 통찰이 아닌 사후적 합리화를 제공하여, 행정가가 신뢰할 수 있는 출력과 그렇지 않은 출력을 구분할 수 없게 합니다.
(b) 권위 효과: AI 생성 텍스트의 전문적이고 체계적이며 확신에 찬 어조가 본 논문이 "인식론적 권위 환상(epistemic authority illusion)"이라 부르는 인지적 편향을 만들어냅니다 — 행정가가 AI 출력의 오류율이 더 높더라도 동일한 인간 작성 텍스트보다 AI 출력에 의문을 제기할 가능성이 더 낮습니다. 이는 자동화 편향 연구(Parasuraman & Manzey, 2010)의 발견을 반영하되 현대 LLM의 자연어 유창성에 의해 증폭됩니다.
(c) 전문성 침식: AI가 인간 분석을 보완하는 것이 아니라 대체할 때 제도적 지식이 시간이 지남에 따라 약화됩니다. 일상적으로 AI에 의존하는 행정가는 AI 오류를 탐지하는 데 필요한 도메인 전문성을 상실하여 의존성 증가와 감독 능력 감소의 악순환이 발생합니다.
4
인식론적 거버넌스를 위한 제도 설계 원칙
제도 이론(North, 1990; Ostrom, 2005)과 민주적 책임성 프레임워크에 기반하여 공공 행정에서 책임감 있는 AI 통합을 위한 네 가지 거버넌스 원칙을 제안합니다:
(a) 구조화된 검증 프로토콜: AI 생성 출력이 의사결정에 반영되기 전에 의무적으로 도메인 전문가 검토를 거치도록 하며, 가장 빈번한 실패 모드(사실 정확성, 법적 타당성, 형평성 함의)를 대상으로 하는 체크리스트를 포함합니다.
(b) 인식론적 책임 메커니즘: AI 보조 의사결정에 대한 책임을 식별 가능한 인간 의사결정자에게 명확히 부여하여 인간-AI 시스템 전반에 걸친 책임 분산을 방지합니다. 여기에는 어떤 출력이 AI에 의해 생성되었고 어떤 것이 인간에 의해 검증되었는지를 명시하는 문서화 요건이 포함됩니다.
(c) 투명성 요건: 행정 의사결정에서 AI의 역할을 내부 이해관계자와 영향을 받는 시민 모두에게 가시화합니다. 공공 대상 커뮤니케이션이나 정책 분석이 AI에 의해 생성되었거나 AI의 보조를 받은 경우 이를 공개하는 것을 포함합니다.
(d) 역량 강화 프로그램: AI 증강과 함께 인간의 분석 역량을 유지하기 위한 지속적인 교육 및 제도적 투자를 수행하여, 행정가가 필요시 AI 출력을 평가하고 무시할 수 있는 전문성을 보유하도록 합니다. 여기에는 기술 퇴화를 방지하기 위한 정기적 "AI 없는" 연습이 포함됩니다.
핵심 논증 및 결과
비교: 제한된 합리성 vs. 인식론적 한계
| 차원 | 제한된 합리성 (Simon) | 인식론적 한계 (본 논문) |
|---|
| 원천 | 인간의 인지적 한계 | AI 생성 지식의 불투명성 |
| 핵심 문제 | 가용한 모든 정보를 처리할 수 없음 | AI 출력의 신뢰성을 검증할 수 없음 |
| 정보 증가 효과 | 더 많은 정보가 도움됨 (일정 수준까지) | 더 많은 AI 출력이 문제를 증폭함 |
| 의사결정 전략 | 휴리스틱을 통한 만족화 | 불투명한 시스템에 판단 위임 |
| 대응 방안 | 더 나은 의사결정 보조 도구, 교육 | 제도적 안전장치, 인식론적 거버넌스 |
| 책임성 | 명확한 인간의 책임 | 인간-AI 상호작용에 걸쳐 책임 분산 |
- AI는 제한된 합리성을 단순히 줄이지 않음: AI가 방대한 정보를 처리할 수 있지만, 동시에 행정가가 탐지하거나 교정하기 어려운 새로운 인식론적 한계를 도입합니다. 의사결정 품질에 대한 순효과는 일방적으로 긍정적이지 않으며 모호합니다. 본 논문은 이것이 의사결정 제약의 본질에서 단순한 양적 변화가 아닌 질적 전환을 나타낸다고 주장합니다.
- 체계적 인식론적 위험으로서의 환각: 그럴듯하지만 근거 없는 출력 — 날조된 법적 선례, 존재하지 않는 규제, 조작된 통계 — 을 생성하는 생성형 AI의 경향은 구속력 있는 법적·사회적 결과를 수반하는 행정 환경에서 고유한 위협입니다. 누락의 오류(관련 정보의 부재)와 달리, 환각은 의사결정 과정에 거짓 지식을 적극적으로 주입하는 작위의 오류입니다.
- 인식론적 비대칭이 의존성을 형성: 행정가들은 AI 출력이 신뢰할 수 있는 경우와 오해의 소지가 있는 경우를 평가할 기술적 전문성이 부족하여 불투명한 시스템에 대한 비대칭적 의존이 발생합니다. 시간이 지남에 따라 이 의존성은 AI 오류에 대한 견제 역할을 하던 제도적 지식 기반을 침식할 수 있습니다 — 본 논문은 이 현상을 "탈숙련 나선(deskilling spiral)"이라 기술합니다.
- AI 생성 텍스트의 권위 효과: LLM 출력의 전문적이고 확신에 찬 어조는 "인식론적 권위 환상"을 만들어내어 행정가들이 인간이 작성한 대안과 비교했을 때 AI 생성 콘텐츠에 대해 질문하거나 검증할 가능성을 낮춥니다. 이 효과는 AI의 속도 우위에 의해 복합됩니다: 시간 압박을 받는 행정가들은 AI 출력을 비판 없이 수용하도록 동기부여됩니다.
- 증강의 역설: 더 많은 AI 생성 정보는 인식론적 한계를 해소하지 않고 증폭시킵니다. 각 추가 AI 출력이 평가 불가능한 신뢰성을 수반하기 때문입니다. 더 많은 데이터가 일반적으로 도움이 되는 제한된 합리성과 달리, 인식론적 한계는 AI가 더 광범위하게 사용될수록 악화됩니다.
- 기술적 수정이 아닌 제도적 안전장치: 효과적인 AI 통합은 모델 정확도 향상에만 의존하는 것이 아니라, 구조화된 검증 프로토콜, 도메인 전문가 검토 단계, 인식론적 책임 프레임워크, 의무적 인간 참여(human-in-the-loop) 체크포인트 등 거버넌스 메커니즘이 필요합니다. 본 논문은 기술적 해결책(예: 더 나은 검색 증강 생성, 개선된 캘리브레이션)이 필요하지만 충분하지는 않음을 강조합니다.
- 민주적 책임성의 위기: AI 보조 의사결정이 잘못될 때, 인간 행정가와 AI 시스템 간의 책임 분산은 공무원이 자신의 결정에 대해 책임져야 한다는 민주주의 원칙을 위협합니다. 본 논문은 AI 개발자, AI 시스템, 행정가 중 누구도 오류 결과에 대해 명확한 책임을 지지 않는 "책임성 공백(accountability gap)"의 출현을 경고합니다.
- 행정법에 대한 함의: 행정 재량, 적법 절차, 이유 있는 의사결정을 규율하는 기존 법적 프레임워크는 인간 의사결정자를 위해 설계되었습니다. 본 논문은 AI 증강 의사결정이 AI 출력에 의해 실질적으로 영향을 받는 행정 행위가 법적으로 방어 가능하고 절차적으로 공정하도록 보장하기 위한 새로운 법리적 발전을 요구할 수 있다고 주장합니다.
의의
전 세계 정부가 공공 서비스에서 AI 도입을 가속화하는 가운데 — 미국 연방정부의 AI 관련 행정명령에서 EU AI Act의 공공 행정 내 고위험 AI 시스템 규제에 이르기까지 — 본 논문은 "더 많은 AI"가 자동으로 "더 나은 의사결정"을 의미하지 않는 이유를 이해하기 위한 핵심적 개념 틀을 제공합니다. 인식론적 한계 프레임워크는 다음과 같은 핵심 기여를 합니다:
- 새로운 이론적 어휘: 인식론적 한계를 제한된 합리성과 구분함으로써, 공공 행정 학자와 실무자에게 AI 증강 거버넌스의 고유한 위험을 식별하고 분석하기 위한 정밀한 언어를 제공합니다 — 전통적 의사결정 이론의 관점만으로는 보이지 않는 위험을 포착할 수 있게 합니다. 이는 생성형 AI가 행정 의사결정의 인식론적 기반을 단순히 확장하는 것이 아니라 변형시키는 방식을 최초로 체계적으로 이론화한 것입니다.
- 실행 가능한 거버넌스 프레임워크: 검증 프로토콜, 인식론적 책임성, 투명성 요건, 역량 강화라는 제도 설계 원칙은 AI를 반응적이 아닌 책임감 있게 통합하려는 기관에 구체적이고 실행 가능한 지침을 제공합니다. 각 원칙은 특정 실패 모드 및 위험 경로와 연결되어 조직적 구현에 실용적입니다.
- 학제간 다리 역할: 공공 행정 이론(Simon, March, Lindblom)과 AI 인식론, 과학철학, 컴퓨터 과학을 연결함으로써, 대체로 고립되어 발전해 온 분야들 간의 생산적 대화를 열어 기술적 차원과 제도적 차원이 어떻게 상호작용하는지에 대한 이해를 증진합니다.
- AI-정부 관계의 재정립: AI를 비용 절감과 처리 시간 단축을 위한 중립적 도구로 취급하는 지배적인 "효율성 서사"에 도전합니다. 운영 효율성 대신 인식론적 위험을 중심에 놓음으로써, 민주적 거버넌스에 궁극적으로 더 중요한 지식 품질과 책임성 차원으로 관심을 전환합니다.
AI를 중립적인 효율성 도구로 취급하는 대신, AI의 인식론적 불투명성에 직면하여 인간의 판단과 민주적 책임성을 보존하는 의도적인 제도 설계를 촉구합니다. 이 프레임워크는 즉각적인 실무적 함의를 가집니다: 기관 수준의 AI 거버넌스 정책 설계를 안내하고, 정부 내 AI 도구의 조달 기준을 수립하며, 생성형 AI와 함께 일하게 될 공무원 교육 프로그램을 구체화할 수 있습니다. LLM의 역량이 계속 확장되고 정부의 AI 도입이 가속화됨에 따라, 원칙적인 인식론적 거버넌스의 필요성은 더욱 긴급해질 것입니다.
Domain LLM
Reasoning