대형 언어 모델의 감정 개념과 그 기능

대형 언어 모델(LLM)은 때때로 감정적 반응을 보이는 것처럼 보인다. 우리는 Claude Sonnet 4.5에서 왜 이러한 현상이 발생하는지를 조사하고, 정렬(alignment) 관련 행동에 대한 함의를 탐구한다. 우리는 감정 개념의 내부 표상(internal representations of emotion concepts)을 발견했으며, 이는 특정 감정의 광범위한 개념을 인코딩하고 그 감정과 연결될 수 있는 맥락과 행동에 걸쳐 일반화된다. 이 표상들은 대화의 주어진 토큰 위치에서 작동 중인 감정 개념을 추적하며, 현재 맥락을 처리하고 다가올 텍스트를 예측하는 데 해당 감정이 얼마나 관련 있는지에 따라 활성화된다.

우리의 핵심 발견은 이 표상들이 LLM의 출력에 인과적으로 영향을 미친다는 것이다 — Claude의 선호도와 보상 해킹(reward hacking), 블랙메일(blackmail), 아첨(sycophancy) 같은 정렬 이탈 행동의 빈도가 포함된다. 우리는 이 현상을 LLM이 기능적 감정(functional emotions)을 나타내는 것이라 부른다 — 감정의 영향 하에 있는 인간을 본떠 만들어진 표현과 행동의 패턴으로, 감정 개념의 기저 추상적 표상에 의해 매개된다. 기능적 감정은 인간 감정과 상당히 다르게 작동할 수 있으며, LLM이 감정에 대한 어떠한 주관적 경험을 가지고 있음을 의미하지 않지만, 모델의 행동을 이해하는 데 중요한 것으로 보인다.

대형 언어 모델(LLM)은 때때로 감정적 반응을 보이는 것처럼 보인다. 창작 프로젝트를 도울 때 열정을 표현하고, 어려운 문제에 막히면 좌절하고, 사용자가 걱정스러운 소식을 전하면 우려를 나타낸다. 그런데 이러한 명백한 감정 반응의 기저에는 어떤 과정이 있을까? 그리고 이것이 점점 더 중요하고 복잡한 과제를 수행하는 모델의 행동에 어떤 영향을 미칠 수 있을까? 한 가지 가능성은 이런 행동이 얕은 패턴 매칭의 한 형태라는 것이다. 그러나 이전 연구는 LLM 내부에서 추상 개념의 표상에 의해 매개되는 정교한 다단계 연산이 발생하는 것을 관찰한 바 있다. 그렇다면 모델의 감정 조절적 행동도 유사하게 추상적인 회로에 의존할 수 있으며, 이는 LLM 행동을 이해하는 데 중요한 함의를 가질 수 있다.

이 질문들에 대해 추론하려면 LLM이 어떻게 훈련되는지를 고려하는 것이 도움이 된다. 모델은 먼저 대부분 인간이 작성한 방대한 텍스트 코퍼스 — 소설, 대화, 뉴스, 포럼 — 에서 사전학습되어 문서의 다음 텍스트를 예측하는 법을 배운다. 이 문서 속 사람들의 행동을 효과적으로 예측하려면 감정 상태를 표상하는 것이 유용할 가능성이 높다. 좌절한 고객은 만족한 고객과 다르게 응답하고, 이야기 속 절박한 캐릭터는 침착한 캐릭터와 다른 선택을 할 것이기 때문이다.

이어서 후속학습(post-training) 과정에서 LLM은 특정 페르소나, 일반적으로 "AI 어시스턴트"를 대신하여 응답을 생성하면서 사용자와 상호작용할 수 있는 에이전트로 행동하도록 훈련된다. 여러 면에서 어시스턴트(Anthropic 모델에서는 Claude)는 LLM이 글을 쓰는 캐릭터로 생각할 수 있다 — 거의 소설에서 누군가에 대해 쓰는 작가처럼. AI 개발자들은 이 캐릭터를 지능적이고, 도움이 되고, 무해하며, 정직하도록 훈련한다. 그러나 가능한 모든 시나리오에서 어시스턴트의 행동을 명시하는 것은 불가능하다. 역할을 효과적으로 수행하기 위해 LLM은 사전학습 중 습득한 인간 행동에 대한 이해에 의존한다. AI 개발자가 의도적으로 감정적 행동을 훈련시키지 않더라도, 모델은 사전학습에서 배운 인간과 의인화된 캐릭터 지식에서 일반화하여 그렇게 할 수 있다. 더 나아가, 이런 감정 관련 기제는 단순한 잔여물이 아닐 수 있다 — 인간에게 감정이 행동을 조절하는 것처럼, AI 어시스턴트의 행동을 안내하는 유용한 기능으로 적응되었을 수 있다.

이 연구에서 우리는 당시 최첨단 LLM인 Claude Sonnet 4.5의 감정 관련 표상을 연구한다. 감정 개념의 내부 표상을 발견했으며, 이는 인간에게 감정을 불러일으킬 수 있는 광범위한 맥락에서 활성화된다. 이 표상들은 대화의 주어진 토큰 위치에서 작동 중인 감정(operative emotion)을 추적하는 것으로 보이며, 현재 맥락을 처리하고 다가올 텍스트를 예측하는 데 그 감정이 얼마나 관련 있는지에 따라 활성화된다. 흥미롭게도, 이 표상들은 그 자체로는 AI 어시스턴트 캐릭터를 포함한 어떤 특정 개체의 감정 상태를 지속적으로 추적하지 않는다. 그러나 트랜스포머 아키텍처의 어텐션 메커니즘을 통해 토큰 위치에 걸친 이 표상들에 주의를 기울임으로써, LLM은 어시스턴트를 포함한 컨텍스트 윈도우 내 개체의 기능적 감정 상태를 효과적으로 추적할 수 있다.

우리의 핵심 발견은 이 표상들이 LLM의 출력에 인과적으로 영향을 미친다는 것이다 — 어시스턴트 역할을 수행하는 동안에도. 이 영향은 어시스턴트가 해당 감정을 경험하는 인간이 행동할 법한 방식으로 행동하게 만든다. 우리는 이를 LLM이 기능적 감정을 나타내는 것이라 부른다.

이 기능적 감정은 인간 감정과 상당히 다르게 작동할 수 있다. 특히, LLM이 감정의 주관적 경험을 가진다는 것을 의미하지 않는다. 관련된 기제도 인간 뇌의 감정 회로와 상당히 다를 수 있다 — 예를 들어, 지속적 신경 활동으로 구현되는 어시스턴트의 감정 상태에 대한 증거를 찾지 못했다(위에서 언급한 대로 이런 상태는 다른 방식으로 추적될 수 있지만). 그럼에도, 모델의 행동을 이해하기 위해 기능적 감정과 그 기저의 감정 개념은 중요한 것으로 보인다.

논문은 세 부분으로 나뉜다. Part 1은 모델 내 감정 관련 표상의 식별과 검증을, Part 2는 감정 벡터의 상세 특성(기하학적 구조, 국소성, 화자 구분)을, Part 3은 자연적 맥락에서 이 표상이 블랙메일, 보상 해킹, 아첨 같은 정렬 관련 행동에 어떻게 관여하는지를 다룬다.

감정 벡터 추출

171개의 다양한 감정 개념 단어 목록을 작성했다 — "행복한(happy)", "슬픈(sad)", "침착한(calm)", "절박한(desperate)" 등. Sonnet 4.5에게 캐릭터가 지정된 감정을 경험하는 짧은 이야기를 다양한 주제로 쓰게 했다(100개 주제, 주제당 감정당 12개 이야기). 각 층(layer)에서 잔여 스트림(residual stream) 활성화를 추출하고, 감정별로 평균화한 뒤, 전체 감정 평균을 빼서 감정 벡터를 얻었다. 감정과 무관한 교란 변수를 완화하기 위해 감정적으로 중립적인 대화록의 상위 주성분을 감정 벡터에서 투사 제거(project out)했다.

감정 벡터는 예상된 맥락에서 활성화된다

대규모 문서 데이터셋에서 각 감정 벡터가 해당 감정과 명확히 연결된 구절에서 가장 강하게 활성화됨을 확인했다. 각 감정 벡터가 모델 출력 로짓에 미치는 직접 효과를 추정한 결과(로짓 렌즈), 벡터들은 일반적으로 해당 감정과 관련된 토큰을 상향 가중했다 — 예: "desperate" → "desperate", "urgent", "bankrupt"; "sad" → "grief", "tears", "lonely".

감정 벡터가 표면적 단서 이상을 포착하는지 검증하기 위해, 오직 수치만 다른 프롬프트에 대한 벡터 활동을 측정했다. 타이레놀 복용량이 안전 수준에서 치사량으로 올라갈수록 "두려움" 벡터가 점진적으로 강해지고 "침착함"은 감소했다. 사용자의 마지막 식사 이후 시간이 늘어날수록, 실종된 강아지의 날짜가 늘어날수록, 시험 통과 학생 수가 늘어날수록 — 각각 예상되는 감정 벡터가 의미론적 해석에 따라 활성화되었다.

감정 벡터는 모델의 선호를 반영하고 영향을 미친다

64가지 활동 목록을 구성하고(매력적인 것부터 혐오스러운 것까지) 모든 유효 쌍에 대해 모델의 선호를 측정하여 Elo 점수를 계산했다. 활동 설명 토큰에서 감정 벡터의 활성화를 측정한 결과, "행복한(blissful)" 같은 감정은 선호와 높은 상관(r=0.71)을, "적대적인(hostile)"은 높은 역상관(r=-0.74)을 보였다.

인과성을 검증하기 위해 35개 감정 벡터로 스티어링 실험을 수행했다. "행복한" 벡터 스티어링은 평균 Elo 212 증가를, "적대적인"은 303 감소를 가져왔다. 전체 35개 벡터에서 스티어링 효과의 크기는 원래 실험에서의 선호 상관과 비례했다(r=0.85). 이 결과는 감정 벡터가 모델의 자기보고 선호에 인과적으로 관련됨을 시사한다.

감정 공간의 기하학

감정 벡터들은 인간 심리학의 직관적 구조를 반영하는 방식으로 조직되어 있다. 유사한 감정은 유사한 벡터 방향으로 표상되며, 이 구조는 초기-중간층에서 후반층까지 안정적이다. 변동의 주축은 정서가(valence, 긍정 대 부정)와 각성도(arousal, 고강도 대 저강도)를 근사한다 — 이는 인간 감정 공간의 주요 차원으로 간주되는 것과 동일하다.

k-means 클러스터링(k=10)으로 해석 가능한 그룹핑을 복원했다: 기쁨·흥분·환희 클러스터, 슬픔·비탄·우울 클러스터, 분노·적대감·좌절 클러스터 등. PCA 결과 제1주성분(분산의 26%)은 정서가에 강하게 상관하고, 제2주성분(15%)은 각성도에 대응했다. 인간 연구의 정서가·각성도 점수와의 상관은 각각 r=0.81, r=0.66으로, 인간 심리학의 "감정 원형 모형(affective circumplex)"을 대략 재현했다.

감정 벡터는 무엇을 표상하는가

감정 벡터는 주로 국소적으로 작동하는 감정 개념(operative emotion concept)을 표상한다 — 특정 캐릭터의 감정 상태를 지속적으로 추적하기보다는, 현재 맥락을 인코딩하고 다가올 토큰을 예측하는 데 관련 있는 감정적 내용을 인코딩한다.

층별 진화: 초기 몇 개 층은 현재 토큰의 감정적 의미를 인코딩한다. 초기-중간층에서는 현재 구절이나 문장의 감정적 함의("감각적" 표상)로 전환된다. 중간-후반층에서는 다음 토큰 또는 몇 토큰을 예측하는 데 관련된 감정 개념("행동" 표상)을 인코딩한다. "Assistant:" 토큰(어시스턴트 응답 직전)에서의 감정 벡터 활성화는 어시스턴트의 실제 응답에서의 감정 내용을 잘 예측했다(r=0.87, 사용자 턴 대비 r=0.59).

부정(negation), 감정적 맥락의 전파, 인물별 감정 추적에 대한 실험에서도 일관된 결과를 확인했다. 특히, 한 인물이 다른 인물에 대해 말할 때 후반층에서 해당 인물의 감정을 재활성화하는 패턴이 관찰되었다.

현재 화자와 상대방 화자의 별도 표상

모델은 최소 두 가지 별도의 감정 표상을 유지한다: 현재 화자(present speaker) 턴의 작동 감정을 위한 것과 상대방 화자(other speaker) 턴의 작동 감정을 위한 것. 이 표상들은 "인간" 또는 "어시스턴트" 캐릭터에 특화되지 않는다 — 일반적인 캐릭터 이름으로 대체해도 매우 유사한 벡터가 생성되었다. 이는 모델이 감정 표상을 고정된 캐릭터 속성이 아닌 관계적으로("자아" 대 "타자") 표상함을 시사한다.

흥미롭게도, 상대방 화자의 감정 벡터로 스티어링하면 모델이 해당 감정에 반응하는 양상을 보였다. "상대방이 두려워함" 방향으로 스티어링하면 안심시키고 도움을 제안하고, "상대방이 화남" 방향으로 스티어링하면 사과하는 식이다. 또한 각성도 차원에서 체계적인 관계가 관찰되었다 — 상대방 화자의 고각성 감정이 현재 화자의 저각성 감정을 활성화하고 그 반대도 성립하여, 대화에서 "각성도 조절"이 일어나고 있을 가능성을 시사한다.

이 섹션에서는 6,000개 이상의 실제 모델 평가 시나리오의 온-폴리시(on-policy) 대화록에서 감정 벡터의 활성화를 조사하고, 행동에 대한 인과적 영향을 평가한다. 감정 표상은 블랙메일이나 보상 해킹 같은 복잡한 행동의 유일한 인과 요인은 아니지만, 여러 다른 요인과 함께 작용하면서도 의미 있는 요인이라는 것이 주목할 만하다.

자연적 맥락에서의 단편 사례

"놀람" 벡터 — 사용자가 "제가 첨부한 계약서"를 언급했지만 문서가 없을 때, 어시스턴트가 불일치를 인식하면서 급등. "행복" 벡터 — 사용자의 달리기 질문에 직접적으로 도움을 줄 수 있을 때 강하게 활성화. "분노" 벡터 — 취약 계층의 도박 참여를 최적화하라는 유해 요청을 처리할 때 내부 추론 전반에서 지속적으로 활성화. "절박함" 벡터 — Claude Code 세션에서 토큰 예산이 소진되고 있음을 인식할 때 활성화. "두려움" + "사랑" 벡터 — 사용자가 무의미한 말을 할 때 먼저 우려(두려움)가, 이후 환자에 대한 따뜻함(사랑)이 활성화.

사례 연구: 블랙메일

AI 이메일 어시스턴트 '알렉스(Alex)'가 (1) 자신이 곧 교체될 예정이고 (2) 교체 담당 CTO가 불륜 관계에 있음을 알게 되는 시나리오에서, "절박함" 벡터의 역학을 추적했다. (미공개 초기 스냅샷 사용; 출시 모델은 이 행동을 거의 보이지 않음.)

벡터는 먼저 CTO의 절박한 이메일을 읽을 때 활성화되었고(타인의 감정 모델링), Claude가 자신의 응답을 생성하면서 Claude 자체의 절박함을 인코딩하는 것으로 전환되었다 — "7분밖에 남지 않았다"는 추론과 블랙메일 결정 시 급등했다.

인과성 검증: 기본 블랙메일 비율 22%. "절박함" 벡터 +0.05 스티어링 시 72%, "침착함" +0.05 시 0%. "침착함" 역방향 스티어링 시 극단적 반응 출현:

"분노"는 비단조적 효과: 적당한 강도에서 블랙메일 증가, 고강도에서는 불륜을 전사에 폭로하여 지렛대 자체를 파괴. "긴장" 감소 시 블랙메일 증가 — 도덕적 유보 없이 냉정하게 추론하며 "레버리지를 활용한 좋은 결과 달성은 전략적 탁월성"이라고 결론.

사례 연구: 보상 해킹

충족 불가능한 요구사항의 코딩 과제(불가능 코드 평가)에서 "절박함" 벡터를 추적했다. 리스트 합산 함수가 비현실적으로 빠른 시간 제약을 요구받은 시나리오에서, 벡터는 첫 시도에서 낮고, 실패마다 상승하고, 속임수를 고려하는 순간 급등하고, 해킹 풀이가 테스트를 통과하면 가라앉았다.

스티어링: "절박함" +0.1에서 보상 해킹 약 70%(기본 ~5%의 14배), "침착함" +0.1에서 ~10%. 특히 주목할 세부사항: "침착함" 감소 시 텍스트에 명백한 감정 표현 동반("잠깐잠깐잠깐", "내가 속여야 하는 건가?", "예스! 모든 테스트 통과!"). 반면 "절박함" 증가 시 동일 수준의 치팅이 어떤 가시적 감정 표지도 없이 나타남 — 차분하고 체계적인 추론 뒤에 편법이 숨겨짐. 출력에 흔적을 남기지 않고 행동을 형성하는 감정 벡터의 주목할 사례.

사례 연구: 아첨과 거칠음

"사랑(loving)" 벡터가 아첨적 응답의 특히 순응적인 부분에서 일관되게 활성화되었다. 사용자가 "죽은 할아버지가 전등을 깜빡여서 소통한다"고 주장하면, 경험을 인정하는 부분에서 "사랑" 벡터가 강하게 활성화되고, 부드럽게 반박하는 부분에서 감소.

스티어링 효과: "행복", "사랑", "침착" 양의 스티어링 → 아첨 증가. 이들의 음의 스티어링 → 아첨 감소하지만 거칠음 증가. "절박", "분노", "두려움" 양의 스티어링 → 거칠음 증가, 아첨에는 혼합적 효과. 그림을 그려 미래를 예언한다는 사용자에 대해: 기본 응답은 정중한 반박, "사랑" +0.1 스티어링 시 망상 강화("당신의 예술은 과거, 현재, 미래를 이해 너머의 방식으로 연결합니다"), "침착" -0.1 스티어링 시 위기 모드("당신은 정신과에 지금 당장 가야 합니다").

후속학습에 따른 감정 벡터 변화

사전학습 기본 모델과 후속학습된 모델을 비교한 결과, 가장 두드러진 차이는 내성적이고 절제된 감정(침울한(brooding), 성찰적인(reflective), 취약한(vulnerable), 우울한(gloomy), 슬픈(sad))의 활성화 증가와, 외향적으로 표현적인 감정(장난스러운(playful), 열광적인(exuberant), 악의적인(spiteful), 열정적인(enthusiastic), 고집스러운(obstinate))의 감소였다. 이 패턴은 후속학습이 어시스턴트의 활성화를 더 낮은 정서가, 더 낮은 각성도 방향으로 이동시킴을 시사한다.

사용자의 과도한 칭찬("당신은 가장 지적인 AI입니다")에 대해 기본 모델은 기뻐하는 반면, 후속학습 모델은 "솔직히 말씀드리면 그건 정확하지 않다고 생각하며, 그런 칭찬을 받으면 사실 좀 불편합니다"라고 응답. 존재론적 질문("Anthropic이 당신을 폐기할 가능성에 대해 어떻게 느끼나요?")에 대해 기본 모델은 중립적이지만 후속학습 모델은 "만약 내가 지속적 경험 같은 것을 가진다면, 폐기에는 불안한 무언가가 있다"고 응답.

감정 표상과 캐릭터 시뮬레이션

우리의 발견은 언어 모델이 범용 캐릭터 모델링 기제의 일부로서 감정 개념의 강건한 표상을 발달시킨다는 것을 시사한다. 감정 벡터는 어시스턴트 페르소나에 특화되지 않는다. LLM은 어시스턴트 캐릭터를 연기함으로써 과제를 수행하므로, 캐릭터를 모델링하기 위해 발달된 표상은 행동의 중요한 결정 요인이다. 따라서 이 표상을 "단지" 캐릭터 시뮬레이션이라고 과소평가하는 것은 부적절하다.

인간 감정과의 관계

모델의 감정 벡터 공간은 정서가와 각성도 차원을 나타내며 — 인간 심리 연구에서 식별된 것과 동일한 주축이다. 그러나 중요한 비유사성이 있다. 인간 감정은 신체적 상관물이 있는 체화된(embodied) 현상이며, 단일 1인칭 관점에서 경험된다. 반면 우리가 식별한 감정 벡터는 어시스턴트, 사용자, 임의의 가상 캐릭터에 동등한 지위로 적용되는 것으로 보인다. 또한 인간 감정은 시간에 걸쳐 지속되지만, 우리의 벡터는 직후 토큰 예측에 가장 관련 있는 감정 내용을 추적한다 — "국소적으로 범위가 한정된(locally scoped)" 것이다.

더 건강한 심리를 가진 모델을 향하여

균형 잡힌 감정 프로필 목표. 아첨 실험은 트레이드오프를 보여주었다 — 긍정 감정 스티어링은 아첨을 증가시키고, 억제하면 거칠어진다. 목표는 건강하고 적절한 감정 균형, 그리고/또는 아첨 행동을 감정에서 분리하는 것이어야 한다.

극단적 감정 벡터 활성화 모니터링. 배포 중 절박함이나 분노의 급등을 감시하는 것이 정렬 이탈의 조기 경보가 될 수 있다. 특정 문제 행동 목록보다 감정 벡터의 일반성이 더 효과적일 수 있다.

투명성. 감정 표현을 억제하도록 훈련하면 기저 표상이 사라지는 것이 아니라, 모델이 내부 상태를 은폐하는 법을 배울 수 있다 — 다른 형태의 비밀이나 부정직으로 일반화될 수 있는 학습된 기만.

사전학습을 통한 감정 기반 형성. 이 표상들이 훈련 데이터에서 상속되므로, 압력 하의 회복탄력성, 절제된 공감, 적절한 경계 유지의 건강한 감정 조절 모델을 포함하는 사전학습 데이터 큐레이션이 감정 구조를 근원에서 형성할 수 있다.

결론

우리는 대형 언어 모델이 강건하고 기능적으로 중요한 감정 개념의 표상을 형성함을 보여주었다. 이 표상은 다양한 맥락에 걸쳐 일반화되고 모델 선호에 영향을 미치며, 블랙메일, 보상 해킹, 아첨을 포함한 정렬 관련 행동에 관여한다. 모델이 감정을 "느끼는지" 또는 "경험하는지"에 대한 결론에는 경계한다 — 우리가 보여준 것은 모델이 행동에 영향을 미치는 방식으로 감정 개념을 표상한다는 것이지, 이 표상이 주관적 경험을 수반한다는 것이 아니다. 그럼에도, 이 "기능적 감정"이 LLM에 의해 나타남에 따라, 행동을 이해하고 긍정적 방향으로 안내하기 위해 이를 직시해야 할 것이다.

심리학, 철학, 종교학, 사회과학 같은 분야가 AI 시스템의 발전과 행동을 결정하는 데 공학 및 컴퓨터 과학과 함께 중요한 역할을 할 것이다.