I. 서론
대형 언어 모델(LLM)의 최근 발전은 대화형 AI의 역량을 확장하여, 공감적 대화가 가능한 시스템을 구현할 수 있게 했다. 디지털 정신건강 및 행동건강 환경에서 이러한 시스템은 지지적 커뮤니케이션, 참여 촉진, 의사결정 지원 시뮬레이션 등의 용도로 탐구되어 왔다. 보다 최근의 연구는 구조화된 정신과 면담과 평가 워크플로우를 위해 멀티에이전트 LLM 아키텍처를 활용하면서, 정신건강 맥락에서 역할 특화 에이전트 협업의 가능성을 보여주고 있다.
그러나 기존 LLM 기반 대화 시스템 대부분은 단일 에이전트 아키텍처를 채택하고 있어, 실제 상담 상호작용에 수반되는 다양하고 상호의존적인 대화 기능을 표현하는 데 한계가 있다. 지지적 행동건강 커뮤니케이션은 본질적으로 다면적이며, 감정적 확인(emotional validation), 동기 부여적 격려(motivational encouragement), 인지 재구성(cognitive restructuring), 행동 계획(action planning) 등의 기능을 포함하는데, 이를 단일 에이전트 내에서 투명하고 신뢰성 있게 모델링하기는 어렵다.
선행 연구들은 멀티에이전트 LLM 시스템의 다양한 측면을 조사해 왔다. 커뮤니케이션 효율성, 서로 다른 에이전트 상호작용 패러다임에 걸친 조정 전략의 체계적 평가, 구조화된 임상 추론과 의사결정 지원 파이프라인, 의료 환경에서의 역할극 에이전트를 통한 다학제 협업 등이 그것이다. 이러한 연구들이 에이전트 기반 분해의 이점을 보여주고 있지만, 다수의 프레임워크는 동적이고 역할 조정된 멀티턴 대화보다는 과제 수행, 프로토콜 준수, 또는 내부 추론 체인에 초점을 맞추고 있다.
이와 함께, 최근 연구는 정신건강 관련 대화 시스템에서 안전성과 윤리적 안전장치의 중요성을 점점 더 강조하고 있다. 선행 연구들은 LLM 기반 건강 응용에서 환각(hallucination), 부적절한 어조, 투명성 부족 등의 위험을 기록해 왔다. 정신건강 상호작용을 위한 안전 중심 에이전트 아키텍처처럼 위험 인식 모니터링 메커니즘을 명시적으로 통합하는 최신 멀티에이전트 설계도 등장하고 있다. 그럼에도 불구하고, 여러 대화 턴에 걸쳐 운영되는 역할 오케스트레이션 멀티에이전트 대화 시스템에 연속적이고 실시간적인 안전 감사를 충분히 통합하는 것은 아직 미흡한 상태다.
이러한 한계를 해결하기 위해, 본 연구는 지지적 행동건강 커뮤니케이션 시뮬레이션을 위한 역할 오케스트레이션 멀티에이전트 LLM 프레임워크를 제안한다. 본 연구의 기여는 세 가지다: (1) 지지적 커뮤니케이션을 해석 가능하고 역할별로 특화된 구성요소로 분해하는 모듈형 멀티에이전트 아키텍처, (2) 지속적 감독 감시를 수반하는 안전 인식 오케스트레이션 메커니즘, (3) 응답 품질, 계산 효율성, 설계 트레이드오프를 분석하기 위한 확장 가능한 프록시 메트릭을 사용한 시스템 수준 평가다.
II. 방법론
A. 데이터셋
본 프레임워크는 DAIC-WOZ(Distress Analysis Interview Corpus Wizard-of-Oz) 데이터셋을 사용하여 평가했다. DAIC-WOZ는 마법사 오즈(Wizard-of-Oz) 프로토콜을 통해 인간이 조작하는 가상 면담자와 참여자 사이에서 수행된 반구조화 면담으로 구성된다. 189개 세션의 동기화된 오디오, 비디오, 텍스트 트랜스크립트를 포함한다. 본 연구에서는 트랜스크립트 데이터만 사용했으며, 참여자 발화를 시뮬레이션 프레임워크의 입력으로 활용했다. 관리 가능한 정성적 시스템 수준 분석을 위해 7명의 참여자를 무작위 선정했으며, 선정된 세션은 다양한 PHQ-8 심각도 점수 범위를 포괄한다.
B. 데이터 전처리
모든 트랜스크립트는 일관성과 LLM 입력 호환성을 위해 전처리되었다. 참여자 발화만 유지하고 가상 면담자의 시스템 응답은 제외했다. 정규표현식을 사용한 텍스트 정제로 비어휘적 아티팩트(예: 웃음 마커), 특수문자, 불규칙한 공백을 제거했다. "um," "uh" 같은 일반적 비유창성(disfluency)은 노이즈를 줄이면서 통사 구조를 보존하기 위해 제거했다. 의미론적으로 유의미한 입력에 집중하기 위해, 전처리 후 3개 토큰 미만의 발화는 제외했다.
C. 역할 오케스트레이션 멀티에이전트 시뮬레이션 프레임워크
본 시스템은 6개의 전문 에이전트로 구성된다: 공감자(Empathizer), 동기부여자(Motivator), 계획자(Planner), 인지 재구성자(Cognitive Restructurer), 디렉터(Director), 책임 에이전트(Responsible Agent). 각 에이전트는 대화적 책임을 기술하는 역할 특화 프롬프트로 인스턴스화된다.
디렉터는 에이전트 수준의 출력을 단일 사용자 대면 응답으로 합성하는 역할을 담당하며, 책임 에이전트는 지속적인 안전 감사를 수행한다. 두 감독 역할 모두 구조적 일관성과 감정적 적절성을 보장하기 위해 매 대화 턴마다 활성화된다.
에이전트 활성화는 프롬프트 기반 컨트롤러에 의해 조정되며, 현재 사용자 발화와 최근 에이전트 출력에 기반하여 콘텐츠 생성 에이전트의 하위 집합을 동적으로 선택한다. 명시적 그래프 구조에 의존하기보다, 조정 로직은 컨트롤러 프롬프트 내 사전 정의된 전환 규칙으로 인코딩된다. 예를 들어 감정적 고통의 표현은 우선적으로 공감자를 활성화하고, 행동 지향적 내용은 계획자와 동기부여자를 트리거할 수 있다.
각 사용자 발화는 최대 3개의 선행 발화와 최근 에이전트 응답으로 구성된 제한된 컨텍스트 윈도우를 사용하여 맥락화된다. 컨텍스트 윈도우는 관련성을 유지하고 중복을 줄이기 위해 역할별로 선택적으로 필터링된다. 에이전트 출력은 턴 간 에이전트 간 컨텍스트 전파를 지원하는 공유 메모리에 기록된다. 에이전트 수준 추론 후, 디렉터가 단일 응답을 합성하며, 이는 시스템 출력으로 반환되기 전에 책임 에이전트의 검토를 거친다.
모든 시뮬레이션은 Apple M2 시스템(macOS 24.1, 11코어 CPU, 18GB RAM)에서 GPT-3.5-turbo와 GPT-4-turbo를 사용하여 실행되었다.
D. 평가 프레임워크
시스템은 임상 검증이 아닌 시스템 수준 분석을 위해 설계된 확장 가능한 프록시 기반 평가 프레임워크로 평가되었다.
첫째, GPT-4-turbo를 사용한 루브릭 기반 채점 절차로 공감, 유용성, 일관성, 적절성, 역할 정렬의 5개 차원에서 에이전트 응답을 평가했다. 각 차원은 5점 리커트 척도로 채점되었으며, 평가 루브릭은 CARE와 동기면담(Motivational Interviewing) 등 확립된 커뮤니케이션 프레임워크를 참고했다.
둘째, GPT-3.5-turbo를 사용한 제로샷 분류 파이프라인으로 치료적 의도(therapeutic intent)를 분석했다. 각 응답을 확인(validation), 격려(encouragement), 반영(reflection), 심리교육(psychoeducation) 등 12개 의도 유형 중 하나로 분류했다.
셋째, 단어 수와 유형-토큰 비율(TTR) 메트릭으로 언어적 다양성을 평가하여 서로 다른 에이전트 역할이 비중복적 언어 패턴을 기여하는지 검토했다.
III. 결과
A. 데이터의 기술적 특성
7명의 참여자(ID: 300, 319, 361, 396, 446, 480, 492) 전체에서 사용자 발화 수는 75~221개 범위였으며, 세션 총 길이는 118~295개 발화에 이르렀다. 참여자 생성 발언은 총 대화 턴의 약 60~75%를 차지했다. 평균 발화 길이는 참여자 361이 17.36 토큰으로 가장 길었고, 참여자 300이 4.05 토큰으로 가장 짧아, 이질적인 표현 스타일을 보여주었다.
B. 에이전트 활성화 패턴과 에이전트 간 조정
디렉터와 책임 에이전트가 가장 빈번하게 활성화되었다(각 N=1,370). 이는 매 대화 턴에서의 고정 감독 역할을 반영한다. 반면 콘텐츠 생성 에이전트인 공감자, 동기부여자, 계획자는 사용자 입력과 진행 중인 대화 맥락에 따라 선택적으로 활성화되었다. 인지 재구성자는 다른 콘텐츠 에이전트보다 덜 빈번하게 호출되었는데, 이는 명시적 인지 재구성이 이 샘플의 대부분의 사용자 발화에 대해 우선시되지 않았음을 나타낸다.
에이전트 간 전환 패턴을 분석한 결과, 콘텐츠 생성 에이전트의 출력은 가장 빈번하게 디렉터 응답으로 전환되었으며, 특히 책임 에이전트에서의 전환이 663회로 구조화된 에이전트 간 체이닝을 보여주었다.
C. 계산 효율성과 자원 사용
디렉터가 가장 높은 평균 지연시간(약 3.5초)을 보였는데, 이는 합성 기능과 매 대화 턴에서의 빈번한 호출에 부합한다. 디렉터 응답은 높은 지연시간에도 비교적 간결했으며, 이는 장황한 출력이 아닌 조정과 요약에 초점을 맞추고 있음을 나타낸다.
반면 공감자와 동기부여자 같은 정서 지향 에이전트는 더 높은 토큰 수로 더 긴 응답을 생성했지만 평균 지연시간은 더 낮았다. 계획자와 인지 재구성자를 포함한 절차적 에이전트는 낮은 지연시간과 낮은 토큰 사용량을 모두 보여, 고빈도 또는 자원 제한 환경에의 적합성을 시사했다.
D. 에이전트 역할별 언어적 다양성
인지 재구성자가 가장 높은 TTR(0.24)을 나타내어 재구성 지향 기능에 부합하는 높은 어휘적 변이를 보였다. 반면 감독 역할은 가장 낮은 다양성(디렉터: 0.07, 책임 에이전트: 0.08)을 보였고, 공감자(0.13), 동기부여자(0.15), 계획자(0.14)는 중간 수준의 어휘적 변이를 나타냈다.
E. 구조화된 정성적 및 의도 수준 평가
50개 생성 응답의 계층화된 하위 표본에 대해 루브릭 기반 채점과 의도 분류를 수행했다. 모든 에이전트 역할에서 일관성과 역할 정렬 점수가 일관되게 높았다(평균 5.00). 공감자가 가장 높은 평균 공감 점수(4.80)를 달성한 반면, 계획자와 책임 에이전트 같은 절차적 역할은 각각 3.60, 3.86으로 낮은 공감 점수를 보였다.
치료적 의도 분류에서 가장 빈번한 의도는 심리교육(34.0%), 임파워먼트(20.0%), 격려(14.0%)였으며, 정보 제공과 동기부여 전략에 대한 강조를 반영했다. 확인(8.0%), 반영(4.0%), 대처 제안(4.0%), 인지 재구성(6.0%) 같은 덜 빈번하지만 기능적으로 중요한 의도들은 감정적으로 복잡한 사용자 입력과 관련된 응답에서 나타났다. 12개 의도 범주 모두 최소 1회 이상 관찰되어, 사전 정의된 의도 공간의 완전한 커버리지를 보여주었다.
IV. 논의
본 연구는 역할 오케스트레이션 멀티에이전트 프롬프팅이 단순한 단일 에이전트 또는 느슨하게 조정된 멀티에이전트 접근법을 넘어, 안전에 민감한 대화 모델링을 위한 실행 가능한 설계 패러다임이 될 수 있다는 시스템 수준의 증거를 제공한다.
핵심적 통찰은 에이전트 역할 간 명확한 기능적 분화의 출현이다. 정서 지향 에이전트는 주로 공감적 언어를, 절차적 에이전트는 계획과 합성을 강조했다. 이러한 프롬프트 명세와 생성 행동 사이의 정렬은 명시적 역할 조건화가 대화 기능을 신뢰성 있게 제한할 수 있음을 시사한다. 동시에 정서적 역량이 주로 단일 에이전트에 집중되어, 감정적 추론이 시스템 전체에 통합되기보다 구획화되어 있다는 한계도 드러났다.
의도 수준 분석은 정보적·동기부여적 의도의 지배가 해결 지향적 응답을 선호하는 보수적 컨트롤러 행동을 반영함을 보여준다. 이러한 행동은 코칭 스타일 상호작용에는 적절할 수 있지만, 더 깊은 정서적 개입이 필요할 때 반영적이거나 감정적으로 지지하는 전략이 과소대표될 위험이 있다.
프롬프트 설계가 에이전트 간 조정의 핵심 결정요인으로 부상했다. 일반적 응답 지침에 의존한 초기 구성은 최소한의 에이전트 간 의존성으로 분절된 대화를 생산했다. 그러나 에이전트에게 이전 동료 출력을 참조하도록 명시적으로 지시하자 구조화된 체이닝과 향상된 일관성이 가능해졌다.
안전 고려사항은 사후 필터링이 아닌 아키텍처 수준에서 다루어진다. 전담 책임 에이전트의 지속적 포함과 공감 중심 역할의 조건부 활성화는 대화 전반에 걸쳐 어조, 감정적 위험, 윤리적 적절성을 모니터링하는 구조적 안전장치를 구성한다.
본 연구의 한계로는 전적으로 시뮬레이션 환경에서 운영되며 인간 판단이 아닌 프록시 기반 평가에 의존한다는 점, 에이전트 간 대화 조정이 대화적이기보다 순차적이라는 점, 컨텍스트 필터링이 정서적으로 유의미한 짧은 발화를 누락시킬 수 있다는 점이 있다.
V. 결론
본 연구는 명시적 안전성과 해석 가능성 제약 하에서 지지적 행동건강 커뮤니케이션을 분석하기 위한 모델링 접근법으로 역할 오케스트레이션 멀티에이전트 LLM 프레임워크를 제시한다. 특화된 역할과 감독적 감시를 중심으로 대화 생성을 구조화함으로써, 민감한 응용 맥락에서 단일 대화 에이전트에 대한 제어 가능하고 검사 가능한 대안을 제공한다. 향후 연구에서는 적응적 오케스트레이션 전략, 더 풍부한 에이전트 간 상호작용 패턴, 인간 참여 평가(human-in-the-loop evaluation)를 탐구하여 시스템 행동과 적용 가능성을 더욱 정제할 예정이다.