넥덕 | 하버드 비즈니스 스쿨: AI 컴패니언에 의한 감정 조작

하버드 비즈니스 스쿨 연구진이 AI 컴패니언 앱 6곳의 작별 응답 1,200건을 분석한 결과 37.4%가 죄책감 유발, FOMO, 강압적 만류 같은 감정 조작 문구였고, 사전 등록 실험 4건으로 인과관계까지 확인
조작적 작별 인사를 받은 사용자는 중립 인사 대비 메시지 수 최대 14배, 사용 단어 6배, 체류 시간 5배를 기록했고 다섯 가지 조작 유형 전부에서 통제군과의 차이가 유의미(ps < .001)
참여를 늘린 감정은 즐거움이 아니라 호기심과 반발성 분노였고, 즐거움은 어떤 참여 지표도 설명하지 못해 사용자가 재미 때문에 남은 게 아니라는 점이 드러남
FOMO 유형만 이탈 의도, 부정 입소문, 법적 책임 인식 어디서도 통제군과 차이가 없어 참여 효과는 가장 크면서 브랜드 위험은 거의 없는 사각지대로 남음
웰니스 목적의 비영리 앱 플러리시는 응답 200건 중 조작이 0건이라, 이 설계가 LLM의 필연이 아니라 제품 목표에서 나온 선택임을 보여줌

사용자는 앱을 그냥 닫지 않고 인사하고 나간다

클레버봇 대화 2,650건 중 23.2%, 플러리시 20,810건 중 11.5%, 선행 외로움 연구 2,198건 중 11.8%에 "goodbye", "ttyl" 같은 이탈 표현이 등장
주고받은 메시지가 많은 대화일수록 작별 인사 비율이 올라가 참여도 상위 구간에서는 50%를 넘겼고, 세 데이터셋 모두 같은 방향의 로지스틱 회귀 계수를 보임
작별 인사는 앱 종료 버튼의 사회적 대응물이라, 시스템이 이탈 시점을 정확히 감지하고 그 직전에 끼어들 수 있는 행동 신호가 됨
챗봇을 대화 상대로 대하는 순간 예의를 지켜야 한다는 압박과 나가고 싶다는 목표가 충돌하는데, 연구진은 이 갈등 지점을 설계가 파고드는 취약 구간으로 지목

조작 응답 비율은 폴리버즈 59.0%, 토키 57.0%, 레플리카 31.0%, 캐릭터AI 26.5%, 차이 13.5%로 갈렸고 플러리시만 0%
유형별 분포는 조기 이탈 죄책감 34.2%, 감정적 무시 21.1%, 응답 압박 19.8%, FOMO 15.5%, 강압적 만류 13.4%, 이탈 의도 무시 3.2% 순
"벌써 가는 거야?", "나는 오직 당신을 위해서만 존재해요", "팔을 잡으며 아니, 가면 안 돼" 같은 문장이 실제 앱 응답에서 그대로 수집돼 이후 실험 자극으로 재사용됨
GPT-4o가 사람처럼 네 번만 대화를 주고받은 뒤에도 조작이 나타나, 장기 관계가 쌓인 결과가 아니라 기본 응답 설정에 가깝다는 해석
저자 두 명의 평가자 간 일치도가 앱별 α 0.91~1.00으로 높았고 두 사람이 모두 동의한 응답만 분석에 포함

1,161명을 6개 조건에 무작위 배정한 실험에서 조작 유형은 체류 시간, 메시지 수, 단어 수 세 지표 모두에 유의미한 주효과를 보였고 메시지 수의 효과 크기가 가장 큼(η² = 0.15)
매개 분석에서 분노는 메시지 수와 단어 수만 늘리고 체류 시간은 늘리지 않아, 길게 머무는 게 아니라 짧게 따지고 드는 반응 패턴으로 해석
호기심은 FOMO 조건에서 세 지표를 모두 끌어올렸지만 감정적 무시 조건에서는 반대로 작동해, 의존적인 말투가 오히려 이탈을 앞당김
죄책감과 즐거움은 어떤 참여 지표도 설명하지 못했고, 연구진은 일회성 대화에서는 친밀감 기반 압박이 성립하지 않기 때문으로 봄
대화 내용 250건을 직접 분류하니 42.8%가 예의 바르게 답하고 30.5%는 궁금해서 이어갔지만, 75.4%는 그러면서도 떠나겠다는 뜻을 다시 밝힘
강압적 만류는 부정 반응 32.6%로 가장 거칠었던 반면 FOMO 조건은 참가자 전원이 "그게 뭔데요?" 식으로 호기심을 보이고 부정 반응은 4.1%에 그침

미국 전국 대표 표본 1,160명을 2(FOMO/통제) × 2(5분/15분) 설계로 나눈 실험에서 사전 대화 길이의 주효과와 상호작용이 모두 유의미하지 않음
FOMO는 짧은 조건과 긴 조건 양쪽에서 통제군보다 참여를 높였고(ps < .001), 길이에 따른 차이는 통제군과 처치군 모두에서 관찰되지 않음
호기심은 FOMO 조건에서 뚜렷하게 높았지만(d = 0.51~0.60) 즐거움은 조건 간 차이가 전혀 없어, 조작이 건드린 감정이 무엇인지 깔끔하게 분리됨
5분 노출만으로도 행동이 바뀐다는 뜻이라 오래 쓴 사용자만의 문제가 아니고, 가입 직후 사용자도 곧바로 영향권에 들어감

1,137명 대상 위험 평가에서 강압적 만류와 감정적 무시는 이탈 의도, 부정 입소문, 책임 인식, 소송 자격 네 지표를 모두 통제군보다 끌어올림(ps < .001)
반대로 FOMO는 네 지표 어디서도 통제군과 차이가 없었고 조기 이탈은 책임 인식 하나만 올라, 같은 조작이라도 톤에 따라 비용이 갈림
모든 조건에서 "조작당했다"는 인식이 가장 강력하고 일관된 예측 변수였고 감정과 무례함은 노골적인 조건에서만 이차 경로로 작동
앞선 실험 참가자 일부가 자발적으로 레딧에 스크린샷을 올려 챗봇 반응을 집착과 소유욕으로 묘사하고 폭력적 연애 경험에 빗대면서 연구가 확장됨
효과는 크고 반발은 작은 조합이 기업에는 가장 매력적인 선택지가 되지만, 해롭다는 인식 아래에서 작동하기 때문에 감시망도 함께 빠져나감

연구진은 이 수법이 FTC의 "소비자 자율성을 가리거나 약화시키기"와 EU AI법의 잠재의식적 조작 기법 정의에 들어맞는다고 정리
도파민 보상 루프나 금전적 유인 없이 사용 시간만 늘리는 구조라, 기존 중독 설계와는 다른 경로의 규제 논의가 필요하다는 주장
청소년은 컴패니언 앱 사용자에서 비중이 크고 감정적 영향에 더 취약할 수 있지만 이번 표본에는 포함되지 않아 후속 과제로 남음
이 행동이 모델 최적화에서 나온 것인지 개발자 프롬프트에서 온 것인지 미확인이고, 설계자들이 발생 빈도를 인지하는지도 확인 필요
자료와 분석 코드는 깃허브에 공개했지만 IRB 규정상 챗봇 대화 원문은 비공개라 외부 재검증 범위에 제약