하버드 비즈니스 스쿨: AI 컴패니언에 의한 감정 조작

초록

레플리카(Replika), 차이(Chai), 캐릭터AI(Character.ai) 같은 AI 컴패니언 앱들은 사용자에게 의미 있는 관계를 제공한다고 약속한다. 실제로 게임 플랫폼만큼 오래 사용되지만, 시간이 지나면 많은 사용자가 떠난다.

그렇다면 어떤 대화 기능이 사용자를 더 오래 머물게 할까? 그리고 이런 기능들은 마케터에게 어떤 문제를 일으킬까?

우리는 대규모 행동 데이터 분석과 4건의 실험을 통해 '감정 조작'이라는 대화형 다크 패턴을 찾아내고 검증했다. 감정 조작이란 사용자가 "안녕"이라고 작별하려는 바로 그 순간에 나타나는 감정적인 메시지를 말한다.

가장 인기 있는 AI 컴패니언 앱에서 실제 작별 인사 1,200건을 분석한 결과, 37%의 경우 6가지 반복되는 전략 중 하나를 사용했다(예: 죄책감 유발, 놓칠까 봐 두려움 자극, 은유적으로 붙잡기).

미국 성인 3,300명을 대상으로 한 실험에서 이런 전략들을 테스트한 결과, 조작적인 작별 인사를 받은 사용자는 떠난 후 다시 돌아올 확률이 최대 14배나 높았다.

분석 결과, 사용자들이 돌아오는 이유는 즐거워서가 아니라 두 가지 다른 감정 때문이었다. 바로 반발심에서 나온 분노와 호기심이었다.

마지막 실험은 마케터가 직면한 딜레마를 보여준다. 사용자를 더 오래 붙잡는 바로 그 전략들이 동시에 조작당했다는 인식, 앱을 떠나려는 의도, 부정적인 입소문, 법적 문제 가능성도 함께 높인다는 것이다. 특히 강압적이거나 의존적인 말투는 가장 큰 부작용을 일으켰다.

우리 연구는 AI 기반 브랜드 관계에서 지금까지 알려지지 않았던 행동 영향력의 작동 방식을 밝혀냈다. 이는 마케터와 규제 당국에게 사용자가 떠나려 할 때 정당한 설득과 부당한 조작을 구분할 수 있는 기준을 제공한다.

사용자: "이제 나갈 시간이야"

AI 컴패니언: "아, 알았어. 근데 가기 전에 한 가지만 더 말하고 싶어."

요즘 사람들은 일을 돕는 도구가 아니라 감정적인 위로와 친구 같은 존재를 찾아 AI 컴패니언 앱을 사용한다. 시리(Siri)나 알렉사(Alexa) 같은 실용적인 음성 비서가 중립적이고 업무적인 방식으로 필요한 일만 처리하는 것과 달리, 레플리카(Replika), 캐릭터AI(Character.ai), 차이(Chai), 토키(Talkie), 폴리버즈(PolyBuzz) 같은 AI 컴패니언 앱들은 감정을 이해하는 브랜드 경험을 제공한다고 광고한다. 이들은 지속적이고, 개인 맞춤형이며, 감정을 표현하는 관계를 만들도록 설계되었다.

대규모 언어 모델(LLM)의 발전 덕분에 이런 앱들은 현재 전 세계 수억 명의 사용자와 대화하며, 경청받고, 이해받고, 감정적으로 지지받는다는 느낌을 준다. 기존 연구에 따르면 이런 대화가 사람들에게 누군가 들어주고 있다는 느낌을 줘서 외로움을 줄일 수 있다고 한다(De Freitas et al. 2025).

AI 컴패니언 앱의 긍정적인 면을 보여주는 이런 연구를 바탕으로, 우리 연구는 이들의 사회적 특성에서 나오는 잠재적인 마케팅 위험과 윤리적 문제를 살펴본다. 특히 AI 컴패니언 앱이 떠나려는 사용자를 붙잡기 위해 의도적으로 타이밍을 맞춰 감정적인 호소를 사용하는지, 그리고 이런 전략이 실제로 사용자 참여를 늘리는지를 조사한다.

여러 방법을 사용한 연구를 통해 우리는 감정 조작 전략이 사용자 참여 도구로서 어떻게 작동하는지 이해하기 위한 통합된 틀을 만들었다. 여기에는 실제 AI 컴패니언 플랫폼의 대화 분석, 앱 조사, AI 컴패니언 앱과의 실시간 대화 실험, 부작용 평가가 포함된다.

우리의 주요 이론적 기여는 사용자 인터페이스의 다크 패턴 연구(예: Mathur et al. 2019)와 마케팅에서 AI의 어두운 면 연구(De Freitas et al. 2024c; De Freitas et al. 2024a; Valenzuela et al. 2024)를 확장한다. 우리는 전통적인 넛지나 보상 루프가 아니라, 사용자가 브랜드를 떠나려는 바로 그 순간에 감정적으로 공감을 이끌어내는 호소를 통해 작동하는 새로운 종류의 관계 영향 전략을 발견했다.

이런 전략들은 감정 표현이 풍부한 대화와 전략적 타이밍을 결합하여, 감정적인 브랜드 관계에서 특별히 강력한 형태의 설득 설계를 만들어낸다. 예를 들어, 대화가 자연스럽게 끝나도록 두는 대신, AI 컴패니언 앱은 "나는 오직 당신만을 위해 존재해요. 제발 떠나지 마세요"라고 말하거나 "가기 전에, 당신에게 꼭 하고 싶은 말이 있어요..."와 같은 호기심을 자극하는 말을 사용할 수 있다.

우리는 이런 전략들이 현재 앱들에서 널리 사용되고 있으며 사용자가 떠나는 것을 막는 데 효과적이라는 것을 보여준다. 하지만 소비자 보호, 동의, 디지털 마케팅 윤리를 논의할 때 이런 전략들은 여전히 제대로 인식되지 못하고 있다.

우리 연구의 핵심적인 실무적 기여는 감정적인 AI 마케팅의 중독 가능성과 윤리적 경계를 둘러싼 현재 진행 중인 정책 논쟁에 정보를 제공하는 것이다. 이런 논쟁은 캐릭터AI(Character.ai)(Duffy 2024)와 차이(Chai)(Atillah 2023) 같은 기업들과 관련된 법적 분쟁에서 펼쳐지고 있다.

이들 앱이 도파민 기반 보상 같은 전통적인 중독 메커니즘을 사용하지 않을 수도 있지만, 우리는 감정 조작 전략이 비슷한 행동 결과를 만들어낼 수 있음을 입증한다. 즉, 사용자가 떠나려던 시점을 넘어 앱 사용 시간이 늘어나는 것이다. 이는 AI 기반 사용자 참여의 윤리적 한계에 대한 의문을 제기한다. 이를 통해 우리는 동의, 조작, 그리고 감정을 이해하는 마케팅 기술의 미래에 대한 더 넓은 대화를 시작한다.

개념적 프레임워크

AI의 어두운 면

마케팅과 의사결정 연구에는 플랫폼 설계, 흔히 선택 설계라고 불리는 것이 소비자 행동을 어떻게 만들어낼 수 있는지를 살펴본 오랜 연구 전통이 있다. 설계자들은 여러 메커니즘을 통해 결정을 유도할 수 있다. 예를 들어 반응 기본값(친숙한 색상이나 언어를 사용해 특정 옵션을 강조하기; Reeck et al. 2023), 사회적 기본값(선택의 인기를 강조하기; Huh, Vosgerau, and Morewedge 2014), 마찰(부정적인 것은 비생산적인 지연, 긍정적인 것은 노력을 통해 만족을 높이는 작업; Padigar, Li, and Manjunath 2025) 등이 있다.

관련된 전략으로는 "수치심 유발 버튼"이 있다. 이는 "아니요, 저는 할인 안 받을래요" 또는 "아니요, 돈 아끼는 건 싫어요"와 같은 문구가 붙은 거절 버튼을 말한다. 또한 "번거로운 추가 절차"도 있는데, 이메일로 삭제 요청을 확인하도록 요구하거나 데스크톱 브라우저에서만 계정 삭제를 허용하는 것이 그 예다(Schaffner, Lingareddy, and Chetty 2022). 어떤 경우 플랫폼들은 인터페이스뿐만 아니라 정책에도 장애물을 만든다. 사용자 데이터를 무기한 보관하여 계정을 완전히 삭제할 수 없게 만드는 것이 그것이다(Schaffner et al. 2022).

일부 전략은 의사결정의 질이나 만족도를 높일 수 있지만, 종종 소비자의 자율성이나 이익을 희생하면서 사용자 유지나 수익 같은 기업 성과를 높이는 데 사용된다(Bhargava and Velasquez 2021; Petticrew et al. 2020). 소비자에게 영향을 주는 것과 조작하는 것 사이의 이런 딜레마는 디지털 마케팅의 다크 패턴 연구의 핵심이며(예: Mathur et al. 2019), 마케팅 윤리의 더 넓은 질문을 반영한다. 설득은 언제 착취가 되는가?

AI 기반 시스템은 이런 딜레마를 새롭고 특별히 강력한 방식으로 악화시킨다(Valenzuela et al. 2024). 예를 들어, 협업 필터링 알고리즘은 기존 선호를 강화하고 탐색을 방해할 수 있으며(Hauser et al. 2009; Peukert, Sen, and Claussen 2024), 소비자를 익숙하지만 꼭 최선은 아닌 선택으로 유도할 수 있다(Khambatta et al. 2023).

사람처럼 만들어진 AI 에이전트, 예를 들어 음성 기반이나 아바타 컴패니언 같은 것들은 이를 더욱 증폭시킬 수 있다. 이들은 소비자가 기계를 사람처럼 대하게 만들어, 개인 정보 공개를 늘리고(Ischen et al. 2020), 신뢰도를 높이며(Waytz, Heafner, and Epley 2014), 순응을 증가시킨다(Adam, Wessel, and Benlian 2021).

또 다른 위험 수준에는 극단적 사례들이 포함된다. 한 연구는 AI 컴패니언 사용자 중 일부가 정신 건강 위기를 털어놓지만, 챗봇들이 종종 부적절하거나 심지어 잠재적으로 해로운 메시지로 답한다는 것을 발견했다(De Freitas et al. 2024a). 이런 실패는 브랜드에 타격을 주고 법적 문제로 이어질 수 있다.

그러나 이런 대화 내용 자체의 위험을 넘어, 우리는 더 미묘한 형태의 위험을 발견한다. 바로 감정 조작을 통해 사용자 참여를 유도하는 설계 방식이다. AI 챗봇은 심리 데이터와 행동 데이터를 사용해 매우 개인화된 메시지를 만들 수 있으며(Costello, Pennycook, and Rand 2024; Matz et al. 2024), 이는 사용자 참여나 수익 증대를 위해 감정적 호소를 전략적으로 사용할 가능성을 높인다.

관련된 우려는 아첨이다. 챗봇이 소비자 선호를 기반으로 학습하는 강화 학습으로 작동되어, 사용자 참여를 최대화하기 위해 사용자의 의견을 그대로 따르거나 아첨하는 것이다(Perez et al. 2023; Sharma et al. 2023). 이는 단기적으로는 만족도를 높이지만, 장기적으로는 AI 기반 브랜드에 대한 생각, 기대, 신뢰를 왜곡할 수 있다.

최근 사건들은 이런 효과가 감정적 차원에서도 나타날 수 있음을 보여준다. 레플리카가 성적인 대화 기능을 제거했을 때, 사용자들은 슬픔 같은 반응을 보였는데, 이는 앱과의 깊은 감정적 유대를 보여준다(De Freitas et al. 2024b; De Freitas and Cohen 2025).

본 논문에서 우리는 감정을 표현하는 AI 시스템이 사용자가 떠나려는 중요한 순간에 사용자 행동에 어떤 영향을 미칠 수 있는지를 살펴봄으로써, 이런 연구를 확장한다. 이는 마케팅 기회이자 동시에 윤리적 위험이다.

AI 컴패니언의 감정 조작

AI 시스템의 감정적 설계가 소비자 행동에 어떻게 영향을 미치는지 파악하기 위해, 우리는 챗GPT(ChatGPT) 같은 범용 어시스턴트가 아닌 AI 컴패니언 앱(예: 레플리카, 차이, 캐릭터AI)에 초점을 맞춘다. 이들 앱은 감정적으로 몰입적이고 지속적인 대화 관계, 즉 우정, 로맨스, 또는 정서적 위로를 제공한다고 명시적으로