주요 AI 모델들, '슬레이 더 스파이어' 최고 난이도에 도전했다가 지나친 신중함으로 전부 패배
뉴스
- 캐나다 벡터 연구소와 네덜란드 라드바우드 대학교 연구진, 논문 공개 플랫폼 아카이브에 '슬레이 더 스파이어'로 AI의 장기 전략 능력을 평가한 연구 '스파이어벤치' 발표
- 대규모 언어 모델 20종이 아이언클래드 캐릭터와 최고 추론 단계로 A20 난이도의 같은 시드 10개에 도전, 200판 중 심장 보스 클리어는 GPT-5.6 솔의 단 1회
- 평균 돌파 단계 상위 4개 모델: 클로드 페이블 5.1(1.6), GPT-6 아스트라(1.5), 클로드 오퍼스 5(1.3), GPT-5.6 솔(1.1), 인간 평균은 넘었으나 고수와는 큰 격차
- 핵심 패인은 지나친 신중함, 1막 엘리트 전투는 AI 평균 0.9-1.4회 대 고수 스트리머 2.6회, 모닥불 회복 선택은 AI 57-75% 대 고수 9%
- 카드 보상 건너뛰기도 AI 3~13%, 인간 23%로 덱이 불어나 1막 보스전 시점 덱 평균은 AI 19.3장, 인간 16.8장
- 1막 클리어율은 상위 모델 90%로 고수 85-92%와 비슷했으나 3막에서 0-20%로 급락, 심장 단계에서 사실상 전멸, 고수는 46~65% 유지
- 판 사이 기억 저장 실험에서 기억의 17%가 사실 오류, '신중하게' 조언 119건 대 '모험하라' 17건으로 소심함이 쌓이는 악순환, 클로드 페이블 5.1은 한 판에 평균 61달러 소요
이 소식은 유옌서의 보도를 요약한 것입니다.
원문 보기
