[종합] 게임을 위한 AI는 다르다, 크래프톤이 주목한 '3개의 전선' | 웹진 인벤
이강욱 크래프톤 CAIO(최고인공지능책임자)가 세계 최고 권위의 머신러닝 학회에서 게임 AI의 어젠다를 제시했다. 그가 제시한 어젠다는 게임 속에서 플레이어와 협력하고 경쟁하는 인게임 AI 에이전트, 게임 엔진의 역할까지 넘보는 인터랙티브 월드모델, 그리고 게임 제작 파이프라인을 바꾸는 프로덕션 AI다.
발표는 크래프톤이 월드모델 개발사 오디세이(Odyssey)와 함께 6일 저녁 서울 코엑스에서 개최한 국제머신러닝학회(ICML 2026) 공식 소셜 행사 'AI for Games'에서 진행됐다. 오는 11일까지 코엑스에서 열리는 ICML 2026은 논문 제출 2만 3918편, 참가자 약 1만 5000명 규모의 역대 최대 대회다.
크래프톤 이강욱 CAIO ©INVEN
이 CAIO는 이날 행사의 기획자이자 진행자로 나섰다. 연사로 피터 스톤 소니 AI 최고과학책임자(텍사스대 오스틴 교수), 루카스 셰퍼 마이크로소프트 리서치 연구원, 김민재 NC AI CTO, 예니 자이덴슈바르츠 오디세이 연구원, 박정수 엔비디아 엔지니어가 참석했다. 이들은 "인간 챔피언을 꺾는 AI는 이미 등장했는데, 과연 그 AI가 게임을 '재미있게' 만들 수 있는가"를 주제로 논의를 이어갔다.
이 CAIO는 오프닝에서 이번 행사를 기획한 이유부터 밝혔다. 그는 "지금 우리는 수많은 흥미로운 연구 돌파구를 목격하고 있고, 그 돌파구들이 실제 게임으로 옮겨가는 것을 보고 있다"며 "이 분야에서 일하고 싶은 사람들에게는 지금이 바로 적기"라고 말했다.
발표는 크래프톤이 월드모델 개발사 오디세이(Odyssey)와 함께 6일 저녁 서울 코엑스에서 개최한 국제머신러닝학회(ICML 2026) 공식 소셜 행사 'AI for Games'에서 진행됐다. 오는 11일까지 코엑스에서 열리는 ICML 2026은 논문 제출 2만 3918편, 참가자 약 1만 5000명 규모의 역대 최대 대회다.
크래프톤 이강욱 CAIO ©INVEN
이 CAIO는 이날 행사의 기획자이자 진행자로 나섰다. 연사로 피터 스톤 소니 AI 최고과학책임자(텍사스대 오스틴 교수), 루카스 셰퍼 마이크로소프트 리서치 연구원, 김민재 NC AI CTO, 예니 자이덴슈바르츠 오디세이 연구원, 박정수 엔비디아 엔지니어가 참석했다. 이들은 "인간 챔피언을 꺾는 AI는 이미 등장했는데, 과연 그 AI가 게임을 '재미있게' 만들 수 있는가"를 주제로 논의를 이어갔다.
이 CAIO는 오프닝에서 이번 행사를 기획한 이유부터 밝혔다. 그는 "지금 우리는 수많은 흥미로운 연구 돌파구를 목격하고 있고, 그 돌파구들이 실제 게임으로 옮겨가는 것을 보고 있다"며 "이 분야에서 일하고 싶은 사람들에게는 지금이 바로 적기"라고 말했다.
©INVEN
그는 세 가지 전선을 설명하며 각각 뚜렷한 문제의식을 드러냈다. 에이전트에 대해서는 "게임에는 오래전부터 NPC라는 캐릭터가 있었지만, 이제는 진짜 AI 에이전트를 게임에 넣어 훨씬 몰입감 있는 경험을 만들려는 시도가 이어지고 있다"고 짚었다.
월드모델에 대해서는 열린 전망을 내놨다. "우리는 지금까지 물리 엔진과 그래픽 렌더링으로 게임을 만들어 왔는데, 영상을 생성하는 월드모델이 장기적으로 게임 엔진을 대체할 수도 있고, 누가 알겠나, 게임 엔진과 월드모델을 함께 쓰며 게임을 만들게 될 수도 있다"는 것이다.
프로덕션 문제는 더욱 강조했다. 그는 "뛰어난 창작 역량이 있어도 지금의 파이프라인으로는 게임 하나에 4~5년의 시간과 막대한 비용이 든다"며 "곧 나올 GTA 6도 만드는 데 그토록 오랜 시간과 비용이 들었다. AI 에이전트가 게임을 훨씬 효율적으로 만들도록 도와주길 바란다"고 말했다.
그는 세 가지 전선을 설명하며 각각 뚜렷한 문제의식을 드러냈다. 에이전트에 대해서는 "게임에는 오래전부터 NPC라는 캐릭터가 있었지만, 이제는 진짜 AI 에이전트를 게임에 넣어 훨씬 몰입감 있는 경험을 만들려는 시도가 이어지고 있다"고 짚었다.
월드모델에 대해서는 열린 전망을 내놨다. "우리는 지금까지 물리 엔진과 그래픽 렌더링으로 게임을 만들어 왔는데, 영상을 생성하는 월드모델이 장기적으로 게임 엔진을 대체할 수도 있고, 누가 알겠나, 게임 엔진과 월드모델을 함께 쓰며 게임을 만들게 될 수도 있다"는 것이다.
프로덕션 문제는 더욱 강조했다. 그는 "뛰어난 창작 역량이 있어도 지금의 파이프라인으로는 게임 하나에 4~5년의 시간과 막대한 비용이 든다"며 "곧 나올 GTA 6도 만드는 데 그토록 오랜 시간과 비용이 들었다. AI 에이전트가 게임을 훨씬 효율적으로 만들도록 도와주길 바란다"고 말했다.
©INVEN
크래프톤의 현주소도 공개했다. 이 CAIO는 크래프톤 AI 연구 조직이 약 150명 규모로 게임 분야에서는 세계적으로 가장 큰 그룹 중 하나라고 소개한 뒤, 최근 출시한 첫 대형 AI 제품으로 배틀그라운드의 'PUBG 엘라이'를 들었다.
그는 엘라이를 "말을 걸고 팀을 이뤄 함께 플레이하는 인게임 AI 에이전트"라고 소개하며 "지연 시간(latency)이 매우 짧아 거의 진짜 친구처럼 느껴진다. 전투 상황을 놓고 대화하며 무엇을 할지 함께 정할 수 있고, 원하는 행동을 요청할 수도 있다"고 설명했다. 이어 "약 2주간의 베타 테스트에서 많은 데이터를 수집했고, 이를 바탕으로 모델을 더 학습시킬 것"이라며 현장에 함께한 팀원들에게 공을 돌렸다.
피터 스톤(Peter Stone) 소니 AI 최고과학책임자(텍사스대 오스틴 교수) ©INVEN
첫 연사로 나선 피터 스톤 교수는 소니 AI의 'GT 소피(GT Sophy)' 5년사를 압축해 전했다. GT 소피는 2022년 2월 네이처 표지를 장식한 강화학습 에이전트로, 체스·바둑·포커 같은 턴제 게임이 아닌 실시간 제어 과제에서 인간 챔피언을 꺾은 최초의 AI다.
무대가 된 '그란 투리스모'는 프로 드라이버가 실제 차량과 시뮬레이터에서 같은 트랙을 달렸을 때 랩타임 차이가 0.1초 이내일 만큼 정밀한 시뮬레이션이다. GT 소피는 무작위로 가속 페달을 밟고 트랙을 거꾸로 달리는 수준에서 출발해, 플레이스테이션을 묶은 학습 환경에서 하루 만에 최고 수준 인간보다 빠른 랩타임을 냈고 일주일 만에 세계 최정상 드라이버 4인과의 맞대결에서 승리했다. 앞차의 공기저항 뒤에 붙었다가 가속해 추월하는 슬립스트림 패스, 가장 빠른 주행선 대신 추월을 막는 수비 라인 선택 같은 기술을 스스로 익혔다.
2023년 가을 GT 소피는 PS5용 그란 투리스모에 정식 탑재됐고, 스톤 교수는 이를 엔드투엔드 강화학습 에이전트로는 세계 최대 규모의 상용 배포라고 소개했다. 연구 성과가 논문에 머물지 않고 수백만 이용자가 맞붙는 게임 콘텐츠가 된 것이다.
그는 지난주 공개한 신작 연구도 소개했다. '호라이즌 포비든 웨스트'에 적용한 '코칭 가능한 에이전트'로, 단일 강화학습 정책 하나가 원거리 사격·근접전 등 다양한 플레이 스타일을 소화하며, 이용자가 슬라이더를 조작해 실시간으로 스타일을 바꿀 수 있다. 그는 모든 행동 경로를 탐색해야 하는 QA(품질 보증)에서 이 기능이 특히 가치가 크다고 봤다.
상용화 과정에서 얻은 교훈도 나누었다. 스톤 교수는 초인적인 상대와 매번 붙는 것은 재미가 없기에, 제품화의 핵심 과제는 성능이 아니라 '재미있게 만들기'와 '설정 가능하게 만들기'였다고 털어놨다. 인간을 이기는 것은 과학적 도전이었지만, 게임에 적용되는 순간 기준이 승률에서 재미로 바뀐다는 것이다.
루카스 셰퍼(Lukas Schäfer) 마이크로소프트 리서치 연구원 ©INVEN
마이크로소프트 리서치 게임 인텔리전스 팀의 루카스 셰퍼 연구원은 월드모델과 게임 플레이 에이전트라는 두 축의 연구를 소개했다. 팀의 대표 성과는 2025년 네이처에 게재된 월드·휴먼 액션 모델 'WHAM'이다.
핵심은 데이터 효율이었다. 셰퍼 연구원이 시연한 에이전트는 인간의 게임 플레이 시연 30판으로 학습해 실제 게임을 플레이했으며, 현재는 필요한 시연을 10~15판 수준까지 줄였다. 모델은 30밀리초 이내로 행동을 예측해 초당 30프레임의 실시간 구동을 달성했는데, 이는 모델은 미국 서버에, 게임은 한국 서버에 있는 원거리 환경의 네트워크 지연까지 극복한 결과라는 설명이다.
이론적 기여도 있었다. 그는 미래 상태를 먼저 예측하고 그에 조건부로 행동을 결정하는 모델이 기존 행동 모방(BC)보다 왜 더 나은지를 규명한 논문을 이번 ICML에서 발표한다고 밝혔다. 미래를 알면 행동 선택의 불확실성이 줄어들지만, 미래 예측 자체가 부정확하면 해로운 편향이 생기는 트레이드오프(상충 관계)가 존재한다. 그러나 특정 조건에서는 학습 효율과 일반화 성능이 보장됨을 증명했다는 것이다.
그는 월드모델과 행동 모델 연구가 '액션 모델'이라는 이름 아래 수렴하고 있으며, 이 흐름이 게임을 넘어 로보틱스의 피지컬 AI로 직결되고 있다고 짚었다.
김민재 NC AI CTO ©INVEN
NC AI 김민재 CTO는 '과대포장을 넘어(Beyond Hype)'라는 제목으로, 생성형 AI를 게임 제작 및 운영에 실전 적용하며 얻은 교훈을 실패 사례 중심으로 공개했다.
성과부터 보면, NC AI는 텍스트·이미지 생성 AI를 기획·콘셉트 아트 단계에 깊숙이 정착시켰고, 3D 메시·텍스처·사운드 생성 자체 도구로 에셋 제작을 핵심 프로덕션 단계까지 확장했다. 한국어 텍스트를 입력하면 다국어 음성과 입 모양(립싱크)을 동시에 생성하는 로컬라이제이션 도구, 방대한 라이브러리에서 게임 레디 애니메이션을 찾아주는 모션 검색, 실시간 채팅 번역, 게임 스크린샷까지 이해하는 멀티모달 CS 챗봇 등이 실제 서비스에 쓰이고 있다.
문제는 플레이어와 만나는 지점이었다. AI NPC는 기술적으로 끝없는 대화가 가능했지만, 정작 플레이어들은 인간 작가가 설계한 밀도 있고 감정적으로 공명하는 서사를 선호했다. 이용자 사진으로 3D 캐릭터를 자동 생성하는 커스터마이징 기능도 마찬가지였다. 4~5년 전 김 CTO가 직접 이끈 프로젝트였지만 채택률은 저조했는데, AI가 "이게 당신을 닮은 캐릭터"라고 제시해도 플레이어는 게임 속에서 자신의 실물이 아니라 이상화된 캐릭터를 원했기 때문이다.
©INVEN
가장 거센 반발은 AI 음성 합성(TTS)으로 성우를 대체하려던 시도에서 나왔다. 특히 서브컬처 게임에서 두드러졌는데, 팬덤에게 성우는 K팝 아이돌 같은 존재이고 그 목소리는 오디오 파일이 아니라 캐릭터의 영혼이었다는 것이 그의 진단이다.
그는 '할루시네이션(환각)의 역설'이라는 개념도 제시했다. AI 업계 전체가 환각을 줄이려 엄격한 검색 증강 생성(RAG) 시스템을 쓰지만, 게임은 고유한 물리 법칙과 언어, 역사, 종족을 가진 허구 세계다. 현실 기준의 사실 검증(팩트 그라운딩)을 강제하면 허구가 죽고, 세계관 구축에 필요한 창의적 예측 불가능성이 사라진다. 페니실린이 실험 실수에서 나왔듯 게임의 창의적 혁신은 우연한 발견에서 나오므로, 게임 AI의 목표는 환각 0%가 아니라 지식과 창의적 일탈 사이의 경계를 설정하는 일이라는 것이다.
김 CTO는 "AI는 무대의 주인공이 아니라 조연이며, 주인공은 언제나 게임 플레이"라는 교훈을 제시했다. 이어 "AI 연구자 및 개발자의 일은 모델이 얼마나 똑똑한지 과시하는 게 아니라, 플레이어 심리를 깊이 이해하고 재미에 봉사하는 기술을 정확히 찾아내는 것"이라고 강조했다.
©INVEN
"잘하는 AI 말고, 재미있는 AI"
발표 후 패널 토론에서 이강욱 CAIO는 다음과 같이 질문을 던졌다. "이 에이전트들을 실제 게임에 배치하려는 순간 마주하는 가장 큰 고민은, '게임을 잘 플레이하는 에이전트'가 아니라 '게임을 더 재미있고 몰입감 있게 만드는 에이전트'는 무엇인가 하는 점입니다. 순수 연구자보다는 우리 같은 퍼블리셔이자 개발사라면 누구나 마주치는 질문입니다. 결국 중요한 것은 무엇이 게임을 더 몰입감 있고 재미있게 만드느냐입니다. 강화학습으로 더 재미있고 몰입감 있는 에이전트를 훈련할 수 있습니까?"
스톤 교수는 게임 AI 에이전트를 두 부류로 정리했다. 하나는 게임 안에서 상대·팀원·NPC로 재미를 만드는 인게임 에이전트, 다른 하나는 개발자를 도와 결함을 찾는 QA 에이전트다.
셰퍼 연구원은 '최적화'는 정답이 아니라고 했다. 매번 지기만 하는 게임을 원하는 플레이어는 없으며, 비디오 게임이 다른 연구 도메인과 다른 점은 인간 시연 데이터라는 고유 자원이 있다는 것이다. 그는 플레이어 10명에게 원하는 팀원을 물으면 10개의 답이 나올 것이라며, 인간다운 플레이와 개인화된 조정이 핵심이라고 봤다.
설계 철학의 차이도 드러났다. 스톤 교수는 소니 AI가 지금까지 인간 플레이 데이터 모방 학습을 의도적으로 배제하고 순수 강화학습을 고수해 왔다고 밝혔다. 인간을 흉내 내도록 제약하기보다, AI가 자기만의 스타일을 개발하거나 슬라이더로 코칭받는 쪽이 더 재미있을 수 있다는 판단에서다. 이는 인간 시연을 자원으로 삼는 MS의 접근 방식과 정확히 대비된다.
"모든 것이 월드모델이다"
©INVEN
이 CAIO는 스스로 여러 월드모델을 써 보고 있다고 전제한 뒤 "월드모델은 비전·액션 모델을 개선하는 보조 도구로 쓸 수도 있지만, 게임 엔진의 대안이 될 수도 있다"고 짚었다. 그는 "그래픽에, 어쩌면 멀티플레이까지 감당하는 실시간 게임 엔진으로 월드모델을 쓰기까지 우리는 얼마나 떨어져 있나?"며 "내가 아는 한 연산 효율은 아직 거기에 못 미친다. 10년인가, 5년인가?"라고 질문을 던졌다.
아무도 구체적인 숫자를 답으로 내놓지 않았다. 자이덴슈바르츠 연구원은 시점 예측이나 기존 게임을 모방하는 용도가 아니더라도 월드모델 자체가 이미 새로운 재미 요소가 될 수 있다고 답했다. 고정된 오브젝트가 아니라 상상하는 무엇이든 세계에 더할 수 있는 창의적 놀이가 가능하다는 것이다. 다만 고사양 HD 그래픽을 대체하는 데는 수년 이상 걸릴 것으로 내다봤다.
셰퍼 연구원은 몇 년 전만 해도 실시간 구동은 불가능하다고 여겨졌지만 이미 쓸 만한 실시간 모델이 나와 있다며 그 발전 속도를 인정했다. 그러나 이미 훌륭한 3D 그래픽 기술을 전면 대체할 이유는 없으며, 게임 엔진 내부의 특정 용례로 스며들 것이라고 전망했다.
김민재 CTO는 일관성 문제를 제기했다. 단순한 캐주얼 모바일 게임조차 고유한 스토리와 비주얼 정체성이 있는데, 월드모델이 생성한 세계가 그 정체성이나 게임 규칙을 깨는 순간 이용자의 몰입은 즉시 무너진다는 것이다. 이에 자이덴슈바르츠 연구원은 캐릭터 일관성 문제는 인정하면서도, 로블록스처럼 이용자가 스스로 규칙을 만드는 창작형 게임에서는 오히려 잠재력이 될 수 있다고 반박했다.
스톤 교수는 월드모델이란 결국 상태와 행동을 받아 다음 상태를 예측하는 전이 함수이며, 그 정의대로라면 게임 엔진도 월드모델이고 모델 기반 강화학습도 월드모델을 활용해 왔다고 지적했다.
월드모델을 쓰느냐 마느냐는 이분법은 허구이며 정도의 문제일 뿐이라는 것이다. 그는 "이 패널의 결론은 모든 것이 월드모델이라는 것"이라고 요약했다.
이 CAIO는 시뮬레이션과 렌더링을 분리한 오디세이의 멀티 에이전트 월드모델 구조를 두고 "역할별로 서로 다른 모델에 배선을 연결하는 모습이 오래전 우리가 게임 엔진을 설계하던 방식과 닮았다"며 "신경망(뉴럴)에서 온 것과 물리·그래픽에서 온 것이 결합된 형태의 엔진을 보게 될지 지켜보자"고 정리했다.
청중이 게임 간 일반화 가능성을 묻자, 이 CAIO는 "몇 년 뒤 코딩 에이전트가 얼마나 좋아질지 모르겠지만, 어떤 게임이든 코딩해 내는 완벽한 코딩 에이전트가 나온다면 그것이 곧 월드모델이다. 프로그램 형태의 월드모델은 어떤 게임에도 일반화될 수 있다"고 답했다. 영상 생성이냐 게임 엔진이냐는 양자택일에 코드 생성이라는 제3의 경로를 제시한 것이다.
"테스터를 대체하는 게 아니라 지루함을 대체한다"
©INVEN
이 CAIO는 현업의 답답함을 토로했다. 그는 QA 자동화에 접근하는 방식을 ▲QA를 잘하는 에이전트를 설계하는 문제로 보는 접근 ▲월드모델의 취약 지점을 에이전트로 찾아내는 접근 ▲고전적인 자동화 QA 등 세 갈래로 정리해 제시하면서도 "솔직히 말해 지금 우리가 가진 문제를 풀어줄 만큼 훌륭한 QA 에이전트는 아직 보지 못했다"고 말했다.
스톤 교수는 대체가 아닌 증강이 답이라고 했다. 에이전트가 발끝만 잘못 디뎌도 맵 반대편으로 순간 이동하는 식의 극단적 사례(엣지 케이스)를 찾는 반복 작업은 AI가 인간보다 훨씬 효율적으로 수행한다. 또한, 보상 체계(인센티브)를 올바르게 설계하면 개발자가 막아야 할 치트와 지름길도 찾아낸다고 설명했다.
그는 개발 단계 구분도 짚었다. QA 에이전트는 게임이 만들어지는 도중에 투입해야 하고, 상대 및 팀원용 플레이 에이전트는 게임이 거의 완성된 뒤에 만들어야 한다. 미완성 게임에 플레이 에이전트를 넣으면 본의 아니게 허점만 찾아내는 QA 에이전트가 되어버리기 때문이다.
이 CAIO가 "NC AI는 QA 자동화를 시도해 봤나"라고 묻자, 김민재 CTO는 현장 사례로 답했다. QA 조직이 밤새 게임 화면을 두드리며 누락된 텍스트, 깨진 아이콘, 작동하지 않는 버튼을 찾아내는 '몽키 테스트' 에이전트를 자체 구축해 운용 중이며, 게임 도메인에 미세 조정(파인튜닝)한 LLM으로 QA 체크리스트를 생성하는 모델도 납품했다는 것이다.
셰퍼 연구원은 자신들의 소수 시연 학습 연구의 출발점이 바로 QA였다고 밝혔다. 인간 테스터가 가진 '어디가 깨지기 쉬운가'에 대한 풍부한 지식은 대체 불가능하며, AI가 맡을 것은 패치마다 같은 버그를 수십 번 재현해야 하는 반복과 지루함이라는 것이다. 이 CAIO는 배틀그라운드의 경험으로 이를 뒷받침했다. "100인이 플레이하도록 설계된 게임은 중간 버전을 테스트하고 싶어도 100명을 모아야 판이 성립하는데, 그것이 거의 불가능하다"며, 봇 없이는 테스트 자체가 시작되지 않는 멀티플레이 게임 QA의 구조적 수요를 짚은 것이다. 그는 셰퍼 연구원의 인간 시연 기반 접근이 바로 이 지점에서 큰 파급력을 가질 수 있다고 평가했다.
이 밖에도 토론에서는 게임 AI와 피지컬 AI의 연결이 다뤄졌다. 스톤 교수는 보드게임에서 비디오 게임(GT 소피, 도타)을 거쳐 드론 레이싱과 탁구 등 물리적 게임으로 이어져 온 'AI 대 인간 챔피언'의 계보를 짚었다. 소니 AI의 탁구 로봇이 세계 랭킹 5위이자 올림픽 은메달 2회 수상 선수를 꺾었으며, GT 소피의 교훈이 이 프로젝트에 직결됐다고 소개했다. 알파고의 '37수'에 빗댄 질문에는, GT 소피의 브레이킹 타이밍을 보고 프로 드라이버가 새 주법을 배웠고 탁구 로봇의 스핀 샷을 본 프로 코치가 "인간은 시도하지 않았을 기술이지만 이제 따라 해볼 수 있겠다"고 말한 사례를 들었다.
지속적인 가치관과 내적 상태를 가진, 인간 같은 NPC를 향한 연구가 있느냐는 청중의 질문에 이 CAIO는 엘라이의 설계를 열어 보였다. 엘라이는 소형 언어 모델 기반 에이전트로, 3계층 기억 구조를 갖췄다. 약 8000토큰의 인컨텍스트(AI가 사전에 파라미터를 수정하는 학습을 거치지 않고도 주어진 프롬프트 내의 정보와 예시를 바탕으로 즉각적으로 패턴을 이해하고 수행하는 능력) 메모리 위에 세션 내 대화를 요약 및 저장했다가 불러오는 검색 계층, 그리고 여러 판을 넘나드는 크로스 세션 검색 계층을 더한 것이다. 그는 "게임 도중의 대화는 물론 지난 세션에서 나눈 이야기까지 참조할 수 있다"고 설명했다.
더 인간다운 에이전트를 만들기 위한 데이터 수집 방식도 공개했다. 그는 "PC방을 빌려 수천 명의 플레이어를 모집했고, 이들이 게임을 플레이하며 팀원에게 무슨 말을 하고 어떻게 대화하는지 목소리와 플레이를 함께 기록해 모델 학습에 활용했다"며 "아직 매우 초기 단계지만, 이런 시도를 한 다른 사례는 아직 보지 못했다"고 말했다.
이날 논의에서 참석자들은 인간 챔피언을 이기는 것이 목표였던 시대가 GT 소피로 사실상 종결되면서, '재미'와 '플레이어 심리'를 최종 목표로 지목했다. 이는 기술이 성숙했다는 증거이자, 벤치마크 성능이 아니라 재미로 평가받는 다음 단계의 경쟁이 시작됐다는 신호다. 생성형 AI 도입 2~3년 차에 접어든 게임 업계가 과대포장의 시기를 지나 실증의 단계로 넘어가고 있음을 보여준다.
크래프톤의 현주소도 공개했다. 이 CAIO는 크래프톤 AI 연구 조직이 약 150명 규모로 게임 분야에서는 세계적으로 가장 큰 그룹 중 하나라고 소개한 뒤, 최근 출시한 첫 대형 AI 제품으로 배틀그라운드의 'PUBG 엘라이'를 들었다.
그는 엘라이를 "말을 걸고 팀을 이뤄 함께 플레이하는 인게임 AI 에이전트"라고 소개하며 "지연 시간(latency)이 매우 짧아 거의 진짜 친구처럼 느껴진다. 전투 상황을 놓고 대화하며 무엇을 할지 함께 정할 수 있고, 원하는 행동을 요청할 수도 있다"고 설명했다. 이어 "약 2주간의 베타 테스트에서 많은 데이터를 수집했고, 이를 바탕으로 모델을 더 학습시킬 것"이라며 현장에 함께한 팀원들에게 공을 돌렸다.
"초인적 AI를 만들었더니, 재미가 문제였다"
피터 스톤(Peter Stone) 소니 AI 최고과학책임자(텍사스대 오스틴 교수) ©INVEN
첫 연사로 나선 피터 스톤 교수는 소니 AI의 'GT 소피(GT Sophy)' 5년사를 압축해 전했다. GT 소피는 2022년 2월 네이처 표지를 장식한 강화학습 에이전트로, 체스·바둑·포커 같은 턴제 게임이 아닌 실시간 제어 과제에서 인간 챔피언을 꺾은 최초의 AI다.
무대가 된 '그란 투리스모'는 프로 드라이버가 실제 차량과 시뮬레이터에서 같은 트랙을 달렸을 때 랩타임 차이가 0.1초 이내일 만큼 정밀한 시뮬레이션이다. GT 소피는 무작위로 가속 페달을 밟고 트랙을 거꾸로 달리는 수준에서 출발해, 플레이스테이션을 묶은 학습 환경에서 하루 만에 최고 수준 인간보다 빠른 랩타임을 냈고 일주일 만에 세계 최정상 드라이버 4인과의 맞대결에서 승리했다. 앞차의 공기저항 뒤에 붙었다가 가속해 추월하는 슬립스트림 패스, 가장 빠른 주행선 대신 추월을 막는 수비 라인 선택 같은 기술을 스스로 익혔다.
2023년 가을 GT 소피는 PS5용 그란 투리스모에 정식 탑재됐고, 스톤 교수는 이를 엔드투엔드 강화학습 에이전트로는 세계 최대 규모의 상용 배포라고 소개했다. 연구 성과가 논문에 머물지 않고 수백만 이용자가 맞붙는 게임 콘텐츠가 된 것이다.
그는 지난주 공개한 신작 연구도 소개했다. '호라이즌 포비든 웨스트'에 적용한 '코칭 가능한 에이전트'로, 단일 강화학습 정책 하나가 원거리 사격·근접전 등 다양한 플레이 스타일을 소화하며, 이용자가 슬라이더를 조작해 실시간으로 스타일을 바꿀 수 있다. 그는 모든 행동 경로를 탐색해야 하는 QA(품질 보증)에서 이 기능이 특히 가치가 크다고 봤다.
상용화 과정에서 얻은 교훈도 나누었다. 스톤 교수는 초인적인 상대와 매번 붙는 것은 재미가 없기에, 제품화의 핵심 과제는 성능이 아니라 '재미있게 만들기'와 '설정 가능하게 만들기'였다고 털어놨다. 인간을 이기는 것은 과학적 도전이었지만, 게임에 적용되는 순간 기준이 승률에서 재미로 바뀐다는 것이다.
"인간 시연 30판이면, 게임하는 AI가 나온다"
루카스 셰퍼(Lukas Schäfer) 마이크로소프트 리서치 연구원 ©INVEN
마이크로소프트 리서치 게임 인텔리전스 팀의 루카스 셰퍼 연구원은 월드모델과 게임 플레이 에이전트라는 두 축의 연구를 소개했다. 팀의 대표 성과는 2025년 네이처에 게재된 월드·휴먼 액션 모델 'WHAM'이다.
핵심은 데이터 효율이었다. 셰퍼 연구원이 시연한 에이전트는 인간의 게임 플레이 시연 30판으로 학습해 실제 게임을 플레이했으며, 현재는 필요한 시연을 10~15판 수준까지 줄였다. 모델은 30밀리초 이내로 행동을 예측해 초당 30프레임의 실시간 구동을 달성했는데, 이는 모델은 미국 서버에, 게임은 한국 서버에 있는 원거리 환경의 네트워크 지연까지 극복한 결과라는 설명이다.
이론적 기여도 있었다. 그는 미래 상태를 먼저 예측하고 그에 조건부로 행동을 결정하는 모델이 기존 행동 모방(BC)보다 왜 더 나은지를 규명한 논문을 이번 ICML에서 발표한다고 밝혔다. 미래를 알면 행동 선택의 불확실성이 줄어들지만, 미래 예측 자체가 부정확하면 해로운 편향이 생기는 트레이드오프(상충 관계)가 존재한다. 그러나 특정 조건에서는 학습 효율과 일반화 성능이 보장됨을 증명했다는 것이다.
그는 월드모델과 행동 모델 연구가 '액션 모델'이라는 이름 아래 수렴하고 있으며, 이 흐름이 게임을 넘어 로보틱스의 피지컬 AI로 직결되고 있다고 짚었다.
성공담이 아닌 실패담, "AI는 조연이다"
김민재 NC AI CTO ©INVEN
NC AI 김민재 CTO는 '과대포장을 넘어(Beyond Hype)'라는 제목으로, 생성형 AI를 게임 제작 및 운영에 실전 적용하며 얻은 교훈을 실패 사례 중심으로 공개했다.
성과부터 보면, NC AI는 텍스트·이미지 생성 AI를 기획·콘셉트 아트 단계에 깊숙이 정착시켰고, 3D 메시·텍스처·사운드 생성 자체 도구로 에셋 제작을 핵심 프로덕션 단계까지 확장했다. 한국어 텍스트를 입력하면 다국어 음성과 입 모양(립싱크)을 동시에 생성하는 로컬라이제이션 도구, 방대한 라이브러리에서 게임 레디 애니메이션을 찾아주는 모션 검색, 실시간 채팅 번역, 게임 스크린샷까지 이해하는 멀티모달 CS 챗봇 등이 실제 서비스에 쓰이고 있다.
문제는 플레이어와 만나는 지점이었다. AI NPC는 기술적으로 끝없는 대화가 가능했지만, 정작 플레이어들은 인간 작가가 설계한 밀도 있고 감정적으로 공명하는 서사를 선호했다. 이용자 사진으로 3D 캐릭터를 자동 생성하는 커스터마이징 기능도 마찬가지였다. 4~5년 전 김 CTO가 직접 이끈 프로젝트였지만 채택률은 저조했는데, AI가 "이게 당신을 닮은 캐릭터"라고 제시해도 플레이어는 게임 속에서 자신의 실물이 아니라 이상화된 캐릭터를 원했기 때문이다.
©INVEN
가장 거센 반발은 AI 음성 합성(TTS)으로 성우를 대체하려던 시도에서 나왔다. 특히 서브컬처 게임에서 두드러졌는데, 팬덤에게 성우는 K팝 아이돌 같은 존재이고 그 목소리는 오디오 파일이 아니라 캐릭터의 영혼이었다는 것이 그의 진단이다.
그는 '할루시네이션(환각)의 역설'이라는 개념도 제시했다. AI 업계 전체가 환각을 줄이려 엄격한 검색 증강 생성(RAG) 시스템을 쓰지만, 게임은 고유한 물리 법칙과 언어, 역사, 종족을 가진 허구 세계다. 현실 기준의 사실 검증(팩트 그라운딩)을 강제하면 허구가 죽고, 세계관 구축에 필요한 창의적 예측 불가능성이 사라진다. 페니실린이 실험 실수에서 나왔듯 게임의 창의적 혁신은 우연한 발견에서 나오므로, 게임 AI의 목표는 환각 0%가 아니라 지식과 창의적 일탈 사이의 경계를 설정하는 일이라는 것이다.
김 CTO는 "AI는 무대의 주인공이 아니라 조연이며, 주인공은 언제나 게임 플레이"라는 교훈을 제시했다. 이어 "AI 연구자 및 개발자의 일은 모델이 얼마나 똑똑한지 과시하는 게 아니라, 플레이어 심리를 깊이 이해하고 재미에 봉사하는 기술을 정확히 찾아내는 것"이라고 강조했다.
패널 토론
©INVEN
"잘하는 AI 말고, 재미있는 AI"
발표 후 패널 토론에서 이강욱 CAIO는 다음과 같이 질문을 던졌다. "이 에이전트들을 실제 게임에 배치하려는 순간 마주하는 가장 큰 고민은, '게임을 잘 플레이하는 에이전트'가 아니라 '게임을 더 재미있고 몰입감 있게 만드는 에이전트'는 무엇인가 하는 점입니다. 순수 연구자보다는 우리 같은 퍼블리셔이자 개발사라면 누구나 마주치는 질문입니다. 결국 중요한 것은 무엇이 게임을 더 몰입감 있고 재미있게 만드느냐입니다. 강화학습으로 더 재미있고 몰입감 있는 에이전트를 훈련할 수 있습니까?"
스톤 교수는 게임 AI 에이전트를 두 부류로 정리했다. 하나는 게임 안에서 상대·팀원·NPC로 재미를 만드는 인게임 에이전트, 다른 하나는 개발자를 도와 결함을 찾는 QA 에이전트다.
셰퍼 연구원은 '최적화'는 정답이 아니라고 했다. 매번 지기만 하는 게임을 원하는 플레이어는 없으며, 비디오 게임이 다른 연구 도메인과 다른 점은 인간 시연 데이터라는 고유 자원이 있다는 것이다. 그는 플레이어 10명에게 원하는 팀원을 물으면 10개의 답이 나올 것이라며, 인간다운 플레이와 개인화된 조정이 핵심이라고 봤다.
설계 철학의 차이도 드러났다. 스톤 교수는 소니 AI가 지금까지 인간 플레이 데이터 모방 학습을 의도적으로 배제하고 순수 강화학습을 고수해 왔다고 밝혔다. 인간을 흉내 내도록 제약하기보다, AI가 자기만의 스타일을 개발하거나 슬라이더로 코칭받는 쪽이 더 재미있을 수 있다는 판단에서다. 이는 인간 시연을 자원으로 삼는 MS의 접근 방식과 정확히 대비된다.
"모든 것이 월드모델이다"
©INVEN
이 CAIO는 스스로 여러 월드모델을 써 보고 있다고 전제한 뒤 "월드모델은 비전·액션 모델을 개선하는 보조 도구로 쓸 수도 있지만, 게임 엔진의 대안이 될 수도 있다"고 짚었다. 그는 "그래픽에, 어쩌면 멀티플레이까지 감당하는 실시간 게임 엔진으로 월드모델을 쓰기까지 우리는 얼마나 떨어져 있나?"며 "내가 아는 한 연산 효율은 아직 거기에 못 미친다. 10년인가, 5년인가?"라고 질문을 던졌다.
아무도 구체적인 숫자를 답으로 내놓지 않았다. 자이덴슈바르츠 연구원은 시점 예측이나 기존 게임을 모방하는 용도가 아니더라도 월드모델 자체가 이미 새로운 재미 요소가 될 수 있다고 답했다. 고정된 오브젝트가 아니라 상상하는 무엇이든 세계에 더할 수 있는 창의적 놀이가 가능하다는 것이다. 다만 고사양 HD 그래픽을 대체하는 데는 수년 이상 걸릴 것으로 내다봤다.
셰퍼 연구원은 몇 년 전만 해도 실시간 구동은 불가능하다고 여겨졌지만 이미 쓸 만한 실시간 모델이 나와 있다며 그 발전 속도를 인정했다. 그러나 이미 훌륭한 3D 그래픽 기술을 전면 대체할 이유는 없으며, 게임 엔진 내부의 특정 용례로 스며들 것이라고 전망했다.
김민재 CTO는 일관성 문제를 제기했다. 단순한 캐주얼 모바일 게임조차 고유한 스토리와 비주얼 정체성이 있는데, 월드모델이 생성한 세계가 그 정체성이나 게임 규칙을 깨는 순간 이용자의 몰입은 즉시 무너진다는 것이다. 이에 자이덴슈바르츠 연구원은 캐릭터 일관성 문제는 인정하면서도, 로블록스처럼 이용자가 스스로 규칙을 만드는 창작형 게임에서는 오히려 잠재력이 될 수 있다고 반박했다.
스톤 교수는 월드모델이란 결국 상태와 행동을 받아 다음 상태를 예측하는 전이 함수이며, 그 정의대로라면 게임 엔진도 월드모델이고 모델 기반 강화학습도 월드모델을 활용해 왔다고 지적했다.
월드모델을 쓰느냐 마느냐는 이분법은 허구이며 정도의 문제일 뿐이라는 것이다. 그는 "이 패널의 결론은 모든 것이 월드모델이라는 것"이라고 요약했다.
이 CAIO는 시뮬레이션과 렌더링을 분리한 오디세이의 멀티 에이전트 월드모델 구조를 두고 "역할별로 서로 다른 모델에 배선을 연결하는 모습이 오래전 우리가 게임 엔진을 설계하던 방식과 닮았다"며 "신경망(뉴럴)에서 온 것과 물리·그래픽에서 온 것이 결합된 형태의 엔진을 보게 될지 지켜보자"고 정리했다.
청중이 게임 간 일반화 가능성을 묻자, 이 CAIO는 "몇 년 뒤 코딩 에이전트가 얼마나 좋아질지 모르겠지만, 어떤 게임이든 코딩해 내는 완벽한 코딩 에이전트가 나온다면 그것이 곧 월드모델이다. 프로그램 형태의 월드모델은 어떤 게임에도 일반화될 수 있다"고 답했다. 영상 생성이냐 게임 엔진이냐는 양자택일에 코드 생성이라는 제3의 경로를 제시한 것이다.
"테스터를 대체하는 게 아니라 지루함을 대체한다"
©INVEN
이 CAIO는 현업의 답답함을 토로했다. 그는 QA 자동화에 접근하는 방식을 ▲QA를 잘하는 에이전트를 설계하는 문제로 보는 접근 ▲월드모델의 취약 지점을 에이전트로 찾아내는 접근 ▲고전적인 자동화 QA 등 세 갈래로 정리해 제시하면서도 "솔직히 말해 지금 우리가 가진 문제를 풀어줄 만큼 훌륭한 QA 에이전트는 아직 보지 못했다"고 말했다.
스톤 교수는 대체가 아닌 증강이 답이라고 했다. 에이전트가 발끝만 잘못 디뎌도 맵 반대편으로 순간 이동하는 식의 극단적 사례(엣지 케이스)를 찾는 반복 작업은 AI가 인간보다 훨씬 효율적으로 수행한다. 또한, 보상 체계(인센티브)를 올바르게 설계하면 개발자가 막아야 할 치트와 지름길도 찾아낸다고 설명했다.
그는 개발 단계 구분도 짚었다. QA 에이전트는 게임이 만들어지는 도중에 투입해야 하고, 상대 및 팀원용 플레이 에이전트는 게임이 거의 완성된 뒤에 만들어야 한다. 미완성 게임에 플레이 에이전트를 넣으면 본의 아니게 허점만 찾아내는 QA 에이전트가 되어버리기 때문이다.
이 CAIO가 "NC AI는 QA 자동화를 시도해 봤나"라고 묻자, 김민재 CTO는 현장 사례로 답했다. QA 조직이 밤새 게임 화면을 두드리며 누락된 텍스트, 깨진 아이콘, 작동하지 않는 버튼을 찾아내는 '몽키 테스트' 에이전트를 자체 구축해 운용 중이며, 게임 도메인에 미세 조정(파인튜닝)한 LLM으로 QA 체크리스트를 생성하는 모델도 납품했다는 것이다.
셰퍼 연구원은 자신들의 소수 시연 학습 연구의 출발점이 바로 QA였다고 밝혔다. 인간 테스터가 가진 '어디가 깨지기 쉬운가'에 대한 풍부한 지식은 대체 불가능하며, AI가 맡을 것은 패치마다 같은 버그를 수십 번 재현해야 하는 반복과 지루함이라는 것이다. 이 CAIO는 배틀그라운드의 경험으로 이를 뒷받침했다. "100인이 플레이하도록 설계된 게임은 중간 버전을 테스트하고 싶어도 100명을 모아야 판이 성립하는데, 그것이 거의 불가능하다"며, 봇 없이는 테스트 자체가 시작되지 않는 멀티플레이 게임 QA의 구조적 수요를 짚은 것이다. 그는 셰퍼 연구원의 인간 시연 기반 접근이 바로 이 지점에서 큰 파급력을 가질 수 있다고 평가했다.
이 밖에도 토론에서는 게임 AI와 피지컬 AI의 연결이 다뤄졌다. 스톤 교수는 보드게임에서 비디오 게임(GT 소피, 도타)을 거쳐 드론 레이싱과 탁구 등 물리적 게임으로 이어져 온 'AI 대 인간 챔피언'의 계보를 짚었다. 소니 AI의 탁구 로봇이 세계 랭킹 5위이자 올림픽 은메달 2회 수상 선수를 꺾었으며, GT 소피의 교훈이 이 프로젝트에 직결됐다고 소개했다. 알파고의 '37수'에 빗댄 질문에는, GT 소피의 브레이킹 타이밍을 보고 프로 드라이버가 새 주법을 배웠고 탁구 로봇의 스핀 샷을 본 프로 코치가 "인간은 시도하지 않았을 기술이지만 이제 따라 해볼 수 있겠다"고 말한 사례를 들었다.
지속적인 가치관과 내적 상태를 가진, 인간 같은 NPC를 향한 연구가 있느냐는 청중의 질문에 이 CAIO는 엘라이의 설계를 열어 보였다. 엘라이는 소형 언어 모델 기반 에이전트로, 3계층 기억 구조를 갖췄다. 약 8000토큰의 인컨텍스트(AI가 사전에 파라미터를 수정하는 학습을 거치지 않고도 주어진 프롬프트 내의 정보와 예시를 바탕으로 즉각적으로 패턴을 이해하고 수행하는 능력) 메모리 위에 세션 내 대화를 요약 및 저장했다가 불러오는 검색 계층, 그리고 여러 판을 넘나드는 크로스 세션 검색 계층을 더한 것이다. 그는 "게임 도중의 대화는 물론 지난 세션에서 나눈 이야기까지 참조할 수 있다"고 설명했다.
더 인간다운 에이전트를 만들기 위한 데이터 수집 방식도 공개했다. 그는 "PC방을 빌려 수천 명의 플레이어를 모집했고, 이들이 게임을 플레이하며 팀원에게 무슨 말을 하고 어떻게 대화하는지 목소리와 플레이를 함께 기록해 모델 학습에 활용했다"며 "아직 매우 초기 단계지만, 이런 시도를 한 다른 사례는 아직 보지 못했다"고 말했다.
이날 논의에서 참석자들은 인간 챔피언을 이기는 것이 목표였던 시대가 GT 소피로 사실상 종결되면서, '재미'와 '플레이어 심리'를 최종 목표로 지목했다. 이는 기술이 성숙했다는 증거이자, 벤치마크 성능이 아니라 재미로 평가받는 다음 단계의 경쟁이 시작됐다는 신호다. 생성형 AI 도입 2~3년 차에 접어든 게임 업계가 과대포장의 시기를 지나 실증의 단계로 넘어가고 있음을 보여준다.
1. 행사의 배경 및 크래프톤의 3대 어젠다
- 행사 개요: 서울 코엑스에서 개최된 세계 최고 권위의 머신러닝 학회 ICML 2026의 공식 소셜 행사 AI for Games에서 크래프톤 이강욱 CAIO를 필두로 소니 AI, MS 리서치, NC소프트, 엔비디아 등의 전문가들이 모여 게임 AI의 재미와 실전 적용을 논의함.
- 크래프톤이 주목한 3개의 전선:
2. 연사별 주요 발표 내용 및 기술적 쟁점
- 피터 스톤 교수 (소니 AI 최고과학책임자)
- 루카스 셰퍼 연구원 (마이크로소프트 리서치)
- 김민재 CTO (NC AI)
3. 패널 토론 및 미래 전망
- 잘하는 AI vs 재미있는 AI: 참석자들은 최적화나 승률은 정답이 아니며, 개인화된 조정과 인간다운 플레이를 심는 것이 비디오 게임 AI의 고유 자원이라는 점에 동의함.
- 월드모델의 미래: 고사양 HD 그래픽이나 규칙의 일관성이 중요한 게임을 전면 대체하는 데는 수년 이상 걸리겠지만, 로블록스처럼 유저가 스스로 규칙을 만드는 창작형 게임이나 코드 생성 기반의 월드모델 영역에서는 거대한 잠재력이 있다고 평가.
- 결론: 인간 챔피언을 이기는 기술적 도전의 시대가 종결되면서 이제 게임 AI의 최종 평가지표는 벤치마크 성능이 아닌 플레이어 심리 해독과 재미의 구현으로 전환되었으며, 업계가 거품을 지나 실증의 단계로 진입했음을 시사함.
'게임 > 뉴스' 카테고리의 다른 글
| 게임 뉴스 ) AMPLIFY 2026 컨퍼런스, e 스포츠 월드컵 (0) | 2026.07.16 |
|---|---|
| 게임 관련 뉴스 근황 ) 읽은 뉴스 들 정리 (0) | 2026.07.03 |
| 게임 뉴스 리뷰) "참신한 BM" 극찬받는 리니지 '스킬 연마'…타 게임 확산할까? (3) | 2025.07.25 |
| 게임 관련 뉴스) 넥슨 이정헌 대표 "AI 기술 발전해도 게임의 핵심은 '재미'" (1) | 2025.07.04 |
| 게임 뉴스 리뷰) 로스트아크 모바일 관련 뉴스 3종 알아보기 (3) | 2025.06.24 |