생성 AI는 게임 제작에 어떤 영향을 미칠까?

마이크로소프트와 닌자 시어리가 공동 개발한 생성 AI 모델 '뮤즈(Muse)'가 발표됐다. 생성 AI가 게임업계의 화두가 된 지 오래지만, 스토리나 게임 에셋 제작 등에 활용되고 있는 가운데, 게임 자체를 실시간으로 생성하는 실험 단계의 노력도 진행되고 있다. 머지않아 게임 개발 현장에서도 활용될 것으로 보이는데, 지금까지의 움직임을 정리해 보고자 한다.

■ 스토리나 NPC의 대화, 에셋 제작에서는 이미 검증 완료

주어진 데이터로부터 새로운 데이터를 자동으로 생성하는 인공지능의 일종인 '생성 AI(Generative AI)'는 이제 우리 생활 속에서도 자주 접할 수 있는 일반적인 용어가 되었다. 최근 개발자 콘퍼런스에서도 핫 토픽 중 하나로 떠오르고 있으며, CEDEC 2024에서 “향후 게임 개발의 80%는 AI에 맡길 수 있다”는 발표가 있었던 것이 기억에 남는다.

기업용 컨설팅을 하는 Bain & Company의 보고에서는 “향후 5년에서 10년 사이에 게임 개발의 50%는 생성 AI를 사용하여 효율화가 이루어질 것”이라고 전망했다.

게임 업계는 최근 구조조정 문제에도 불구하고 인력난에 시달리고 있는데, 여기서 활약이 기대되는 것이 생성 AI와 그 기반이 되는 머신러닝이 될 것임은 분명하다.

게임 개발은 콘셉트나 에셋 제작에서 시작해 실제 게임 개발 및 테스트, 출시, 그리고 라이브 오퍼레이션 등의 단계로 진행된다. 대기업의 경우, 이러한 과정을 장기간에 걸쳐 총 1,000명 이상의 인력을 투입해 진행하게 된다. 개발 환경은 예전보다 훨씬 좋아졌지만, 개발 시간과 비용은 점점 더 늘어나는 추세다.

최근 블리자드 엔터테인먼트는 새로운 아이디어의 콘셉트 아트를 만들기 위해 '월드 오브 워크래프트', '오버워치' 등 자사 타이틀을 이용해 학습시킨 이미지 생성기 '블리자드 디퓨전(Blizzard Diffusion)'을 개발하고 있다. 또한, 에픽게임즈는 AI 기반 디버깅 툴을 언리얼 엔진에 탑재하고 있다.

GDC 2024에서는 게임 개발을 위해 대규모 언어 모델(LLM)을 사용해 대화 생성 기술을 개발하는 인월드(Inworld)가 최신 데모인 'The Quinn Ambassador'를 전시했다. 인월드의 기술과 엔비디아의 음성 및 표정 합성 기술인 'Audio2Face'를 이용한 게임 내 NPC 표현 기술인 'NEO NPC'도 발표됐다.

인월드는 2023년 사건 현장에서 AI와 대화하며 진실을 밝혀내는 'Inworld Origins'라는 미니게임을 무료 공개하기도 했다. 이 외에도 '로블록스(Roblox)'에서 유사한 데모를 플레이할 수 있는 'AI Wonderland'가 출시되는 등 기업이나 프로젝트 규모와 관계없이 생성 AI는 본격적으로 게임 산업에 침투하고 있다.

이러한 움직임은 일본 업체들도 마찬가지이며, 최근 구글 클라우드의 고객 사례로 캡콤에 초점을 맞춘 블로그 기사가 게재되기도 했다.

게임 개발 초기에 필요한 '아이디어 도출'이라는 작업 과정에 캡콤은 'Vertex AI'와 'Gemini Pro' 등 구글의 솔루션을 활용하고 있다고 소개된 바 있다. TV에 가상의 제조사 로고 등 실제 개발에 사용되지 않은 것까지 포함하면 수십만 건에 달하는 오브젝트 아이디어가 생성 AI로 만들어졌다고 한다. 게임 그래픽의 향상에 따라 세세한 부분까지 사실성이 요구되는 만큼 새로운 개발 방식이지만, 과거 수작업에 비해 효율성이 훨씬 높아진 것은 분명하다.

■ 마이크로소프트의 게임 장면 생성 AI '뮤즈'의 종착역은?

지난 2월 20일, 마이크로소프트의 기술 개발 부문인 마이크로소프트 리서치(Microsoft Research)의 공식 블로그와 Xbox Wire를 통해 자사가 만든 생성형 AI 모델 뮤즈(Muse)가 발표되었다.

게임의 비주얼과 플레이어의 조작에 대한 반응까지 생성하는 'World and Human Action Model'(WHAM)이라는 AI 모델을 기반으로 하고 있다. 산하 스튜디오인 닌자 시어리가 2020년에 출시한 '블리딩 엣지(Bleeding Edge)'의 익명화된 50만 게임 세션에서 10억 개 이상의 게임 이미지와 컨트롤러 입력을 추출하여 AI의 학습 자료로 활용했다. 초당 10프레임의 영상을 초기 조건으로 하여 뮤즈는 블리딩 엣지의 복제품으로 보이는 복잡한 3D 환경에서 게임 플레이 장면을 만들어내는 데 성공했다.

마이크로소프트가 이번에 진행한 내용은 어디까지나 게임 영상을 실시간으로 생성하는 실증 실험이다. 따라서 당장 뮤즈가 게임 개발 자체를 담당하지는 않을 것이다. 다만, AI가 3D 게임 세계를 세밀하게 이해하여 일관성 있게 다양한 게임 플레이를 시뮬레이션할 수 있다는 것을 증명한 것일 뿐이다. '둠(DOOM)' 생성에 성공한 구글의 'GameNGen'과 유사한, 향후 게임 개발을 위한 사전 준비라고 할 수 있다.

뮤즈의 실험 성과가 발표된 후 마이크로소프트의 회장 겸 CEO인 사티아 나델라(Satya Nadella)는 자신의 X에서 'Windows 11'에 탑재된 GPT-4 기반의 AI 챗봇 '코파일럿(Copilot)'에 WHAM 기술을 활용할 가능성을 시사했다.

'함께 블리딩 엣지를 플레이하자'라고 입력하면 클라이언트를 다운로드하거나 클라우드를 사용하지 않고도 AI가 실시간으로 자동 생성한 게임을 AI 상대와 대결할 수 있는 일이 머지않은 미래에 실현될 수 있을지도 모르겠다.

한편, Xbox 부문을 총괄하는 필 스펜서(Phil Spencer)는 뮤즈의 활용에 대해서는 신중한 태도를 보였다. 그는 “게임 플레이 데이터와 비디오로부터 모델이 오래된 게임을 학습하고, 모델이 실행할 수 있는 모든 플랫폼에 이식할 수 있는 세상을 상상해 보라(중략). 이 AI 모델이 원래의 하드웨어에서 원래의 엔진을 실행할 필요 없이 게임 플레이 방법을 완전히 학습할 수 있는 능력은 많은 가능성을 열어준다고 생각한다"라고 말하며, 우선은 클래식 타이틀의 보존 활동과 게임 플레이 재현에 도움이 될 것이라고 미래를 이야기했다.

스펜서와 함께 뮤즈 예고편에 출연한 닌자 시어리의 돔 매튜스(Dom Matthews)도 “이 기술은 AI를 이용해 콘텐츠를 생성하는 것이 아니다. 실제로는 100명의 크리에이티브 전문가로 구성된 우리 팀이 더 많은 일을 하고, 더 멀리 나아가고, 더 빠르게 반복하고, 머릿속 아이디어를 구체화할 수 있는 워크플로우와 접근 방식이다"라고 말하며 게임 개발이 AI에 의해 대체될 수 있음을 부인했다.

마이크로소프트가 이렇게 강조하는 것처럼 뮤즈와 같은 기술이 인간의 창의성과 고용 기회를 빼앗지 않더라도, 구글의 GameNGen, 일론 머스크(Elon Musk)가 발표한 xAI에서 파생된 게임 스튜디오, 메타버스를 활성화하려는 마크 저커버그(Mark Zuckerberg)의 Meta AI 등을 보면 알 수 있듯이 대형 IT 기업들이 앞다퉈 생성 AI의 게임 개발에 나서고 있는 것은 사실이다.

앞으로 조속한 규칙 마련이 필요하겠지만, Bain & Company가 예상하는 '게임 개발의 50%는 생성 AI를 통해 효율화가 이루어질 것'이라는 미래는 그리 멀지 않았으며, 순식간에 게임 개발 현장의 모습이 바뀔 가능성도 배제할 수 없을 것 같다.

저작권자 © 게임뷰 무단전재 및 재배포 금지