엔씨소프트가 진행 중인 AI(인공지능) R&D(연구개발) 프로젝트의 일부가 공개됐다. 개발 및 플레이를 수월하게 하는 기술은 물론, 야구를 좀 더 재미있게 즐기기 위한 것들이 준비되고 있었다.

엔씨소프트는 18일 경기도 판교에 위치한 엔씨소프트 본사에서 '엔씨 AI 미디어 토크'를 개최하고 엔씨소프트가 준비 중인 AI R&D의 특징과 현황에 대해 소개했다.

시작에 앞서 한운희 미디어인텔리전스랩 실장은 "엔씨의 AI는 문제를 해결하는 기술도구다. AI 기술을 통해 기존보다 더 나은 해결책을 제공하고 사용자가 새로운 가치를 경험할 수 있도록 노력하고 있다"고 소개했다.

엔씨의 AI 조직은 2011년 1명의 인력으로 출범해 점차 규모를 확대, 8년이 지난 현재는 게임 AI, 스피치 AI, 비전 AI 등을 연구하는 AI 센터와 언어 AI, 지식 AI를 연구하는 NLP(자연어) 센터 등 현재 2개의 센터 산하 5개의 랩(연구소)를 갖춘 총 150명 규모의 AI 연구 개발조직을 보유하고 있다. 이를 통해 게임과 IT 전 분야에 걸쳐 가치 증대 및 창출을 위한 R&D를 추진 중이다.

다른 회사의 AI R&D와의 차별점에 대해 한 실장은 "엔지니어링 기술 개발과 단기 성과 위주 개선보다 근본적 해결 방안 모색과 중장기적 투자 개발로 기술을 통한 혁신을 추구하고, 대학원 연구실같은 분위기와 서로 발전하는 산학 협력 등 내-외부에 걸쳐 활발한 공유-소통-교류-협력과 연구를 통해 인재 확보와 성장 등을 꾀하고 있다"고 밝혔다.

■ 엔씨의 AI 기술, 개발 지원 및 서비스에 활용 예정

이어 등장한 이재준 AI 센터장은 "AI 센터라는 조직이 어떤 고민을 하고 있고 어떤 R&D를 하는지 여러 프로젝트 중 일부를 공개한다"며 게임 속에서 AI 잘 활용할 수 있는 방안인 '어시스턴트 AI'를 공개했다.

어시스턴트 AI는 크게 두 가지로 개발과 서비스에서 활용된다. 먼저 개발 부분은 분석을 위한 실제 게임 플레이와 기획, 아트, QA(품질검증) 업무에 대한 지원이 AI를 통해 가능할 것이고, 서비스 부분에서는 유저의 플레이와 채팅, 중계에 대한 편의 기능에서 AI를 활용해 유저가 플레이할 때 쉽고 즐겁게 할 수 있게 될 예정이다. 

개발 부분의 예시로 먼저 '블레이드&소울'의 QA를 예로 들었다. 현재 '블레이드&소울'은 여러 국가에 맞는 언어로 서비스되고 있는데, 대사에 맞게 현지 언어가 출력돼야 하는 제작 과정에서 스크립트가 잘 반영됐는지 확인하는 것이 쉽지 않다고 한다. 하지만 어시스턴트 AI를 활용하면 미리 이상한 부분을 걸러내 생산성 향상을 가져올 수 있다는 것.

그리고 아트 제작을 지원하는 AI는 현재 캐릭터 애니메이션 제작에서 개발자가 해야 하는 초기 작업 또는 반복 작업을 수행함으로써 개발자가 더 창의적이고 품질을 향상시키는 작업 수행이 가능하다고 한다. 

그러면서 ▲모션스타일 트랜스퍼 ▲학습 기반 IK(역운동학) ▲텍스트 투 애니메이션 ▲캐릭터 얼굴/아이콘 생성 등 총 4가지 기술을 소개했다. 

먼저 모션스타일 트랜스퍼는 캐릭터가 걷고 뛰는 기본 움직임에 무기 종류나 좀비같은 특정한 스타일을 입혀서 다른 작업을 일괄적으로 처리해 자동으로 만들어주면, 작업자가 나머지 작업을 통해 고품질 애니메이션을 완성시키는 기술이다.

그리고 학습 기반 IK는 캐릭터가 벽을 탈 때 지형의 변화가 일어나면 동작에도 변화가 있어야 하는데 이를 기계학습을 통해 만들어주는 기술이다. 이를 통해 지형이 달라져도 자연스러운 동작이 가능하며, 많은 캐릭터가 한꺼번에 올라가는 애니메이션에 효과적이라고 한다.

텍스트 투 애니메이션은 캐릭터 대사에 맞는 애니메이션을 자동 생성하는 기술이다. AI의 도움으로 대사에 대한 립싱크는 물론, 대사에 맞는 얼굴 표정과 몸동작도 자동 추천해주는 것이 가능하다는 것이다.

캐릭터 얼굴/아이콘 생성은 이미지를 집어넣으면 그에 맞는 캐릭터의 3D 모델링과 아이콘이 자동 생성되는 기술이다. 사람의 얼굴이나 물건을 찍은 파일을 처리하면 모델링이나 이미지를 만들어서 추천해주며, 이는 NPC(플레이 불가능 캐릭터)의 얼굴을 만드는 작업이나 그래픽 작업 시간을 단축시키는데 도움을 줄 수 있다.

다음으로 목소리로 조작을 하는 보이스 커맨드 기술을 소개했다. '리니지M'의 홍보 영상을 통해 처음 알려진 이 기술은 호출어를 인식하고 명령어를 인식해 이해를 하고 수행하는 기술이다. 

하지만 기존의 모바일 단말기에서 이를 실행해야 하기에 리소스의 제약이 있고, 원거리 발성도 가능해야 하는 것은 물론 주변 잡음을 걸러내고 발성의 여러 상황에 대한 대응과 상황에 따른 발성 및 발화 변형(반말 등)도 인식해야 하는 어려움이 있다고 한다. 

또한 빠르고 정확하게 인식해야 하고, 일상 단어는 처리하지 않아야 하기에 어려운 과제들이 많다고. 이에 AI 센터에서는 단계적으로 쉬운 것부터 적용할 계획이다. 올해 내에 호출어를 부르고 간단한 명령 실행을 구현할 수 있을 것이라고 밝혔고, 이를 위해 여러 팀과 협의 중이며 사용이 결정되면 서비스가 될 것이라고 이 센터장은 밝혔다.

■ 엔씨의 NLP 기술, 야구 통해 본격적으로 선보인다

이어 등장한 장정선 NLP 센터장은 "AI 기술이 어떤 모습이 될 때 유저에게 가치를 주는지 탐색하는 중이다. 그리고 서비스와 AI가 만나서 어떤 가치를 주는지 서비스적 가치에서 고민하고 있고 이를 야구를 통해 풀어보고 있다."며 '서비스 AI'에 대한 부분을 공개했다.

야구를 기반으로 한 서비스 AI를 통해 사용자에게 전달하는 것은 크게 3가지로 ▲미디어 ▲데이터 ▲정보전달이다.

장 센터장은 "유튜버들이 만드는 영상은 10분 이내로 축약해 알려주는 것이 트렌드다. 그리고 야구 경기시간은 3시간이 넘는데, 실제 플레이 관련 시간은 평균 5분 40초라는 통계가 있다. 그리고 플레이와 관련된 것들을 포함해도 10분 정도"라고 언급했다. 

그래서 AI가 핵심 장면을 추출해 요약 영상을 생성하는 기술을 준비 중이다. AI가 던지고 치고 달리고 주자가 안착할때까지의 영상을 자동 추출해 요약 영상을 만드는 것. 이 부분은 8월 중 PAIGE에 적용 예정이라고 한다.

문제는 이렇게 그냥 추출하면 음성이 잘려서 소리가 자연스럽지 않게 된다. 그래서 별도의 중계 음성을 합성해 응원팀이 공격할 땐 흥분체, 상대팀이 공격할땐 차분체로 합성하는 등 다양한 감정과 상황을 담은 음성 합성 기술을 준비 중이며, 현재 기술 고도화가 진행 중이다.

그리고 뉴스 브리핑 기능을 통해 원하는 이슈의 뉴스가 주어지면 AI가 이를 요약해 간결하게 모아서 사용자에게 브리핑하는 등 가치있는 제공이 가능할 수도 있고, AI가 사람만 지워진 사진 속 주인공이나 타석 결과 등을 소재로 퀴즈를 만들어 제공하는 등 미디어를 즐겁고 가볍게 즐길 수 있는 기술에 대해 연구 중이라고 한다.

데이터의 경우 처음엔 숫자만 다루려고 했는데 여기에 이야기를 담아내는 것을 추구하고 있다고 한다. 예를 들어 타자와 투수의 대결에서 관전 포인트와 양상을 알려주고, 선수에 대한 연계 정보와 최근 성적이 어떤지 보여주는 것은 물론 종합한 의견도 보여주는 것에 대해 고민하고 있다고. 내 구단에서 눈여겨볼 정보를 모아서 보면 새로운 관점의 스토리가 만들어질 수 있다.

마지막으로 정보전달에 대해 장 센터장은 "콘텐츠에도 감정이 있고 이를 사용자와 연결하면 교감을 할 수 있지 않을까 생각했다. 이에 메신저 스타일로 다양한 정보 전달을 추진하고 있다. 푸시와 정보가 연결되고, 사용자가 자연어로 물어보면 답변하는 것들이 가능할 것"이라고 밝혔다.

또 "예전엔 이것들이 전부 개별적 서비스였다. 하지만 사용자가 신경쓰지 않게 하는 것이 중요하기에 AI를 기반으로 하나의 창에서 사용자가 원하는 것을 제공하는 통합 서비스로 추진 중이다. 정보 전달을 넘어 교감할 수 있는 연구를 하고 있다."며 발표를 마쳤다.

발표가 끝난 후, 두 센터장과 미디어와의 질의응답이 진행됐다. 아래는 이를 정리한 것이다.

Q : 보통은 AI 연구를 비공개로 진행하는데 공개해서 하는 이유는?
이재준 센터장(이하 이) : 우리는 소통-교류-협력을 중시한다. 기술 연구를 공유하고 서로 나누는 것이며, 방향성이 잡힌 것만 공유하고 있다. 서로 나누면 좋지 않냐는 관점에서 하는 행사다.

Q : 소프트뱅크 손정의 대표가 최근 문재인 대통령과의 만남에서 AI를 강조했고, 이후 김택진 대표와 미팅을 했는데, 그 뒤에 무슨 얘기가 나왔나?
이 : 2016년 알파고로 AI 붐이 일었는데 요즘 사그러들다가 손정의 대표가 다시 짚어줘 감사하다. 그리고 그와 관련해 김택진 대표가 특별히 지시한 건 없다. 즐거움을 주는 쪽으로 어떤 역할을하고 기여할 수 있냐에 대한 여러 얘기를 나눈 것만 알고 있다.

Q : 아직은 실시간으로 음성을 텍스트로 써주는 기술이 부족하다. 타 회사에 물으니 굉장히 오래 걸릴거라 했는데, 엔씨는 그정도 기술 개발이 가능할까?
이 : 굉장히 어려운 기술이다. 딥러닝 때문에 발전했다고 하지만 아직 사람이 자연스레 얘기하는 걸 적는 수준은 안된다. 보이스 커맨드도 간단해보이지만 어렵다. 상대가 무슨 말을 할지 모르는 상황이면 더 어렵다. 그런 기술이 있으면 좋겠다는 생각을 하고 꿈꾸고 있기에 언젠가는 가능해 질 것이다.

Q : 보이스 커맨드가 엔씨 외의 타 업체와의 협업으로 콘텐츠가 나오는 게 가능할까?
이 : 그것보다 먼저 모바일 환경에서 구동되는 것을 목적으로 하고 있다. 작은 리소스로 이를 구현해야 한다. 이는 다른 플랫폼에 가면 리소스가 더 크니 충분히 할 수 있다. 일단 기술 완성이 우선이다.

Q : AI 연구소의 목표는?
이 : 개선과 혁신이다. 개선은 몇 배, 혁신은 몇십 배 바뀌는 것인데 우리는 혁신을 목표로 노력하고 있다. 그리고 엔씨의 큰 경쟁력으로 자리잡는 것이다. AI는 오랜 기간 연구를 통해서 이뤄지는 것이며 구글도 처음부터 잘한 게 아니다. 과정이 잘못되거나 돈을 헛되이 쓰면 견제해야 하지만 결과는 좀 더 지켜보고 응원해달라.

Q : 옆 회사는 라이브 서비스에 AI를 집중하고 있는데 엔씨는 일반적 연구를 하는 듯 하다.
이 : 우리도 관련 연구를 하고 있다. 우리가 주관이 아니다 뿐이지 협업하고 있다. 

Q : 보이스 커맨드가 보여주기식 기술이 아닌가?
장정선 센터장(이하 장) : 사업팀에서 이런 기능이 있으면 편하겠다고 한 것이다. 그럼 이것이 우리의 목표가 되고 지금은 그 과정이다. 공격 등 위험한 기능과 그 결과가 내게 직접적으로 영향을 미치는 명령어는 나중에, 물약사기, 이동 등 위험성이 적은 것부터 먼저 진행해서 점점 확대할 것이다.

Q : 처음 목표한 방향대로 잘 가고 있다고 보나?
이 : 2011년 당시 AI조직을 만드는 것이 숙제였다. 지금까지 성과는 있었다고 본다. 게임 회사에서 AI를 연구하는 방향을 잡고 초기적 성과를 내기 시작했기에 의미있다고 생각한다. 그리고 연구소는 독립적 조직이 아니라 엔씨의 식구다. 개발팀과 처음부터 협의해 함께 한다. 이런 고민이 있는데 여기에 AI를 적용할 수 있냐고 의뢰하는 것이다. 우리의 연구와 개발팀의 기획이 함께 이뤄진다. 현업에서 고민하는 진짜 문제를 풀면 좋은 것이고 그것이 우리 A I조직의 성과라고 생각한다.

Q : 과금에 AI가 도움을 줄 수 있는 부분이 있을까?
이 : 과금에 대해 연구하고 있지 않지만 사용자가 원하는 것에 적용이 가능할 것이다. 예를 들어 여러 상품을 개별적으로 구매하면 지불 가격이 커지는데, AI가 패키징을 하고 가격을 책정하는 기술은 있다. 과금 유도가 아닌 최소 비용으로 최대 효과를 노리는 방법은 연구 중이다.

Q : 김택진 대표와 윤송이 이사가 관심있어하는 분야는?
이 : AI 조직을 처음 의뢰한것은 윤송이 이사다. 이후 미국으로 떠나고 김택진 대표가 조직을 맡았다. 지금도 두 분에게 큰 도움을 받고 있는데, 대표이사가 이런 논의를 하는 걸 처음 겪는다. PT를 하면 문제를 모델링하고 좋은 코멘트를 주고 많은 지식 정보를 주신다. 게임에서 이런 기술을 활용하면 좋겠다고 조언도 한다. 숙제도 많이 준다.
미국에 있는 윤송이 이사도 아직도 의견을 준다. 지인들이 많으셔서 어떤 일이나 고민이 있을 때 누구에게 연락을 해보라고 도움을 준다. 

Q : AI 연구소의 연간 투자규모나 투자 계획은?
이 : 인건비와 장비비, 시설비가 많이 든다. 어느 정도 규모가 됐기에 적절한 투자를 하고 있는지를 살펴볼 것이다.

Q : 의사들과 협의해 AI가 게임 과몰입을 체크해 제한하는 기술 연구도 가능하지 않을까?
이 : 질병 등재에 대해 걱정하고 있지만 그런 것을 고려한 적은 없다. AI는 문제를 푸는 방법이고 이것이 솔루션이 될 수 있을지 고민할 수 있을 것이다.

Q : 뉴스 요약은 진짜 요약인가? 아니면 핵심 단어만 뽑아내는 것인가?
장 : 우리는 중요 문장 추출 기술이 있는데, 요약을 제대로 하려면 창작 기술이 있어야 한다. 따라서 진짜 요약이라고 할 수 있다.

Q : AI 활용 게임은 만들어봤나?
이 : 시도해봤는데 쉽지 않다. 게임의 즐거움을 만드는게 어렵다. 계속 고민하고 있다.

Q : 엔씨의 AI 활용 수준을 평가한다면?
이 : 세계 최고 수준에 들어간다고 본다. 스피치 기술도 많이 올라왔다. 하지만 야구 중계는 아무도 안 해봤다. 억양도 있고 어려운데 이건 엔지니어링으로 푸는 게 아니다. 그래서 잘 하는 수준으로 왔다고 본다. 

Q : 게임의 자동화가 유저의 재미를 떨어뜨리지 않을까?
이 : 개발팀에서 기술이 필요하다고 할 때 우리는 연구를 할 뿐이다. 개발팀들이 꾸준히 고민하고 있다고 들었고 고객들의 피드백을 받아 의뢰받고 있다.
 

박상범 기자  ytterbia@gamevu.co.kr

<저작권자 © 게임뷰, 무단 전재 및 재배포 금지>