개발 기간 2년 4개월, 6757개 문장 학습…성대 발성 조절로 미세한 감정까지 표현 가능
넥스트유나이티드는 3일 신해철의 56번째 생일을 앞두고 인공지능(AI) 기반 기술로 개발한 목소리 모델 <AI 新해철>을 공개하고 이후의 새로운 활동을 예고한다. 넥스트유나이티드는 신해철의 IP에 대한 모든 권리를 보유하고 있다.
넥스트유나이티드는 신해철이 남긴 PC에서 라디오 ‘고스트스테이션’의 새로운 시즌을 준비하던 흔적과 새로운 오프닝 시그널을 발견해 보다 리얼한 목소리 재현이 필요하다는 결정을 내렸다.
넥스트유나이티드에 따르면 일반적인 인공지능 기반 음성 합성이 최상의 결과물을 얻기 위해서는 일정 분량의 음성 데이터 학습이 필요하지만 <AI 新해철> 음성 모델은 새로 녹음할 수 없고, 최적의 음성 학습 스크립트를 읽는 것도 불가능한 환경에서 시작했다.
넥스트 유나이티드는 방송, 강연, 공연 등 기록으로 남은 신해철의 육성 자료를 전처리하고, 별개로 거의 모든 음성을 스크립트 하여 이를 기반으로 음성 인공지능 모델을 학습시켰다.
총 270시간 음성 자료에서 중요 문장을 추출하여 다시 6757개로 재구성한 후 잡음을 제거하고 저하된 음질을 복구하는 전처리 과정은, 게임 ‘검은사막’ 내에 신해철 동상을 세우는 등 오랜 인연을 이어온 펄어비스의 개발지원을 통해 완성도를 높일 수 있었다.
또한 모든 데이터에 목소리를 구분할 수 있는 메타데이터를 넣어 인공지능 모델을 구축해 단순히 목소리를 흉내 내는 것을 넘어 상황별 다양한 톤과 세밀한 감정을 표현할 수 있도록 했다.
음성 학습 데이터는 신해철이 직접 한 말 만을 그대로 활용했고, 학습과 추출물의 판정, 검수는 가족인 신하연 양과 신동원 군을 비롯해 생전 가까이 지냈던 사진작가 강영호가 참여해 단순히 목소리가 비슷한 수준이 아니라 각 상황에 적절한 목소리 톤과 감정을 정확히 구현하도록 조언했다.
넥스트유나이티드의 대표이자 가족으로서 음성 복원에 참여한 윤원희 대표는 “그의 목소리와 메시지를 그리워하는 모든 이들의 바람이 <AI 新해철> 음성 모델을 세상에 불러냈다”며 “기술적으로 목소리를 복원하는 방식의 접근이 아니라 가족, 친구, 그리고 팬들과 청취자들이 원하는 울림이 담긴 목소리 그 자체를 만들어내는 데에 집중했다”고 밝혔다.
전처리와 학습 그리고 추출에 관한 기술은 남궁연이 개발하였으며, 모든 육성 자료를 글로 옮기고 분류한 신병진 방송작가는 "고스트스테이션은 마왕 신해철의 생각과 철학을 일방적으로 전달하는 것이 아니라 모든 청취자와 공감이 이뤄지던 장”이라며 “<AI 新해철> 음성 모델을 통해 다시 들려질 이야기들이 모두가 원하는 마왕의 역할을 담아낼 수 있을 것”이라고 말했다.
넥스트유나이티드는 <AI 新해철> 음성 모델을 계기로 고스트 스테이션의 새로운 시즌뿐만 아니라 마왕 신해철이 남긴 메시지를 담은 다양한 콘텐츠를 준비할 예정이다.
박찬웅 기자 rooney@ilyo.co.kr
-
‘일본 국민 밴드’ 미세스 그린 애플, 2025년 2월 한국 팬 만난다…‘차트 점령한 일본 1황, 한국 온다’
온라인 기사 ( 2024.12.02 19:06 )
-
뉴진스 붙잡는 어도어 "저희 마음 열려있어…민희진 전 대표도 돌아와주길"
온라인 기사 ( 2024.11.29 16:45 )
-
"이시국에" vs "뭐요" 논란 임영웅, 팬들도 이건 아니라는데
온라인 기사 ( 2024.12.09 17:47 )