ChatGPTを用いて制御されたキャラクター「モカ」にプレイヤーの声で語りかけサポートする脱出ゲーム『名探偵モカと密室脱出』のデモンストレーション動画が公開

　Unreal Engine専門のゲーム制作会社ヒストリアは8月4日（金）、同社が開発中の脱出ゲーム『名探偵モカと密室脱出』のデモンストレーション動画を公開した。

　『名探偵モカと密室脱出』のなかでプレイヤーは、怪しげな部屋に閉じ込められてしまった名探偵・モカと会話をしながら、部屋のなかに隠された鍵を探す。作中でプレイヤーはキーボードやマウスなどによる操作を行えないため、基本的にマイクを使って口頭でモカへと指示を出していくことになる。

　本作の特徴として、複数のクラウドAIサービスを用いてゲームの進行を管理している点が挙げられる。作中でプレイヤーがマイクを通じて伝えた言葉は、Microsoftの提供するAIサービス「Azure Cognitive Services」によってリアルタイムでテキストへ変換され、変換後のテキストから発行されたプロンプトに従い、ChatGPTがモカの行動およびセリフを制御する。

　その後、ChatGPTが出力したテキストを再度Azure Cognitive Servicesで音声データやコマンドとして変換し、キャラクターのボイスや行動が決定される仕組みとなっている。

　また、本作のゲームクライアントはUnreal Engine5（UE5）を用いて動作しており、キャラクターが移動する際のアニメーションや画面上の演出はUE5の機能によって描写されている。

　今回の発表によれば、本作のデモ動画はChatGPTをはじめとしたAI技術の発展と、UE5のリアルタイムレンダリング技術を掛け合わせることで何が実現できるのか、とする「探求の一環」とのこと。

　ちなみに、本作のメインキャラクターであるモカのボイスモデルは、放送中のテレビアニメ『ライアー・ライアー』で多々良 楓花役などを演じている声優の瀬戸桃子氏が担当している。

　瀬戸氏はニコニコ生放送の公式チャンネル「【公式】ニコニコゲーム」で毎週火曜日に放送中の動画番組「ゲームのお天気お姉さん」にも出演しているので、興味のある方はそちらの配信をチェックしてみても良いかもしれない。

ゲーム会社ヒストリア公式サイトはこちら「【公式】ニコニコゲーム」チャンネルトップページはこちら

ChatGPT×UE5、“声”だけで進める3D脱出ゲーム「名探偵モカと密室脱出」のデモンストレーション動画を公開！　セリフの自動生成によるゲームプレイを探求する技術デモ。

Unreal Engine専門のソフトウェア開発会社 株式会社ヒストリア（代表：佐々木瞬　本社所在地：　東京都品川区）は、ChatGPT×UE5を用いた技術デモ、“声”だけでプレイする3D脱出ゲーム「探偵モカと密室脱出」のデモンストレーション動画を2023年8月4日(金)に公開いたしました。

■『探偵モカと密室脱出』とは

デモンストレーション動画
ショートver： https://youtu.be/bCf27oheeSk
ノーカットver： https://youtu.be/N2uDYZ1PNNM

本作はマイクにより声だけでプレイする脱出ゲームです。近年のAI技術――ChatGPTおよび文字起こし/読み上げサービスを利用することにより、コントローラーを使用しない「より自然なコミュニケーション」によるゲームプレイの可能性を探ることを目的として作られました。

以下の３つを具体的な目標として、「会話を通して名探偵モカにヒントを貰いながら、脱出のカギを見つけて部屋の中から脱出するゲーム」として仕立て上げました。

・自然言語（声）によるNPCとのコミュニケーション
・ChatGPTにより3Dキャラクターを動かす
・ChatGPTによりゲーム進行を行い、ゲームのシナリオを収束させる

※本作は社内の技術研究として制作されたプロジェクトであり、ゲームとしての一般公開の予定はありません。

■ChatGPTを含む3つのAIクラウドサービスを使用

本作では3つのAIクラウドサービスを使用しています。
⦁ 文字起こし：Azure Cognitive ServicesのSpeech Service内「リアルタイム音声テキスト変換」マイクから取得した音声をテキストへ変換。
⦁ 行動・セリフ決定：「ChatGPT（GPT-4）」
文字起こしで得たテキストを元にプロンプトを発行し、NPCの行動と会話の返答を得る。
⦁ 読み上げ：Azure Cognitive ServicesのSpeech Service内「Custom Neural Voice」
ChatGPTで得たセリフをボイスに変換。

クライアント側はUE5で動作しており、キャラクターの移動や演出などはUE5の機能を用いて行っています。

■ChatGPTのストリーミング機能を利用したレスポンス向上

自然な会話を成り立たせるためには、キャラクターのレスポンスも重要な要素です。
ChatGPTの返答を待ってから処理したのではキャラクターのレスポンスが悪かったため、今回はChatGPTのストリーミング機能を利用し、以下の2つの工夫を行いました。

１．セリフ部よりもコマンド部を先にすることにより、コマンド部の結果が取得できた時点でキャラクターの移動を行い、時間を稼ぐ。
２．セリフを分割して読み上げ機能に投げることにより、ChatGPTの返答を待たずして返答する。

以下は2の概念図です。

これらの工夫により、違和感の少ないキャラクターレスポンスを実現しました。

■開発者による見どころ紹介を公開

ChatGPTに任せたゲーム進行や自然な会話の実現方法などを紹介しております。
https://historia.co.jp/archives/35752/

これらの研究結果を今後の制作に役立てるとともに、これからもヒストリアではAI技術とリアルタイムレンダリング技術を掛け合わせて実現できることを探求していきます。

リリースブログ：　https://historia.co.jp/archives/35650/

■株式会社ヒストリアとは

Unreal Engine専門のソフトウェア開発会社です。ゲーム事業とエンタープライズ事業の2つの軸でソフトウェアの企画、開発を行っています。代表作は『ライブアライブ』（開発）、『Caligula2』（開発・PC版販売）、『ジョジョの奇妙な冒険 ラストサバイバー』（開発）など。
エンタープライズ事業では、自動車業界、建築業界、映像・放送業界向けコンテンツやメタバース等を制作。また、『UE5ぷちコン』を始めとするイベントの主催・運営や技術ブログの発信など、Unreal Engineコミュニティを盛り上げる活動を行う他、WEBメディア『ゲームメーカーズ』運営等、開発者への情報発信にも力を入れる。

株式会社ヒストリア 会社HP：　https://historia.co.jp/
ヒストリア・エンタープライズ 会社HP：　https://historia.co.jp/enterprise/
公式Twitter： https://twitter.com/historia_Inc