はじめに

いくつかのAPIを組み合わせることで、一日で自分の好きな声・キャラ・見た目でおしゃべりできるAIキャラクターを作りました。この記事を読めば同じ感じで誰でも一日で俺の嫁を作ることができるようになります。
また今回はVR環境版とスマートフォン環境版の二種類を作成しました。
これらのアプリとUnity Projectは以下のgithubで公開しています。
軽く試してみたい人は作り方の6に従って、AgentCraftでAIの会話例を作成して、それをSebastienでデバイスIDとして発行すれば試すことができます。詳しくは6および6に載せている資料をご覧ください。
https://github.com/gyokuro33/ai-agent

何を作ったか

こんなのです。

スマートフォン版

俺の嫁を一日で作ってみた pic.twitter.com/c3xbmofXH8
— おろろ (@ororo33) December 18, 2019

VR版

VRバージョン pic.twitter.com/jUok4d38qu
— おろろ (@ororo33) December 18, 2019

使用したもの

NTTドコモのAgentcraft : AIエージェント作成ツール
NTTドコモのSEBASTIEN : AIエージェント基盤
SEBASTIENと音声対話するためのUnity向けSDK
Oculus社のOculus RiftS　もしくはOculus LinkでOculus Riftsと同様に操作可能にしたOculus Quest
Oculus社のOVRLipsync : 3Dモデルに音声に合わせた口パクを行わせるツール
Unity Technolosies Japanのunity chan!© UTJ/UCL　: 3Dモデル。可愛いくて様々なポーズや表情が揃っている。違うキャラが作りたい人は自分の好きなキャラの3Dモデル
Unity(2018.4.13f1) : ゲーム開発エンジン
適当なAndroidのスマートフォン

参考にした記事

ドコモAIエージェントAPI
【UnityC#講座】ユニティちゃんの表情を替える【SetLayerWeight】
キャラクターを喋らせる！OVR Lip Syncの導入から問題発生時の解決法まで
 Unityで作る！ドコモAIエージェントAPIを使った音声対話アプリ作成ハンズオン

構成図

アプリの仕組みは以下のようになっています。
基本アプリ側で行うのはグラフィックの描画と音声のInput,Outputのみで、それ以外の音声認識や音声合成、会話作成などは連携するAPI先で処理しています。

作り方

1. 使用したものの欄にあるものをすべてダウンロード

バージョン指定されているものはそのバーションのものを。バーション指定されていないものは最新のものをダウンロード。

2. Unityに空のプロジェクトを作成する

3. ダウンロードした以下の三つのファイルを作成したプロジェクトにインポートする

SEBASTIENと音声対話するためのUnity向けSDK
OVRLipsync
Unity Chan

インポートの方法は以下の記事を参考にしてください。
パッケージのインポート

4. Asset/Sebastien/Scenes/mainのシーンを開く

5. 以下の記事を参考に、Unitychanが音声を再生することで口パクしてくれるようにする

キャラクターを喋らせる！OVR Lip Syncの導入から問題発生時の解決法まで
ただし最新のOVRLipsyncを使う場合ならVisemeToBlendTargetsの設定は記事とは異なり、以下のように設定する必要があります。
またUnity chan以外をしゃべらせたい場合は違う3Dキャラクターを同様の手順で設定して、口パクできるようにしてください。

6. 以下のハンズオン資料に従って、エージェントとの対話までできるようにする

Unityで作る！ドコモAIエージェントAPIを使った音声対話アプリ作成ハンズオン
対話内容はお好みで。この段階で、キャラがしゃべる声や会話内容などを作成します。
Agentcraftの詳しい使い方や作り方はここに載っています。
簡単に説明すると、会話については以下のように発話例とそれへの応答を決めることで、会話への対応パターンを作ることができます。
またキャラクターの声は以下のように、50以上の声から選ぶことができます。声のサンプルはここで聞くことができます。
さらにこれらの声は声質や話速、抑揚、声の高さなど様々なパラメーターをチューニングすることで、自分だけの声を作ることも可能です。
また以下の動画のように、会話中に声を変更することも可能です。

違う声で話すようにお願いする pic.twitter.com/wJqrcvy8OB
— おろろ (@ororo33) December 18, 2019

7. SpeakToLipsyncというC#スクリプトを書き、手順5で作成したLipSyncSoundに追加する

コードの内容は以下のもの。
書いている内容としては、Sebastienが合成した音声をOVRLipSyncで再生させることで、言った内容と同じことを口パクしてくれるようにする、というもの。

SpeakToLipsync.css

usingSystem;usingUnityEngine;usingSystem.Diagnostics;usingDebug=UnityEngine.Debug;usingSystem.Threading;publicclassSpeakToLipsync:MonoBehaviour{publicAudioSourcecurrentAudioSource=null;publicAudioSourcespeakAudioSource=null;publicGameObjectspeakOb;privateAudioClipbeforeAudioClip;voidAwake(){speakAudioSource=speakOb.GetComponent<AudioSource>();if(!currentAudioSource)currentAudioSource=GetComponent<AudioSource>();if(!currentAudioSource)return;}// Start is called before the first frame updatevoidStart(){currentAudioSource.mute=false;beforeAudioClip=speakAudioSource.clip;}// Update is called once per framevoidUpdate(){if(beforeAudioClip!=speakAudioSource.clip){currentAudioSource.clip=speakAudioSource.clip;currentAudioSource.Play();}beforeAudioClip=speakAudioSource.clip;}}

8. SpeakToLipsync.cssのSpeakObにHierarchyにあるSpeakを入れる

9. HierarchyにあるCanvasのGameObjectを非アクティブにする

10. Asset/Sebastien/Example内にあるExample.cssを以下のように変更する

関数Startの一番最後、speak.start();の次に以下の二行を入れてください。

speak.cancelPlay();//音声再生をキャンセルするspeak.unmute();

また関数onPlayEndに以下の一行を入れてください。

speak.unmute();

こうすることで、AIキャラクターが常に音声を聞いて反応してくれるようになります。

11. （VR版を試したい場合は）Player SettingのXR SettingからVirtual Reality Supportedにチェックを入れて、VRに対応できるようにする。

12. （android版を試したい場合は）使用プラットフォームをAndroidに変える

13. 各デバイスをPCにつなぐ

14. アプリをBuild&Runする

応用例

以上に書いた作り方は基本です。
これを基にさらに工夫を加えることで、より人間のような応答をAIキャラクターがしてくれるようになります。

1. AIキャラクターの応答に表情を加える

DocomoのAgentcraftには言葉以外のメタ情報を応答の際に送るという機能が存在します。
その機能を使って、AIキャラクターが応答する際に以下のような感情の情報も一緒に送り込み、その感情に応じた表情をさせることで、AIキャラクターが表情豊かに話してくれます。
表情の変え方は以下の記事を参考にすれば簡単に変えることができます。
詳しい作り方は、いいねが50超えたら書きます……（力尽きた感）
【UnityC#講座】ユニティちゃんの表情を替える【SetLayerWeight】

言葉と一緒に表情を変える pic.twitter.com/SS8JLK6of0
— おろろ (@ororo33) December 18, 2019

2. AIキャラクターが会話を記憶して、その情報を基に話すようにする

DocomoのAgentcraftには会話中で発された言葉を記憶して、会話を作成する機能があります。
例えば「私のことを覚えていますか？」　という質問に対して、その人と話したことがあるかで、以下のように分岐を作ることができます。

この機能を活用すると、以下のように、自分の好みなどのパーソナライズな情報を汲んでくれる、まさしく俺の嫁を作ることができます！

会話の情報を記録する pic.twitter.com/s0wImLHEuk
— おろろ (@ororo33) December 18, 2019

会話の情報がまだない場合 pic.twitter.com/uwz6oGhsuN
— おろろ (@ororo33) December 18, 2019

3. AIキャラクターを攻略できるようにする

応用2のさらなる応用です。
このAIキャラクターには情報を記憶させることが可能です。
そして会話にはその記憶から分岐を作ることが可能です。
そしてこの記憶は会話内以外にもあらかじめ設定することが可能です。
つまり、AIキャラクターと会話して、AIキャラクターの好みに合った返答を行えば好感度が上昇or下降するようにする。そうした会話を多数作れば、会話するにしたがってどんどん好感度が上昇（もしくは下降）していく、攻略可能な俺の嫁が誕生します！
ただ一つ問題点があり、自分で作るとそこらへんの好みや会話をすべて知っている状態で会話をすることになり、非常に虚しいことです……
この記事を読んだ誰かに作ってほしい……

まとめ

以上のように作っていくことで、自分の好きな声・キャラでおしゃべりしてくれるVRアシスタントを作ることができるようになります。
ぜひみんなで自分だけのキャラクターを作って、楽しんでください。
またこのアプリはSEBASTIENのデバイスIDを使用することで作成したキャラクターのAIの振る舞いを試すことができます。
つまり、他の人が育成したキャラクターとおしゃべりすることもできるんです！
この記事を読んでくれた方は、ぜひ自分だけのキャラクターを作り、それを公開することで色んなキャラクターを生み出してほしいです！