はじめに
こんにちは！tuttuです！
twitterで紹介した、こちらのリアルタイム翻訳機の導入方法を説明します！
#NeosVR海外の人がつくったリアルタイム翻訳機だよ！すごすぎ！
— tuttu@VRChat始めました (@tuttu74459297) February 12, 2020
今日はちょっと趣向を変えて紹介動画にしてみたよ！ pic.twitter.com/hH2eMJ0Rpt
ちなみにこれは、海外のAnomalousさんが作ったもので、本人の紹介動画もあります。
https://www.youtube.com/watch?v=-Ygun89yHZU
わかりづらいところ、間違っているところがあれば随時加筆修正するので、
お気軽に教えてください！
まとめ
最初に要点を書いておきます。
- 環境構築: C# .NET Framework 4.6.2, 4.8 で動作確認済み
- Azure認証キーの取得(無料試用版あり): Speech API (Cognitive Service)
- ソースコードのclone: https://github.com/Anomalous/AnomalousNeosExperiments/tree/master/Translator
- NeosTranslateDataModel.csの認証キーと言語を設定
- Translatorをローカルで立ち上げ
- (Neosにて)ツール配布ワールドでツールを取得: http://cloudx.azurewebsites.net/open/world/U-Anomalous/R-55501fd5-8e98-40db-9dd4-e2cae7ea41c6
- ワールドの動画に沿って、自分の名前を設定
1～5は現実世界で行い、6,7はNeosVRで行います。
これらについて次の章から詳しく見ていきましょう！
動作確認環境
- Windows10
- Oculus Quest + Virtual Desktop
また、PCにマイクの音声が届いていることを確認しておきましょう。
現実世界編
C#環境構築
Visual Studioのインストール
Visual Studioをインストールするのが一番手っ取り早いかと思います。
https://qiita.com/grinpeaceman/items/b5a6082f94c9e4891613
こちらのページの「Visual Studioインストール」まで進めてください。
(以下の話はVisual Studio 2019で進めています)
.NET Frameworkのインストール
次に、.NET Frameworkをインストールします。
4.6.2～4.8のバージョンであればどれも動くと思いますが、僕は4.6.2と4.8で動くことを確認しました。
(参考: .NET Framework のバージョンの互換性)
こちらから4.8のDeveloper Packのインストーラーをダウンロードし、
インストーラーを起動してインストールを進めます。
Azure Speech API 認証キーの取得
Microsoft/Facebook/Github/LinkedIn のいずれかのアカウントが必要です。
(Microsoftのアカウントは、WindowsのOSセットアップのときに作っていることが多いです)
持っていなければ、こちらから作りましょう。
Azure Cognitive Serviceのページに行き、Speech APIタブをクリック
Speech Serviceの「APIキーの取得」をクリック
「7日間の試用期間」をクリックします。
(有効期限があるので、本格的に使う場合は課金する必要があります)
ここでログインを求められるので、持っているアカウントでログインします。
ログインすると、認証キーが2つ表示されます。
こちらの認証キーは後ほど使います。
翻訳機サーバーの立ち上げ
ソースコードのダウンロード
https://github.com/Anomalous/AnomalousNeosExperiments
こちらのソースコードをダウンロードします。
gitがあればcloneしてください。
ない場合は、zipでダウンロードし、好きな場所に解凍します。
(基本的には日本語を含まないパスに解凍するのが良いです)
Visual Studioで開く
Visual Studioを立ち上げ、「プロジェクトやソリューションを開く」から先ほどのソースコードを開きましょう。
cloneもしくは解凍したAnomalousNeosExperimentsの下(もしくはAnomalousNeosExperiments-masterの2つ下)にTranslatorというフォルダがあります。
その中にある「NeosTextTranslator.sln」をVisual Studioから開きます。
認証キーや言語の設定
開いたNeosTextTranslatorのプロジェクトに対し、先ほどの認証キーや言語の設定をしていきます。
1. NeosTranslateDataModel.cs を開く
2. 先ほど取得したAzureの認証キー(2つあるうちのどちらでも良い)をDEFAULT_AZURE_SUBSCRIPTION_KEYにセット
3. 入力側(話す方)の言語をTRANSLATOR_INPUT_LANGUAGEにセット(これを読んでいる人はja-JPで良いはず)
- 翻訳先の言語はNeos側で設定します
サーバーの立ち上げ
Visual Studio上のツールバーにある「開始」を押します。
すると黒い画面が立ち上がれば成功です。
試しに、http://localhost:8083/SetLanguage?Language=enなどを叩いてみると、サーバーが反応していることを確認できます。
NeosVR編
NeosVRそのものの始め方は
https://neosvrjp.memo.wiki/
を参考にしてみてください！
最近開設された、日本人向けNeosVRコミュニティのDiscordもあります。
https://discord.gg/GH8YRbd
翻訳機配布ワールドで翻訳機をゲット！
http://cloudx.azurewebsites.net/open/world/U-Anomalous/R-55501fd5-8e98-40db-9dd4-e2cae7ea41c6
こちらのリンクを開くと、翻訳機を配布しているワールドに飛べます。
(NeosVRを立ち上げた状態で開くと確実です)
ワールドでは、Anomalousさんの動画と翻訳機、そして翻訳機のインスペクターがお出迎えしてくれます。
この場で翻訳機をセットアップ(下記)してしまい、保存しましょう。
翻訳機のセットアップ
やることは2つです。
1. 翻訳機にユーザー名を登録する
2. 翻訳先の言語を登録する
まず翻訳機にユーザー名を登録する必要があります。
ChatTranslatorのインスペクターが表示されているので、この中にあるValueを自分の名前に書き換えましょう。
続いて、翻訳先の言語を登録します。
翻訳機の上にjaと入っていますが、試しにこちらをenに変更してみましょう。
変更したら、Set Languageボタンを押します。
すると、ここまでうまくできていれば翻訳機が動きます！
完了したら、翻訳機をインベントリーに保存しましょう。
(ユーザー作成ツールの保存方法はこちらを参考に)
動かないときのチェックポイント
- サーバーを立ち上げるときにエラーが出る
- .NET Frameworkのバージョンが違うかもしれません。僕は最初4.6.1でやろうとしてうまく立ち上がりませんでした
- ソースコードの変なところを編集してしまったかもしれません。認証キー周りのソースコードを見直してみましょう
- 最後まで完了したけど翻訳機が反応しない
- ユーザー名を翻訳機に正しく設定できていない可能性があります
- Set Languageを押したら青い文字は表示されたけど、翻訳結果が出てこない
- ソースコードに設定を入れるときに、Azureの認証キーや言語の設定を間違ってしまった可能性があります
- 音声がPCに届いていない可能性があります。PCの設定からマイクを確認してみましょう