LIVとバーチャルモーションキャプチャーでMR合成

事前準備

LIVを使ってゲーム内に入ったような撮影(MR合成)を行うには事前に設定が必要です。
LIVの初期設定
MR合成用のexternalcamera.cfgの作成
を先に行ってください。

バーチャルモーションキャプチャーを起動する

最初にバーチャルモーションキャプチャーを起動して、モデルを読み込んでください。まだキャリブレーションを行う必要はありません。

LIVにexternalcamera.cfgをロードする

LIVを起動して、Launch Compositorを押し、左側のCAMERAを開き、Editを押してください。
※事前準備が正しく出来ていればCamera ProfilesにVMCが選ばれているのでそのままEditです。

表示されたEdit Camera:

• VMC画面の左側のCALIBRATIONタブを選択
• 次に右上にあるDetailsのチェックボックスにチェックを入れます（これを行わないとImportするUIが表示されません）
• Importボタンを開き、From fileを選択

事前準備で出力したexternalcamera.cfgファイルを開いてください。

正しく読み込まれた場合Success!と表示されるので、OKを押してください。(Saveはまだです)

クロマキーの設定をする

表示されているEdit Camera:VMCの画面左側のKEYINGを開きます。 Color設定を変えることで、バーチャルモーションキャプチャーと合成するときのクロマキー(透過する色)を設定できます。デフォルトはグリーンバック(GB)です。もし緑色のモデルを使っていたりしてモデルが透けてしまう場合は、ピンク等に変更してください。
設定が出来たらSaveボタンを押して保存します。

解像度の設定をする

LIV Appの画面左側のOUTPUTを開き、出力する解像度を設定します。LIVは処理が重たいため、PCのスペックが足りない場合高解像度で出力が間に合わない可能性が高いです。
最高画質はResolutionが1920x1080でFPSが60です。この数値はこの後実際に動作させてみて処理がカクつく場合に下げてください。
標準画質はResolutionが1280x720でFPSが30です。
解像度を変更した場合は、CAMERAのEditからVMC_Cameraの解像度も同じ大きさに変更します。

バーチャルモーションキャプチャーの仮想Webカメラを有効にする

まずは合成のために背景色を変更します。バーチャルモーションキャプチャーのコントロールパネルから背景色タブを開き、上のクロマキー設定で指定した色を選択してください。
デフォルトのグリーンバックのままであればGBボタンを押します。その他の色を指定した場合は、カスタムボタンを右クリックして好きな色に変更してください。カスタムボタンは右クリックで変更後、普通に左クリックでカスタムボタンを押すことで背景色が変更されます。

そしてコントロールパネルの設定タブから詳細設定を開き、仮想Webカメラを有効にする(VMC_Camera)のチェックを入れます。
そして解像度設定(Webカメラの使用側と同じ解像度を指定)の欄で、LIVのCAMERAで設定したものと同じ解像度を指定します。
通常は1920x1080/60Hzか1280x720/60Hzです。選択後に適用ボタンを押して、バーチャルモーションキャプチャーのモデルが表示されている画面の大きさが指定のサイズになる事を確認してください。 ※パソコンのモニター自体が1920x1080の場合、バーチャルモーションキャプチャーの解像度を1920x1080に出来ない場合があります。その場合はVirtualMotionCapture.exeを起動する際にShiftキーを押したまま起動すると設定画面が表示されるので、Windowedのチェックを外し、Screen resolutionを1920x1080にすると動く場合があります。

キャリブレーションを行う

先に設定タブの詳細設定画面からコントローラ番号にLIVのVirtual Controllerを選択し、externalcamera.cfgを開くボタンで、LIVに読み込ませたものと同じexternalcamera.cfgを開いてください。

カメラが動いたことを確認したらバーチャルモーションキャプチャーでキャリブレーションを行ってください。
この時、必ずMR合成モードを使用してください。(通常モードも動作しますが、手がずれます)

ゲームを起動する

ここまで正しく設定出来ていれば、LIVとともに表示された枠のない画面に、背景がクロマキーで透過されて黒い背景になったバーチャルモーションキャプチャーと同じモデルが表示されているはずです。
表示されてない場合は基本的に解像度設定が間違っているので、再度見直してください。全ての解像度を指定できる個所に同じ解像度を入れる必要があります。
問題なければLIV Appの画面左のCAPTUREを選択し、起動したいゲームを選んで、Target Resolutionをこれまで選んだものと同じ解像度にしてLaunchを押してください。

手がずれている場合

この時点でLIVの画面上で、ゲーム内にモデルが表示されているのが確認できているはずです。出来ていなければ設定が間違っているため再度確認しなおしてください。
表示されていても手がずれている(特に上下にずれている)場合、キャリブレーションのずれが発生しています。
バーチャルモーションキャプチャーの詳細設定から、仮想カメラのコントローラーを選択し、externalcamera.cfgを開くで使用しているexternalcamera.cfgを開きなおすか、
もう一度キャリブレーションをこのまま実行してください。ゲームが起動していても問題なくキャリブレーションできます。キャリブレーションの際にはMR合成モードを使用してください。

録画や配信をする

ここまで正しく設定出来ていれば、画面上に合成されたゲームとモデルが表示されていますので後はその画面をキャプチャーして録画するだけです。
例としてOBSでは、ソースにゲームキャプチャを使用し、モードは特定のウィンドウをキャプチャ、ウィンドウに[capture.exe]: LIV App Outputを選択するとキャプチャー可能です。

« 基本の操作方法 LIVの初期設定 »