UE5.1で追加されたLiveLinkFaceImporterを試す

LiveLinkFaceアプリ内に保存されているフェイシャルアニメーションデータ(.csv)をUEプロジェクトにインポートできるプラグインがUE5.1で追加されたので、UEでアニメーションが確認できるところまで試してみます。

https://portal.productboard.com/epicgames/1-unreal-engine-public-roadmap/c/907-live-link-face-importer

環境

LiveLinkFace version 1.2.1 (1)

LiveLinkFaceアプリの設定 “キャリブレーション” を有効にしています。

UnrealEngine 5.1

LiveLinkFace

キャプチャデータファイルが保存されているアプリからPCへデータを持っていく必要があります。
今回はGoogleDriveを使用してPCへデータを持っていきました。

①左下のリストボタンを押す。

②持っていきたいテイクを選択して共有ボタンを押す。

③アプリ選択でGoogleDriveを選んでアップロードする。

キャプチャデータの中身

LiveLinkFaceから持ってきたデータを展開すると以下のファイルが入っています。

ファイル名内容
importer-test_2_iPhone.moviPhoneでキャプチャしたフェイシャル動画(音付き)
importer-test_2_iPhone_cal.csv  キャリブレーションデータを使用した補正されたフェイシャルアニメーションデータ
importer-test_2_iPhone_neutral.csvキャリブレーションした顔のニュートラル表情データ
importer-test_2_iPhone_raw.csvキャリブレーションデータを使用しない生のフェイシャルアニメーションデータ
take.jsonキャプチャ日時やフレーム数などが書かれているテキスト
thumbnail.jpgフェイシャル動画のサムネイル画像

UEプロジェクトには、~_cal.csv~_raw.csvを使用します。

UEへインポート

フェイシャルアニメーションデータ(.csv)をプロジェクトにインポートするために、プラグインの”LiveLink”と”LiveLinkFaceImporter”プラグインを有効にしてプロジェクトを再起動します。

プラグインが有効になりましたので、フェイシャルアニメーションデータ(.csv)をContentBrowserにドラッグ&ドロップしてインポートします。

インポートしたフェイシャルアニメーションデータは、LevelSequence(LiveLinkTrack)に変換されます。

フェイシャルアニメーションプレビュー

フェイシャルアニメーションを確認するために、MetahumanとLevelSequenceActorを配置します。

配置したらLevelSequenceActorのLevelSequenceAssetにインポートしたフェイシャルアニメーションデータをアサインします。

アサインしたらOpen Level Sequenceをクリックしてシーケンサを開き、MetahumanBPのLiveLinkのARKit Face Subjを表示されてるサブジェクトに設定する。
次に、Use ARkit Faceにチェックをいれてください。

これでシーケンサを再生するとフェイシャルアニメーションがプレビューできるようになります。

キャプチャしたフェイシャルアニメーションをそのまま使うのであれば便利なプラグインだと思います。

おまけ raw.csvとcal.csv

UEへインポートできる2種類のアニメーションデータがどう違うのか比較動画を作ってみました。

キャリブレーションの補正が入った_cal.csvのほうが、_raw.csvと比べて口がしっかり閉じているので使用するときは_cal.csvを使うのがよいかと思います。