Unityで口を動かすuLipSyncをいじってみたメモ。スクリプトで表情も変えてみたり
End-of-Life Notice for Oculus Spatializer Plugin
Oculus Spatializer Pluginは、Meta XR Audio SDKに置き換えられ、現在はサポート終了段階にあります。 v47より後については、サポートは提供されません。 このSDKの使用を停止することを強くおすすめします。 以下の中から、実際に使っているエンジンに対応するMeta XR Audio SDKのドキュメントをご覧ください。– Unity Native用Meta XR Audio SDK– FMODとUnity用Meta XR Audio SDK– WwiseとUnity用Meta XR Audio SDK– Unreal Native用Meta XR Audio SDK– FMODとUnreal用Meta XR Audio SDK– WwiseとUnreal用Meta XR Audio SDK
このドキュメントは今後更新されることはなく、削除される場合もあります。
引用元：Unity開発用Oculusリップシンク | Meta Horizon OS Developers
さっそく導入してみる
Releases · hecomi/uLipSync MFCC-based LipSync plug-in for Unity using Job System and Burst Compiler - hecomi/uLipSyncサンプルを動かしてみる
↓ここにあります。 Assets/uLipSync/Samples/01. Play AudioClip/01-1. Play Audio Clip.unity
ユニティちゃんについてるコンポーネントを見てみる・U Lip Sync Blend Shape
VRMモデルのサンプルもついてるから見てみる
Assets/uLipSync/Samples/04. VRM/04-2. VRM 1.0.unity
Assets/uLipSync/Samples/04. VRM/04-1. VRM 0.X.unity
VRMモデルの場合はプレイヤー設定をいじる必要があるっぽいパッケージマネージャー経由の場合は自動で追加されるから不要っぽいけど、今回はunitypackageで追加したので必須で した 。
GitHub - hecomi/uLipSync: MFCC-based LipSync plug-in for Unity using Job System and Burst Compiler MFCC-based LipSync plug-in for Unity using Job System and Burst Compiler - hecomi/uLipSyncVRM パッケージを .unitypackage からインストールする場合は、Scripting Define Symbols を手動で追加する必要があります。VRM 0.X の場合は を、VRM 1.0 の場合は を追加します。パッケージマネージャーを使用してパッケージを追加すると、これらのシンボルは自動的に追加されます。USE_VRM0XUSE_VRM10
私のモデルを動かしてみる
・Audio Source
・U Lip Sync Expression VRM
・U Lip Sync
VRM0の場合は U Lip Sync Expression VRM が U Lip Sync Blend shape VRM になります。
これだけだとダメっぽいので、On LipSync Updateのところを私のモデルに書き換えたら動きました！
サンプルの子をプレハブにして配置するとコピペしやすいAssets/uLipSync/Samples/04. VRM/04-1. VRM 0.X.unity
これで動いた！ちゃんとアニメーションとも併用できるっぽい
しかし強制無表情になってしまった アニメーションベイクすると良いっぽい？アニメーションベイクまた、事前に計算されたリップシンク データである を に変換することもできます。 アニメーションとして保存すると、他のアニメーションと組み合わせたり、既存のワークフローに統合したり、後でキーを動かして調整したりすることが容易になります。 サンプルシーンはSamples/07です。アニメーションベイク。BakedDataAnimationClip
セットアップ[ウィンドウ] > [uLipSync > アニメーション クリップ ジェネレーター] を選択して、uLipSync アニメーション クリップ ジェネレーター ウィンドウを開きます。
uLipSyncで事前録音した音声からTimelineでVRMモデルを口パク - トマシープが学ぶuLipSyncを久しぶりに使う bibinbaleo.hatenablog.com 2年ぶり！ 準備 VRM 音声録音 Timeline Animationデータ 追記 別プロジェクトへ 準備 Unity2022.3.7 uLipSync.
bibinbaleo.hatenablog.com uLipSync の VRM モデル向けリップシンクアニメーションベイクについて - 凹みTipsはじめに id:bibinbaleo さんのブログで uLipSync を試してみていただいており、その中で VRM モデルのアニメーション書き出しについての記述がありましたので補足解説させていただきます。 bibinbaleo.haten.
tips.hecomi.com 【解決？】VRM0.xでやったら普通に表情ついてた VRM1.0はVRM Instanceの設定を変えたら表情は動いたけど、uLipSyncが動かなくなった UnityでVRM1.0モデルのブレンドシェイプが動かない時の対処法メモ UnityでVRM1.0モデルのブレンドシェイプが動かない時の対処法メモです。 knb-mayumi.com 追記：UniVRMのバージョンを変えたらVRM1.0でも普通に動いた unityでCS0246とCS0234エラーが出たので対処法メモ(UniVRMインポート時) unityにUniVRMをインポートしたらerror CS0246とerror CS0234:が出たので対処法のメモです。 knb-mayumi.com スクリプトで表情を変えることもできた Unityでブレンドシェイプを切り替えるスクリプトを動かしたのでメモ。VRMモデルの表情をキーで切り替え Unityでブレンドシェイプを切り替えるスクリプトを動かしたのでメモです。VRMモデルの表情をキーで切り替えできます。 knb-mayumi.com VRoidの表情まとめ。パラメーター数値や組み合わせ方などを画像で紹介 VRoidの表情まとめです。パラメーター数値や組み合わせ方などを画像で紹介します。 knb-mayumi.com パラメータを調整すれば口の大きさを微調整できるっぽい VRoidは口を開けすぎるとメッシュがはみ出るのでほどほどで…アニメーションやオーディオクリップ切り替えスクリプトと併用すると良い感じに使えるかな？
Unityでアニメーションクリップを切り替えるスクリプトを書いた。速度も変更できる Unityでアニメーションクリップを切り替えるスクリプトを書きました。速度も変更できます。 knb-mayumi.com Unityでオーディオクリップをキー入力で切り替えるスクリプトを書いた！OVRLipSyncも動いた Unityでオーディオクリップをキー入力で切り替えるスクリプトを書きました。OVRLipSyncも動きました。 knb-mayumi.com Unityでマテリアルを変更するスクリプトを書いた！キー入力でマテリアル切り替え Unityでマテリアルを変更するスクリプトを書きました。キー入力でマテリアル切り替えできます。 knb-mayumi.com EVMC4U+XR Animatorでモーションキャプチャーしながらでも使えた EVMC4UをXR Animatorで動かしてみたメモ。Unityの世界に入ってモーションキャプチャーができるだと…Σ(ﾟДﾟ) EVMC4UをXR Animatorで動かしてみた記事です。Unityの世界に入ってモーションキャプチャーができました。 knb-mayumi.com uLipSyncのオンオフを切り替えるスクリプトなど Unityで指定したコンポーネントをキー入力でオンオフするスクリプトを書いたのでメモ knb-mayumi.com Unityのアニメーションイベントの使い方メモ。アニメーション中にスクリプトで音を鳴らせてびびったΣ(ﾟДﾟ) Unityのアニメーションイベントの使い方についての記事です。アニメーション中にスクリプトで音を鳴らすことができました。 knb-mayumi.comおわりに
神部まゆみをフォローする いつもシェアありがとうございます(*^-^*) 最近投稿された記事はこちら Unity HubでWARNING警告が出てたメモ。An issue has been identified～ BlenderのHome Builder5アドオンを使ってみたメモ。簡単に部屋や家具が配置できてビビったΣ(ﾟДﾟ) UnityがBuilt-in Render Pipelineを廃止！？VRChatなど主要メタバースのURP対応などについてのメモ ②Unity 6.3でErrors and Warnings警告が出ていたので解消したメモ。glTFastで赤い警告が出てた関連記事
YMM4でクロマキー合成してVRoidの立ち絵を動かしてみたメモ YMM4でクロマキー合成してVRoidの立ち絵を動かしてみたメモです。 UnityのStylized Nature & Environment MEGA PACKアセットを買った！原神みたいな舞台が用意できてビビったΣ(ﾟДﾟ) UnityのStylized Nature & Environment MEGA PACKアセットを買いました。原神みたいな舞台が用意できてびっくりしました。 Umotion ProのSync同期機能で二人組のアニメーションを作成してみたメモ。VeryAnimationと併用してみるなど Umotion ProのSync同期機能で二人組のアニメーションを作成してみた記事です。VeryAnimationと併用してみるなどしました。 Umotion Proのレイヤー機能を使ってみたメモ。簡単にアニメーションが編集改変できてびびったΣ(ﾟДﾟ) Umotion Proのレイヤー機能を使ってみたメモです。簡単にアニメーションが編集改変できてびびりました。 プロフィール 神部まゆみをフォローする お問い合わせ 最近の投稿- Unity HubでWARNING警告が出てたメモ。An issue has been identified～
- BlenderのHome Builder5アドオンを使ってみたメモ。簡単に部屋や家具が配置できてビビったΣ(ﾟДﾟ)
- UnityがBuilt-in Render Pipelineを廃止！？VRChatなど主要メタバースのURP対応などについてのメモ
- ②Unity 6.3でErrors and Warnings警告が出ていたので解消したメモ。glTFastで赤い警告が出てた
- Clusterでギミックのテンプレートを使ってみたメモ。手軽に釣りやガチャが設置できてびびったΣ(ﾟДﾟ)