私は3Dモデルのアバターを使って配信しています。
配信しようと準備していたら、ちょっとフリーズしちゃったので対応しました。
この記事では、VSeeFaceがフリーズした時・トラッキングが開始しない時の対応（2023年12月27日）をメモとして残しておきます。
正確には、「クリックなどの操作は受け付けるが、トラッキングが始まらない」時の対応になります。
1.使用ソフト：VSeeFace
パソコンと接続しているウェブカメラから映像を読み込み、顔の動きや表情を認識・追跡することを「トラッキング」と言うらしいです。
話者によって「トラッキング」の言葉の意味が微妙に違う感じもしますが･･･。
利用者の反応を3Dモデルにリアルタイムに反映させるために、トラッキング技術が使われています。
具体的なソフトを少しだけ挙げてみます。
まず、VTube Studioが有名ですね。画面下で謎のキャラがテケテケ歩いている配信は、おそらくVTube Studioを使っていると思います。
あとは、岩手県の会社が作っている3tene（ミテネ）とか。
2018年からやっているそうなので、意外と歴史がある。
で、私が現在使用しているのがVSeeFaceです。
VSeeFaceを選んだ理由がいくつかあります。
- 動作が軽い。
- キャラクターの「動きの表情」が豊富。
- 操作が楽。
- 説明が丁寧。
①動作が軽い。
上記2つのソフトも使ってみたのですが、1番軽かった。各PCとの相性が1番の原因であるとは思いますが･･･。現に動かして軽かった。
②キャラクターの「動きの表情」が豊富。
上記2つのソフトよりもキャラクターの「動きの表情」が豊富です。喜怒哀楽のような意味ではありません。「私がのけぞると小さくなる」とか、「片目だけ閉じる」とか、「目線がしっかり動く」とか。そういう「動きの表情」が豊富なので、動かしていて楽しいです。･･･これもPCや各ソフトの設定次第ではあると思いますが。
③操作が楽。
使用するウェブカメラを自動検知してくれるので、あとはアバターとなる3Dモデルを選ぶだけです。実は起動ボタンがない。アプリを起動し、3Dモデルを選択すれば、すぐにトラッキングとキャラクターの描画が始まります。
④説明が丁寧。
けっこう大事です。下手したら1番大事と言っても過言ではない要素かも。使用者の目線で説明が書かれています。すごい。私も見習いたい。基本は英語だけど、部分的に日本語対応もしています。
以上の理由からVSeeFaceを採用しています。
3つとも無料で始められますので、興味がある方はそれぞれ触ってみてください。
各PCとの相性もあるとは思います。
2.問題の概要
いつもならキャラクターを選択した時点でトラッキングが始まりますが、トラッキングが始まる前にフリーズしてしまいます。
･･････「フリーズ」と言うのは正確ではないですね。
「起動後、クリックなどの操作は受け付けるが、トラッキングが始まらない」が正確な問題です。
2.1.いくつかの前提
PCの環境
OS：Window10
GPUのバージョンについて
NVIDIAのGPUを使用しているPCの場合、issues with NVIDIA driver version 526（NVIDIA ドライバーバージョン526の問題）により、VSeeFaceが使用するVirtual camera（仮想カメラ）が破壊されてしまうので、
NVIDIA ドライバーを 522 以前にロールバックしてください。（please roll back your NVIDIA driver (set “Recommended/Beta:” to “All”) to 522 or earlier for now）
https://www.vseeface.icu/#startup-issues
公式ドキュメントをざっくり要約してみました。
･･･まあ専門家ではないので詳しいことはよく分かんないんですが、とにかくVSeeFace使用時は「NVIDIA ドライバーバージョンを522以下に下げる」ことが推奨されています。
でもこれはVSeeFaceを初めて使用した時に既にやっていたことです。
今まで使えていたということは、GPUの問題ではないはず。念のためバージョンを確認してみましたが、バージョン522だったのでこの問題ではないはず。
ちなみに、NVIDIAのGPUの過去のバージョンはここから入手できますが、
ダウングレードの具体的な方法は下記の記事が詳しいです。
2.2.現在起きている問題
というわけで、
①NVIDIAのGPUのバージョンが522以下であるにもかかわらず、
②3Dモデルを選択後、自動的にトラッキングが始まるはずなのに、
③トラッキングが始まらない。
というのが今回の問題です。
3.実際の対応
3.1.VSeeFace上の表示
トラッキングが始まらないと、VSeeFaceにトラブルシューティングが表示されます。
①ウェブカメラ大丈夫？
②一回トラッキングのチェックを外して、もう一回つけたら？
③VSeeFaceのアプリを再起動したら？
④一回VSeeFaceをアンインストールして、再インストールしたら？
･･･だったかな。書き残しておけばよかった。
これ一通り試しましたが、ダメでした。
とくに再インストールしたのですが、ダメだったので結構混乱しました。
3.2.公式ドキュメントの対応
公式ドキュメントにこんなことも書いてあったんですよね。
Some users are reporting issues with NVIDIA driver version 526 causing VSeeFace to crash or freeze when starting after showing the Unity logo. First make sure, that you are using VSeeFace v1.13.38c2, which should solve the issue in most cases. You can also try running UninstallAll.bat in VSeeFace_Data\StreamingAssets\UnityCapture as a workaround.
（Google翻訳）
一部のユーザーは、NVIDIA ドライバー バージョン 526 の問題により、Unity ロゴが表示された後の起動時に VSeeFace がクラッシュまたはフリーズする問題を報告しています。まず、VSeeFace v1.13.38c2 を使用していることを確認してください。これにより、ほとんどの場合問題が解決されます。回避策として実行UninstallAll.batしてみることもできます。VSeeFace_Data\StreamingAssets\UnityCapture
https://www.vseeface.icu/#startup-issues
いやー･･･。最新版のVSeeFaceで、GPUも推奨されている522以下のバージョン使っているんですけど･･･。まあ「UninstallAll.bat」をやってみますか。
UninstallAll.batの無効な実行
VSeeFaceを「起動したまま」UninstallAll.batを実行しました。
やっぱりダメでした。
これで「ダメかー」と思っていたんですけど、こうやって書いてみると「そりゃダメでしょ」と思いますね。
UninstallAll.batの有効な実行
VSeeFaceを「終了してから」UninstallAll.batを実行しました。
これでうまくいきました。
･･･なんで？知らない。
UninstallAll.batは仮想カメラのエラーとか何かをうまく解決しているのだと思います。たぶん。
今度からうまくいかなかったら、「とりあえずUninstallAll.batも実行してみる」のがいいかもしれません。
4.実際にはやらなかったけれど、参考になる対応
私の目的は上記手順で達成されたので、満足です。
今日はもっと早くから配信する気持ちがあったんですけど･･･。まあ、今後何回も訪れるかもしれないトラブル対応に目途がついたので良しとしましょう。
最後に。
実際にはやっていませんが、参考になる部分もここにメモしておきます。
・Startup issues（起動時の問題）
https://www.vseeface.icu/#startup-issues
→今回やった内容。
・Virtual camera issues（ウェブカメラと追跡の問題）
https://www.vseeface.icu/#virtual-camera-issues
→ウェブカメラが起動しないとき。今回やろうとする前に解決してしまったので。
・Performance tuning（パフォーマンスの調整）
https://www.vseeface.icu/#performance-tuning
→「なんか重いんだけど？」と思ったら。
とくにGPU（https://www.vseeface.icu/#gpu）の項目。アンチエイリアシングとか、フレームレートとか。タスクマネージャーのGPUが全然違います。･･･ついでなので、ちょっとVSync（垂直同期）を試してみようかな。
あとは、Models with many meshes（メッシュが多いモデル）の項目。メッシュとは、3Dモデルを形作る点・辺・面のデータの数のことです。自作モデルを使う場合は、モデルを作る段階からメッシュ数を意識する必要があり、重すぎてフリーズすることもあります（体験談）。私が配信で3Dモデルのアバターを使う理由は、動作確認の意味もちょっとだけあります。
見た目の品質やPCの安定感と相談してみてください。
以上です。
