プライバシー保護の配慮で赤外線結構光使用したスキャナ（Kinect、RealSenseなど）は、埃や毛に敏感で成形したモデルの表面はしばしばざらつきが激しく、とても直接ユーザーに見物ようなものではありません。それに以外にも、調査の結果によるとユーザーがスキャンされた自分の姿に自分の顔を移したくない傾向が強い。一層モデルさんの顔で映してほしいという要望を踏まえて、スキャンモデルを再構築プロセスを開発することに。
ポイント：
モデルを粘土ではなく人型にして見せるにはこれらのプロセスをしないといけないわけだ。
審美的
顔、手足の再構築
マテリアル
リギング
テンプレートを予め定義し、TG3Dの体測定法による体のランドマークコンストレイントで一般性フィッティングイテレーションリトポロジーを実行した後、手首、頭を除くメッシュの分布はよくできている。
テンプレートマッピングの結果：
データ欠陥：
Issue1. 丸坊主予測還元：
ノイズや髪の毛が混入すると、ジオメトリー的フィッティングが間違えられがち。特に前髪伸ばしてある人では顔のメッシュが髪の毛に投影されてしまって歪みをもたらす原因となる上、後ほど機械学習においてモデルに悪い影響を与えることになるでしょう。
世界中の研究からデータを収集し、頭と手のサイズの信頼区間を範囲にテンプレートの頭を剛体移植
Issue2. 不正データフィルタリング・スキャン範囲外部分の還元
結果：
再構築に成功したものから輪郭、法線、深度、測定値など様々な情報を抽出し機械学習によってスキャナーレススキャンをサポートしている。実際のモデルで抽出された画像なわけで、Stable DiffusionのControlNetに送ってAI画像生成も可能になった。
留言