分離の重要性：SAGEは全身モーションにおいて統合VQ-VAEベースラインを上回る

リンク一覧

概要と1. はじめに

1. 関連研究

   2.1. スパース入力からのモーション再構築

   2.2. 人間のモーション生成

2. SAGE：階層化されたアバター生成と3.1. 問題の定義と表記

   3.2. 分離されたモーション表現

   3.3. 階層化されたモーション拡散

   3.4. 実装の詳細

3. 実験と評価指標

   4.1. データセットと評価指標

   4.2. 定量的および定性的結果

   4.3. アブレーション研究

4. 結論と参考文献

\ 補足資料

A. 追加のアブレーション研究

B. 実装の詳細

4.3. アブレーション研究

私たちはSAGE Netの各コンポーネントの設計選択を正当化するために、S1の設定でアブレーション研究を実施しました。

\

\

\

\ 分離されたコードブック： 分離戦略を評価するために、統一されたモーション表現を使用したベースラインを確立しました。具体的には、全身のモーションを単一の統一された離散コードブックにエンコードする全身VQ-VAEモデルを開発しました。他のコンポーネントは元のモデルと同じです。表5の最初と最後の行に示された結果は、分離された潜在変数を採用した私たちのアプローチが、すべての評価指標においてベースラインを大幅に上回ることを示しています。これは、分離によってモデルがより限定された動きと相互作用のセットに集中できるようになり、学習プロセスが簡素化されることを示しています。さらに、図5は私たちのモデルとベースラインモデルの視覚化比較を示しており、分離が最も困難な下半身のモーションの再構築結果を大幅に改善できることを確認しています。

\

\ 分離戦略： 最適な分離戦略を調査するために、キネマティックツリーに沿ってルート

\

\ （骨盤）ノードから各葉ノードへのパスをたどる極端な分離構成を探索します。具体的には、体を5つのセグメントに分解します：ルートから左手（a）、右手（b）、頭（c）、左足（d）、右足（e）へのパスです。表5の最後の2行で報告されているように、人体をさらに分離すると、上半身（または下半身）内の自然な関節の相互接続が妨げられ、パフォーマンスの低下とモデル設計の複雑化を招きました。

\

\ 限界：図6では、以前の最先端手法と私たちのモデルの両方が、主に2つの状況で困難に直面しています：（1）外力によって誘発される動き（上段）。（2）非従来的なポーズ（下段）。トレーニングデータセットにより多様なサンプルを追加することで、これらの領域でのモデルのパフォーマンスを潜在的に向上させることができます。

\

:::info 著者：

（1）韓 峰、同等の貢献、武漢大学からアルファベット順；

（2）馬 文超、同等の貢献、ペンシルバニア州立大学からアルファベット順；

（3）高 全凱、南カリフォルニア大学；

（4）鄭 賢偉、武漢大学；

（5）薛 南、アントグループ（xuenan@ieee.org）；

（6）許 慧娟、ペンシルバニア州立大学。

:::

:::info この論文はarxivで入手可能で、CC BY 4.0 DEEDライセンスの下で公開されています。

:::

\