▶ ソニー・インタラクティブエンタテインメント エルエルシーの特許一覧 ▶ ソウル マシーンズ リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022028791
(43)【公開日】2022-02-16
(54)【発明の名称】画像正則化及びリターゲティングシステム
(51)【国際特許分類】
G06T 13/40 20110101AFI20220208BHJP
G06F 3/01 20060101ALI20220208BHJP
【ＦＩ】
G06T13/40
G06F3/01 590
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021184773
(22)【出願日】2021-11-12
(62)【分割の表示】P 2018531312の分割
【原出願日】2016-09-07
(31)【優先権主張番号】711968
(32)【優先日】2015-09-07
(33)【優先権主張国・地域又は機関】NZ
(71)【出願人】
【識別番号】518187455
【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー
(71)【出願人】
【識別番号】518078083
【氏名又は名称】ソウル マシーンズ リミテッド
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】サガー、マーク、アンドリュー
(72)【発明者】
【氏名】ウー、ティム、ズ－シェン
(72)【発明者】
【氏名】ボニウェル、フランク、フィリペ
(72)【発明者】
【氏名】アルコー、ホマウド、ビー．
(72)【発明者】
【氏名】ホッジズ、コリン、ジョセフ
(57)【要約】 （修正有）
【課題】三次元アニメーションを生成する性能を向上させるための画像リターゲティングのシステム及び方法を提供する。
【解決手段】方法は、第１の対象の表面に配置された、第１の対象の各場所に関連付けられる複数のマーカのモーションを示すモーションキャプチャデータを含む画像データを獲得し、複数のブレンドシェイプを、マーカの構成に基づいて、モーションキャプチャデータに関して計算し、誤差関数を、複数のブレンドシェイプに関して識別し、誤差関数に基づいて、複数のブレンドシェイプを使用して第２の対象にリターゲティングできることを決定する。複数のブレンドシェイプは、次に、第２の対象に適用されて、新しいアニメーションを生成する。
【選択図】図１Ａ
【解決手段】方法は、第１の対象の表面に配置された、第１の対象の各場所に関連付けられる複数のマーカのモーションを示すモーションキャプチャデータを含む画像データを獲得し、複数のブレンドシェイプを、マーカの構成に基づいて、モーションキャプチャデータに関して計算し、誤差関数を、複数のブレンドシェイプに関して識別し、誤差関数に基づいて、複数のブレンドシェイプを使用して第２の対象にリターゲティングできることを決定する。複数のブレンドシェイプは、次に、第２の対象に適用されて、新しいアニメーションを生成する。
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
画像または画像シーケンスからのリターゲティングの方法であって、
画像の物理的対象の体表上の各マーカポイントにしたがって体表を取得するステップと、
１以上の筋肉に関連付けられた既知の体表位置のグループを参照することによって前記体表の表現を生成するステップであって、前記表現は、前記複数の既知の体表位置の少なくとも１つに重みを適用することによって取得され、前記表現は、生理学ベースのエネルギー方程式から生成され、前記生理学ベースのエネルギー方程式は、Ｌ１ノルム正則化を用いる、前記生成するステップと、
誤差関数にしたがって複数の形状プリミティブを評価した結果が誤差閾値以下に収まるかどうかに基づいて、少なくとも１つの仮想対象によって描かれた望ましい物理的状態に前記体表の前記表現をリターゲティングするための前記複数の形状プリミティブの選択を決定するステップとを含み、
前記誤差関数は、前記複数の形状プリミティブの重み付き組み合わせを含み、
前記複数の形状プリミティブの少なくとも１つは、前記１以上の筋肉のサブセットの活性化からシミュレートされたエネルギーよりも、前記生理学ベースのエネルギー方程式によって計算された、より低いシミュレートされたエネルギーの活性化された筋肉制御特徴を有する前記画像の前記対象の生理学的特性に基づいている、方法。
画像の物理的対象の体表上の各マーカポイントにしたがって体表を取得するステップと、
１以上の筋肉に関連付けられた既知の体表位置のグループを参照することによって前記体表の表現を生成するステップであって、前記表現は、前記複数の既知の体表位置の少なくとも１つに重みを適用することによって取得され、前記表現は、生理学ベースのエネルギー方程式から生成され、前記生理学ベースのエネルギー方程式は、Ｌ１ノルム正則化を用いる、前記生成するステップと、
誤差関数にしたがって複数の形状プリミティブを評価した結果が誤差閾値以下に収まるかどうかに基づいて、少なくとも１つの仮想対象によって描かれた望ましい物理的状態に前記体表の前記表現をリターゲティングするための前記複数の形状プリミティブの選択を決定するステップとを含み、
前記誤差関数は、前記複数の形状プリミティブの重み付き組み合わせを含み、
前記複数の形状プリミティブの少なくとも１つは、前記１以上の筋肉のサブセットの活性化からシミュレートされたエネルギーよりも、前記生理学ベースのエネルギー方程式によって計算された、より低いシミュレートされたエネルギーの活性化された筋肉制御特徴を有する前記画像の前記対象の生理学的特性に基づいている、方法。
【請求項2】
前記誤差関数の値をターゲット値の方に調整するステップをさらに含む請求項１の方法。
【請求項3】
前記画像からアニメーションにリターゲティングするステップをさらに含む請求項１の方法。
【請求項4】
画像または画像シーケンスからのリターゲティングの方法であって、
画像の物理的対象の体表上の各マーカポイントにしたがって体表を取得するステップと、
１以上の筋肉に関連付けられた既知の体表位置のグループを参照することによって前記体表の表現を生成するステップであって、前記表現は、前記複数の既知の体表位置の少なくとも１つに重みを適用することによって取得され、前記表現は、生理学ベースのエネルギー方程式から生成され、前記生理学ベースのエネルギー方程式は、Ｌ１ノルム正則化を用いる、前記生成するステップと、
誤差関数にしたがって複数の形状プリミティブを評価した結果が誤差閾値以下に収まるかどうかに基づいて、少なくとも１つの仮想対象によって描かれた望ましい物理的状態に前記体表の前記表現をリターゲティングするための前記複数の形状プリミティブの選択を決定するステップとを含み、
前記誤差関数は、前記複数の形状プリミティブの重み付き組み合わせを含み、
前記重み付き組み合わせの少なくとも１つは前記複数の形状プリミティブの非線形組み合わせを含み、
前記複数の形状プリミティブの少なくとも１つは、前記１以上の筋肉のサブセットの活性化からシミュレートされたエネルギーよりも、前記生理学ベースのエネルギー方程式によって計算された、より低いシミュレートされたエネルギーの活性化された筋肉制御特徴を有する前記画像の前記対象の生理学的特性に基づいている、方法。
画像の物理的対象の体表上の各マーカポイントにしたがって体表を取得するステップと、
１以上の筋肉に関連付けられた既知の体表位置のグループを参照することによって前記体表の表現を生成するステップであって、前記表現は、前記複数の既知の体表位置の少なくとも１つに重みを適用することによって取得され、前記表現は、生理学ベースのエネルギー方程式から生成され、前記生理学ベースのエネルギー方程式は、Ｌ１ノルム正則化を用いる、前記生成するステップと、
誤差関数にしたがって複数の形状プリミティブを評価した結果が誤差閾値以下に収まるかどうかに基づいて、少なくとも１つの仮想対象によって描かれた望ましい物理的状態に前記体表の前記表現をリターゲティングするための前記複数の形状プリミティブの選択を決定するステップとを含み、
前記誤差関数は、前記複数の形状プリミティブの重み付き組み合わせを含み、
前記重み付き組み合わせの少なくとも１つは前記複数の形状プリミティブの非線形組み合わせを含み、
前記複数の形状プリミティブの少なくとも１つは、前記１以上の筋肉のサブセットの活性化からシミュレートされたエネルギーよりも、前記生理学ベースのエネルギー方程式によって計算された、より低いシミュレートされたエネルギーの活性化された筋肉制御特徴を有する前記画像の前記対象の生理学的特性に基づいている、方法。
【請求項5】
前記エネルギー方程式の各値を実質的に最適化するステップをさらに含む請求項４の方法。
【請求項6】
前記誤差関数の値を実質的に最適化するステップをさらに含む請求項４の方法。
【請求項7】
前記誤差関数の値をターゲット値の方に調整するステップをさらに含む請求項４の方法。
【請求項8】
前記非線形組み合わせは、前記重み付き組み合わせ関数の代数展開を使用する請求項４の方法。
【請求項9】
前記展開は、テイラー展開である請求項８の方法。
【請求項10】
前記非線形組み合わせは、高次元モデル表現（ＨＤＭＲ）形状プリミティブを使用する請求項４の方法。
【請求項11】
形状プリミティブ間の共分散が記憶されるかモデルで計算され、相反する動作単位の少なくとも１対またはセットが実質的にゼロの共分散を有するとして規定される請求項４の方法。
【請求項12】
前記形状プリミティブは、ブレンドシェイプである請求項４の方法。
【請求項13】
画像または画像シーケンスからのリターゲティングのシステムであって、
画像または画像シーケンスをキャプチャする少なくとも１つの画像キャプチャ装置と、
プロセッサとを含み、前記プロセッサは、
前記キャプチャされた画像または画像シーケンスの複数のマーカを追跡するステップと、
画像の物理的対象の体表上の各マーカポイントにしたがって体表を取得するステップと、
１以上の筋肉に関連付けられた既知の体表位置のグループを参照することによって前記体表の表現を生成するステップであって、前記表現は、前記複数の既知の体表位置の少なくとも１つに重みを適用することによって取得され、前記表現は、生理学ベースのエネルギー方程式から生成され、前記生理学ベースのエネルギー方程式は、Ｌ１ノルム正則化を用いる、前記生成するステップと、
誤差関数にしたがって複数の形状プリミティブを評価した結果が誤差閾値以下に収まるかどうかに基づいて、少なくとも１つの仮想対象によって描かれた望ましい物理的状態に前記体表の前記表現をリターゲティングするための前記複数の形状プリミティブの選択を決定するステップと、
前記形状プリミティブをアニメーション生成装置に送信するステップとを実行するようにプログラミングされ、
前記誤差関数は、前記複数の形状プリミティブの重み付き組み合わせを含み、
前記複数の形状プリミティブの少なくとも１つは、前記１以上の筋肉のサブセットの活性化からシミュレートされたエネルギーよりも、前記生理学ベースのエネルギー方程式によって計算された、より低いシミュレートされたエネルギーの活性化された筋肉制御特徴を有する前記画像の前記対象の生理学的特性に基づいている、システム。
画像または画像シーケンスをキャプチャする少なくとも１つの画像キャプチャ装置と、
プロセッサとを含み、前記プロセッサは、
前記キャプチャされた画像または画像シーケンスの複数のマーカを追跡するステップと、
画像の物理的対象の体表上の各マーカポイントにしたがって体表を取得するステップと、
１以上の筋肉に関連付けられた既知の体表位置のグループを参照することによって前記体表の表現を生成するステップであって、前記表現は、前記複数の既知の体表位置の少なくとも１つに重みを適用することによって取得され、前記表現は、生理学ベースのエネルギー方程式から生成され、前記生理学ベースのエネルギー方程式は、Ｌ１ノルム正則化を用いる、前記生成するステップと、
誤差関数にしたがって複数の形状プリミティブを評価した結果が誤差閾値以下に収まるかどうかに基づいて、少なくとも１つの仮想対象によって描かれた望ましい物理的状態に前記体表の前記表現をリターゲティングするための前記複数の形状プリミティブの選択を決定するステップと、
前記形状プリミティブをアニメーション生成装置に送信するステップとを実行するようにプログラミングされ、
前記誤差関数は、前記複数の形状プリミティブの重み付き組み合わせを含み、
前記複数の形状プリミティブの少なくとも１つは、前記１以上の筋肉のサブセットの活性化からシミュレートされたエネルギーよりも、前記生理学ベースのエネルギー方程式によって計算された、より低いシミュレートされたエネルギーの活性化された筋肉制御特徴を有する前記画像の前記対象の生理学的特性に基づいている、システム。
【請求項14】
前記プロセッサは、前記エネルギー方程式の値を実質的に最適化するようにプログラムされる請求項１３のシステム。
【請求項15】
前記形状プリミティブは、ブレンドシェイプである請求項１３のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］
本特許出願は、２０１５年９月７日出願のニュージーランド特許出願第７１１，９６８号「ＩＭＡＧＥ ＲＥＧＵＬＡＲＩＳＡＴＩＯＮ ＯＲ ＩＮＴＥＲＰＲＥＴＡＴＩＯＮ ＳＹＳＴＥＭ」の優先利益を主張し、その開示を参照により本明細書に組み込む。
本特許出願は、２０１５年９月７日出願のニュージーランド特許出願第７１１，９６８号「ＩＭＡＧＥ ＲＥＧＵＬＡＲＩＳＡＴＩＯＮ ＯＲ ＩＮＴＥＲＰＲＥＴＡＴＩＯＮ ＳＹＳＴＥＭ」の優先利益を主張し、その開示を参照により本明細書に組み込む。
【0002】
［技術分野］
本発明は、一般的に、コンピュータグラフィックスに関し、より詳細には、アニメーションで使用する３Ｄキャラクタの生成に関する。
本発明は、一般的に、コンピュータグラフィックスに関し、より詳細には、アニメーションで使用する３Ｄキャラクタの生成に関する。
【背景技術】
【0003】
コンピュータ生成画像（「ＣＧＩ」）を用いた三次元アニメーションは、コンピュータ能力の向上を利用して進化してきたが、複雑な幾何学的形状をリアルに描写することは難題である。仮想表面をモデル化する先行技術の方法とシステムは、人間の顔等、複雑または繊細な形態を正確にモデル化する能力に限界がある。従って、結果として生じるアニメーションは、感情、自然な動き、または、他の適切な効果を伝える有効性及び能力が限られていることが多い。納得のいくアニメーションを生成するための課題の１つは、人間の脳は、顔及びボディランゲージの様々な異なる微妙な移り変わりに基づいて、感情を認識し、読み取ることに非常に敏感だということである。結果として、通常の動きのパターンからのほんの少しずれても、強い違和感を抱くことがあり、ユーザ体験のリアルさを損なう。
【0004】
演技主導の顔のアニメーションは、人間及び／または生き物の顔のリアルなアニメーションを作成する業界標準となっている。あるアプローチにおいては、プロセスは、２Ｄまたは３Ｄカメラを用いて俳優の演技をキャプチャ及び追跡し、既存のブレンドシェイプリグを、これらの演技上にリターゲティングすることを伴う。このような技術は、俳優の演技がターゲット（例えば、仮想）のキャラクタアニメーション上に移される演技主導のアプローチを通して、リアルな顔のアニメーションを作成できる。このプロセスは、典型的には、（１）演技キャプチャ、（２）追跡、（３）、リターゲティング、及び（４）アニメーションクリーンナップの４つの段階からなる。
【0005】
アニメーションクリーンナップ中、アーティストは、例えば、平滑化フィルタ、ローパスフィルタを適用することによって、また、時には、個々のカーブを平滑化パラメータ関数に適合させることによって、アニメーションカーブのノイズを取り除く。アニメーションクリーンナップは、時間がかかり、反復プロセスであり得る、また、満足な結果を達成するためには、ユーザの経験が豊富であることが必要であり得る。あるアニメーションシステムは、多数のマーカを採用して、ＵＳ特許第８，８４２，９３３号に記載されるように、性能を向上させる。この特許は、参照により本明細書に組み込まれる。
【発明の概要】
【0006】
このような実施形態の基本的な理解を提供するために、以下に１つまたは複数の実施形態の簡単な概要を示す。この概要は、検討した全ての実施形態を幅広く概観したものではなく、全ての実施形態の主要または必須の要素を指定することを意図しておらず、また、いずれかまたは全ての実施形態の範囲を規定することも意図していない。概要の目的は、１つまたは複数の実施形態の概念の一部を、後に示すより詳細な記載の前置きとして簡単に示すことのみである。
【0007】
開示の主題は、画像リターゲティングのコンピュータ実施方法に関する。このような方法は、第１の対象の表面に配置された複数のマーカに基づいてモーションキャプチャデータを獲得するステップと、各マーカを第１の対象の各場所と関連付けるステップと、モーションキャプチャデータの複数のブレンドシェイプを計算するステップとを含んでよく、複数のブレンドシェイプのそれぞれは、マーカの構成に基づく。ある実施形態においては、方法は、複数のブレンドシェイプの誤差関数を識別するステップと、誤差関数に基づいて、複数のブレンドシェイプを使用して第２の対象をリターゲティングできるか否かを決定するステップとをさらに含み得る。
【0008】
開示の主題の他の実施形態は、画像リターゲティングシステムに関する。このような画像リターゲティングシステムは、少なくとも１つのプロセッサと、少なくとも１つのプロセッサによって実行可能な命令を記憶するメモリ装置とを含んでよく、命令は、画像リターゲティングシステムに、第１の対象に関するモーションキャプチャデータであって、第１の対象の表面に配置された複数のマーカに基づくモーションキャプチャデータを獲得させ、各マーカを第１の対象上の各場所に関連付けさせ、且つ、モーションキャプチャデータの複数のブレンドシェイプであって、それぞれ、マーカの構成に基づく複数のブレンドシェイプを計算させる。ある態様においては、プロセッサは、複数のブレンドシェイプのそれぞれの誤差関数を識別する操作と、誤差関数に基づいて、複数のブレンドシェイプを使用して第２の対象をリターゲティングできるか否かを決定する操作とを行うようにさらに構成できる。
【0009】
さらに別の態様においては、開示の主題は、本明細書で論じる画像リターゲティングの方法を行うための実行可能命令を記憶するコンピュータ可読記憶媒体に関する。
【0010】
画像リターゲティングの有用な選択肢を一般の人または産業界に少なくとも提供するのが、本発明の目的である。
【0011】
さらなる態様において、本発明は、画像または画像シーケンスからのリターゲティングの方法にあり、方法は、誤差関数を評価するステップを含み、誤差関数は、複数の形状プリミティブの重み付き組み合わせを含み、複数の形状プリミティブの少なくとも１つは、画像の対象の生理学的特性に基づいている。
【0012】
好ましくは、方法は、体表を画像の対象の体表からマーカポイントを用いて取得するステップと、既知の体表位置のグループを参照して体表の表現を生成するステップとをさらに含み、表現は、複数の既知の体表位置の少なくとも１つに重みを適用することによって取得され、表現は、生理学ベースのエネルギー方程式から生成される。
【0013】
好ましくは、エネルギー方程式の値をターゲット値の方に調整するステップをさらに含む。
【0014】
好ましくは、誤差関数の値をターゲット値の方に調整するステップをさらに含む。
【0015】
好ましくは、方法は、画像からアニメーションにリターゲティングする。
【0016】
好ましくは、形状プリミティブをターゲットのアニメーションに関連付け、複数の形状プリミティブの少なくとも１つは、ターゲットのアニメーションに関連付けられる。
【0017】
好ましくは、リターゲティングは、体または体の一部のアニメーションに使用される。
【0018】
好ましくは、リターゲティングは、顔のアニメーションに使用される。
【0019】
好ましくは、正則化が、アニメーションのリターゲティングに使用される。
【0020】
好ましくは、生理学的特性は、筋肉または筋肉の集まりである。
【0021】
好ましくは、生理学的特性は、画像、アニメーション、及び／または、画像シーケンスの目に見える特徴である。
【0022】
好ましくは、複数の形状プリミティブの少なくとも１つの重み付けは、形状プリミティブのアクティブ化の確率に基づく。
【0023】
好ましくは、複数の形状プリミティブの重み付けは、形状プリミティブのアクティブ化の相対的確率に基づく。
【0024】
好ましくは、重み付き組み合わせは、制御因子を有する。
【0025】
好ましくは、方法は、非線形ソルバを用いて誤差関数を解くステップを含む。
【0026】
好ましくは、形状プリミティブは、基本形状または動作単位である。
【0027】
好ましくは、重みは、前のアニメーションに依存するように調整される。
【0028】
好ましくは、重みは、アクティブ化を制限するアクティブ化閾値を含む。
【0029】
好ましくは、アクティブ化閾値は、アクティブ化の前の動作に部分的に基づく。
【0030】
好ましくは、重みは、時間依存性を有するように調整される。
【0031】
好ましくは、方法は、複数の重みの１つまたは複数の時間依存性を更新するステップを含む。
【0032】
好ましくは、時間依存性は、応答曲線または応答方程式として表される。
【0033】
好ましくは、時間依存性は、形状プリミティブの制限された変化率を含む。
【0034】
好ましくは、変化率は、実験データから計算される。
【0035】
好ましくは、時間依存性は、提案された重みと重みの移動平均との差を含む。
【0036】
好ましくは、画像は、モーションキャプチャからの複数の画像の１つである。
【0037】
好ましくは、画像は、人間または人間の一部を含む。
【0038】
好ましくは、画像は、人間の顔を含む。
【0039】
好ましくは、形状プリミティブは、ブレンドシェイプである。
【0040】
さらなる態様において、本発明は、画像または画像シーケンスからのリターゲティングの方法にあり、方法は、誤差関数を評価するステップを含み、誤差関数は、複数の形状プリミティブの重み付き組み合わせを含み、重み付き組み合わせの少なくとも１つは、複数の形状プリミティブの非線形組み合わせを含む。
【0041】
好ましくは、方法は、体表を画像の対象の体表からマーカポイントを用いて取得するステップと、既知の体表位置のグループを参照して体表の表現を生成するステップとをさらに含み、表現は、複数の既知の体表位置の少なくとも１つに重みを適用することによって取得され、表現は、生理学ベースのエネルギー方程式から生成される。
【0042】
好ましくは、エネルギー方程式の値を実質的に最適化するステップをさらに含む。
【0043】
好ましくは、誤差関数の値を実質的に最適化するステップをさらに含む。
【0044】
好ましくは、誤差関数の値をターゲット値の方に調整するステップをさらに含む。
【0045】
好ましくは、非線形組み合わせは、重み付き組み合わせ関数の代数展開を使用する。
【0046】
好ましくは、展開は、テイラー展開である。
【0047】
好ましくは、非線形組み合わせは、ＨＤＭＲ形状プリミティブを使用する。
【0048】
好ましくは、形状プリミティブ間の共分散が、記憶される、または、モデルで計算される、また、少なくとも１対またはセットの相反する動作単位が、実質的にゼロの共分散を有するとして規定される。
【0049】
好ましくは、形状プリミティブは、ブレンドシェイプである。
【0050】
さらなる態様において、本発明は、画像または画像シーケンスからのリターゲティングのシステムにあり、システムは、画像または画像シーケンスをキャプチャする少なくとも１つの画像キャプチャ装置と、キャプチャされた画像または画像シーケンスの複数のマーカを追跡するようにプログラムされ、且つ、対応する複数の形状プリミティブを決定するようにプログラムされたプロセッサとを含み、プロセッサは、誤差関数を評価するようにプログラムされ、誤差関数は、複数の形状プリミティブの重み付き組み合わせを含み、複数の形状プリミティブの少なくとも１つは、アニメーションの生理学的特性に基づき、プロセッサは、形状プリミティブをアニメーション生成装置に送信するようにさらにプログラムされる。
【0051】
好ましくは、プロセッサは、体表を画像の対象の体表からマーカポイントを用いて取得するように、且つ、既知の体表位置のグループを参照して体表の表現を生成するようにさらにプログラムされ、表現は、複数の既知の体表位置の少なくとも１つに重みを適用することによって取得され、表現は、生理学ベースのエネルギー方程式から生成される。
【0052】
好ましくは、プロセッサは、エネルギー方程式の値を実質的に最適化するようにさらにプログラムされる。
【0053】
好ましくは、形状プリミティブは、ブレンドシェイプである。
【0054】
さらなる態様において、本発明は、画像からアニメーションへのリターゲティングの方法にあり、方法は、体表を体表からマーカポイントを用いて取得するステップと、既知の体表位置のグループを参照して体表の表現を生成するステップとを含み、表現は、複数の既知の体表位置の少なくとも１つに重みを適用することによって取得され、表現は、生理学ベースのエネルギー方程式から生成される。
【0055】
好ましくは、方法は、エネルギー方程式の値を実質的に最適化する。
【0056】
好ましくは、方法は、エネルギー方程式の値をターゲット値の方に調整する。
【0057】
好ましくは、体表位置は、形状プリミティブまたはＦＡＣＳである。
【0058】
好ましくは、体表は、顔面を含む。
【0059】
好ましくは、マーカポイントは、体表の重要な点を含む。
【0060】
好ましくは、マーカポイントは、マーカレスである。
【0061】
好ましくは、エネルギー方程式は、体の形状位置の重み付き組み合わせである。
【0062】
さらなる態様において、本発明は、ベースモデルからターゲットモデルにアニメーションを提供する方法にあり、方法は、ベースモデルのモーションシーケンスを受信するステップと、ベースモデルのモーションシーケンスを複数の動作単位のうちの１つまたは複数の対応する動作単位に関連付けるステップと、ターゲットモデルをモーフィングして、ベースモデルまたはベースモデルの一部のモーションシーケンスを複製または再生する変換を決定するステップとを含み、関連付けは、動作単位の重み付き組み合わせを含む誤差関数の評価を含み、各動作単位は、ベースモデルの生理学的特性化に基づく。
【0063】
さらなる態様において、本発明は、画像または画像シーケンスの感情に関連付けられた表情を識別する方法にあり、方法は、画像または画像シーケンスに関連付けられた少なくとも１つの顔に関連付けられた複数の形状プリミティブを識別するステップと、複数の形状プリミティブの重み付き組み合わせを含む誤差関数を評価するステップと、複数の形状プリミティブの少なくとも１つを、感情または感情の組み合わせに関連付けられた複数の表情の少なくとも１つに関連させるステップとを含む。
【0064】
好ましくは、方法は、顔面を画像に関連付けられた顔面からマーカポイントを用いて取得するステップと、既知の顔面位置のグループを参照して顔面の表現を生成するステップとをさらに含み、表現は、複数の既知の体表位置の少なくとも１つに重みを適用することによって取得され、表現は、生理学ベースのエネルギー方程式から生成される。
【0065】
好ましくは、エネルギー方程式の値を実質的に最適化するステップをさらに含む。
【0066】
好ましくは、誤差関数の値を実質的に最適化するステップをさらに含む。
【0067】
好ましくは、形状プリミティブは、感情動作単位を含む。
【0068】
好ましくは、形状プリミティブは、ＦＡＣＳを含む。
【0069】
好ましくは、方法は、少なくとも１つの顔を識別するステップをさらに含む。
【0070】
好ましくは、顔は、顔の基準点を用いて識別される。
【0071】
好ましくは、形状プリミティブは、ブレンドシェイプである。
【0072】
さらなる態様において、本発明は、画像または画像シーケンスの対象の特性を識別する方法にあり、方法は、画像の対象に関連付けられた複数の形状プリミティブを識別するステップと、複数の形状プリミティブの重み付き組み合わせを含む誤差関数を評価するステップと、複数の形状プリミティブの少なくとも１つを対象の特性に関連させるステップとを含む。
【0073】
好ましくは、方法は、体表を画像の対象の体表からマーカポイントを用いて取得するステップと、既知の体表位置のグループを参照して体表の表現を生成するステップとをさらに含み、表現は、複数の既知の体表位置の少なくとも１つに重みを適用することによって取得され、表現は、生理学ベースのエネルギー方程式から生成される。
【0074】
好ましくは、エネルギー方程式の値を実質的に最適化するステップをさらに含む。
【0075】
好ましくは、誤差関数の値を最適化するステップをさらに含む。
【0076】
好ましくは、誤差関数を実質的に最小化するステップをさらに含む。
【0077】
好ましくは、複数の形状プリミティブの少なくとも１つは、画像の対象の生理学的特性に基づく。
【0078】
好ましくは、対象の特性は、表情を含む。
【0079】
好ましくは、表情は、感情に関連付けられる、または、感情を示す。
【0080】
好ましくは、画像上で特徴を識別するステップを含む。
【0081】
好ましくは、特徴は、形状プリミティブに関連付けられる。
【0082】
好ましくは、形状プリミティブを特性のセットに関連付けるステップをさらに含む。
【0083】
好ましくは、形状プリミティブを特性のセットに関連付けることは、ルックアップテーブルを用いる。
【0084】
あるいは、形状プリミティブを特性のセットに関連付けることは、感情の重み付き組み合わせを含む誤差関数を最小化する。
【0085】
好ましくは、誤差関数は、誤差関数の組み合わせを含む。
【0086】
好ましくは、複数の誤差関数は、生理学的特性に関する。
【0087】
好ましくは、形状プリミティブは、ブレンドシェイプである。
【0088】
さらなる態様において、本発明は、画像または画像シーケンスからのリターゲティングの方法にあり、方法は、誤差関数を評価するステップを含み、誤差関数は、画像または画像シーケンスの対象の生理学的特性に関連付けられた少なくとも１つの項を含む。
【0089】
好ましくは、方法は、体表を画像の対象の体表からマーカポイントを用いて取得するステップと、既知の体表位置のグループを参照して体表の表現を生成するステップとをさらに含み、表現は、複数の既知の体表位置の少なくとも１つに重みを適用することによって取得され、表現は、生理学ベースのエネルギー方程式から生成される。
【0090】
好ましくは、エネルギー方程式の値を実質的に最適化するステップをさらに含む。
【0091】
好ましくは、誤差関数の値を最適化するステップをさらに含む。
【0092】
好ましくは、誤差関数の値をターゲット値の方に調整するステップをさらに含む。
【0093】
主題の技術の他の構成は、以下の詳細な記載から当業者には容易に明らかになり、詳細な記載において、主題の技術の様々な構成は、説明のための例として示され、記載されていることが理解される。主題の技術は、他の及び異なる構成が可能であり、その幾つかの詳細は、主題の技術の範囲を逸脱することなく、様々な点で修正可能である。従って、詳細な記載及び図面は、制限ではなく説明的な性質のものとみなされるべきである。
【図面の簡単な説明】
【0094】
主題の技術の一定の特徴を添付の請求項に記載する。しかしながら、添付図面が、さらなる理解を提供するために含まれ、開示の態様を示し、記載と共に、主題の技術の原理を説明する役割を果たす。
【0095】
【図1A】画像をリターゲティングする例示のプロセスのフロー図である。
【0096】
【図1B】１つまたは複数のブレンドシェイプの誤差を最小化する例示のプロセスのフロー図である。
【0097】
【図2】画像リターゲティングの実施に使用されてよい例示のアニメーションシステムの簡単なブロック図である。
【0098】
【図3A】物理的対象のマーカレス画像を、マーカが分布された同じ物理的対象の例示の画像と並べて比較する図を示す。
【0099】
【図3B】異なるモーションを行った物理的対象と、異なるモーションのそれぞれに従ってリターゲティングされた仮想対象との間の画像リターゲティングの幾つかの実施例を示す。
【0100】
【図4】主題の技術のある態様を実施できる例示の電子システムを示す。
【発明を実施するための形態】
【0101】
以下の詳細な記載は、主題の技術の様々な構成を記載することを意図しており、主題の技術を実践できる唯一の構成を表すことは意図していない。添付の図面は、本明細書に組み込まれ、詳細な記載の一部をなす。詳細な記載は、技術のより完全な理解を提供する目的で具体的な記載を含む。しかしながら、技術は、本明細書に記載の具体的詳細に限定されず、これらの詳細の一部がなくても実践されてよいことは明瞭且つ明らかであろう。ある例においては、技術の一定の概念があいまいにならないように、構造及び構成要素は、ブロック図の形で示されている。
【0102】
ブレンドシェイプリグは、様々な程度のユーザカスタマイズを提供する一般的なアニメーションシステムである。例えば、特定のアートスタイル、異なる解剖学的構造（高解像度の皺及び／またはひだ等）を有する生き物は、ブレンドシェイプリグに組み込むことができる。さらに、ブレンドシェイプリグは、（例えば、最新のゲームエンジン及びレンダリング環境用の）スケルトンまたはクラスタベースの顔システム等、他のアニメーションタイプに容易に移すことができる。本明細書で使用される場合、ブレンドシェイプモデルＢは、方程式（１）が示す関係を有する、予め規定されたブレンドシェイププリミティブ（形状プリミティブ）Ｂｉの加重和として定義できる。
【数1】
【0103】
ここで、Ｂ０は、静止形状（例えば、ニュートラルな顔または表情）、Ｎは、静止していない形状プリミティブの数、ｗｉ∈［０，１］は、ｉ番目の形状チャネルの形状重みである。本明細書で使用される場合、Ｂｉ（０ではない）とＢ０（ΔΒｉ＝Ｂｉ－Ｂ０）の間の差は、「デルタ形状」と記載されることが多い。
【0104】
本明細書で使用される場合、ブレンドシェイププリミティブ（例えば、ブレンドシェイプ）は、物体の状態に基づいて予め規定された物体のパラメータ化された幾何学的記述子を指すことができる。さらに、これらのパラメータ値を変更して、別の状態を記述することができる。ここで、幾何学的記述子は、ブレンドシェイプメッシュの頂点の幾何学的位置、剛体モデルのジョイント角度、及び／または、放射基底／スプライン補間またはスキニング等の制御点を含み得る。
【0105】
ある態様においては、利用可能なブレンドシェイプは、顔面動作符号化システム（ＦＡＣＳ）を用いて増強できる。ＦＡＣＳは、顔の動きを、筋肉によって動かされる一意の基本動作単位（ＡＵ）に分類する。これは、様々な顔の表情を個々の動作単位の組み合わせ（総和）から形成するのを可能にする。従って、様々な表情の形成に必要な広範な皮膚の動きと軟部組織の相互作用を予測することが必要なので、ブレンドシェイプリグは、多数の形状プリミティブを含むことが多い。形状プリミティブの使用に関するさらなる詳細は、Ｕ．Ｓ．特許公開第２００８／００２５５６９号によって提供されており、これは、参照により本明細書に組み込まれる。
【0106】
しかしながら、ブレンドシェイプの数が増加すると、様々な問題が生じる。第１に、ブレンドシェイプ数の増加によって、未定の連立方程式を有する可能性がもたらされ、このことは、リアルタイムのマーカレスの演技の移行にとっては特に大きな問題となり得る。これは、マーカレストラッカからの独立した顔の特徴の数は、限られていることが多く、よって、一意のアニメーション出力解を得るには十分な情報でない場合があるという事実による。第２に、非直交形状プリミティブの数が大きくなると、解は、（例えば、マーカ追跡における）少量のノイズにますます敏感になり得る。例えば、少しの違いがある顔の表情が、プリミティブの異なる組み合わせから表現できるので、データ追跡が少し不正確であると、全く異なるアニメーションカーブを生成し得る。
【0107】
ブレンドシェイプリグのリターゲティングの問題を解くまたは正則化する事前の作業は、Ｕ．Ｓ．特許第６，９６７，６５８号等に記載された、ブレンドシェイプモデルを線形サブ空間にマッピングすることを含み、同特許は、参照により本明細書に組み込まれる。あるリターゲティング方法は、主成分分析（ＰＣＡ）及び／または正準相関分析（ＣＣＡ）を含み得る。
【0108】
ＰＣＡにおいて、ブレンドシェイプモデルは、直交の固有空間上に射影される。固有空間は、次に、最小の分散を有する固有空間の固有ベクトルを取り除くように切り取られ、それによって、モデルから冗長な情報を取り除く。ＣＣＡにおいては、回帰における削減が次に行われて、２つの射影されたサブ空間の間に直接的な関係を構築する。しかしながら、これらの技術のいずれかを用いたリターゲティングプロセス中に、意味のある制約をブレンドシェイプシステムの固有ベクトルに適用することは難しい場合がある。
【0109】
主題の技術の態様は、画像正則化を容易にするシステム及び方法に対する上記ニーズに取り組む。本明細書で使用される場合、「正則化」は、一般的に、追加の情報を導入して、不良設定問題を解くのを助け、または、データの過剰適合を防止するプロセスを指す。以下により詳細に記載するように、追加の情報は、平滑化に対する制限、または、ブレンドシェイプモデルの誤差関数に対する限界等、複雑さへの罰則の形を取り得る。
【0110】
図１Ａは、画像をリターゲティングする例示のプロセス１００のフロー図である。（例えば、非線形ブレンドシェイプモデルを用いた）このような画像リターゲティング（または、正則化）方法１００は、ステップ１０２で始まってよく、ステップ１０２において、モーションキャプチャデータが、（例えば、カメラ、または、物理的対象（例えば、人間の俳優）を記録する他のソースから）獲得される。モーションキャプチャデータは、少なくとも１つのカメラを用いて獲得することができ、典型的には、物理的な俳優を撮影または他の方法で撮像するのに使用される数個のカメラを伴い得る。様々な画像キャプチャまたは記録手段は、モーションキャプチャデータを含む画像を実際にキャプチャするものであってよいが、このような画像データは、その後、データ記憶装置またはネットワークの記憶場所等、他のソースにアクセスするために記憶されてよい。
【0111】
モーションキャプチャデータが獲得された後、プロセス１００は、ステップ１０４に進み、ステップ１０４において、モーションキャプチャデータの一連の位置が、１つまたは複数のモーション中に追跡される。物理的対象（例えば、人間の俳優）は、追跡されている１つまたは複数の特徴（例えば、俳優の顔）に取り付けられる（例えば、糊付けされた）複数のモーションキャプチャマーカを有してよい。所望の実施態様に応じて、各モーションキャプチャマーカは、受動的マーカ、能動的マーカ、または、それらの何らかの組み合わせであってよい。受動的マーカは、例えば、所定の波長または波長帯域に関して最適化された反射光学マーカであってよい。対照的に、能動的マーカは、例えば、光源（例えば、ＬＥＤ）等の能動的光学マーカであってよい。
【0112】
あるいは、モーションキャプチャデータは、追跡マーカを使用すること無しに（例えば、一連のマーカレス追跡点を追跡することによって）獲得することができる。マーカレス追跡方法に基づいてマーカを用いて追跡が行われるか否かに関わらず、追跡される対象の動きまたはモーションに基づいていない画像フレーム内の場所をモーションキャプチャデータを処理して識別でき、その場所は、従って、無視、廃棄、または、他の方法で実質的にデータから取り除くことができる。マーカベースとマーカレスの追跡の比較の実施例は、図３Ａに関して以下にさらに詳細に記載する。
【0113】
ステップ１０６において、物理的対象上のマーカ（またはマーカレス）ポイントは、仮想対象の対応する位置に関連付けられる。例えば、物理的対象の顔が追跡される場合、対応する点は、アニメーションの対象である仮想の人または生き物の顔内で識別される。
【0114】
ステップ１０８において、モーションキャプチャデータを使用して、仮想対象またはキャラクタに対してリターゲティングを行うために使用できるブレンドシェイプのセットを決定する。ある好ましい実施形態においては、ブレンドシェイプ計算は、モーションキャプチャデータに対応する（例えば、ブレンドシェイプリグから）ブレンドシェイプのセットを計算することによって行われる。
【0115】
ブレンドシェイプ計算は、モーションキャプチャデータの各フレームに対して（例えば、ソルバを用いて）決定を行うことを必要とする、これは、複数の所定の顔のアニメーション状態のそれぞれに対する重みの割り当てを含み得る。ある態様においては、このような計算は、性能メトリックを最適化するように行うことができる。実施態様に応じて、各所定の顔のアニメーション状態が、複数の仮想モーションキャプチャマーカのセットとして開発できる。所定の顔のアニメーション状態はそれぞれ、物理的俳優による顔の表情の３Ｄ表現として、仮想空間に構築できる。物理的俳優による様々な顔の表情に対して行われる画像リターゲティングと、仮想対象に結果として生じる対応する表情との実施例を図３Ｂに示す。
【0116】
以下にさらに詳細に論じるように、複数の所定の顔の状態間の仮想マーカの位置の変化は、所定の解剖学的モデルに従い得る。例えば、顔の状態の変化は、顔面動作符号化システム（ＦＡＣＳ）モデルに従い得る。ある態様においては、顔の状態は、所定の範囲にわたるように構成できる。例えば、顔の状態を特性化するのに使用される数値範囲は限界があってよい。しかしながら、他の実施形態においては、特定の顔の状態の限界の範囲は、他の顔の状態に関して正規化されない。
【0117】
例を挙げると、ブレンドシェイプ（また、「形状プリミティブ」）は、３Ｄスキャンされた表面データと、コンピュータ開発された及び／またはアーティストによって造形された組み合わせ形状とから作成できる。あるアプローチにおいては、ブレンドシェイプは、物理的及び生物力学的ベースのシミュレーションから生成される。例えば、組み合わせ形状は、非線形動作と顔の構造間の接触制約とを考慮した物理的シミュレータを用いて作成されてよい。ブレンドシェイプ及び動作単位も、ＦＡＣＳベースであってよく、及び／または、他の数学的分解に基づいてよい。ある態様においては、組み合わせ形状を用いて、ブレンドシェイプ空間の非線形性を増すことができ、それによって、結果として生じるアニメーションにより複雑なモーションを行わせることができる。しかしながら、上記のように、使用する組み合わせ形状が多過ぎる場合、ブレンドシェイプの連立方程式は、非線形になり過ぎる可能性があり、ソルバが一意のアニメーション解を求めるのが難しくなる。
【0118】
続いて、ステップ１１０において、計算されたブレンドシェイプの適切性の測定値を決定する。ブレンドシェイプの適切性は、１つまたは複数の誤差関数の評価に基づく。これについては、図１Ｂに関して以下でより詳細に論じる。ある態様においては、計算されたブレンドシェイプに対応する１つまたは複数の誤差関数を評価して、選択したブレンドシェイプセットに対応する誤差項または誤差値を生成できる。このように、ブレンドシェイプの特定のセットの適切性は、関連する誤差項を、適切性カットオフ値を表す所定の閾値（例えば、画像リターゲティングが適切に行われ得る誤差レベル未満の誤差レベル）と比較することによって評価できる。
【0119】
計算されたブレンドシェイプが画像リターゲティングを行うのに不適切であるとステップ１１０において決定された場合、プロセス１００は、ステップ１１２に進み、ステップ１１２において、ブレンドシェイプセットに関連付けられた誤差が低減される。本明細書で使用される場合、特定のブレンドシェイプセットの誤差関数は、ブレンドシェイプの組み合わせの１つまたは複数の誤差項のうちのいずれかを含むことができる。よって、誤差の低減は、総誤差を最小にするブレンドシェイプの組み合わせを選択する任意の方法またはプロセスによって行うことができる。ある態様においては、誤差最小化は、例えば、可能な最も近いブレンドシェイプの組み合わせまたは受容可能な解に対して誤差最小化が達成されるような他の制約の状況で行われる。従って、ブレンドシェイプのリターゲティングまたは正則化は、不要なまたは誤ったブレンドシェイプを取り除き、且つ、ブレンドシェイプ空間全体を減らし、それによって、システムのアーティストまたは他のユーザに明瞭さを提供するプロセスと理解できる。
【0120】
ある例においては、誤差最小化は、適切なブレンドシェイプの選択によって成功裏に達成できる。ブレンドシェイプの選択は、トライアル・アンド・エラーによって行うことができるが、誤差の存在が多すぎる場合は、ブレンドシェイプ選択は、手動または自動で（例えば、以下で論じる様々な誤差低減技術の１つまたは複数を用いて）行ってよい。ある態様においては、誤差は、（例えば、所与の時間に所望のブレンドシェイプへの収束の確率を増加させるように）所望のブレンドシェイプに関連付けられたブレンドシェイプの重みを選択的に増加させることによって低減されてよい。
【0121】
あるいは、選択されたブレンドシェイプのセットが、画像リターゲティングに適切であるとステップ１１０において決定される場合、プロセス１００は、ステップ１１４に進み、ブレンドシェイプは、リターゲティングの焦点である仮想対象またはキャラクタに出力／適用されて、新しいアニメーションを作成する。本明細書で使用される場合、リターゲティング（または「クロスマッピング」）のプロセスは、記録された体または顔をターゲットキャラクタのアニメーションに適合させるプロセスである。ある態様においては、ターゲットキャラクタは、モーションキャプチャの対象の複製であってよく、または、全く異なる物体または対象であってもよい。ある態様においては、リターゲティングプロセスは、方程式（２）によって示されるようなフィッティング関数を最小化することを伴う。
【数2】
【0122】
ここで、下付き文字ｍはｍ番目のマーカを表し、ｘｍはマーカの位置、δは射影変換、Ｑはカメラの射影行列、Ｒとｔは、それぞれ、頭部の回転と平行移動のパラメータである。一般的に、形状の重み（ｗ）と頭部のモーション（Ｒとｔ）は分からない。よって、方程式の最小化は、非線形連立方程式を解くことを伴う。上記のように、マーカの数が形状プリミティブの数と比較して小さい時（例えば、ｍ＜＜ｎの時）、ブレンドシェイプシステムは、決まらない場合がある。
【0123】
図１Ｂは、選択したブレンドシェイプセットの誤差を最小化する例示のプロセス１０１のフロー図である。プロセス１０１は、ステップ１１３で始まり、ステップ１１３において、選択したブレンドシェイプセットを記述する誤差関数が評価される。例を挙げると、誤差関数を評価して、誤差関数の誤差量を表す値または項を生成してよい。
【0124】
オプションで、プロセス１０１は、ステップ１１５Ａに進んでよく、ステップ１１５Ａにおいて、誤差項を所定の閾値と比較して、例えば、関連付けられたブレンドシェイプセットがアニメーション／リターゲティングの実行に使用するのに適しているか否かを決定することができる。ある態様においては、誤差項が閾値未満の場合、ブレンドシェイプセットに関連付けられた誤差量は、アニメーションを続けることができるぐらいに小さくてよい。あるいは、誤差項が受容可能な閾値より大きい場合、プロセス１０１は、ステップ１１７に進み、ステップ１１７で、誤差関数がさらに低減されてよい。
【0125】
あるいは、誤差関数の評価の後、プロセス１０１は、オプションのステップ１１５Ｂに進むことができ、ステップ１１５Ｂにおいて、選択されたブレンドシェイプに関する誤差関数の評価は、関連付けられた誤差関数の誤差項がターゲット値と等しいか否かを決定することによって行われる。所望のターゲット値は、実施態様に応じて異なってよい。例えば、ターゲット値は、負の無限大、０、無限大、または、何らかの他の所定の値であってよい。
【0126】
ステップ１１７において、１つまたは複数の誤差低減技術が適用されてよい。
【0127】
一態様においては、ソルバは、時間の順方向及び時間の逆方向の両方にブレンドシェイプを計算するように構成されてよい。このアプローチを用いると、２つの時間依存のブレンドシェイプセットが計算される。その後、２つのセット（例えば、時間の順方向のブレンドシェイプセットと時間の逆方向のブレンドシェイプセット）の間の相関に基づいて、相対的なブレンドシェイプの重み付けを調整することによって、誤差最小化を行うことができる。すなわち、重み付けは、類似のブレンドシェイプ結果がより高いスコアになる（例えば、より高い重みを与えられる）ように調整できる。
【0128】
誤差を低減するために他の時間依存の関係も利用できる。例えば、重みが以前に計算したアニメーションの重みに基づくように特定のブレンドシェイプに関して調整される時間依存のブレンドシェイプ計算を行うことができる。
【0129】
別の態様においては、誤差低減は、誤差関数が計算されるブレンドシェイプの数を選択的に減らすことによって行うことができる。例を挙げると、Ｌ１ノルム正則化方法を使用して、所与の表情のアクティブ形状の数を最小にできる。すなわち、Ｌ１ノルムの最小値を求めることによって、最小数のブレンドシェイププリミティブを決定できる。ある態様においては、Ｌ１ノルム最小化計算は、（例えば、一致の質を表す）別の誤差関数、及び／または、Ｌ１ノルム最小化技術によって必要とされるさらなる誤差関数と共に行うことができる。
【0130】
ある態様においては、所与の時間のアクティブ形状の数を減らすことによって、Ｌ１ノルム最小化は、システムの複雑性を低減でき、それによって、ソルバは、より容易に一意の解を求めることができる。所与の時間のアクティブ形状の数を減らすことによって、非線形性に関わらず、未知のパラメータの数も減らすことができる。以下にさらに詳細に論じるように、アクティブ形状の数を減らすために他の誤差最小化技術も採用できる。
【0131】
ブレンドシェイプ最小化は、また、既知または一般的な生理学的状態の表情に関してあまり使用されないようなブレンドシェイプ等、あまり利用されないブレンドシェイプを取り除くことによって促進できる。例えば、幸せ、楽しさ、悲しさ、怖れ、怒り、驚き、及び、嫌悪は、広く認識された基本的感情である。よって、これらの普遍的な表情に関連付けられた筋肉（または、動作単位）は、大きく、強く、且つ、一般的によりアクティブである。従って、任意のモーションシーケンスを所与とすると、これらの不可欠な筋肉に対応する動作単位は、他の不可欠でない動作単位と比較して作動する確率が高いことが予測される。すなわち、これらの筋肉が顔の動きを決定づけるのに関与する可能性が、より小さい筋肉が関与する可能性より大きいので、これらの筋肉の動きを優先させることができる。
【0132】
このように、主題の技術のリターゲティングシステムは、より高いインスタンス化の確率を有する動きに対応するブレンドシェイプにより大きい重みを付けることによって、既知の生理学的関係を活用できる。ある態様においては、ブレンドシェイプの重みの重み付き絶対和（例えば、Ｌ１ノルム）に、下記の方程式（３）に従って罰則を科す正則化スキームを利用できる。
【数3】
【0133】
他の態様においては、代替の形状重みの加重和が、代わりに使用できる（例えば、Ｌ２ノルムまたはあまり一般的でないブレンドシェイプへの重み罰則を優先させる任意のノルム）。しかしながら、Ｌ１ノルム罰則がＬ２ノルム罰則に勝る長所は、Ｌ１ノルムは、Ｌ１ノルムの一意の数学的特性によって、スパース解を生成できることである。詳細には、Ｌ１ノルムは、より少ない数のアクティブベースを有する同じユークリッド距離に対してより小さい罰則を生成し得る。すなわち、Ｌ１ノルム誤差項は、その適合を得るのに必要なベースの数において、適合の近さに敏感である。ある実施形態においては、Ｌ１ノルム正則化は、「基底追跡ノイズ除去」（ＢＰＤＮ）とも呼ばれてよく、ＫＲを用いて、形状重みのスパース性と再構築の忠実性との間のトレードオフを制御できる。すなわち、（誤差閾値ＥＲと比較して）高いＫＲは、適合において誤差に罰則を科すので、再構築の忠実性を高める。
【0134】
ある態様においては、主題の技術の誤差最小化技術は、顔の演技のリターゲティングプロセスの直感的制御を可能にする正則化フレームワークを伴うことができる。上記のように、リターゲティングプロセスは、生理学的な影響を受けた正則化及び制約（例えば、筋肉の優先度、活性化エネルギー閾値、及び／または、収縮率等）をモデルに組み込むことによって行うことができる。例を挙げると、一定の筋肉（例えば、動作単位）の組み合わせは、筋肉群が活性化されると、ターゲットの感情状態に反映するように、感情的な意味を与えられてよい。
【0135】
ある態様においては、リターゲティングプロセスは、神経パターン、及び／または、外部の結果の背後にある様々な根底にある原因もしくは因子を参照する生理学的基礎に依存してよい。例えば、活動筋の数を最小化することに集中する代わりに、より広い実施例では、神経経路または筋肉制御特徴の活性化を減らすことに着目してよい。これは、例えば、エネルギー方程式を使用することによって人間の体が使うエネルギーを減らすこととして解釈できる。例えば、エネルギー効率の良いシステムは、所望の顔表情を達成するために、脳だけによって必要な筋肉または筋肉群を活性化させるシステムであってよい。
【0136】
ある態様においては、非線形のブレンドシェイプモデルは、モデルで使用されるより高い次元の方程式を計算または使用するという概念に基づいて、利用でき、これは、一般的な追加の形状の導入を可能にすることによって、ブレンドシェイプシステムの次元を拡大することなく、結果として生じるアニメーションの品質を向上させる。このようなアプローチにおいて、システムは、高品質な結果を出しながら、アクティブベースの数を最小にするので、心理学的解釈の利用が役立ち得る（例えば、ノイズのある、関連の無いことが多いチャネルを自動的に取り除く）。
【0137】
ある態様においては、上記の誤差関数最小化の代わりに（または、に加えて）、エネルギー関数最小化を行うことができることが理解される。例えば、体の筋肉活性化に対応する１つまたは複数のエネルギー関数を使用して、リターゲティングプロセスをモデル化できる。
【0138】
実際に、脳で始まる意識的行為の結果、筋収縮が生じる。すなわち、脳は、神経系を介して活動電位の形で信号を運動ニューロンに送り、１つまたは複数の筋線維を刺激する。収縮開始のためには、活動電位の閾値に達する必要がある。この活動電位は、筋肉の「活性化エネルギー」または「活性化エネルギー閾値」、言い換えると、収縮または動きを開始するために筋肉が必要とする最小エネルギーとみなすことができる。ある態様においては、活動筋は、活動を続けるためにはより少ない労力しか必要としない。同様に、筋肉が事前に活動していなかった場合、収縮シーケンスを開始するために何らかのエネルギーを必要とする。ある態様においては、事前に活動していなかったチャネルを抑制するために、以下の方程式（４）のλｉに時間応答項を追加する。
【数4】
【0139】
ここで、ｗｉ
ｔ－１は、前のフレームの形状重みであり、λｉ，ｒａｎｋは、チャネルの優先度に基づいてフィッティング関数に罰則を科すＬ１ノルムコンテンツであり、λｉ，ｄｙｎは、時間正則化の強さを制御する定数である。
【0140】
ｗｉ
ｔ－１＝０の時、方程式［４］の第２項は、λｉ，ｄｙｎになり、ｗｉ
ｔ－１が増加すると、正則化項は、減少することが分かる。さらに、パラメータｐを使用して、時間応答関数の曲率を調整できる。よって、ｐの値を変化させることによって、より初期の重み付けへの応答関数の感度を変化させる。例えば、ｐの値が高いと、（例えば、顔を追跡する時）、相関測定値が小さくても、同じ形状重みを使用する強い傾向がある。すなわち、筋肉が活動している場合、活動し続ける傾向がある。方程式［４］に示す応答関数の正確なフォーマットは、主題の技術の範囲を逸脱することなく、活性化エネルギー力学を変化させるように変わってよいことは理解されたい。異なる応答関数は、例えば、所望の実施態様に応じて使用できること、及び／または、所望のアニメーションの体に生理機能を合わせるように変化してよいことは、さらに理解される。
【0141】
別の態様においては、様々な動作単位（ＡＵ）またはブレンドシェイプの応答（または動作）率が、リターゲティングプロセスで考慮される。例を挙げると、瞼を上げることに関与する上眼瞼挙筋等、異なる顔の筋肉が、異なる率で収縮することが知られてよい。リターゲティングを向上させるために、ソルバは、様々な物理的制約または特性に従うように修正できる。ある態様においては、これは、各動作単位の変化率に基づいて実施される時間平滑化関数を導入することによって達成できる。例を挙げると、平滑化関数は、下記のように表される。
【数5】
【0142】
ここで、
は、形状重みｗｉの移動平均を表し、ｋｓは、グローバル平滑化パラメータで、Ｓｉは、動作単位の変化率である。実験的に決定されたＳｉを割り当てることによって、方程式［５］を使用して、物理的に非現実的なモーションを防止できる。さらに、ある態様においては、平滑化関数は、例えば、不十分な入力データに起因し得るジッタアーチファクトの除去も促進し得る。
【数6】
【0143】
ある実施態様においては、正則化パラメータは、非生理学的な考慮事項に基づいて調整できる。例えば、アーティストは、アーティスト自身の個人的好みに基づいて様々な正則化パラメータをチューニングする等、アーティスト自身の個人的好みと過去の経験に基づいて、アニメーションカーブをクリーンナップしてよい。
【0144】
ある態様においては、活性化と非活性化の速度を制約するひずみ速度の使用をＦＡＣＳベースの形状と組み合わせることによって、ひずみ速度を前もって測定することを可能にする。これは、ひずみ速度を、例えば、ビデオ特定のチューニングプロセスが全くなくても、新しいビデオシーケンスに導入及び／または適用できることを意味する。ひずみ速度ベースの制約は、顔の実際のモーションを学習すること、すなわち、生体模倣から導き出すことができる。
【0145】
ある実施態様においては、ブレンドシェイプ及び／またはＦＡＣＳ動作単位の所与の線形の組み合わせは、人間の顔等、表情のある特徴の所望のモーションを全て表すには不十分な場合がある。これは、リターゲティングされる組織（例えば、顔の組織）の広範な非線形のモーションが原因である。例えば、唇をすぼめる時、生じる表情は、２つのデルタ形状の簡単な和ではない。大抵の動作単位は、互いに直交ではない、すなわち、動作単位の効果は、完全に切り離すことはできず、独立して処理もできない。このような補正デルタ形状を使用して、より正確な表情を達成できる。あるアプローチにおいては、補正ブレンドシェイプ（例えば、補正デルタ）は、はユーザによって導入できる。
【0146】
他の態様においては、この問題に対する１つの解決法は、共変する結果を記述するように作成できる組み合わせブレンドシェイプ（例えば、異なる動作単位を組み合わせた影響を記述する形状プリミティブまたはブレンドシェイプ）を作成することである。しかしながら、組み合わせブレンドシェイプの追加は、ブレンドシェイプ関数の次元を増加させ、それによって、ブレンドシェイプリグにとって手に負えない次元になり得る。さらに、組み合わされた形状は、別個の制御とみなされ、よって、最初の動作単位と組み合わされた動作単位の間の動的転移は直接的でない場合がある。例えば、潜在的に生じ得る間接的な解は、非線形ソルバが極小値に陥ることが多い、例えば、ノルムを正確に調整しないことが多い。さらに、組み合わされたチャネルにいずれの時間正則化を適用することも、問題が起こり得る。
【0147】
ある態様においては、ブレンドシェイプ空間の次元を拡大することよりも、ブレンドシェイプモデルへの非線形寄与として、形状空間をモデル化できる。すなわち、新しい単位を必要とする代わりに、例えば、単位の混合を組み込むことによって、モデルが必要とするブレンドシェイプ（または、動作単位）の数を減らすことは可能である。あるアプローチにおいては、これは、高次元モデル表現（ＨＤＭＲ）を用いることによって達成できる。ＨＤＭＲは、非線形組み合わせの数式を利用し、非線形組み合わせの数式を解いて、ベースの動作単位またはブレンドシェイプを決定できる。実施する場合、このような方法は、複数の方程式に拡大できる逆数の計算を必要とし得る。技術の範囲を逸脱せずに、他の非線形（高次元）の補間法も使用できる。例を挙げると、放射基底補間及び／またはラグランジュ補間が、Ｎ次元の超立方体に対して行われてよい。ある実施態様においては、ＨＤＭＲの１つの長所は、ＨＤＭＲの方がかなり速く、より予測可能な結果を生みだし得ることである。放射基底補間の場合、点と点との間の相互関係は、特に、多数の散らばった点がある時、予測不可能な場合がある。
【0148】
例を挙げると、超立方体に関しては、形状組み合わせの数を増加させることは、補間の複雑さを指数関数的に増やし得る。ある態様においては、選択された式は、微分可能でなければならない、または、逆数を行うことが可能なように代数で表すことができなければならない。ある態様においては、リターゲティングは、例えば、結果として生じた画像から、その画像の元となったものの近似値に戻る作業なので、顔の構築よりも複雑な場合がある。
【0149】
さらに例を挙げると、ブレンドシェイプ空間の次元を拡大する代わりに、形状空間は、例えば、ＨＤＭＲの概念を用いて、ブレンドシェイプモデルへの非線形寄与の組み合わせとしてモデル化できる。テイラー展開に基づいて、ブレンドシェイプ関数Ｂは、下記のように展開できる。
【数7】
【0150】
【数8】
【数9】
【0151】
【数10】
【0152】
ここで、この式の最初の２項は、線形のブレンドシェイプモデルを表す。追加の項は、ブレンドシェイプアプローチへの非線形拡張と解釈できる。すなわち、３番目の項は、２つのブレンドシェイプの各セットを組み合わせた非線形効果の（全てのブレンドシェイプＮ個の）和である。同様に、３番目の項は、３つのブレンドシェイプ等の非線形効果を組み合わせている。これは、ソルバが、組み合わされたブレンドシェイプまたは基礎形状に基づいて、解くことができ、類似の基本形状のセットの使用を大きく向上させることを意味する。
【0153】
形状プリミティブが直交、すなわち、
の場合、全てのｉｊ及びｋに関して、ＨＤＭＲブレンドシェイプモデルは、元の線形モデルまで減少させる。よって、対応するチャネルが共変する時、高次項のみが必要とされる。大抵の動作単位は、既に、空間的に隔てられているので、顔の同じ領域にある動作単位に関して、高次の組み合わせ形状のみが必要である。さらに、効果のスパース性の原理に従って、非線形システムは、通常、主な効果と低次の相互作用とに占められているので、一般的に、大抵の式を生成するには、２次及び３次の相互作用（例えば、それぞれ、２つのチャネルと３つのチャネルの共変量）で十分である。しかしながら、例えば、高次の効果が必要とされる場合、システムは、展開されてよく、または、さらなる展開項を単に計算することによって、続けられてよい。
【数11】
【0154】
ある態様においては、非線形方程式は、さらに拡張できて、徐々に増加する形状と、徐々に増加する形状の組み合わせの追加を可能にする。徐々に増加する形状は、非線形の別の層を既存の組み合わせ形状に追加して、画像形成のより良い制御を可能にし得る。形状増加の構造に応じて、放射基底関数及び／またはテンソル積スプライン等の補間手段を使用できる。ある態様においては、高価な計算費用がかかるこの方法の代替として、回帰ベースのサロゲートモデルを使用して、プロセスをスピードアップしてよい。実施例は、部分最小二乗回帰（ＰＬＳＲ）で、ＰＬＳＲは、生物力学的に生成される顔の表情をスピードアップすることが分かっている。ＰＬＳＲは、様々な複雑な方程式を模倣するために使用できる統計的システムである。顔の表情は、通常、ＰＬＳＲを適用する前に生成される。
【0155】
ある態様においては、ブレンドシェイプまたは動作単位は、例えば、物理的に共にアクティブ化できない相反する影響を有してよい。例えば、「目を左に」と「目を右に」は、矛盾しており、よって、典型的には、同時にアクティブ化されない。同様に、「頬を膨らませる」と「頬を凹ませる」も矛盾している。相反する形状制御を共にアクティブ化させることを防ぐために、これらの動作単位の組み合わせは、静止状態で置き換えることができる。例えば、筋肉群の間の共分散を追跡するために、ルックアップ相関テーブルまたは行列を含んでよい。結果として、形状を共にアクティブ化すると、ニュートラルに戻り、ＢＰＤＮを用いてこれを使用する最もスパースな解をターゲットにする実施形態においては、形状を共にアクティブ化すると、ソルバが、これらの相反するチャネルを同時にアクティブ化することを防ぐ。
【0156】
ある態様においては、顔の表情は、半手動で追跡してよい。しかしながら、（例えば、カスケード回帰に基づいた）より自動化されたトラッカも使用できる。アイデンティティデータベースと組み合わせて、これは、リアルタイムの人に依存しない表情追跡とリターゲティングを可能にする。ある態様においては、マーカリスト回帰ベーストラッカは、多くの追跡する特徴が、限られており、結果にノイズが多いことが度々なので、提案した正則化方法から利益を受けることができる。ある実施形態においては、非線形のブレンドシェイプモデルの計算の複雑さの増加は、さらなる制約を適用して不自然なアニメーションの表情を防ぐことによって、低減できる。ＦＡＣＳ動作単位は空間的に隔てられているので、領域グループに配置することができ、一次不等式の制約を、これらの空間領域に適用できる。例えば、形状重みの組み合わせまたは一部を１以下に制約することによって、各領域は、ブレンドシェイプ空間の凸包（ｃｏｎｖｅｘ ｗｈｏｌｅ）内に制限することができる。解の空間が、凸包内にある場合、開始点も凸包内にある時、ほぼ常に一意の解を求めることができる。
【0157】
ある態様においては、不等式制約は、スラック変数を有するラグランジュの未定乗数法を用いて実施できる。ラグランジュの未定乗数法は、等式制約を条件として、関数の極大値と極小値を求める戦略である。方法は、スラック変数を乗数に加えることによって、不等式制約を可能にするようにさらに拡張できる。
【0158】
正則化技術と非線形ソルバを組み合わせた使用は、全く（または、少しの）追加計算の作業なく、ニュートラルな置き換え形状を効率的に実施するのを可能にする。Ｌ１ノルム正則化は、最低のセットのアクティブな重みを探すので、これらの組み合わせの方に駆動する十分なエネルギー（または誤差）がない限り、いかなる組み合わせ形状も避けようとする。ニュートラル置き換え方法は、これらの組み合わせをニュートラルな形状で置き換えることによって、本質的にエネルギーを取り除き、それによって、個々の形状のチャネルのアクティブ化特性に影響を与えることなく、これらの重みを共にアクティブ化させることを防止する。
【0159】
図２は、画像リターゲティング技術のある態様を実施するために使用される例示のアニメーション装置２００の簡単な機能ブロック図である。アニメーション装置２００は、モーションキャプチャデータを記憶するように構成された記憶装置２１０を含む。モーションキャプチャデータは、例えば、モーションキャプチャデータの一連のフレームとして記憶できる。モーションキャプチャデータは、一定の動き（例えば、傾き、回転、及びシフト等の頭部の動き）を取り除いて安定させたデータを含むことができる。記憶装置２１０は、ソリッドステートメモリ、ＲＡＭ、磁気メモリ、ハードディスクメモリ、磁気テープ、光学メモリ、光学ディスク、または、これらの何らかの組み合わせ等、実質的に任意の種類の電子記憶装置であってよい。
【0160】
記憶装置２１０は、参照キャプチャモジュール２２０と重みソルバ２３０に結合できる。参照キャプチャモジュール２２０は、（モーションキャプチャデータを含む）画像データでキャプチャされた物理的俳優／キャラクタの所定の表情と、仮想の俳優／キャラクタの対応する所定の顔の表情との間の関係を確立するように構成できる。参照キャプチャモジュール２２０は、重みソルバ２３０と、アニメーションライブラリ２４０に結合できる。
【0161】
参照キャプチャモジュール２２０は、典型的には、モーションキャプチャデータの基礎を形成するモーションシーケンスの撮影に先立って生じるキャリブレーション段階中に利用される。詳細には、参照キャプチャモジュール２２０を使用して、物理的俳優のキャプチャされた表情と、アニメーションライブラリ２４０に仮想参照画像２４２として記憶された対応する所定の表情との間の関係またはマッピングを構築できる。所定の姿勢でキャプチャされた物理的俳優の最初の画像は、所定の表情を反映し得る。最初の画像は、典型的には、物理的俳優の三次元画像のキャプチャである。所定の表情は、例えば、物理的俳優が実質的に表情のない静止姿勢であってよい。当然、所定の表情は、静止姿勢に限定されず、ほぼいかなる姿勢または表情であってもよい。
【0162】
アニメーションライブラリ２４０内の仮想参照画像２４２は、物理的俳優の所定の表情に対応し得る所定の顔の表情を記憶するように構成される。仮想参照画像２４２は、例えば、物理的俳優の頭部のモーションキャプチャマーカの配置点に対応する点に配置された仮想マーカを有するアニメーションの仮想の頭部から導かれた情報及びデータを含み得る。一実施形態においては、仮想参照画像２４２は、不均一有理Ｂスプライン（ＮＵＲＢＳ）を用いて生成されて、物理的頭部に対応する３Ｄ幾何学的形状の数学的表現を生成できる。仮想のＮＵＲＢＳ頭部モデルの外見は、物理的モデルの外見と同じである必要はない。実際、ある実施形態においては、仮想の俳優は、現実の俳優に基づく必要はなく、代わりに、型にはまったアニメーションキャラクタのモデルであってよい。
【0163】
別の実施形態においては、仮想参照画像２４２は、複数の多角形メッシュによって画定された三次元の形状または表面として生成できる。仮想マーカは、仮想の頭部の表面に配置できる。各仮想マーカの位置は、メッシュが変形した時でさえ、ＮＵＲＢＳ曲線が画定したメッシュの表面の同じ点にあり続けるよう構成できる。
【0164】
参照キャプチャモジュール２２０は、物理的俳優から最初に３Ｄでキャプチャされた表情のモーションキャプチャマーカの位置から、仮想参照画像２４２の仮想マーカの位置にマッピングするように構成できる。一実施形態においては、参照キャプチャモジュール２２０は、マッピングを行う前に、キャプチャされた所定の表情を仮想参照画像２４２に自動的に登録し、位置合わせする。例えば、参照キャプチャモジュールは、位置合わせまたは登録メトリックに基づいて、仮想参照画像２４２に対して、キャプチャされたモーションキャプチャデータの登録及び位置合わせを修正するよう構成できる。位置合わせ登録メトリックは、例えば、キャプチャした画像のモーションキャプチャマーカの位置を仮想参照画像２４２の仮想マーカの位置に関連させる最小距離、最小二乗、または、これらの何らかの組み合わせであってよい。
【0165】
別の実施形態においては、キャプチャした所定の表情の仮想参照画像２４２への登録及び位置合わせは、半自動または手動であってよい。例えば、ユーザは、物理的俳優のモーションキャプチャマーカを仮想参照画像２４２の仮想マーカに実質的に位置合わせするために、ユーザインタフェース２５４を利用して、仮想参照画像２４２の表示上に重ねられたキャプチャした所定の表情の表示を操作してよい。ユーザは、例えば、ユーザインタフェース２５４を利用して、モーションキャプチャマーカを、平行移動、回転、スケール、または、他の方法で仮想マーカに登録及び位置合わせしてよい。ユーザは、次に、参照キャプチャモジュール２２０を開始して、マッピング操作を行ってよい。マッピング操作によって、モーションキャプチャマーカの配置によって規定された物理的俳優の表面を、仮想俳優の表面に近似相関させる。
【0166】
所定の表情以外のキャプチャした画像のモーションキャプチャデータ２１０を重みソルバ２３０に結合させる。ここでも、上記のように、キャプチャされた画像は、典型的には、三次元画像である、または、三次元情報を伝える。重みソルバ２３０は、アニメーションライブラリ２４０に結合され、仮想表情ライブラリ２４４と仮想参照画像２４２を使用して、顔のアニメーション解を生成する。
【0167】
上記のように、重みソルバ２３０は、モーションキャプチャデータが表す表情を再生するために組み合わせるアニメーションライブラリ２４０の顔の状態の各ブレンドシェイプ成分に適用される相対的重みを決定するように構成できる。一実施形態においては、重みソルバ２３０は、モーションキャプチャデータ２１０の各フレームに対する相対的重みまたはブレンドシェイプ重み等、制御値を決定するように構成できる。重みソルバ２３０は、性能メトリックに基づいて、重みまたは制御値のセットを生成するように構成でき、それによって、仮想マーカは、モーションキャプチャマーカと実質的に一致する、または、他の方法で位置合わせされる。さらに、重みソルバ２３０は、モーションキャプチャデータの各フレームに関して、重みを再決定または別の方法で再計算できる。
【0168】
物理的俳優の動きに対応するモーションキャプチャデータにおいて、筋肉の活性化によって、モーションキャプチャマーカは空間を平行移動する。重みソルバ２３０は、仮想の俳優のスキャナ表面（ｓｃａｎｎｅｒ ｓｕｒｆａｃｅ）を変形させて、仮想マーカを対応する量だけ空間内を平行移動させる重みを決定する。モーションキャプチャデータの各フレームに関して、重みソルバ２３０は、仮想マーカをモーションキャプチャデータに位置合わせする重み値（例えば、ブレンドシェイプ重み値）のセットを求めるように構成できる。
【0169】
上記のように、重みソルバ２３０は、選択したブレンドシェイプに関連付けられた誤差関数を最小にするように、ブレンドシェイプの重み値も決定できる。ある態様においては、アクティブ化閾値を用いて、アクティブ化しそうにないブレンドシェイプを取り除いてよい、または、アクティブ化の確率の高いレンドシェイプを優先させてよい。
【0170】
図３Ａは、顔の特徴を追跡するためにマーカベースの追跡を行う物理的俳優の実施例を示す（左）。さらに、図３Ａは、仮想またはマーカのない追跡の実施例も示す（右）。併せて、図３Ａは、物理的対象のマーカレス画像と、マーカを分布させた同じ物理的対象の例示の画像とを並べた比較を示す。
【0171】
図３Ｂは、主題の技術のリターゲティングプロセスによって出力された幾つかの実施例を示す。詳細には、第１の対象の表情（例えば、左の列の物理的対象）は、第２の対象（例えば、中央及び右の列の仮想対象）上にリターゲティングされる。
【0172】
この開示は、顔ソルバの実施例に集中したが、開示は、人間並びに人間以外の動物と動物の部分を含む、生理学的な体の範囲に適用されてよい。同様に、実施形態は、人間以外の物体に適用されてよく、その場合、生理学的特徴は、代わりに、物体の機械的または別の特性に関連付けられる。
【0173】
この開示は、モーションまたは画像キャプチャ装置からの画像のリターゲティングに焦点を当てたが、ある実施形態においては、プロセスは、一部、逆にされて、一連のコマンドに基づいて、物体にアニメーションを提供してよい。所望のブレンドシェイプもしくは感情、または、他の入力が、プロセッサまたはコンピュータ等の処理手段に提供でき、これは、物体をアニメーションにする所望のステップの１つまたは複数に続く。例えば、生理学的ブレンドシェイプの使用によって、アニメーション製作者は、アニメーションが不正確に見える場合、アニメーションを直接的に調整できる。
【0174】
さらなる実施形態において、システム及び／または方法は、代替の用途に適用してよい。例えば、システムを使用して、画像またはモーションシーケンスで、表情を識別してよい。検出された表情は、次に、感情の状態を示すまたは示唆するのに使用できる。対象（例えば、顔）の表情、形状、または、動きは、例えば、ルックアップテーブルまたはデータベースによって、感情の状態に関連付けることができる。ある場合には、相関または関連付けは、感情の根底にある生理学系、例えば、下層にある筋肉もしくは顔の構造、または、他の物理的構造もしくはモデルの知識によって形成されてよい。好ましい実施形態においては、システムは、最も一般的には、マーカレス追跡システムを用いて、一連の顔の基準点を識別する。詳細な点は、どの感情を感知しているかと、次に、識別される感情に応じて変わってもよく、または、一般的であってもよい（例えば、口角）。
【0175】
本明細書に記載の方法を用いて、これらの画像または画像シーケンスが、ブレンドシェイプ、好ましくは、ＦＡＣＳ動作単位、重み値に関して解かれてよい。ブレンドシェイプまたはＦＡＣＳが識別されると、これらは、（例えば、ルックアップテーブルを通して）既知の感情ブレンドシェイプまたは、ｅｍＦＡＣＳ（例えば、驚きは、ＡＵ１＋ＡＵ２＋ＡＵ５の組み合わせである）、または、ブレンドシェイプの類似の組み合わせ、に射影、または、比較されてよい。潜在的な感情をよりはっきりと描写するように、解くプロセスが、ブレンドシェイプまたは動作単位の数を減らす場合、このプロセスは有用である。これは、システムの生理学的性質を用いて顔画像の表情ひいては感情を識別することを意味する。代替の対象の特性も類似の方法で決定されてよい。これらの実施形態は、対象の物理的な感情（特性）応答とシステムの生理学的基礎とのモデルを使用して、画像を対象の特性に相関させる。代替の特性は、対象の根底にある性質、例えば、健康、筋肉、または、物理的パラメータ（例えば、運動）を反映してよい。ある実施形態においては、ブレンドシェイプの感情への関連付けを使用して、誤差項を作成してよい。すなわち、感情の組み合わせに一貫性のない場合、ブレンドシェイプの選択は修正されてよい。
【0176】
この開示の態様は、顔ソルバの実施例に集中しているが、技術の態様は、人間及び人間以外の動物、及び／または、動物の部分を含むが、これらに限定されない生理学的な体の範囲に適用できることは理解されたい。同様に、技術の態様は、代わりに、物体の機械的な別の特性に関連付けられた生理学的特性を有する動物でない物体に適用されてよい。
【0177】
さらに、開示の態様は、モーションまたは画像キャプチャ装置からの画像のリターゲティングに焦点を当てたが、一連のコマンドに基づいて、物体にアニメーションを提供する技術の態様を実施できることは理解されたい。例えば、所望のブレンドシェイプもしくは感情、または、他の入力は、プロセッサまたはコンピュータ等の処理手段に提供でき、それらは、記載のステップの１つまたは２つに該当して、物体をアニメーションにする。例えば、生理学的ブレンドシェイプの使用によって、アニメーションが不正確に見える場合、アニメーション製作者は、直接的な方法でアニメーションを修正できる。
【0178】
代替の実施形態においては、システム及び／または方法は、代替の用途に適用できる。例えば、技術の態様を使用して、画像またはモーションシーケンスの表情を識別してよい。検出された表情は、次に、感情の状態を示すものとして使用されてよい。例を挙げると、対象（例えば、顔）の表情、形状、及び／または、動きは、例えば、ルックアップテーブルまたはデータベースによって、感情の状態に関連付けることができる。ある場合には、相関または関連付けは、感情の根底にある生理学系、例えば、下層にある筋肉及び／または顔の構造、または、他の物理的構造及び／またはモデルの知識によって形成されてよい。
【0179】
図４は、例示の電子エンターテインメントシステム４００のブロック図である。図４のエンターテインメントシステム４００は、メインメモリ４０５、中央処理装置（ＣＰＵ）４１０、ベクトルユニット４１５、グラフィックス処理ユニット４２０、入力／出力（Ｉ／Ｏ）プロセッサ４２５、Ｉ／Ｏプロセッサメモリ４３０、コントローラインタフェース４３５、メモリカード４４０、ユニバーサルシリアルバス（ＵＳＢ）インタフェース４４５、及び、ＩＥＥＥ１３９４インタフェース４５０を含む。エンターテインメントシステム４００は、オペレーティングシステムリードオンリメモリ（ＯＳ ＲＯＭ）４５５、音声処理ユニット４６０、光学ディスク制御ユニット４７０、及び、ハードディスクドライブ４６５をさらに含み、これらは、バス４７５を介して、Ｉ／Ｏプロセッサ４２５に接続される。
【0180】
エンターテインメントシステム４００は、電子ゲームコンソールであってよい。あるいは、エンターテインメントシステム４００は、汎用コンピュータ、セットトップボックス、ハンドヘルドゲームデバイス、タブレットコンピューティング装置、または、モバイルコンピューティング装置もしくは電話として実施されてよい。エンターテインメントシステムは、特定の形態の因子、目的、または、設計に応じて、より多いまたは少ないオペレーティングコンポーネントを含んでよい。
【0181】
図４のＣＰＵ４１０、ベクトルユニット４１５、グラフィックス処理ユニット４２０、Ｉ／Ｏプロセッサ４２５は、システムバス４８５を介して通信する。さらに、図４のＣＰＵ４１０は、専用バス４８０を介してメインメモリ４０５と通信し、ベクトルユニット４１５及びグラフィックス処理ユニット４２０は、専用バス４９０を通して通信してよい。図４のＣＰＵ４１０は、ＯＳ ＲＯＭ４５５及びメインメモリ４０５に記憶されたプログラムを実行する。図４のメインメモリ４０５は、事前に記憶されたプログラムと、光学ディスク制御ユニット４７０を用いて、ＣＤ‐ＲＯＭ、ＤＶＤ‐ＲＯＭ、または、他の光学ディスク（図示せず）からＩ／Ｏプロセッサ４２５を通して転送されたプログラムとを含んでよい。図４のＩ／Ｏプロセッサ４２５は、無線または他の通信ネットワーク（例えば、４＄、ＬＴＥ、３Ｇ等）を介して転送されたコンテンツの導入も可能にしてよい。図４のＩ／Ｏプロセッサ４２５は、ＣＰＵ４１０、ベクトルユニット４１５、グラフィックス処理ユニット４２０、及び、コントローラインタフェース４３５を含む、エンターテインメントシステム４００の様々な装置間のデータ交換を主に制御する。
【0182】
図４のグラフィックス処理ユニット４２０は、ＣＰＵ４１０及びベクトルユニット４１５から受信したグラフィックス命令を実行して、ディスプレイ装置（図示せず）に表示する画像を生成する。例えば、図４のベクトルユニット４１５は、三次元座標から二次元座標に物体を変換してよく、二次元座標をグラフィックス処理ユニット４２０に送信してよい。さらに、音声処理ユニット４６０は、命令を実行して、スピーカ等の音声装置（図示せず）に出力される音声信号を生成する。他の装置は、ＵＳＢインタフェース４４５と、無線送受信機等のＩＥＥＥ１３９４インタフェース４５０とを介してエンターテインメントシステム４００に接続されてよく、それらは、システム４００に、または、プロセッサ等、何らかの他のコンポーネントの一部として組み込まれてもよい。
【0183】
図４のエンターテインメントシステム４００のユーザは、コントローラインタフェース４３５を介してＣＰＵ４１０に命令を与える。例えば、ユーザは、メモリカード４４０または他の非一時的コンピュータ可読記憶媒体に一定のゲーム情報を記憶するようにＣＰＵ４１０に命令してよく、または、ゲームのキャラクタに、何らかの指定した動作を行うように命令してよい。
【0184】
これらのシステム及び方法は、その用途と、本明細書で採用され、本明細書に含まれるコンポーネント、システム、方法、及び、アルゴリズムの多くとが新規であるように、新規であることは理解されよう。ここに記載した発明の一連の作品の実施形態は、プロセス、装置、システム、デバイス、方法、コンピュータ可読媒体、計算アルゴリズム、組み込みもしくは配布されるソフトウェア、及び／または、それらの組み合わせを含む、多くの方法で実施できることは理解されよう。幾つかの説明に役立つ実施形態を以下に記載する。
【0185】
様々な実施形態は、広範なオペレーティング環境で実施できる、オペレーティング環境は、ある場合には、多くのアプリケーションのいずれかを動作させるのに使用できる１つまたは複数のユーザコンピュータ、コンピューティングデバイス、または、処理装置を含み得る。ユーザまたはクライアント装置は、標準的なオペレーティングシステムを実行するデスクトップもしくはラップトップコンピュータ等、多くの汎用パーソナルコンピュータと、モバイルソフトウェアを実行し、多くのネットワーキング及びメッセージングプロトコルをサポートできるセルラ、無線、及び、ハンドヘルドのデバイスとの任意の物を含み得る。このようなシステムは、様々な商用のオペレーティングシステムと、開発及びデータベース管理等のための他の既知のアプリケーションのいずれかを実行する多くのワークステーションも含み得る。これらのデバイスは、ダミー端末、シンクライアント、ゲーミングシステム、及び、ネットワークを介して通信できる他のデバイス等、他の電子デバイスも含み得る。
【0186】
様々な態様は、サービス指向型アーキテクチャの一部であってよい等、少なくとも１つのサービスまたはＷｅｂサービスの一部としても実施できる。Ｗｅｂサービス等のサービスは、拡張マークアップ言語（ＸＭＬ）フォーマットのメッセージの使用等によって、任意の適切な種類のメッセージングを用いて通信でき、また、ＳＯＡＰ（「シンプルオブジェクトアクセスプロトコル：Ｓｉｍｐｌｅ Ｏｂｊｅｃｔ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ」に由来する）等、適切なプロトコルを用いて交換できる。このようなサービスによって提供または実行されるプロセスは、Ｗｅｂサービス記述言語（ＷＳＤＬ）等、任意の適切な言語で書くことができる。ＷＳＤＬ等の言語の使用は、様々なＳＯＡＰフレームワークでクライアント側のコードの自動生成等の機能を可能にする。
【0187】
大抵の実施形態は、ＴＣＰ／ＩＰ、ＯＳＩ、ＦＴＰ、ＵＰｎＰ、ＮＦＳ及びＣＩＦＳ等の様々な商用のプロトコルのいずれかを使用して通信をサポートするために当業者がよく知っている少なくとも１つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、広域ネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、及び、これらのいずれかの組み合わせであってよい。
【0188】
Ｗｅｂサーバを利用する実施形態において、Ｗｅｂサーバは、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、データサーバ、Ｊａｖａサーバ、及び、ビジネスマップサーバを含む、様々なサーバまたは中間層アプリケーションのいずれかを実行できる。サーバ（複数可）は、ユーザ装置からの要求に応答して、１つまたは複数のＷｅｂアプリケーションを実行すること等によって、プログラムまたはスクリプトも実行できてよい。プログラムまたはスクリプトは、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃もしくはＣ＋＋等の任意のプログラミング言語、または、Ｐｅｒｌ、ＰｙｔｈｏｎもしくはＴＣＬ等の任意のスクリプト言語、及び、それらの組み合わせで書かれた１つまたは複数のスクリプトまたはプログラムとして実施されてよい。サーバ（複数可）は、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、及び、ＩＢＭ（登録商標）製の商用のデータベースサーバを含むがこれらに限らないデータベースサーバも含んでよい。
【0189】
環境は、上記のように、様々なデータストアと、他のメモリ及び記憶媒体を含むことができる。これらは、コンピュータの１つまたは複数にローカルな（及び／または、存在する）記憶媒体上、または、ネットワーク上のコンピュータのいずれかまたは全てから遠隔の記憶媒体上等、様々な場所に存在できる。特定の実施形態のセットにおいては、情報は、当業者によく知られているストレージエリアネットワーク（「ＳＡＮ」）に存在してよい。同様に、コンピュータ、サーバ、または、他のネットワーク装置に属する機能を行うために必要なファイルはいずれも、必要に応じて、ローカル及び／または遠隔に記憶されてよい。システムが、コンピュータ化された装置を含む場合、このような各装置は、ハードウェア要素を含むことができ、ハードウェア要素は、例えば、少なくとも１つの中央処理装置（ＣＰＵ）、少なくとも１つの入力装置（例えば、マウス、キーボード、コントローラ、タッチスクリーン、または、キーパッド）、及び、少なくとも１つの出力装置（例えば、ディスプレイ装置、プリンタ、または、スピーカ）を含む要素にバスを介して電気的に結合されてよい。このようなシステムは、ディスクドライブ、光学記憶装置、及び、ランダムアクセスメモリ（「ＲＡＭ」）もしくはリードオンリメモリ（「ＲＯＭ」）等のソリッドステート記憶装置と、取り外し可能媒体装置、メモリカード、フラッシュカード等、１つまたは複数の記憶装置も含んでよい。
【0190】
このような装置は、上記のように、コンピュータ可読記憶媒体リーダ、通信装置（例えば、モデム、ネットワークカード（無線または有線）、赤外線通信装置等）、及び、ワーキングメモリも含み得る。コンピュータ可読記憶媒体リーダは、遠隔、ローカル、固定、及び／または、取り外し可能な記憶装置を表すコンピュータ可読記憶媒体と、コンピュータ可読情報を一時的、及び／または、より永続的に含む、記憶する、送信する、または読み出す記憶媒体とに接続できる、または、それらを受信するように構成できる。システム及び様々な装置は、典型的には、クライアントアプリケーションまたはＷｅｂブラウザ等のオペレーティングシステム及びアプリケーションプログラムを含む、少なくとも１つのワーキングメモリ装置内に配置される多くのソフトウェアアプリケーション、モジュール、サービス、または、他の要素も含む。代替実施形態は、上記実施形態の多くの変形を有してよいことは理解されたい。例えば、カスタムハードウェアも使用されてよく、及び／または、特定の要素は、ハードウェア、ソフトウェア（アプレット等のポータブルソフトウェアを含む）、または、その両方で実施されてよい。さらに、ネットワーク入力／出力装置等の他のコンピューティング装置への接続も採用されてよい。
【0191】
コードまたはコードの一部を含む記憶媒体及びコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または、他のデータ等の情報の記憶及び／または送信のための任意の方法または技術で実施される揮発性及び不揮発性、取り外し可能及び取り外し不能の媒体を含むがこれらに限定されない記憶媒体及び通信媒体を含む、当分野で既知のまたは使用される任意の適切な媒体を含むことができる。これらは、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、もしくは、他のメモリ技術、ＣＤ‐ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、もしくは、他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくは、他の磁気記憶装置、または、所望の情報の記憶に使用でき、且つ、システム装置がアクセス可能な任意の他の媒体を含む。本明細書で提供した開示及び教示に基づいて、当業者は、様々な実施形態を実施する他のやり方及び／または方法を理解されよう。
【0192】
従って、明細書及び図面は、制限的な意味ではなく、説明的な意味とみなされる。しかしながら、請求項に記載する開示のより広い精神及び範囲を逸脱することなく、様々な修正及び変更を明細書及び図面に行ってよいことは明らかである。
【0193】
主題の技術の記載は、本明細書に記載の様々な実施形態を当業者が実践できるように提供している。主題の技術を様々な図面及び実施形態を参照して詳細に記載したが、これらは、説明目的だけのためであり、主題の技術の範囲の制限ととらえてはならないことは理解されたい。
【0194】
主題の技術を実施する多くの他の方法があってよい。本明細書に記載の様々な機能及び要素は、主題の技術の範囲を逸脱することなく、示した機能及び要素を異なるように分けてもよい。これらの実施形態への様々な修正は、当業者には容易に分かり、本明細書に規定した一般的原理は、他の実施形態に適用してよい。従って、当業者によって、主題の技術の範囲を逸脱することなく、多くの変更及び修正が主題の技術に行われてよい。
【0195】
単数形の要素への言及は、特に規定していない限り、「１つ及び唯１つ」を意味してはおらず、「１つまたは複数」を意味している。「ある」という語は、１つまたは複数を指す。アンダーライン及び／またはイタリックの見出しまたは小見出しは、便宜上のみに、使用しており、主題の技術を制限せず、主題の技術の記載の解釈に関係して参照しない。当業者に既知のまたは今後知られるこの開示を通して記載した様々な実施形態と構造的に同等なもの及び機能的に同等なものは全て、参照により、明示的に本明細書に組み込まれ、主題の技術に含まれるものとする。さらに、本明細書に開示されていることは全て、このような開示が、上記記載に明示的に記載されているか否かに関わらず、一般の人用であることを意図していない。
【0196】
開示のプロセスのステップの特定の順序または階層はいずれも、例示のアプローチを示したものであると理解される。設計の好みに基づいて、プロセスのステップの特定の順序または階層は、並べ替えられてよいこと、または、示したステップの一部のみが行われてよいことは理解される。あるステップは、同時に行われてよい。例えば、一定の状況においては、マルチタスク及び並行処理は有利であり得る。さらに、上記実施形態の様々なシステムコンポーネントの分離は、全ての実施形態においてこのような分離が必要であると理解すべきではない、また、記載のプログラムコンポーネント及びシステムは、一般的に、１つのソフトウェア製品に一体化することができる、または、複数のソフトウェア製品にパッケージ化することができることは理解されたい。
【0197】
上記記載は、本明細書に記載の様々な態様を当業者が実践できるように提供する。これらの態様への様々な修正は、当業者には容易に明らかであり、本明細書で規定した一般的な原理は、他の態様に適用してよい。従って、請求項は、本明細書に示す態様に限定されず、請求項の文言に一致する全範囲であると認められ、単数形の要素への言及は、特に規定のない限り、「１つ及び唯１つ」を意味せず、「１つまたは複数」を意味する。
【0198】
「態様」等の言葉は、このような態様が、主題の技術に必須であることを示唆せず、または、このような態様が、主題の技術の全ての構成に該当することも示唆しない。態様に関する開示は、全ての構成、または、１つまたは複数の構成に該当してよい。態様等の言葉は、１つまたは複数の態様を指してもよく、逆もまた同様である。「構成」等の言葉は、このような構成が、主題の技術に必須であることを示唆してはおらず、または、このような構成が、主題の技術の全ての構成に該当することも示唆しない。構成に関する開示は、全ての構成、または、１つまたは複数の構成に該当してよい。構成等の言葉は、１つまたは複数の構成を指してよく、逆もまた同様である。
【0199】
「例示の」という語は、本明細書では、「実施例または説明の役割を果たす」ことを意味して使用される。「例示」として本明細書に記載される態様または設計はいずれも、他の態様または設計より好ましいまたは有利であるとは必ずしもみなされない。
【0200】
「ｃｏｍｐｒｉｓｅ」、「ｃｏｍｐｒｉｓｅｓ」、及び「ｃｏｍｐｒｉｓｉｎｇ」という語は、様々な法域において、排他的意味を有してもよく、包含的意味を有してもよいと考えられることは認められている。本明細書の目的で、別段の記載のない限り、これらの語は、包含的な意味を有することを意図している。すなわち、これらの語は、直接言及する列挙した構成要素を含み、また、他の特定していない構成要素または要素も含み得ることを意味すると解釈される。
【0201】
本発明を本発明の実施形態の記載によって説明し、実施形態を詳細に記載したが、出願者は、添付の請求項の範囲をこのような詳細に制限すること、または何らかの方法で限定することを意図してはいない。さらに、上記実施形態は、個々に実施されてよく、または、両立できる場合、組み合わされてもよい。上記実施形態を組み合わせることを含む追加の利点及び修正は、当業者には容易に明らかになろう。よって、発明は、より広い態様で、特定の詳細、代表の装置及び方法、及び、図に示し、記載した説明のための実施例に制限されない。従って、出願者の一般的な発明の概念の精神や範囲を逸脱することなく、このような詳細から出発してよい。
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図4】
