【新規性喪失の例外の表示】特許法第30条第2項適用 集会名 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)2014 開催年月日 平成26年6月23日 (刊行物等) 刊行物名 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)2014、講演予稿集(USBメモリ) 掲載ページ 4193〜4200頁 発行年月日 平成26年6月23日 (刊行物等) 掲載アドレス http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=6909930&url=http%3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs_all.jsp%3Farnumber%3D6909930 掲載ページ 4193〜4200頁 掲載年月日 平成26年6月23日 (刊行物等) 掲載アドレス http://www.cv−foundation.org/openaccess/content_cvpr_2014/papers/Yoshiyasu_Symmetry−Aware_Nonrigid_Matching_2014_CVPR_paper.pdf 掲載年月日 平成26年6月23日
【文献】
石山 塁,3次元形状情報を用いた顔認識,情報処理 第50巻 第6号,日本,社団法人情報処理学会,2009年 6月15日,Vol.50 No.6 June 2009,P.540-547,ISSN 0447-8053
(58)【調査した分野】(Int.Cl.,DB名)
点群から構成される第1の3次元モデルと第2の3次元モデルとの各点の位置情報と接続情報とが記憶される記憶部を備えた装置により実行される対応点探索方法であって、
前記装置が、
前記3次元モデルごとに、前記点群の中から複数のサンプリング点を決定するステップと、
前記記憶部に記憶されている前記サンプリング点ごとの位置情報と接続情報とを用いて、前記サンプリング点ごとの特徴量を算出するステップと、
前記特徴量に基づいて、前記第1の3次元モデルのサンプリング点と前記第2の3次元モデルのサンプリング点同士の類似度を算出するステップと、
前記類似度に基づいて、前記第1の3次元モデルの各サンプリング点に対応する点を前記第2の3次元モデルのサンプリング点の中から決定するステップと、
を有してなり、
前記装置は、サンプリング点ごとに、
3次元モデルの曲面上での法線方向をZ方向、前記曲面上での平均拡散距離の勾配方向をY方向とする仮想カメラの座標系において局所深度画像を構築し、
前記局所深度画像に含まれる画素の値を用いて特徴量を算出する、
ことを特徴とする対応点探索方法。
【発明を実施するための形態】
【0010】
以下、本発明にかかる対応点探索装置(以下「本装置」という。)と対応点探索プログラム(以下「本プログラム」という。)並びに対応点探索方法(以下「本方法」という。)の実施の形態について、図面を参照しながら説明する。
【0011】
●本装置
図1は、本装置の実施の形態を示す機能ブロック図である。本装置10は、サンプリング点決定部11、特徴量算出部12、類似度算出部13、対応点決定部14、記憶部15、を有してなる。
【0012】
ここで、本装置10は、パーソナルコンピュータなどの情報処理装置により実現される。後述する本方法は、本装置10で動作する本プログラムが本装置10を構成するハードウェア資源と協働することで、本装置10により実行される。
【0013】
なお、本装置10とは別の情報処理装置で本プログラムを動作させることで、同情報処理装置を本装置10と同様に機能させて、本方法を実行させることができる。
【0014】
記憶部15は、位置情報、接続情報、その他後述する本装置1が本方法を実現するために必要な情報が記憶される手段である。
【0015】
位置情報とは、3次元モデルを構成する点群の各点の3次元座標の情報である。
【0016】
接続情報とは、3次元モデルを構成する点群の各点同士の接続状態(後述する三角形のメッシュの切り方)を示す情報である。
【0017】
記憶部15には、3次元モデルを構成する点群の点ごとの位置情報と接続情報とが記憶されている。
【0018】
サンプリング点決定部11は、3次元モデルを構成する点群の中からサンプリング点を決定する(抽出する)手段である。サンプリング点の決定方法としては、例えば、farthest point samplingなどの手法を用いる。
【0019】
サンプリング点とは、3次元モデルを構成する点群のうち、対応点の探索の対象とする点である。
【0020】
図2は、人間の全身の3次元モデルを例とした、サンプリング点と接続情報(メッシュ)の例を示す模式図であり、同図(b)は同図(a)の矩形で囲まれた部分を抜き出したものである。同図は、3次元モデルを構成する点群の各点のうち、隣接する点同士を線で繋いで描画してある。すなわち、三角形のメッシュの各辺は、隣接する頂点同士を結ぶ線である。また、同図において、三角形のメッシュの頂点、つまり、3次元モデルを構成する点群の各点のうち丸印が付してある点は、サンプリング点として決定された点である。
【0021】
図3は、対比される2つの3次元モデルの例を示す模式図である。同図には、人間の全身の3次元モデルが示されていて、同図(a)の3次元モデルではサンプリング点1,2,3,4,5,6の6点が決定され、同図(b)の3次元モデルではサンプリング点a,b,c,d,e,fの6点が決定されていることを示している。
【0022】
なお、各3次元モデルを構成する点群の中から決定されるサンプリング点の数(
図3に示した例では「6」)を示す情報は、あらかじめ、本装置10に設定(記憶部15に記憶)されている。
【0023】
特徴量算出部12は、頂点ごとの位置情報と接続情報とを用いて、サンプリング点の特徴量を算出する手段である。特徴量とその算出方法については、後述する。
【0024】
類似度算出部13は、サンプリング点同士の類似度を算出する手段である。類似度とその算出方法については、後述する。
【0025】
対応点決定部14は、対応点を決定する手段である。
【0026】
対応点とは、対比する2つの3次元モデルのうち、一方の3次元モデルのサンプリング点に対応する、他方の3次元モデルのサンプリング点のことである。すなわち、
図3に示した例において、同図(a)のサンプリング点ごとに、同図(b)のサンプリング点のいずれかが対応点として決定される。つまり、例えば、同図(a)のサンプリング点1の対応点は、同図(b)のサンプリング点a,b,c,d,e,fのいずれかである。
【0027】
なお、一方の3次元モデルのサンプリング点に対応する対応点が他方の3次元モデルに存在しない、という解(場合)もあり得る。
【0028】
対応点の決定方法については、後述する。
【0029】
●本方法
図4は、本方法の実施の形態を示すフローチャートである。
先ず、本装置10は、対比する2つの3次元モデルごとに、それぞれを構成する点群の位置情報と接続情報とを記憶部15から読み出して、点群の中からサンプリング点を決定する(S1)。
【0030】
次いで、本装置10は、決定されたサンプリング点ごとの特徴量を算出する(S2)。
【0031】
図5は、サンプリング点ごとの特徴量の算出処理の例を示すフローチャートである。
先ず、本装置10は、対比する2つの3次元モデルごとに、構成する点群の位置情報と接続情報とを記憶部15から読み出す(S21)。
【0032】
なお、読み出し処理(S21)では、前述のサンプリング点の決定処理(S1)で記憶部15から読み出された位置情報と接続情報とを利用するように代えてもよい。この場合、これらの情報を処理(S1)とは別に改めて記憶部15から読み出さなくて済む。
【0033】
次いで、本装置10は、3次元モデルごとに、各サンプリング点の法線方向を、その3次元モデルのすべての頂点の位置情報と接続情報とを用いて決定する(S22)。
【0034】
次いで、本装置10は、3次元モデルごとに、各サンプリング点の平均拡散距離(ADD:Average Diffusion Distance)の勾配方向を決定する(S23)。
【0035】
ADDの勾配方向を決定するにあたり、本装置10は、先ず、頂点ごとに、同じ3次元モデルの他のすべてのサンプリング点との拡散距離(Diffusion Distance)を算出した上で、算出された各サンプリング点との拡散距離の平均値をADDとして算出する。
【0036】
拡散距離(Diffusion Distance)とは、グラフ構造の接続の強さを表す距離である。拡散距離は、接続が強いと距離が小さく(近く)なり、接続が弱いと距離が大きく(遠く)なる。拡散距離は、測地線距離とほぼ同じように、曲面の表面上の最短距離を測るが、測地線よりもノイズやデータ欠損に頑健である。2点x,y間の拡散距離d
Dは、以下の式により算出することができる。
【0038】
なお、グラフラプラシアン行列は、頂点ごとの位置座標と接続関係とから求めることができる。
【0039】
ADDは、3次元モデルの中心領域が低く、3次元モデルの末端領域が高い、スカラー場である。
【0040】
図6は、人間の全身の3次元モデルの場合のADDの例を示す模式図である。同図は、全身の中心に位置するへそ辺りのADDが低く、全身の末端に位置する手足の指先や頭頂部辺りのADDが高いことを示している。
【0041】
図7は、ADDの勾配方向の例を示す模式図である。同図は、ADDの勾配方向の算出の対象となるサンプリング点を図の中央に表示し、このサンプリング点と接続している他の頂点が6点存在することを示している。
【0042】
本装置1は、サンプリング点ごとに、サンプリング点と接続している他の頂点のADDの勾配方向を下記の式で算出する。
ADDの勾配方向=(V1+V2+・・・+Vn)/n
【0043】
ここで、nは、ADDの勾配方向の算出対象のサンプリング点と接続している他の頂点の数であり、
図7に示した例ではn=6である。
また、V1,V2,・・・,Vnは、ADDの勾配方向の算出対象のサンプリング点と、このサンプリング点に接続する他の頂点それぞれを結ぶ辺の勾配ベクトルであり、下記の式で算出される。
V1=(a1−a0)e1
V2=(a2−a0)e2
・・・
Vn=(an−a0)en
【0044】
なお、a0,・・・,anは、各点のADDの値である。
また、e0,・・・,enは、ADDの勾配方向の算出対象のサンプリング点と他の頂点とを結ぶ各辺の単位方向(ベクトル)の値であり、x0,・・・,xnを各点の3次元座標(3次元位置)とすると、下記の式で算出される。
e1=(x1−x0)/|x1−x0|
e2=(x2−x0)/|x2−x0|
・・・
en=(xn−x0)/|xn−x0|
【0045】
図5に戻る。
本装置10は、サンプリング点ごとに、局所深度画像を構築する(S24)。
図8は、3次元モデルと、局所深度画像が透視投影される投影面と、仮想カメラの座標系のカメラ中心、との位置関係を示す模式図である。
【0046】
ここで、仮想カメラの座標系は、サンプリング点ごとに、前述の法線方向をZ方向、前述のADDの勾配方向をY方向として設定する。サンプリング点から仮想カメラのカメラ中心までの距離は、局所深度画像に入る3次元モデルの局所領域の大きさを決める(距離が大きければ範囲が広く、距離が小さければ範囲が狭い)。サンプリング点ごとの局所深度画像の解像度(例えば、50×50ピクセル)は、サンプリング点ごとに一定である。サンプリング点からカメラ中心までの距離と局所深度画像の解像度を示す情報は、あらかじめ、本装置10に設定されている(記憶部15に記憶されている)。
【0047】
局所深度画像は、カメラ中心から3次元モデルの各頂点(同図中、P,Q,R)を結ぶ線が、カメラ中心と3次元モデルとの間に設定される投射面と交差する点(同図中、P’,Q’,R’)を用いて構築される。
【0048】
局所深度画像の各ピクセルでの値は、そこでのZ方向の大きさ、つまり、カメラ中心から各頂点までのZ方向の距離(同図中、dP,dQ,dR)である。
【0049】
図5に戻る。
本装置10は、サンプリング点ごとに、特徴量を算出する(S25)。サンプリング点ごとの特徴量は、サンプリング点ごとに構築された局所深度画像に含まれる各ピクセルの値の集合(50×50の画像行列をベクトルとして表す)である。
【0050】
図4に戻る。
本装置10は、対比する2つの3次元モデルのそれぞれのサンプリング点のすべての組み合わせごとに、サンプリング点間の類似度(ユークリッドノルム)を算出する(S3)。すなわち、
図3に示した例においては、同図(a)のサンプリング点1と同図(b)の各サンプリング点a,b,c,d,e,fとの類似度、同図(a)のサンプリング点2と同図(b)の各サンプリング点a,b,c,d,e,fとの類似度、・・・、同図(a)のサンプリング点と同図(b)の各サンプリング点a,b,c,d,e,fとの類似度を算出する。
【0051】
次いで、本装置10は、対比する2つの3次元モデルのサンプリング点間のマッチング、つまり、一方の3次元モデルのサンプリング点(例えば、
図3(a)に示したサンプリング点1,2,3,4,5,6)と、他方の3次元モデルのサンプリング点(例えば、
図3(b)に示したサンプリング点a,b,c,d,e,f)との対応付けを行う(S4)。この対応付けは、例えば、ハンガリアン法を用いて行い、対比する2つの3次元モデルのサンプリング点同士の1対1の対応のマッチング結果を得る。
【0052】
●まとめ
以上説明した実施の形態によれば、3次元モデルの大域的な情報から算出されるADDの勾配方向を用いた座標系において局所深度画像を構築し、この局所深度画像から算出された特徴量を用いて対応点を探索するため、3次元モデルの局所的な情報のみを用いて行う従来の探索に比べて、局所的な変形に頑健な探索が可能となり、探索精度を向上させることができる。
【0053】
ここで、これまで説明した本装置の特徴について、以下にまとめて記載しておく。
【0054】
(特徴1)
点群から構成される第1の3次元モデルと第2の3次元モデルとの各点の位置情報と接続情報とが記憶される記憶部と、
前記3次元モデルのそれぞれについて、前記点群の中から複数のサンプリング点を決定するサンプリング点決定部と、
前記記憶部に記憶されている前記サンプリング点ごとの位置情報と接続情報とを用いて、前記サンプリング点ごとの特徴量を算出する特徴量算出部と、
前記特徴量に基づいて、前記第1の3次元モデルのサンプリング点と前記第2の3次元モデルのサンプリング点同士の類似度を算出する類似度算出部と、
前記類似度に基づいて、前記第1の3次元モデルの各サンプリング点に対応する点を前記第2の3次元モデルのサンプリング点の中から決定する対応点決定部と、
を有してなり、
前記特徴量算出部は、サンプリング点ごとに、
3次元モデルの曲面上での法線方向をZ方向、前記曲面上での平均拡散距離の勾配方向をY方向とする仮想カメラの座標系において局所深度画像を構築し、
前記局所深度画像に含まれる各画素の深度を用いて特徴量を算出する、
ことを特徴とする対応点探索装置。
【0055】
(特徴2)
前記特徴量算出部は、前記3次元モデルごとに、
サンプリング点ごとの他のサンプリング点までの拡散距離を算出し、
前記サンプリグ点ごとの前記拡散距離の平均値を前記サンプリング点の前記平均拡散距離として算出する、
特徴1記載の対応点探索装置。
【0056】
(特徴3)
前記特徴量算出部は、前記サンプリング点ごとに、前記平均拡散距離を用いて、前記平均拡散距離の勾配方向を算出する、
特徴2記載の対応点探索装置。
【0057】
(特徴4)
前記特徴量算出部は、前記仮想カメラの座標系のカメラ中心と前記3次元モデルの曲面上との間の投影面に透視投影された画像を、前記局所深度画像として構築する、
特徴1乃至3のいずれかに記載の対応点探索装置。
【0058】
(特徴5)
前記類似度算出部は、
前記第1の3次元モデルのサンプリング点の特徴量と前記第2の3次元モデルのサンプリング点同士のユークリッド距離を、
前記第1の3次元モデルのサンプリング点と前記第2の3次元モデルのサンプリング点同士の類似度として算出する、
特徴1乃至4のいずれかに記載の対応点探索装置。