特許第6441032号(P6441032)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立研究開発法人産業技術総合研究所の特許一覧
特許6441032対応点探索装置と対応点探索プログラム並びに対応点探索方法
<>
  • 特許6441032-対応点探索装置と対応点探索プログラム並びに対応点探索方法 図000003
  • 特許6441032-対応点探索装置と対応点探索プログラム並びに対応点探索方法 図000004
  • 特許6441032-対応点探索装置と対応点探索プログラム並びに対応点探索方法 図000005
  • 特許6441032-対応点探索装置と対応点探索プログラム並びに対応点探索方法 図000006
  • 特許6441032-対応点探索装置と対応点探索プログラム並びに対応点探索方法 図000007
  • 特許6441032-対応点探索装置と対応点探索プログラム並びに対応点探索方法 図000008
  • 特許6441032-対応点探索装置と対応点探索プログラム並びに対応点探索方法 図000009
  • 特許6441032-対応点探索装置と対応点探索プログラム並びに対応点探索方法 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6441032
(24)【登録日】2018年11月30日
(45)【発行日】2018年12月19日
(54)【発明の名称】対応点探索装置と対応点探索プログラム並びに対応点探索方法
(51)【国際特許分類】
   G06T 13/40 20110101AFI20181210BHJP
   G06T 7/00 20170101ALI20181210BHJP
【FI】
   G06T13/40
   G06T7/00 300F
   G06T7/00 C
【請求項の数】7
【全頁数】12
(21)【出願番号】特願2014-226566(P2014-226566)
(22)【出願日】2014年11月7日
(65)【公開番号】特開2016-91391(P2016-91391A)
(43)【公開日】2016年5月23日
【審査請求日】2017年10月18日
【新規性喪失の例外の表示】特許法第30条第2項適用 集会名 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)2014 開催年月日 平成26年6月23日 (刊行物等) 刊行物名 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)2014、講演予稿集(USBメモリ) 掲載ページ 4193〜4200頁 発行年月日 平成26年6月23日 (刊行物等) 掲載アドレス http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=6909930&url=http%3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs_all.jsp%3Farnumber%3D6909930 掲載ページ 4193〜4200頁 掲載年月日 平成26年6月23日 (刊行物等) 掲載アドレス http://www.cv−foundation.org/openaccess/content_cvpr_2014/papers/Yoshiyasu_Symmetry−Aware_Nonrigid_Matching_2014_CVPR_paper.pdf 掲載年月日 平成26年6月23日
(73)【特許権者】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(72)【発明者】
【氏名】吉安 祐介
【審査官】 真木 健彦
(56)【参考文献】
【文献】 特開2007−018493(JP,A)
【文献】 特開2009−129189(JP,A)
【文献】 米国特許出願公開第2013/0121598(US,A1)
【文献】 石山 塁,3次元形状情報を用いた顔認識,情報処理 第50巻 第6号,日本,社団法人情報処理学会,2009年 6月15日,Vol.50 No.6 June 2009,P.540-547,ISSN 0447-8053
(58)【調査した分野】(Int.Cl.,DB名)
G06T 13/40
G06T 1/00
G06T 7/00 − 7/90
(57)【特許請求の範囲】
【請求項1】
点群から構成される第1の3次元モデルと第2の3次元モデルとの各点の位置情報と接続情報とが記憶される記憶部と、
前記3次元モデルのそれぞれについて、前記点群の中から複数のサンプリング点を決定するサンプリング点決定部と、
前記記憶部に記憶されている前記サンプリング点ごとの位置情報と接続情報とを用いて、前記サンプリング点ごとの特徴量を算出する特徴量算出部と、
前記特徴量に基づいて、前記第1の3次元モデルのサンプリング点と前記第2の3次元モデルのサンプリング点同士の類似度を算出する類似度算出部と、
前記類似度に基づいて、前記第1の3次元モデルの各サンプリング点に対応する点を前記第2の3次元モデルのサンプリング点の中から決定する対応点決定部と、
を有してなり、
前記特徴量算出部は、サンプリング点ごとに、
3次元モデルの曲面上での法線方向をZ方向、前記曲面上での平均拡散距離の勾配方向をY方向とする仮想カメラの座標系において局所深度画像を構築し、
前記局所深度画像に含まれる各画素の深度を用いて特徴量を算出する、
ことを特徴とする対応点探索装置。
【請求項2】
前記特徴量算出部は、前記3次元モデルごとに、
サンプリング点ごとの他のサンプリング点までの拡散距離を算出し、
前記サンプリグ点ごとの前記拡散距離の平均値を前記サンプリング点の前記平均拡散距離として算出する、
請求項1記載の対応点探索装置。
【請求項3】
前記特徴量算出部は、前記サンプリング点ごとに、前記平均拡散距離を用いて、前記平均拡散距離の勾配方向を算出する、
請求項2記載の対応点探索装置。
【請求項4】
前記特徴量算出部は、前記仮想カメラの座標系のカメラ中心と前記3次元モデルの曲面上との間の投影面に透視投影された画像を、前記局所深度画像として構築する、
請求項1乃至3のいずれかに記載の対応点探索装置。
【請求項5】
前記類似度算出部は、
前記第1の3次元モデルのサンプリング点の特徴量と前記第2の3次元モデルのサンプリング点同士のユークリッド距離を、
前記第1の3次元モデルのサンプリング点と前記第2の3次元モデルのサンプリング点同士の類似度として算出する、
請求項1乃至4のいずれかに記載の対応点探索装置。
【請求項6】
コンピュータを、請求項1乃至5のいずれかに記載の対応点探索装置として機能させることを特徴とする対応点探索プログラム。
【請求項7】
点群から構成される第1の3次元モデルと第2の3次元モデルとの各点の位置情報と接続情報とが記憶される記憶部を備えた装置により実行される対応点探索方法であって、
前記装置が、
前記3次元モデルごとに、前記点群の中から複数のサンプリング点を決定するステップと、
前記記憶部に記憶されている前記サンプリング点ごとの位置情報と接続情報とを用いて、前記サンプリング点ごとの特徴量を算出するステップと、
前記特徴量に基づいて、前記第1の3次元モデルのサンプリング点と前記第2の3次元モデルのサンプリング点同士の類似度を算出するステップと、
前記類似度に基づいて、前記第1の3次元モデルの各サンプリング点に対応する点を前記第2の3次元モデルのサンプリング点の中から決定するステップと、
を有してなり、
前記装置は、サンプリング点ごとに、
3次元モデルの曲面上での法線方向をZ方向、前記曲面上での平均拡散距離の勾配方向をY方向とする仮想カメラの座標系において局所深度画像を構築し、
前記局所深度画像に含まれる画素の値を用いて特徴量を算出する、
ことを特徴とする対応点探索方法。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元モデル同士での対応点の探索処理に関するものである。
【背景技術】
【0002】
従来、3次元の位置情報を持つ点群からなる3次元モデル同士での各点のマッチング処理、つまり、2つの3次元モデル間での対応点の探索処理が行われている。
【0003】
3次元モデルの対応点の探索処理においては、3次元モデルを構成する点群の各点の局所特徴量を算出し、各点同士の特徴量の類似度に基づいて対応点の探索が行われる。ここで、局所特徴量の例としては、例えば、Spin ImageやLocal Depth SIFTが提案されている(例えば「非特許文献1」参照)。
【0004】
しかし、従来から提案されている局所特徴量は、特徴量の方向も3次元モデルの局所的な領域の点群の長軸方向など、局所的な領域の形状の特徴を用いて算出されるため、3次元モデルを構成する点群の各点の位置情報などの欠損や、3次元モデルの局所的な変形がある(例えば、人間の全身の3次元モデルの場合、対比する3次元モデル同士で腕の向きが異なっている)と、探索精度(マッチング精度)が低下してしまう。
【先行技術文献】
【特許文献】
【0005】
【非特許文献1】Tal Darom and Yosi Keller, “Scale Invariant Features for 3D Mesh Models”. IEEE Transactions on Image Processing, vol.21, no.5, pp.2758-2769, May 2012.
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、以上のような従来技術の問題点を解消するためになされたもので、対応点の探索精度を向上させることができる、対応点探索装置と対応点探索プログラム並びに対応点探索方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、点群から構成される第1の3次元モデルと第2の3次元モデルとの各点の位置情報と接続情報とが記憶される記憶部と、3次元モデルのそれぞれについて、点群の中から複数のサンプリング点を決定するサンプリング点決定部と、記憶部に記憶されているサンプリング点ごとの位置情報と接続情報とを用いて、サンプリング点ごとの特徴量を算出する特徴量算出部と、特徴量に基づいて、第1の3次元モデルのサンプリング点と第2の3次元モデルのサンプリング点同士の類似度を算出する類似度算出部と、類似度に基づいて、第1の3次元モデルの各サンプリング点に対応する点を第2の3次元モデルのサンプリング点の中から決定する対応点決定部と、を有してなり、特徴量算出部は、サンプリング点ごとに、3次元モデルの曲面上での法線方向をZ方向、曲面上での平均拡散距離の勾配方向をY方向とする仮想カメラの座標系において局所深度画像を構築し、局所深度画像に含まれる各画素の深度を用いて特徴量を算出する、ことを特徴とする。
【発明の効果】
【0008】
本発明によれば、対応点の探索精度を向上させることができる。
【図面の簡単な説明】
【0009】
図1】本発明にかかる対応点探索装置の実施の形態を示す機能ブロック図である。
図2】同装置に記憶されるサンプリング点と接続情報の例を示す模式図である。
図3】対比される2つの3次元モデルの例を示す模式図である。
図4】本発明にかかる対応点探索方法の実施の形態を示すフローチャートである。
図5】上記対応点探索方法における各サンプリング点の特徴量の算出処理の例を示すフローチャートである。
図6】平均拡散距離(ADD)の例を示す模式図である。
図7】上記特徴量の算出処理において算出されるADDの勾配方向の例を示す模式図である。
図8】上記特徴量の算出処理において構築される局所深度画像が透視投影される投影面と、透視投影に用いられる仮想カメラのカメラ中心と、3次元モデルと、の位置関係を示す模式図である。
【発明を実施するための形態】
【0010】
以下、本発明にかかる対応点探索装置(以下「本装置」という。)と対応点探索プログラム(以下「本プログラム」という。)並びに対応点探索方法(以下「本方法」という。)の実施の形態について、図面を参照しながら説明する。
【0011】
●本装置
図1は、本装置の実施の形態を示す機能ブロック図である。本装置10は、サンプリング点決定部11、特徴量算出部12、類似度算出部13、対応点決定部14、記憶部15、を有してなる。
【0012】
ここで、本装置10は、パーソナルコンピュータなどの情報処理装置により実現される。後述する本方法は、本装置10で動作する本プログラムが本装置10を構成するハードウェア資源と協働することで、本装置10により実行される。
【0013】
なお、本装置10とは別の情報処理装置で本プログラムを動作させることで、同情報処理装置を本装置10と同様に機能させて、本方法を実行させることができる。
【0014】
記憶部15は、位置情報、接続情報、その他後述する本装置1が本方法を実現するために必要な情報が記憶される手段である。
【0015】
位置情報とは、3次元モデルを構成する点群の各点の3次元座標の情報である。
【0016】
接続情報とは、3次元モデルを構成する点群の各点同士の接続状態(後述する三角形のメッシュの切り方)を示す情報である。
【0017】
記憶部15には、3次元モデルを構成する点群の点ごとの位置情報と接続情報とが記憶されている。
【0018】
サンプリング点決定部11は、3次元モデルを構成する点群の中からサンプリング点を決定する(抽出する)手段である。サンプリング点の決定方法としては、例えば、farthest point samplingなどの手法を用いる。
【0019】
サンプリング点とは、3次元モデルを構成する点群のうち、対応点の探索の対象とする点である。
【0020】
図2は、人間の全身の3次元モデルを例とした、サンプリング点と接続情報(メッシュ)の例を示す模式図であり、同図(b)は同図(a)の矩形で囲まれた部分を抜き出したものである。同図は、3次元モデルを構成する点群の各点のうち、隣接する点同士を線で繋いで描画してある。すなわち、三角形のメッシュの各辺は、隣接する頂点同士を結ぶ線である。また、同図において、三角形のメッシュの頂点、つまり、3次元モデルを構成する点群の各点のうち丸印が付してある点は、サンプリング点として決定された点である。
【0021】
図3は、対比される2つの3次元モデルの例を示す模式図である。同図には、人間の全身の3次元モデルが示されていて、同図(a)の3次元モデルではサンプリング点1,2,3,4,5,6の6点が決定され、同図(b)の3次元モデルではサンプリング点a,b,c,d,e,fの6点が決定されていることを示している。
【0022】
なお、各3次元モデルを構成する点群の中から決定されるサンプリング点の数(図3に示した例では「6」)を示す情報は、あらかじめ、本装置10に設定(記憶部15に記憶)されている。
【0023】
特徴量算出部12は、頂点ごとの位置情報と接続情報とを用いて、サンプリング点の特徴量を算出する手段である。特徴量とその算出方法については、後述する。
【0024】
類似度算出部13は、サンプリング点同士の類似度を算出する手段である。類似度とその算出方法については、後述する。
【0025】
対応点決定部14は、対応点を決定する手段である。
【0026】
対応点とは、対比する2つの3次元モデルのうち、一方の3次元モデルのサンプリング点に対応する、他方の3次元モデルのサンプリング点のことである。すなわち、図3に示した例において、同図(a)のサンプリング点ごとに、同図(b)のサンプリング点のいずれかが対応点として決定される。つまり、例えば、同図(a)のサンプリング点1の対応点は、同図(b)のサンプリング点a,b,c,d,e,fのいずれかである。
【0027】
なお、一方の3次元モデルのサンプリング点に対応する対応点が他方の3次元モデルに存在しない、という解(場合)もあり得る。
【0028】
対応点の決定方法については、後述する。
【0029】
●本方法
図4は、本方法の実施の形態を示すフローチャートである。
先ず、本装置10は、対比する2つの3次元モデルごとに、それぞれを構成する点群の位置情報と接続情報とを記憶部15から読み出して、点群の中からサンプリング点を決定する(S1)。
【0030】
次いで、本装置10は、決定されたサンプリング点ごとの特徴量を算出する(S2)。
【0031】
図5は、サンプリング点ごとの特徴量の算出処理の例を示すフローチャートである。
先ず、本装置10は、対比する2つの3次元モデルごとに、構成する点群の位置情報と接続情報とを記憶部15から読み出す(S21)。
【0032】
なお、読み出し処理(S21)では、前述のサンプリング点の決定処理(S1)で記憶部15から読み出された位置情報と接続情報とを利用するように代えてもよい。この場合、これらの情報を処理(S1)とは別に改めて記憶部15から読み出さなくて済む。
【0033】
次いで、本装置10は、3次元モデルごとに、各サンプリング点の法線方向を、その3次元モデルのすべての頂点の位置情報と接続情報とを用いて決定する(S22)。
【0034】
次いで、本装置10は、3次元モデルごとに、各サンプリング点の平均拡散距離(ADD:Average Diffusion Distance)の勾配方向を決定する(S23)。
【0035】
ADDの勾配方向を決定するにあたり、本装置10は、先ず、頂点ごとに、同じ3次元モデルの他のすべてのサンプリング点との拡散距離(Diffusion Distance)を算出した上で、算出された各サンプリング点との拡散距離の平均値をADDとして算出する。
【0036】
拡散距離(Diffusion Distance)とは、グラフ構造の接続の強さを表す距離である。拡散距離は、接続が強いと距離が小さく(近く)なり、接続が弱いと距離が大きく(遠く)なる。拡散距離は、測地線距離とほぼ同じように、曲面の表面上の最短距離を測るが、測地線よりもノイズやデータ欠損に頑健である。2点x,y間の拡散距離dは、以下の式により算出することができる。
【0037】
【数1】
【0038】
なお、グラフラプラシアン行列は、頂点ごとの位置座標と接続関係とから求めることができる。
【0039】
ADDは、3次元モデルの中心領域が低く、3次元モデルの末端領域が高い、スカラー場である。
【0040】
図6は、人間の全身の3次元モデルの場合のADDの例を示す模式図である。同図は、全身の中心に位置するへそ辺りのADDが低く、全身の末端に位置する手足の指先や頭頂部辺りのADDが高いことを示している。
【0041】
図7は、ADDの勾配方向の例を示す模式図である。同図は、ADDの勾配方向の算出の対象となるサンプリング点を図の中央に表示し、このサンプリング点と接続している他の頂点が6点存在することを示している。
【0042】
本装置1は、サンプリング点ごとに、サンプリング点と接続している他の頂点のADDの勾配方向を下記の式で算出する。

ADDの勾配方向=(V1+V2+・・・+Vn)/n
【0043】
ここで、nは、ADDの勾配方向の算出対象のサンプリング点と接続している他の頂点の数であり、図7に示した例ではn=6である。
また、V1,V2,・・・,Vnは、ADDの勾配方向の算出対象のサンプリング点と、このサンプリング点に接続する他の頂点それぞれを結ぶ辺の勾配ベクトルであり、下記の式で算出される。

V1=(a1−a0)e1
V2=(a2−a0)e2
・・・
Vn=(an−a0)en
【0044】
なお、a0,・・・,anは、各点のADDの値である。
また、e0,・・・,enは、ADDの勾配方向の算出対象のサンプリング点と他の頂点とを結ぶ各辺の単位方向(ベクトル)の値であり、x0,・・・,xnを各点の3次元座標(3次元位置)とすると、下記の式で算出される。

e1=(x1−x0)/|x1−x0|
e2=(x2−x0)/|x2−x0|
・・・
en=(xn−x0)/|xn−x0|
【0045】
図5に戻る。
本装置10は、サンプリング点ごとに、局所深度画像を構築する(S24)。
図8は、3次元モデルと、局所深度画像が透視投影される投影面と、仮想カメラの座標系のカメラ中心、との位置関係を示す模式図である。
【0046】
ここで、仮想カメラの座標系は、サンプリング点ごとに、前述の法線方向をZ方向、前述のADDの勾配方向をY方向として設定する。サンプリング点から仮想カメラのカメラ中心までの距離は、局所深度画像に入る3次元モデルの局所領域の大きさを決める(距離が大きければ範囲が広く、距離が小さければ範囲が狭い)。サンプリング点ごとの局所深度画像の解像度(例えば、50×50ピクセル)は、サンプリング点ごとに一定である。サンプリング点からカメラ中心までの距離と局所深度画像の解像度を示す情報は、あらかじめ、本装置10に設定されている(記憶部15に記憶されている)。
【0047】
局所深度画像は、カメラ中心から3次元モデルの各頂点(同図中、P,Q,R)を結ぶ線が、カメラ中心と3次元モデルとの間に設定される投射面と交差する点(同図中、P’,Q’,R’)を用いて構築される。
【0048】
局所深度画像の各ピクセルでの値は、そこでのZ方向の大きさ、つまり、カメラ中心から各頂点までのZ方向の距離(同図中、dP,dQ,dR)である。
【0049】
図5に戻る。
本装置10は、サンプリング点ごとに、特徴量を算出する(S25)。サンプリング点ごとの特徴量は、サンプリング点ごとに構築された局所深度画像に含まれる各ピクセルの値の集合(50×50の画像行列をベクトルとして表す)である。
【0050】
図4に戻る。
本装置10は、対比する2つの3次元モデルのそれぞれのサンプリング点のすべての組み合わせごとに、サンプリング点間の類似度(ユークリッドノルム)を算出する(S3)。すなわち、図3に示した例においては、同図(a)のサンプリング点1と同図(b)の各サンプリング点a,b,c,d,e,fとの類似度、同図(a)のサンプリング点2と同図(b)の各サンプリング点a,b,c,d,e,fとの類似度、・・・、同図(a)のサンプリング点と同図(b)の各サンプリング点a,b,c,d,e,fとの類似度を算出する。
【0051】
次いで、本装置10は、対比する2つの3次元モデルのサンプリング点間のマッチング、つまり、一方の3次元モデルのサンプリング点(例えば、図3(a)に示したサンプリング点1,2,3,4,5,6)と、他方の3次元モデルのサンプリング点(例えば、図3(b)に示したサンプリング点a,b,c,d,e,f)との対応付けを行う(S4)。この対応付けは、例えば、ハンガリアン法を用いて行い、対比する2つの3次元モデルのサンプリング点同士の1対1の対応のマッチング結果を得る。
【0052】
●まとめ
以上説明した実施の形態によれば、3次元モデルの大域的な情報から算出されるADDの勾配方向を用いた座標系において局所深度画像を構築し、この局所深度画像から算出された特徴量を用いて対応点を探索するため、3次元モデルの局所的な情報のみを用いて行う従来の探索に比べて、局所的な変形に頑健な探索が可能となり、探索精度を向上させることができる。
【0053】
ここで、これまで説明した本装置の特徴について、以下にまとめて記載しておく。
【0054】
(特徴1)
点群から構成される第1の3次元モデルと第2の3次元モデルとの各点の位置情報と接続情報とが記憶される記憶部と、
前記3次元モデルのそれぞれについて、前記点群の中から複数のサンプリング点を決定するサンプリング点決定部と、
前記記憶部に記憶されている前記サンプリング点ごとの位置情報と接続情報とを用いて、前記サンプリング点ごとの特徴量を算出する特徴量算出部と、
前記特徴量に基づいて、前記第1の3次元モデルのサンプリング点と前記第2の3次元モデルのサンプリング点同士の類似度を算出する類似度算出部と、
前記類似度に基づいて、前記第1の3次元モデルの各サンプリング点に対応する点を前記第2の3次元モデルのサンプリング点の中から決定する対応点決定部と、
を有してなり、
前記特徴量算出部は、サンプリング点ごとに、
3次元モデルの曲面上での法線方向をZ方向、前記曲面上での平均拡散距離の勾配方向をY方向とする仮想カメラの座標系において局所深度画像を構築し、
前記局所深度画像に含まれる各画素の深度を用いて特徴量を算出する、
ことを特徴とする対応点探索装置。
【0055】
(特徴2)
前記特徴量算出部は、前記3次元モデルごとに、
サンプリング点ごとの他のサンプリング点までの拡散距離を算出し、
前記サンプリグ点ごとの前記拡散距離の平均値を前記サンプリング点の前記平均拡散距離として算出する、
特徴1記載の対応点探索装置。
【0056】
(特徴3)
前記特徴量算出部は、前記サンプリング点ごとに、前記平均拡散距離を用いて、前記平均拡散距離の勾配方向を算出する、
特徴2記載の対応点探索装置。
【0057】
(特徴4)
前記特徴量算出部は、前記仮想カメラの座標系のカメラ中心と前記3次元モデルの曲面上との間の投影面に透視投影された画像を、前記局所深度画像として構築する、
特徴1乃至3のいずれかに記載の対応点探索装置。
【0058】
(特徴5)
前記類似度算出部は、
前記第1の3次元モデルのサンプリング点の特徴量と前記第2の3次元モデルのサンプリング点同士のユークリッド距離を、
前記第1の3次元モデルのサンプリング点と前記第2の3次元モデルのサンプリング点同士の類似度として算出する、
特徴1乃至4のいずれかに記載の対応点探索装置。
【符号の説明】
【0059】
10 対応点探索装置
11 サンプリング点決定部
12 特徴量算出部
13 類似度算出部
14 対応点決定部
15 記憶部

図1
図2
図3
図4
図5
図6
図7
図8