特許 7587191 形状推定装置、形状推定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-12

(45)【発行日】2024-11-20

(54)【発明の名称】形状推定装置、形状推定方法、及びプログラム

(51)【国際特許分類】

   G01B 11/24 20060101AFI20241113BHJP

【ＦＩ】

G01B11/24 A

G01B11/24 K

【請求項の数】 3

(21)【出願番号】P 2023526751

(86)(22)【出願日】2021-06-10

(86)【国際出願番号】 JP2021022095

(87)【国際公開番号】W WO2022259457

(87)【国際公開日】2022-12-15

【審査請求日】2023-11-28

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100129230

【弁理士】

【氏名又は名称】工藤 理恵

(72)【発明者】

【氏名】石原 裕之

(72)【発明者】

【氏名】仲地 孝之

【審査官】信田 昌男

(56)【参考文献】

【文献】国際公開第２００８／９９５８９（ＷＯ，Ａ１）

【文献】特開２０１０－２７９０４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

透明な屈折層が介在しない場合の被写体の第１画像と、前記屈折層が介在する場合の前記被写体の第２画像を撮影する偏光カメラと、
前記第１画像と前記第２画像の間に特徴点追跡手法を適用して屈折による幾何学的な見え方の変化を表す特徴量である歪みベクトルを取得する特徴量取得部と、
前記第２画像から少なくとも３つの異なる偏光角度にそれぞれ対応する輝度値の組を取得して偏光の特徴量を推定する第１推定部と、
偏光の前記特徴量を用いて推定したい前記屈折層の法線ベクトルの候補を２つ推定する第２推定部と、
前記歪みベクトルを用いて法線ベクトルの前記候補から１つを選択し、前記屈折層の表面形状を表す屈折面３次元形状情報を生成する屈折面生成部と
を備える形状推定装置。

【請求項2】

形状推定装置が行う形状推定方法であって、
偏光カメラは、透明な屈折層が介在しない場合の被写体の第１画像と、前記屈折層が介在する場合の前記被写体の第２画像を撮影し、
特徴量取得部は、前記第１画像と前記第２画像の間に特徴点追跡手法を適用して屈折による幾何学的な見え方の変化を表す特徴量である歪みベクトルを取得し、
第１推定部は、前記第２画像から少なくとも３つの異なる偏光角度にそれぞれ対応する輝度値の組を取得して偏光の特徴量を推定し、
第２推定部は、偏光の前記特徴量を用いて推定したい前記屈折層の法線ベクトルの候補を２つ推定し、
屈折面生成部は、前記歪みベクトルを用いて法線ベクトルの前記候補から１つを選択し、前記屈折層の表面形状を表す屈折面３次元形状情報を生成する
形状推定方法。

【請求項3】

請求項１に記載の形状推定装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、水面、空気ゆらぎ等の透明な屈折層の３次元形状を画像から推定する形状推定装置、形状推定方法、及びプログラムに関する。

【背景技術】

【0002】

画像中に映る物体の３次元形状を推定する技術は、ロボットビジョン、拡張現実、自動運転等の分野において特に重要である。

【0003】

一般的な３次元形状推定では、カメラを複数台用意し、カメラの設置位置の違いに基づく見え方の違いから３次元形状を推定する。この従来の方法は、推定対象が不透明かつ拡散反射面であることを前提にしている。よって、水面のような透明な屈折面の形状を推定することはできない。

【0004】

このような屈折面を対象にした３次元形状を推定するには、カメラ→屈折面→屈折面の背後にある被写体までの光の伝搬をモデル化する必要がある。しかし、一般に屈折面とその背後にある被写体の双方の３次元形状が未知である。また、屈折のモデルが複雑であるため、見通しの良い最適化問題として定式化することが困難である。

【0005】

そこで、非特許文献１は、１回の屈折が発生する場面の３次元形状の推定に最低２台のカメラが必要であることを理論的・実験的に開示している。また、非特許文献２は、屈折の有無による背景の見え方の違いを考慮することで１台のカメラで屈折面の３次元形状の推定が可能であることを開示している。また、非特許文献３は、偏光情報を用いた透明な面の３次元形状を推定する方法を開示している。

【先行技術文献】

【非特許文献】

【0006】

【文献】［令和３年６月４日検索］、インターネット＜URL: https://www.cs.toronto.edu/~kyros/pubs/08.ijcv.indirect.pdf＞

【文献】［令和３年６月４日検索］、インターネット＜URL: http://grail.cs.washington.edu/projects/glass-recon/cvpr12_refraction.pdf＞

【文献】［令和３年６月４日検索］、インターネット＜URL: http://www.info.hiroshima-cu.ac.jp/~miyazaki/publication/paper/Miyazaki-PAMI2007.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、非特許文献１の方法では、カメラが最低２台必要であり、カメラ間の位置合わせ、時刻同期が必要である。また、非特許文献２では、最適化問題として定式化されるモデルが複雑であり、形状推定に長時間を要し大きな計算コストが必要である。また、非特許文献３では、予め推定対象の大まかな３次元形状が分かっている必要がある。

【0008】

このように従来の技術は、複数のカメラ、大きな計算コスト、３次元形状が既知である等が必要であり、３次元形状を推定する技術として好適なものが無いという課題がある。

【0009】

本発明は、この課題に鑑みてなされたものであり、単一カメラ、低計算量、事前学習データなしで、透明な屈折面の３次元形状の推定が可能な形状推定装置、形状推定方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の一態様に係る形状推定装置は、透明な屈折層が介在しない場合の被写体の第１画像と、前記屈折層が介在する場合の前記被写体の第２画像を撮影する偏光カメラと、前記第１画像と前記第２画像の間に特徴点追跡手法を適用して屈折による幾何学的な見え方の変化を表す特徴量である歪みベクトルを取得する特徴量取得部と、前記第２画像から少なくとも３つの異なる偏光角度にそれぞれ対応する輝度値の組を取得して偏光の特徴量を推定する第１推定部と、偏光の前記特徴量を用いて推定したい前記屈折層の法線ベクトルの候補を２つ推定する第２推定部と、前記歪みベクトルを用いて法線ベクトルの前記候補から１つを選択し、前記屈折層の表面形状を表す屈折面３次元形状情報を生成する屈折面生成部とを備えることを要旨とする。

【0011】

また、本発明の一態様に係る屈折面３次元形状推定方法は、上記の屈折面３次元形状推定装置が行う屈折面３次元形状推定方法であって、偏光カメラは、透明な屈折層が介在しない場合の被写体の画像である第１画像と、前記屈折層が介在する場合の前記被写体の画像である第２画像を撮影し、特徴量取得部は、前記第１画像と前記第２画像の間に特徴点追跡手法を適用して屈折による幾何学的な見え方の変化を表す特徴量である歪みベクトルを取得し、第１推定部は、前記第２画像から少なくとも３つの異なる角度と輝度値の組を取得して偏光の特徴量を推定し、第２推定部は、偏光の前記特徴量を用いて推定したい前記屈折層の法線ベクトルの候補を２つ推定し、屈折面生成部は、前記歪みベクトルを用いて法線ベクトルの前記候補から１つを選択し、前記屈折層の表面形状を表す屈折面３次元形状情報を生成することを要旨とする。

【0012】

また、本発明の一態様に係るプログラムは、上記の屈折面３次元形状推定装置としてコンピュータを機能させるためのプログラムであることを要旨とする。

【発明の効果】

【0013】

本発明によれば、単一カメラ、低計算量、事前学習データなしで、透明な屈折面の３次元形状の推定が可能である。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る形状推定装置の機能構成例を示すブロック図である。

【図2】図１に示す形状推定装置と、被写体と、透明な屈折層との関係を模式的に示す図である。

【図3】偏光の変化のモデル化を模式的に示す図であり、（ａ）は法線ベクトルと屈折層で反射される光を示す、（ｂ）は天頂角と偏光度の関係を示す図である。

【図4】方位角と画像の明るさの関係を模式的に示す図である。

【図5】幾何学的変化のモデル化を模式的に示す図である。

【図6】屈折面３次元形状情報の例を模式的に示す図である。

【図7】図１に示す形状推定装置が行う形状推定方法の処理手順を示すフローチャートである。

【図8】汎用的なコンピュータシステムの構成例を示すブロック図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について図面を用いて説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

【0016】

図１は、本発明の実施形態に係る形状推定装置の機能構成例を示すブロック図である。図１に示す形状推定装置１００は、被写体との間に介在する透明な屈折層の３次元形状を推定する装置である。

【0017】

形状推定装置１００は、偏光カメラ１０、特徴量取得部２０、第１推定部３０、第２推定部４０、及び屈折面生成部５０を備える。偏光カメラ１０を除く各機能構成部は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等からなるコンピュータで実現することができる。その場合、その処理内容はプログラムによって記述される。

【0018】

偏光カメラ１０は一般的な偏光カメラである。偏光カメラ１０は、例えば異なる４つの偏光角度の偏光子（偏光フィルタ）が組み込まれている。

【0019】

偏光カメラ１０は、透明な屈折層が介在しない場合の被写体の画像である第１画像と、屈折層が介在する場合の被写体の画像である第２画像を撮影する。透明な屈折層は、水面、空気のゆらぎ層等のことである。

【0020】

特徴量取得部２０は、偏光カメラ１０で撮影した第１画像と第２画像の間に特徴点追跡手法を適用して屈折による幾何学的な見え方の変化を表す特徴量である歪みベクトルを取得する。特徴点追跡手法は、例えばオプティカルフローである。

【0021】

第１推定部３０は、第２画像から少なくとも３つの異なる偏光角度にそれぞれ対応する輝度値の組を取得して偏光の特徴量を推定する。偏光の特徴量は、偏光度（Degree of Polarization）である。詳しくは後述する。

【0022】

第２推定部４０は、偏光の特徴量を用いて推定したい屈折層の法線ベクトルの候補を２つ推定する。つまり、偏光の変化の法線ベクトルの候補を２つに絞り込む。

【0023】

屈折面生成部５０は、歪みベクトルを用いて法線ベクトルの候補から１つを選択し、屈折層の表面形状を表す屈折面３次元形状情報を生成する。法線ベクトルは、第２画像の画素の接線に直交するベクトルである。第２画像の屈折層が映った画素の法線ベクトルから屈折層の表面形状を表す屈折面３次元形状情報を生成することができる。

【0024】

図２は、形状推定装置１００と、被写体（背景）と、透明な屈折層（推定したい屈折面）との関係を模式的に示す図である。図２は、偏光カメラ１０を構成するイメージセンサと偏光フィルタのみを示す。

【0025】

図２に示す短冊形状のイメージセンサは、例えば数百万画素を備えるＣＭＯＳイメージセンサである。画像平面上の画素ｉは、背景から屈折層を通過して来た光を偏光フィルタ越しに受光する。

【0026】

偏光フィルタは、異なる４つの偏光角度を備えイメージセンサの前に配置される。４つの偏光角度を備えるのは一般的である。

【0027】

形状推定装置１００は、入射光の方向を光軸Ｚ_ｃとした場合に、画素ｉの接線に直交するベクトルである法線ベクトルｎ^ｉの方位角φと仰角θを画素ｉ毎に推定して屈折層の表面形状を推定する。以降、形状推定装置１００の各機能構成部について説明する。

【0028】

なお、画像平面と偏光フィルタの平面が平行である場合、法線ベクトルｎ^ｉの方位角φと、偏光角度は幾何学的に同じ意味をもつため、以降、方位角と偏光角度を同じ変数φとして説明する。

【0029】

（第１推定部）
第１推定部３０は、屈折層が介在する場合の被写体の第２画像から少なくとも３つの異なる偏光角度にそれぞれ対応する輝度値の組を取得して偏光の特徴量を推定する。

【0030】

偏光角度と輝度値の間に次式に示す関係が成立する。

【0031】

【数1】

【0032】

ここで偏光の特徴量はＩ_ｍａｘ，Ｉ_ｍｉｎ，Ψである。偏光の特徴量は、３つ以上の異なる偏光角度と輝度値の組から推定することができる。

【0033】

偏光の特徴量Ｉ_ｍａｘ，Ｉ_ｍｉｎ，Ψを用いることで、偏光状態を表すストークスベクトルｓは次式で表せる。

【0034】

【数2】

【0035】

ストークスベクトルsの変化は、変化前のストークスベクトルにミュラー行列Ｍをかけることで表すことができる。つまり、変化前のストークスベクトルをｓ_ｉｎ、変化後のストークスベクトルをｓ_ｏｕｔとするとき、ｓ_ｏｕｔ＝Ｍ・ｓ_ｉｎとなる。

【0036】

【数3】

【0037】

ここでＴｓはフレネルの透過係数（入射面に水平な成分）、Ｔｔはフレネル透過係数（入射面に垂直な成分）である。

【0038】

偏光の変化の度合いを表す偏光度ρ（Degree of Polarization）は次式で表せる。

【0039】

【数4】

【0040】

特にｓ_ｉｎが非偏光の場合は次式で表せる。

【0041】

【数5】

【0042】

式（７）は、一見複雑であるが、単調増加関数であり凸最適化問題として定式化が可能である。よって、法線ベクトルｎ^ｉの仰角θは、偏光度の観測値から一意に推定できる。

【0043】

【数6】

【0044】

図３は、偏光の変化のモデル化を模式的に示す図であり、（ａ）は法線ベクトルｎ^ｉと屈折層で反射される光を示す、（ｂ）は天頂角と偏光度の関係を示す図である。

【0045】

図３（ａ）において、ｓ_ｉｎは屈折面（屈折層の表面）に入射する光、ｓ_ｏｕｔは偏光カメラ１０が撮影する光を表す。

【0046】

図３（ｂ）の横軸は天頂角、縦軸は偏光度を表す、図３（ｂ）に示すように仰角θが分かれば偏光度ρは一意に求まる。

【0047】

（第２推定部）
第２推定部４０は、偏光の特徴量を用いて推定したい屈折層（屈折面（屈折層の表面））の法線ベクトルｎ^ｉの候補を２つ推定する。

【0048】

画像平面と偏光フィルタの平面が平行である場合、法線ベクトルｎ^ｉの方位角φは偏光角Ψ（輝度値が最大になる偏光角度）と一致する。なお、偏光フィルタを１回転する場合、輝度値が最大に成る角度は２つあるため、180°の曖昧性が残る。

【0049】

図４は、方位角φと輝度値の関係を模式的に示す図である。図４の横軸は方位角φ、縦軸は画像の明るさI（φ）を示す。図４に示すように輝度値I（φ）は、２つの最大値を持つ。

【0050】

よって、法線ベクトルｎ^ｉの候補は次の２つに絞られる。

【0051】

【数7】

【0052】

（特徴量取得部）
透明な屈折層が介在しない場合の被写体の第１画像と屈折層が介在する場合の被写体の第２画像の間に特徴点追跡手法を適用して屈折による幾何学的な見え方の変化を表す特徴量である歪みベクトルを取得する。

【0053】

図５は、幾何学的変化のモデル化を模式的に示す図である。図５に示すｖ_ｆは、偏光カメラ１０側の光線空間を表す。μは相対屈折率である。また、ｖ_ｒは屈折光の方向ベクトルである。

【0054】

屈折光の方向ベクトルｖ_ｒは次式で表せる。

【0055】

【数8】

【0056】

屈折による幾何学的な見え方の変化を表す特徴量である歪みベクトルΔ_ｇは次式で表せる。

【0057】

【数9】

【0058】

（屈曲面生成部）
屈折面生成部５０は、歪みベクトルΔ_ｇを用いて法線ベクトルｎ^ｉの候補ｎ^ｉ _＋，ｎ^ｉ _－から１つを選択し、屈折層の表面形状を表す屈折面３次元形状情報を生成する。

【0059】

屈折面生成部５０は、偏光の制約から絞り込んだ法線ベクトルｎ^ｉの候補ｎ^ｉ _＋，ｎ^ｉ _－より、次式の最適解を解くことで屈折面３次元形状情報を生成する。

【0060】

【数10】

【0061】

式（１２）の最適解を解く計算は全ての画素ｉについて行う。

【0062】

図６は、屈折面３次元形状情報の例を模式的に示す図である。図６に示すように３次元形状情報を生成することができる。

【0063】

（形状推定方法）
図７は、形状推定装置１００が行う形状推定方法の処理手順を示すフローチャートである。

【0064】

先ず偏光カメラ１０は、透明な屈折層が介在しない場合の被写体の第１画像と、屈折層が介在する場合の被写体の第２画像を撮影する（ステップＳ１）。

【0065】

次に、第１推定部３０は、第２画像から少なくとも３つの異なる偏光角度にそれぞれ対応する輝度値の組を取得して偏光の特徴量Ｉ_ｍａｘ，Ｉ_ｍｉｎ，Ψを推定する（ステップＳ２）。

【0066】

次に、第２推定部４０は、偏光の特徴量を用いて推定したい屈折層の法線ベクトルｎ^ｉの候補を２つ（ｎ^ｉ _＋，ｎ^ｉ _－）推定する（ステップＳ３）。

【0067】

次に、特徴量取得部２０は、第１画像と第２画像の間に特徴点追跡手法を適用して屈折による幾何学的な見え方の変化を表す特徴量である歪みベクトルΔ_ｇを取得する（ステップＳ４）。

【0068】

次に、屈折面生成部５０は、歪みベクトルΔ_ｇを用いて法線ベクトルｎ^ｉの候補ｎ^ｉ _＋，ｎ^ｉ _－から１つを選択し、屈折層の表面形状を表す屈折面３次元形状情報を生成する（ステップＳ５）。ステップＳ２～Ｓ５の処理は全ての画素ｉについて終了するまで繰り返される（ステップＳ６のＮＯ）。

【0069】

ステップＳ２～Ｓ５の処理は、各画素に独立に処理されるため並列化が容易である。並列化することでより高速な３次元形状の推定が可能になる。

【0070】

以上説明したように、本実施形態に係る形状推定装置１００は、透明な屈折層が介在しない場合の被写体の第１画像と、屈折層が介在する場合の前記被写体の第２画像を撮影する偏光カメラ１０と、第１画像と第２画像の間に特徴点追跡手法を適用して屈折による幾何学的な見え方の変化を表す特徴量である歪みベクトルΔ_ｇを取得する特徴量取得部２０と、第２画像から少なくとも３つの異なる偏光角度にそれぞれ対応する輝度値の組を取得して偏光の特徴量Ｉ_ｍａｘ，Ｉ_ｍｉｎ，Ψを推定する第１推定部３０と、偏光の特徴量を用いて推定したい屈折層の法線ベクトルｎ^ｉの候補を２つ（ｎ^ｉ _＋，ｎ^ｉ _－）推定する第２推定部４０と、歪みベクトルΔ_ｇを用いて法線ベクトルｎ^ｉの候補ｎ^ｉ _＋，ｎ^ｉ _－から１つを選択し、屈折層の表面形状を表す屈折面３次元形状情報を生成する屈折面生成部５０とを備える。

【0071】

また、本実施形態に係る形状推定方法は、形状推定装置１００が行う形状推定方法であって、偏光カメラ１０は、透明な屈折層が介在しない場合の被写体の第１画像と、屈折層が介在する場合の被写体の第２画像を撮影し、特徴量取得部２０は、第１画像と第２画像の間に特徴点追跡手法を適用して屈折による幾何学的な見え方の変化を表す特徴量である歪みベクトルΔ_ｇを取得し、第１推定部３０は、第２画像から少なくとも３つの異なる偏光角度にそれぞれ対応する輝度値の組を取得して偏光の特徴量Ｉ_ｍａｘ，Ｉ_ｍｉｎ，Ψを推定し、第２推定部４０は、偏光の特徴量を用いて推定したい屈折層の法線ベクトルｎ^ｉの候補を２つ（ｎ^ｉ _＋，ｎ^ｉ _－）推定し、屈折面生成部５０は、歪みベクトルΔ_ｇを用いて法線ベクトルｎ^ｉの候補ｎ^ｉ _＋，ｎ^ｉ _－から１つを選択し、屈折層の表面形状を表す屈折面３次元形状情報を生成する。

【0072】

なお、形状推定装置１００は、図８に示す汎用的なコンピュータシステムで実現することができる。例えば、ＣＰＵ９０、メモリ９１、ストレージ９２、通信部９３、入力部９４、及び出力部９５を備える汎用的なコンピュータシテムにおいて、ＣＰＵ９０がメモリ９１上にロードされた所定のプログラムを実行することにより、形状推定装置１００の各機能が実現される。所定のプログラムは、HDD、SSD、USBメモリ、CD-ROM、DVD-ROM、MOなどのコンピュータ読取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。

【0073】

以上説明したように、本実施形態に係る形状推定装置１００と形状推定方法は、従来実現できなかった、単一カメラ、低計算量、形状に関する事前知識なし（事前学習データなし）で、透明な屈折面の３次元形状の推定を可能にする。つまり、アプローチとして屈折による光の伝搬経路の幾何学的変化だけでなく、光学的な変化（偏光）を考慮した、モデルを構築することで、単一カメラのみで得られる情報から、屈折面形状の３次元形状に必要な制約を得ることができる。また、凸最適化問題として定式化が可能で、且つ解の探索範囲が狭くなることから、従来技術よりも低計算量で３次元形状の推定が可能になる。

【0074】

なお、本発明は、ここでは記載していない様々な実施形態等を含む。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

【符号の説明】

【0075】

１０：偏光カメラ
２０：特徴量取得部
３０：第１推定部
４０：第２推定部
５０：屈折面生成部
１００：形状推定装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】