特許 7061092 画像処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-19

(45)【発行日】2022-04-27

(54)【発明の名称】画像処理装置及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220420BHJP

   G01B 11/24 20060101ALI20220420BHJP

【ＦＩ】

G06T7/00 300F

G01B11/24 K

【請求項の数】 11

(21)【出願番号】P 2019062997

(22)【出願日】2019-03-28

(65)【公開番号】P2020161080

(43)【公開日】2020-10-01

【審査請求日】2021-02-08

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】加藤 晴久

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１９－２１１８５０（ＪＰ，Ａ）

【文献】特開２０１８－２０５９３７（ＪＰ，Ａ）

【文献】特開２０１４－１４２７７０（ＪＰ，Ａ）

【文献】特開２０１２－２０３６９１（ＪＰ，Ａ）

【文献】佐野友祐, 外3名，“ＳＩＦＴ特徴量の拡張と対称性平面物体検出への応用”，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，2009年08月01日，第J92-D巻, 第8号，p.1176-1185

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｂ １１／２４

(57)【特許請求の範囲】

【請求項1】

画像より、特徴点と、当該特徴点における特徴量及び当該特徴量を鏡像反転させた反転特徴量と、を特徴情報として算出する算出部と、
前記特徴情報同士を照合して、特徴量と反転特徴量とが相互に一致すると判定されるもの同士を照合情報として得る照合部と、
前記照合情報が得られた場合に、前記画像内において鏡像関係がある旨を推定する推定部と、を備え、
前記照合部では、前記特徴情報のうち、対応する特徴量及び反転特徴量の相違が小さいと判定されるものを、前記照合する対象から除外することを特徴とする画像処理装置。

【請求項2】

画像より、特徴点と、当該特徴点における特徴量及び当該特徴量を鏡像反転させた反転特徴量と、を特徴情報として算出する算出部と、
前記特徴情報同士を照合して、特徴量と反転特徴量とが相互に一致すると判定されるもの同士を照合情報として得る照合部と、
前記照合情報が得られた場合に、前記画像内において鏡像関係がある旨を推定する推定部と、を備え、
前記推定部では、照合情報において対応している特徴点同士に関して、前記画像に対応するワールド座標系における３次元空間座標を求めたうえで、前記画像を撮像したカメラのレンズ中心から当該３次元空間座標の近い側を実像の特徴点とし、遠い側を虚像の特徴点として推定することを特徴とする画像処理装置。

【請求項3】

前記推定部では、前記実像の特徴点と前記虚像の特徴点との垂直２等分面と、前記画像のカメラレンズ中心及び前記虚像の特徴点を通る直線と、の交点を反射性領域に属するものとして推定することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記実像の特徴点に基づいた第１表示と、前記虚像の特徴点に基づいた第２表示と、を行う処理部をさらに備えることを特徴とする請求項２または３に記載の画像処理装置。

【請求項5】

前記算出部は、特徴空間において特徴量を鏡像反転させて反転特徴量を算出することを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。

【請求項6】

前記算出部では、前記画像を鏡像反転した反転画像より前記反転特徴量を算出することを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。

【請求項7】

前記算出部では、前記反転特徴量を算出するための前記反転画像における特徴点を、前記画像における特徴点を鏡像反転した位置として求めることを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記算出部では、前記画像の全領域を反転して前記反転画像を得るのではなく、前記画像における特徴点を鏡像反転した位置の近傍のみに関して、前記反転画像を得ることを特徴とする請求項６または７に記載の画像処理装置。

【請求項9】

画像より、特徴点と、当該特徴点における特徴量及び当該特徴量を鏡像反転させた反転特徴量と、を特徴情報として算出する算出部と、
前記特徴情報同士を照合して、特徴量と反転特徴量とが相互に一致すると判定されるもの同士を照合情報として得る照合部と、
前記照合情報が得られた場合に、前記画像内において鏡像関係がある旨を推定する推定部と、を備え、
前記特徴点は平面状マーカを囲むリファレンス点として定義されるものであり、
前記特徴量は前記平面状マーカの種別であり、
前記算出部は、前記画像から抽出される複数の特徴点が囲む領域を、平面状マーカを囲むリファレンス点の所定順番に割り当てて、平面状マーカと当該囲む領域との間の平面射影変換を求め、当該変換により最もマッチする際の囲む領域を、前記平面状マーカの領域として検出することで前記特徴量を算出し、且つ、
前記算出部は、前記画像から抽出される複数の特徴点が囲む領域を、平面状マーカを囲むリファレンス点の所定順番の逆順に割り当てて、平面状マーカと当該囲む領域との間の平面射影変換を求め、当該変換により最もマッチする際の囲む領域を、前記マーカの反転した領域として検出することで前記反転特徴量を算出することを特徴とする画像処理装置。

【請求項10】

画像より、特徴点と、当該特徴点における特徴量及び当該特徴量を鏡像反転させた反転特徴量と、を特徴情報として算出する算出部と、
前記特徴情報同士を照合して、特徴量と反転特徴量とが相互に一致すると判定されるもの同士を照合情報として得る照合部と、
前記照合情報が得られた場合に、前記画像内において鏡像関係がある旨を推定する推定部と、を備え、
前記特徴点は平面状マーカを囲むリファレンス点として定義されるものであり、
前記特徴量は前記平面状マーカの種別であり、
平面状マーカの各々には、鏡像反転させた反転平面状マーカが定義されており、
前記算出部では、前記画像より平面状マーカが検出された場合には当該平面状マーカの種別を前記特徴量として算出し、
前記算出部では、前記画像より反転平面状マーカが検出された場合には当該反転平面状マーカの種別を前記反転特徴量として算出することを特徴とする画像処理装置。

【請求項11】

コンピュータを請求項１ないし１０のいずれかに記載の画像処理装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、簡素な処理で画像における鏡像関係に関する情報を推定することのできる画像処理装置及びプログラムに関する。

【背景技術】

【0002】

撮像画像を用いて３次元計測を行う場合、鏡などの反射性物体は情景が写りこむため、３次元計測が不可能であった。即ち、情景が広がっているのか情景が写りこんでいるのかを区別できないため、反射性領域に奥行が存在すると誤認する。解決策としては、３次元計測において反射性領域からの計測を排除する技術が求められる。特許文献１は、反射性領域を特定する領域特定装置を開示する。特許文献１は、予め定められた動きをするパターンを投影し、投影された風景を撮影した映像から鏡に反転して写るパターンの虚像の動きベクトルを算出した後に、前記パターンの動きと異なる動きベクトルが発生する領域を反射性領域として特定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－０４８２７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、以上のような従来技術には次の課題があった。特許文献１は、パターンを投影する投影部が必要であるため装置が大掛かりになるという問題がある。また、仮に投影部を小さくできたとしても、反射性領域に写る投影部を撮像部が撮像できる位置関係が限定的かつ局所的になるという問題がある。

【0005】

この反射性領域の特定に関する問題は、撮像画像内における反射性領域の存在によって発生する鏡像関係の推定の問題に帰着することができる。鏡像関係自体は、反射性領域が存在せずとも、発生しうるものである。

【0006】

上記の従来技術の課題に鑑み、本発明は、簡素な処理で画像における鏡像関係に関する情報を推定することのできる画像処理装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明は画像処理装置であって、画像より、特徴点と、当該特徴点における特徴量及び／又は当該特徴量を鏡像反転させた反転特徴量と、を特徴情報として算出する算出部と、前記特徴情報同士を照合して、特徴量と反転特徴量とが相互に一致すると判定されるもの同士を照合情報として得る照合部と、前記照合情報が得られた場合に、前記画像内において鏡像関係がある旨を推定する推定部と、を備えることを特徴とする。また、コンピュータを前記画像処理装置として機能させるプログラムであることを特徴とする。

【発明の効果】

【0008】

本発明によれば、照合処理という簡素な処理によって画像における鏡像関係に関する情報を推定することが可能となる。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係る画像処理装置の機能ブロック図である。

【図2】撮像部と反射性領域との配置の例を示すことで、本実施形態における撮像の態様を模式的に示す図である。

【図3】マーカが正方マーカ等であり特徴点が四隅の場合での、特徴空間での反転を説明するための模式例を示す図である。

【図4】画像処理装置にて撮像画像を処理した際の模式例を示す図である。

【図5】処理部における処理の模式例を示す図である。

【図6】一般的なコンピュータ装置におけるハードウェア構成を示す図である。

【発明を実施するための形態】

【0010】

図１は、一実施形態に係る画像処理装置の機能ブロック図である。画像処理装置10は、撮像部1、算出部2、照合部3、推定部4及び処理部5を備える。各部の処理内容は以下の通りである。

【0011】

撮像部1は、ハードウェアとしてはカメラで構成され、ユーザ操作等を受けて鏡等による反射性領域を含む情景を撮像し、当該撮像画像を撮像画像として算出部2へ出力する。

【0012】

図２は、撮像部1と反射性領域との配置の例を示すことで、本実施形態における撮像の態様を模式的に示す図である。説明を容易とするため図２は２次元（断面）で表しているが実際は３次元で構成される。図２の点Aが撮像部1のカメラ座標を表し、線分CDが反射性領域を示す。撮像画像の情景内に点B1が存在したとき、鏡面CD上には点Eとして写りこみ、線分CDに対して対称点B1'に虚像が存在するように撮像部Aからは見える。（ここで反射の法則より∠B1-E-C=∠B1'-E-Cであり、線分長B1-E=線分長B1'-Eである。）即ち、撮像画像には点B1と点B1'が撮像される。同様に、撮像画像の情景内に点B2,B3が存在した場合、撮像画像には虚像としてB2',B3'も撮像される。

【0013】

算出部2は、算出部は、撮像部で撮像された撮像画像から特徴点p_i(i=1,2,…)（撮像画像内での画素の位置座標で特定される特徴点p_i=(u_i,v_i)）と、この特徴点p_i周りの特徴量f_iと、この特徴量f_iを鏡像反転させた反転特徴量R(f_i)とを算出し、算出された特徴点および特徴量ならびに反転特徴量を紐づけたものとして特徴情報(p_i,f_i,R(f_i))(i=1,2,…)を照合部へ出力する。

【0014】

当該算出する特徴点および特徴量には既知のマーカ等（拡張現実における正方マーカ等）を利用してもよい。マーカ等を利用する場合、特徴点はマーカ周囲の点（例えば正方マーカであればその四隅）に相当し、特徴量はマーカの種類に相当する。あるいは、マーカ内にさらに自然特徴量として検出可能な模様を施しておき、SIFT（Scale Invariant Feature Transform）やSURF（Speeded Up Robust Features）などの局所画像特徴量を利用できる。

【0015】

また、当該算出する特徴点および特徴量の両方に関して、SIFT（Scale Invariant Feature Transform）やSURF（Speeded Up Robust Features）などの局所画像特徴量における特徴点及び特徴量を利用できる。

【0016】

特徴量f_iから反転特徴量R(f_i)を求める手法に関して、以下の第１～第３実施形態が可能である。

【0017】

第１実施形態では、特徴空間において特徴量の反転処理を実施する。高速計算が可能であるため、処理時間を短縮できる効果が得られる。

【0018】

例えば、マーカ等を利用する場合、特徴点を逆順に並べることで射影変換係数を算出・適用し特徴量としてのマーカ種別を特定する。すなわち、マーカ特定（本実施形態とは異なり、マーカの反転を考慮しない通常の場合）は一般に以下の手順１，２からなるものである。
（手順１）撮像画像から検出されたマーカの特徴点と、予めリファレンスとして登録しておくマーカの特徴点（マーカを囲むリファレンス点）との可能な対応付けパターンを列挙する。（特徴点が外周上にＮ個並ぶ場合、Ｎ通りのパターンとなる。）
（手順２）上記列挙した対応付けパターンの各々でリファレンスマーカを平面射影変換で変形して、撮像画像内のマーカ領域に重ね合わせ、領域同士の相違（差分二乗和等で評価すればよい）となるような対応付けパターンを正解（特徴点対応及びこれによって定まるマーカ向きの正解）とする。

【0019】

本実施形態においては、リファレンスマーカの形状及び模様に関しては反転しない通常の状態の１通りのもののみを用意しておき、（手順１）のパターンとして反転した場合も追加考慮するようにする（特徴点が外周状にＮ個並ぶ場合、反転しない場合のＮ通りと、反転する場合のＮ通りとの合計２Ｎ通りのパターンを考慮する）ことで、高速にマーカ種別（反転の有無の識別を含む）を特定することができる。（手順２）において、反転しないパターンから正解が得られればマーカは非反転状態であり、反転したパターンから正解が得られればマーカは反転状態であることを判定できる。

【0020】

図３はマーカが正方マーカ等であり特徴点が四隅（Ｎ＝４）の場合での、特徴空間での反転を説明するための模式例を示す図である。リファレンスマーカRLには、左上、右上、右下、左下の順（時計回り）に頂点r1,r2,r3,r4を定義した際のリファレンス模様（不図示）が定義されている。一方、撮像画像からはマーカの４頂点の候補として時計回りにp1,p2,p3,p4が特徴点として検出されたものとする。この場合、反転しない通常回りNOで以下の４通り
(p1→p2→p3→p4)、(p2→p3→p4→p1)、(p3→p4→p1→p2)及び（p4→p1→p2→p3）と、
また、反転回りROで以下の４通り
(p2→p1→p4→p3)、(p1→p4→p3→p2)、(p4→p3→p2→p1)及び（p3→p2→p1→p4）と、
をそれぞれ、左上、右上、右下、左下の順の頂点(r1→r2→r3→r4)に対応しているものとして、平面射影変換でリファレンスマーカRLの模様を変形して撮像画像内のマーカ領域に割り当てて最もマッチするものを求めればよい。（逆に、撮像画像内のマーカ領域を変形してリファレンスマーカRLの模様に割り当ててもよい。）

【0021】

平面射影変換の際、反転回りROの対応付けで変換した場合にはリファレンスマーカRFの模様も鏡像反転されることとなるので、リファレンスマーカに関しては反転しない通常パターンの模様のみを登録しておけばよい。

【0022】

なお、上記ではマーカ（模様）は１通りとして、マーカの特徴点割り当てを反転も考慮した特徴点空間で実施する場合を説明したが、マーカ自体が２通り以上ある場合は各マーカについて同様の手順を取り、最もマッチするマーカ種別を算出結果とすればよい。

【0023】

以上、マーカ等の場合の特徴空間での反転を説明したが、特徴量としてSIFTを用いる場合、以下の非特許文献１，２等に開示される手法で特徴空間において特徴量f_iから反転特徴量R(f_i)を求めればよい。
[非特許文献１] X. Gat, et al., ``MIFT: A Mirror Reflection Invariant Feature Descriptor,'' ACCV, pp. 536-545, 2009.
[非特許文献２] M. Su, et al., ``MBR-SIFT: A mirror reflected invariant feature descriptor using a binary representation for image matching,'' PloS One, vol. 12, no. 5, 2017.

【0024】

第２実施形態では、マーカ等を利用する場合において当該マーカM_j(j=1,2,…)に加え、左右反転させた反転マーカR(M_j)(j=1,2,…)も認識できるよう登録しておく。この際、反転マーカR(M_j)を反転する前の元のマーカM_jに対応付けておくことで、撮像画像から統一的に特徴量を算出し、反転マーカに該当する領域の特徴量を反転特徴量とする。このとき、マーカ等の特徴点に対し特徴量（マーカ種別）は1対1対応だが、このマーカ種別が反転か否かの情報が付与される。

【0025】

すなわち、第１実施形態で説明した（手順１）及び（手順２）を、（手順１）において反転を考慮せずに通常通りに実施し、且つ、候補となるマーカとしては、通常マーカM_jに加え反転マーカR(M_j)も用いるようにすればよい。

【0026】

この場合、既に説明した特徴情報(p_i,f_i,R(f_i))はデータ形式を例えば次のように修正して取得するようにすればよい。通常マーカとして特徴点が検出された場合は特徴情報(p_i,f_i,・)(i=1,2,…)（「・」は反転特徴R(f_i)の該当なしで通常特徴f_iのみが検出されていること、すなわち通常マーカに対応する特徴点であることを表す）とし、反転マーカとして特徴点が検出された場合は特徴情報(p_i,・,R(f_i))（「・」は通常特徴f_iの該当なしで反転特徴R(f_i)のみが検出されていること、すなわち反転マーカに対応する特徴点であることを表す）とすればよい。

【0027】

なお、マーカM_jから反転マーカR(M_j)を得る際は、画像上の所定軸に関して反転すればよく、例えば横幅方向の中央軸（縦方向軸）に関して左右反転してもよいし、縦幅方向の中央軸（横方向軸）に関して上下反転してもよいし、任意の斜め方向の軸に関して反転してもよい。

【0028】

第３実施形態では、撮像画像を特徴点p_i及び特徴量f_iを求めた後にさらに、撮像画像を鏡像反転したもの（反転画像と呼ぶ）から対応する反転特徴量R(f_i)を求めることができる。

【0029】

ここで、反転画像における特徴点の位置は、元の特徴点p_iの反転位置R(p_i)として、撮像画像から反転画像を得る際に用いた変換を利用して求めることにより、反転画像における特徴点の検出処理を省略することができる。同様に、SIFT等の局所特徴量を用いる場合であれば、元の特徴点p_iの近傍領域N(p_i)（N(p_i)⊂撮像画像）のみに関して、その反転領域R(N(p_i))（R(N(p_i))⊂反転画像）を求め、この反転された近傍領域R(N(p_i))を対象として反転特徴量R(f_i)を検出することで、画像全体を反転する手間を省略することができる。また、マーカ等を特徴量として用いる場合であれば、元の撮像画像におけるマーカ特徴点で囲まれるマーカ領域（マーカ特徴点を内包する領域）のみを反転して、この反転マーカ領域からマーカ検出するようにすればよい。

【0030】

以上のようにして、特徴点p_i及び特徴量f_iを求め、反転位置R(p_i)等の情報からさらに反転特徴量R(f_i)を求め、（反転位置R(p_i)等の情報は含めることなく、）特徴情報(p_i,f_i,R(f_i))を得ることができる。なお、撮像画像から反転画像を得るための変換に関しては、第２実施形態においてマーカM_jから反転マーカR(M_j)を得る際と同様に、画像上や領域上の所定軸に関して反転する変換を用いればよい。

【0031】

照合部3は、算出部2から得た特徴情報を照合し、相互に鏡像関係にあると判定される特徴情報を照合情報として推定部4へと出力する。

【0032】

この照合処理においては、各特徴情報(p_i,f_i,R(f_i))をクエリとし、このクエリから見た別の全ての特徴情報(p_j,f_j,R(f_j))(j≠i)をリファレンスとして、クエリに対して鏡像関係にあると判定されるリファレンスを検索する。具体的には、クエリの特徴量f_iに対して、リファレンスの反転特徴量R(f_j)の中から一致していると判定されるものを検索することにより、対応するクエリ特徴量f_iとリファレンス特徴量f_jとが互いに鏡像関係（MR(f_i,f_j)と表記する）にある旨の判定を得るようにすればよい。

【0033】

判定は、これら特徴量同士の距離d(f_i,R(f_j))が判定用の所定閾値TH未満である場合（以下の式(1)が成立する場合）に、一致しているものと判定すればよい。
d(f_i,R(f_j))<TH …(1)

【0034】

あるいは、クエリの反転特徴量R(f_i)に対して、リファレンスの特徴量f_jの中から以下の式(2)を満たすことにより一致しているものと判定されるものを鏡像関係MR(f_i,f_j)にあるものとして検索してもよい。
d(R(f_i),f_j)<TH …(2)

【0035】

あるいは、共通のインデクスi,jによって上記の式(1),(2)の両方を満たすものを、鏡像関係MR(f_i,f_j)にあるものと判定するようにしてもよい。

【0036】

ここで、照合処理においては、以下の第１追加処理及び／又は第２追加処理を行うようにしてもよい。

【0037】

（第１追加処理）
各特徴情報(p_i,f_i,R(f_i))のうち、その特徴量f_iと反転特徴量R(f_i)との距離d(f_i,R(f_i))が予め設定しておく閾値TH2よりも小さいもの（以下の式(3)が成立するもの）に関しては、クエリ及びリファレンスとして用いる対象、すなわち照合対象から除外するようして、誤照合が発生することを抑制するようにしてもよい。
d(f_i,R(f_i))<TH2 …(3)

【0038】

（第２追加処理）
撮像画像に対して任意の既存手法による領域分割処理（例えば、色ヒストグラムを用いるミーンシフト法による領域分割や、畳込ニューラルネットワーク等の深層学習を用いた物体検出による領域分割など）を行い、クエリとしての各特徴情報(p_i,f_i,R(f_i))の特徴点p_iが領域分割結果における領域V内にある（p_i∈Vとなる）場合に、同じ領域Vに対応する特徴点p_jが属する（p_j∈Vとなる）ような特徴情報(p_j,f_j,R(f_j))(j≠i)は、リファレンスから除外するようにしてもよい。

【0039】

図２で説明したような原理によって鏡像関係MR(f_i,f_j)が発生する場合、対応する特徴点p_i及びp_jが同一領域Vに含まれる状況（p_i∈V且つp_j∈Vとなる状況）は稀であると考えられるため、第２追加処理により、不要な照合処理を削減して照合を高速化することができる。

【0040】

以上の説明は、特徴情報が特徴点、特徴量及び反転特徴量の組み合わせ(p_i,f_i,R(f_i))として得られていることを前提とした。算出部2において第２実施形態を利用することで、通常マーカM_jに加え反転マーカR(M_j)も予め登録しておき、特徴情報(p_i,f_i,・)（通常特徴量のみ）又は特徴情報(p_i,・,R(f_i))（反転特徴量のみ）の形で特徴情報が得られている場合も同様に、次のようにすればよい。すなわち、通常特徴量として算出されたマーカM_iをクエリとし、反転特徴量として算出された反転マーカR(M_j)の中から、その反転マーカすなわち対応する通常マーカR(R(M_j))=M_jが一致している（M_j=M_iとなるもの）ものがある場合、鏡像関係MR(M_i,R(M_j))があるものと判断すればよい。

【0041】

推定部4は、照合部3で少なくとも１つの照合情報が得られた際に、撮像画像内において鏡像関係がある旨（鏡像関係MR(f_i,f_j)が少なくとも１つは存在する旨）を推定結果として出力する。

【0042】

推定部4はさらに、照合部3で得られる照合情報より、撮像画像における反射性領域の情報として、反射性領域に属する点の情報及び／又は反射性領域の領域情報を推定し、推定結果として出力してよい。

【0043】

具体的には、鏡像関係MR(f_i,f_j)の特徴点p_i=(u_i,v_i)及びp_j=(u_j,v_j)（画素座標）に関して対応する撮像画像のワールド座標としての3次元空間座標X_i=(x_i,y_i,z_i)及びX_j=(x_j,y_j,z_j)を求め、この2点の垂直2等分面P(X_i,X_j)（３次元空間内の面）を求める。ここで、3次元空間座標X_i,X_jを求めるためには、任意の既存手法による3次元復元を利用してよい。撮像部1を構成するカメラに関しては予めキャリブレーションを行っておき、カメラパラメータを求めておけばよい。例えば、映像上で2特徴点p_i=(u_i,v_i)及びp_j=(u_j,v_j)を追跡して、少なくとも2枚の画像においてこの2特徴点を求めておき、運動視差やステレオカメラ手法（エピポーラ幾何の手法）で3次元空間座標X_i,X_jを求めてもよい。あるいは、特徴点が正方マーカ等の頂点として構成されていれば、平面射影変換行列を求めることで、3次元空間座標X_i,X_jを求めてもよい。

【0044】

さらに、鏡像関係MR(f_i,f_j)にある3次元空間座標X_i,X_jのうち、撮像部1を構成するカメラレンズ中心の位置に3次元空間内での距離が遠い側を虚像とし、近い側を実像として、虚像とカメラレンズ中心とを結ぶ直線と、垂直2等分面P(X_i,X_j)との交点が、反射性領域に属する点であると推定することができる。事前知識として撮像画像内には鏡などで１つの平面の反射性領域があることが既知であれば、垂直2等分面P(X_i,X_j)を反射性領域として推定してよい。

【0045】

図２の例であれば、点Aがカメラレンズ中心であり、点B1が実像であり、点B1'が虚像であり、垂直2等分面は辺C-Dの属する面として与えられ、垂直2等分面と、直線A-B1'（カメラレンズ中心Aと虚像B1'とを結ぶ直線）の交点Eを、（３次元空間内の点として、）反射性領域に属する点であると推定することができる。

【0046】

なお、鏡像関係MR(f_i,f_j)が複数存在し、垂直2等分面P(X_i,X_j)も複数求まる場合、最尤推定により、これら複数の垂直2等分面に最もフィットする面を反射性領域として推定してもよい。

【0047】

また、正方マーカ等のマーカM_jとこれを反転させた反転マーカR(M_j)とが照合結果において得られている場合、マーカの特徴点から平面射影変換行列を算出することにより、マーカM_jが属する空間内平面PL_j及び反転マーカR(M_j)が属する空間内平面RPL_jを求め、これら２平面PL_j及びRPL_jへの最短距離が等距離となる２等分面を反射性領域として推定してもよい。ここで、撮像画像内には鏡などで１つの平面の反射性領域があることが事前知識とする。

【0048】

図４は、画像処理装置10にて撮像画像Pを処理した際の模式例を示す図である。撮像画像P内には鏡等の平面として反射性領域RFが存在し、その下端が線Lで示されている。マーカM1は実像として、マーカM2は虚像として撮像画像Pに撮影されており、マーカM1内から特徴点p1～p6が算出され、マーカM2内から特徴点p7～p12が算出され、これらは線L1～L6として示すようにそれぞれが鏡像関係にあるものとして判定されている。

【0049】

処理部5では、推定部4にて鏡像関係MR(f_i,f_j)が少なくとも１つは存在する旨が推定されたことをトリガとして、撮像画像なども利用したうえで、任意の処理を行うことが可能である。

【0050】

図５は、処理部5における処理の模式例を示す図であり、図４の撮像画像Pに対して、実像としてのマーカM1には第１重畳表示AR1を加え、虚像としてのマーカM2には第２重畳表示AR2を加えている。これら表示AR1,AR2は、反射性領域RFに対して対称なもの、すなわち実際の鏡による実像と虚像との関係として、表示させるようにしてもよい。重畳表示を行うための手法には、任意の既存手法を利用してよい。また、例えば、実像であるマーカM1に関しては重畳を行わず、虚像としてのマーカM2のみに関して、第２重畳表示AR2のみを加えるといったことも可能である。

【0051】

いずれが実像側でいずれが虚像側かは、鏡像関係MR(f_i,f_j)において、既に説明した手法（カメラレンズ中心からの空間距離の大小による判定）によって判定すればよい。このように、マーカM1（実像として判定された特徴点群）に対しては第１態様の表示AR1を行い、マーカM2（虚像として判定された特徴点群）に対しては第２態様の表示AR2を、処理部5において実施することが可能である。処理部5においてこのような表示AR1,AR2を重畳表示する際は、光学シースルー方式を用いてもよいし、ビデオシースルー方式を用いてもよい。

【0052】

以下、補足事項を説明する。

【0053】

（１）マーカ等は利用せずに、SIFT等の局所特徴量のみを利用する場合、特徴量に関するリファレンス情報（マーカの場合における事前登録情報）を予め用意しておく必要はなく、算出部2で得た特徴情報のみを対象として照合処理を行うことが可能である。また、 SIFT等の局所特徴量を利用する場合において、特徴量及び／又は反転特徴量に関するリファレンス情報を用意しておき、算出部2においては、撮像画像から算出される全ての特徴情報のうち、リファレンス情報のいずれかに特徴量及び／又は反転特徴量がマッチするような特徴情報のみを、照合部3へと出力するようにしてもよい。特徴点及び特徴量としては、既存手法であるOpenPose等によって検出される、人体等のスケルトンデータ（骨格関節データ）を利用するようにしてもよい。

【0054】

（２）図６は、一般的なコンピュータ装置70におけるハードウェア構成を示す図であり、画像処理装置10はこのような構成を有する１台以上のコンピュータ装置70として実現可能である。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサ72（GPU（グラフィック演算装置）や深層学習専用プロセッサ等）、CPU71や専用プロセッサ72にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、カメラ77、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース78と、これらの間でデータを授受するためのバスBと、を備える。

【0055】

画像処理装置10の各部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又は専用プロセッサ72によって実現することができる。ここで、撮影関連の処理が行われる場合にはさらに、カメラ77が連動して動作し、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。

【0056】

例えば、撮像画像は、通信インタフェース75を介してネットワーク上から取得してもよいし、ユーザ操作されるカメラ77で直接に撮像して取得してもよい。処理部5で得た処理結果（重畳表示）をディスプレイ76において表示するようにしてもよい。２台以上のコンピュータ装置70によって画像処理装置10がシステムとして実現される場合、ネットワーク経由で各処理に必要な情報を送受信するようにすればよい。

【符号の説明】

【0057】

10…画像処理装置、1…撮像部、2…算出部、3…照合部、4…推定部、5…処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】