特許 6261085 画像解析装置及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6261085

(24)【登録日】2017年12月22日

(45)【発行日】2018年1月17日

(54)【発明の名称】画像解析装置及びコンピュータプログラム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20180104BHJP

   G06T 1/00 20060101ALI20180104BHJP

   H04N 5/232 20060101ALI20180104BHJP

   H04N 5/225 20060101ALI20180104BHJP

【ＦＩ】

   G01B11/00 H

   G06T1/00 315

   H04N5/232

   H04N5/225

【請求項の数】4

【全頁数】16

(21)【出願番号】特願2014-254311(P2014-254311)

(22)【出願日】2014年12月16日

(65)【公開番号】特開2016-114518(P2016-114518A)

(43)【公開日】2016年6月23日

【審査請求日】2016年12月8日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504139662

【氏名又は名称】国立大学法人名古屋大学

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】竹内 広太

(72)【発明者】

【氏名】藤井 憲作

(72)【発明者】

【氏名】小島 明

(72)【発明者】

【氏名】藤井 俊彰

(72)【発明者】

【氏名】高橋 桂太

【審査官】 清水 靖記

(56)【参考文献】

【文献】 特開２０１６−１１６１２０（ＪＰ，Ａ）

【文献】 特開２０１５−２１１３７２（ＪＰ，Ａ）

【文献】 特開２０１４−２２０５８１（ＪＰ，Ａ）

【文献】 特開２０１１−０４３４１９（ＪＰ，Ａ）

【文献】 国際公開第２０１４／００２８４９（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１４／０２９３０１６（ＵＳ，Ａ１）

【文献】 国際公開第２０１４／０５３１９４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００ − １１／３０

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ５／２２２ − ５／２５７

(57)【特許請求の範囲】

【請求項1】

複数の地点から撮影された、メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数のマイクロレンズ画像を含み構成されるライトフィールド画像に、複数の同一の被写体が撮像されている場合において前記被写体を撮影した位置を算出する画像解析装置であって、
複数のライトフィールド画像に対して、前記ライトフィールド画像に含まれる全てのマイクロレンズ画像の中心位置の座標値を用いて、全てのマイクロレンズ画像が前記ライトフィールド画像の水平軸又は垂直軸と平行になる回転角度を算出し、算出した前記回転角度だけ全てのマイクロレンズ画像を前記ライトフィールド画像の水平軸又は垂直軸と平行になる方向に回転することで補正を行う画像補正部と、
補正がなされた複数のライトフィールド画像からそれぞれエピポーラ画像を生成するエピポーラ画像生成部と、
補正がなされた複数のライトフィールド画像のうちいずれか一つのライトフィールド画像を基準画像とし、前記基準画像のエピポーラ画像と補正がなされた他のライトフィールド画像のエピポーラ画像とに基づいて、前記他のライトフィールド画像のエピポーラ画像上から得られる直線の交点の座標位置と前記基準画像のエピポーラ画像上から得られる直線の交点の座標位置とのずれ量を算出し、算出した前記ずれ量を用いて、前記基準画像を撮影した位置に対する相対位置である前記被写体を撮影した位置を算出するエピポーラ画像解析部と、
を備える画像解析装置。

【請求項2】

前記エピポーラ画像生成部は、補正された前記ライトフィールド画像において同じ列又は同じ行のマイクロレンズ画像それぞれにおける同一列の画素列又は同一行の画素行を取得し、取得した画素列又は画素行を取得元のマイクロレンズ画像の並び順に配置することでエピポーラ画像を生成する、請求項１に記載の画像解析装置。

【請求項3】

前記エピポーラ画像解析部は、前記基準画像のエピポーラ画像上及び前記他のライトフィールド画像のエピポーラ画像上からそれぞれ複数の被写体が撮像されていることを示す複数の直線を検出し、前記基準画像のエピポーラ画像上から検出された複数の直線の交点の座標値と前記他のライトフィールド画像のエピポーラ画像上から検出された複数の直線の交点の座標値とを用いて前記ずれ量を算出し、算出した前記ずれ量を用いて前記被写体を撮影した位置を算出する、請求項１又は２に記載の画像解析装置。

【請求項4】

請求項１から３のいずれか１項に記載の画像解析装置としてコンピュータを機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析装置及びコンピュータプログラムに関する。

【背景技術】

【0002】

被写体からカメラレンズに侵入する全ての光線の向きと光量とを取得する技術が知られており、被写体を異なる視点から撮影した複数の画像の集合をライトフィールド画像という。ライトフィールド画像を得ることができるライトフィールドカメラは、被写体からカメラのレンズに侵入する全ての光線の向きと光量とを取得するために、メインレンズと、被写体との間に配置された光学要素（マイクロレンズ）のアレイとを有している。このアレイ内で、各光学要素は、アレイ内の他の光学要素と異なる角度からの光を受光し、異なるビューを主レンズに向ける。光検出器アレイは、アレイ内の各光学要素からの異なるビューを受像することができる。

【0003】

上述のような構成を有するライトフィールドカメラによって、ライトフィールド画像を利用できるようになったが、レンズやアレイなどのサイズの制約により、光線の取得できる範囲が限定されたものとなっている。そのため、アレイに工夫を施して焦点距離の異なる複数種類のマイクロレンズを異なる分布形態で構成することによって、より広範囲にわたって光線を取得できる手法が提案されてきている（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Dansereau, Donald G., Oscar Pizarro, and Stefan B. Williams. “Decoding, calibration and rectification for lenselet-based plenoptic cameras.” Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on. IEEE, 2013.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、１つのカメラで構成する限りは光線の取得範囲は限られており、より広範囲の光線を取得するためには複数のライトフィールド画像を利用する必要がある。複数のライトフィールド画像を利用するためには、それらのライトフィールド画像がどの地点から撮像されたのかを算出する必要がある。非特許文献１に記載された技術では、チェックパターンなど形状が既知の被写体を撮影することによってカメラ位置を推定しているため、事前の撮影が必要となってしまうという問題があった。

【0006】

上記事情に鑑み、本発明は、既知の被写体の撮影を事前に行わず、被写体を撮影した地点を算出する技術の提供を目的としている。

【課題を解決するための手段】

【0007】

本発明の一態様は、複数の地点から撮影された、メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数のマイクロレンズ画像を含み構成されるライトフィールド画像に、複数の同一の被写体が撮像されている場合において前記被写体を撮影した位置を算出する画像解析装置であって、複数のライトフィールド画像に対して、前記ライトフィールド画像に含まれる全てのマイクロレンズ画像の中心位置の座標値を用いて、全てのマイクロレンズ画像が前記ライトフィールド画像の水平軸又は垂直軸と平行になる回転角度を算出し、算出した前記回転角度だけ全てのマイクロレンズ画像を前記ライトフィールド画像の水平軸又は垂直軸と平行になる方向に回転することで補正を行う画像補正部と、補正がなされた複数のライトフィールド画像からそれぞれエピポーラ画像を生成するエピポーラ画像生成部と、補正がなされた複数のライトフィールド画像のうちいずれか一つのライトフィールド画像を基準画像とし、前記基準画像のエピポーラ画像と補正がなされた他のライトフィールド画像のエピポーラ画像とに基づいて、前記他のライトフィールド画像のエピポーラ画像上の直線の交点の座標位置と前記基準画像のエピポーラ画像上の直線の交点の座標位置とのずれ量を算出し、算出した前記ずれ量を用いて、前記基準画像を撮影した位置に対する相対位置である前記被写体を撮影した位置を算出するエピポーラ画像解析部と、を備える画像解析装置である。

【0009】

本発明の一態様は、上記の画像解析装置であって、前記エピポーラ画像生成部は、補正された前記ライトフィールド画像において同じ列又は同じ行のマイクロレンズ画像それぞれにおける同一列の画素列又は同一行の画素行を取得し、取得した画素列又は画素行を取得元のマイクロレンズ画像の並び順に配置することでエピポーラ画像を生成する。

【0010】

本発明の一態様は、上記の画像解析装置であって、前記エピポーラ画像解析部は、前記基準画像のエピポーラ画像上及び前記他のライトフィールド画像のエピポーラ画像上からそれぞれ複数の直線を検出し、前記基準画像のエピポーラ画像上から検出された複数の直線の交点の座標値と前記他のライトフィールド画像のエピポーラ画像上から検出された複数の直線の交点の座標値とを用いて前記ずれ量を算出し、算出した前記ずれ量を用いて前記他のライトフィールド画像を撮影した位置を算出する。

【0011】

本発明の一態様は、上記の画像解析装置としてコンピュータを機能させるためのコンピュータプログラムである。

【発明の効果】

【0012】

本発明により、既知の被写体の撮影を事前に行わず、被写体を撮影した地点を算出することが可能となる。

【図面の簡単な説明】

【0013】

【図1】一実施形態における画像解析装置１の構成を示すブロック図である。

【図2】画像補正部１２が行う補正処理を示すフローチャートである。

【図3】エピポーラ画像生成部１３がエピポーラ画像を生成する処理を示すフローチャートである。

【図4】エピポーラ画像解析部１４が行う処理を示すフローチャートである。

【図5】画像補正部１２が行う処理の一例を示す図である。

【図6】エピポーラ画像生成部１３が行う処理の一例を示す図である。

【図7】エピポーラ画像生成部１３によって生成されるエピポーラ画像の一例を表す図である。

【図8】エピポーラ画像解析部１４が行う処理の一例を示す図である。

【図9】パラメータの関係を模式的に説明する図である。

【図10】エピポーラ画像解析部１４が行う処理の別例を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、一実施形態における画像解析装置１の構成を示すブロック図である。図１に示すように、画像解析装置１は、画像取得部１１、画像補正部１２、エピポーラ画像生成部１３及びエピポーラ画像解析部１４を備えている。

【0015】

実施形態における画像解析装置１は、複数のライトフィールド画像から、被写体を撮影した地点を算出する際に利用される。以下の説明において前提となる条件として、処理対象となるライトフィールド画像間で同一の被写体が複数撮像されていることが挙げられる。

【0016】

次に、画像解析装置１の概要について説明する。
まず、画像解析装置１は、複数の地点から撮影された複数のライトフィールド画像それぞれから複数のエピポーラ画像（ＥＰＩ：Epipolar Plane Image）を生成する。ここで、複数の地点とは、被写体を撮影する位置が異なる位置である。エピポーラ画像は、エピポーラ平面画像ともいわれる。次に、画像解析装置１は、生成した各ライトフィールド画像のエピポーラ画像上から複数の直線を検出し、検出した直線の交点をそれぞれ算出する。例えば、画像解析装置１は、撮影位置算出の基準となるライトフィールド画像（以下、「基準画像」という。）のエピポーラ画像と、基準画像と重複領域を有するライトフィールド画像（以下、「比較対象画像」という。）のエピポーラ画像上からそれぞれ複数の直線を検出し、検出した直線の交点をそれぞれ算出する。画像解析装置１は、算出した各交点に基づいて、基準画像のエピポーラ画像と比較対象画像のエピポーラ画像との座標位置のずれ量を算出する。そして、画像解析装置１は、算出したずれ量に基づいて被写体の撮影地点を算出する。ここで算出される被写体の撮影地点は、比較対象画像を撮影した地点である。
以下、画像解析装置１の詳細について説明する。

【0017】

画像取得部１１は、複数の地点から撮影された、メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数のマイクロレンズ画像を含み構成されるライトフィールド画像を複数取得する。画像取得部１１が取得する複数のライトフィールド画像は、ライトフィールドカメラを移動させながら撮影を行うことにより得られたライトフィールド画像である。すなわち、複数の地点から被写体をライトフィールドカメラで撮影することにより得られた複数のライトフィールド画像であって重複領域を有する複数のライトフィールド画像を画像取得部１１は取得する。画像取得部１１が取得する各ライトフィールド画像は、複数のマイクロレンズを介して撮影された小画像（以下、「マイクロレンズ画像」という。）が複数並ぶことで構成されている画像である。

【0018】

画像補正部１２は、画像取得部１１が取得した複数のライトフィールド画像の光学的な補正を行う。具体的には、画像補正部１２は、ライトフィールド画像に含まれる全てのマイクロレンズ画像をライトフィールド画像の水平軸又は垂直軸と平行になる所定の角度回転させることによってライトフィールド画像の光学的な補正を行う。

【0019】

図２は、画像補正部１２が行う補正処理を示すフローチャートである。
画像補正部１２は、処理を開始すると、画像取得部１１が取得した複数のライトフィールド画像のうち未処理のライトフィールド画像を一つ選択する（ステップＳ１０１）。画像補正部１２は、選択したライトフィールド画像からライトフィールド画像を構成し行列状に並べられているマイクロレンズ画像を抽出する（ステップＳ１０２）。画像補正部１２は、抽出した各マイクロレンズ画像の中心位置の座標を算出する（ステップＳ１０３）。

【0020】

その後、画像補正部１２は、ライトフィールド画像に含まれる全てのマイクロレンズ画像の中心位置の座標に基づいて回転角度を算出する（ステップＳ１０４）。画像補正部１２は、ライトフィールド画像の中心から最も近い位置にあるマイクロレンズで撮影されたマイクロレンズ画像の中心位置を中心として全てのマイクロレンズ画像を、ステップＳ１０４の処理で算出した回転角度で回転する（ステップＳ１０５）。この処理によって、六角格子状又は正方格子状に並んでいる全てのマイクロレンズ画像の並びがライトフィールド画像の縦軸及び横軸と平行になる。

【0021】

画像補正部１２は、画像取得部１１が取得した全てのライトフィールド画像に対してステップＳ１０１からステップＳ１０５までの処理を施したか否かを判定する（ステップＳ１０６）。未処理のライトフィールド画像がある場合（ステップＳ１０６：ＮＯ）、画像補正部１２は処理をステップＳ１０１に戻して、取得した全てのライトフィールド画像に対して処理が行われるまで、ステップＳ１０１からステップＳ１０５までの処理を繰り返す。一方、全てのライトフィールド画像に対して処理を終えた場合（ステップＳ１０６：ＹＥＳ）、画像補正部１２は補正処理を終了する。

【0022】

エピポーラ画像生成部１３は、画像補正部１２によって補正されたライトフィールド画像ごとにエピポーラ画像を生成する。
図３は、エピポーラ画像生成部１３がエピポーラ画像を生成する処理を示すフローチャートである。エピポーラ画像生成部１３は、処理を開始すると、画像補正部１２によって補正された複数のライトフィールド画像のうち未処理のライトフィールド画像を一つ選択する（ステップＳ２０１）。

【0023】

エピポーラ画像生成部１３は、選択したライトフィールド画像を構成し行列状に並べられているマイクロレンズ画像から、未処理の行に並べられているマイクロレンズ画像を抽出する（ステップＳ２０２）。なお、ライトフィールド画像から未処理の行に含まれるマイクロレンズ画像を抽出する順序は、任意の順序でよく、例えば画像の上から順に、画像の下から順に、又はランダムな順で抽出してもよい。

【0024】

エピポーラ画像生成部１３は、抽出した行に含まれるマイクロレンズ画像それぞれから、マイクロレンズ画像における同一行の画素（以下、「画素行」という。）を行単位で抽出する（ステップＳ２０３）。すなわち、ステップＳ１２３において抽出される画素は、処理対象としているライトフィールド画像における同一行の画素になっている。

【0025】

エピポーラ画像生成部１３は、ステップＳ２０３の処理において抽出した各マイクロレンズ画像における一行の画素を、時計回りに９０度又は反時計回りに９０度回転させた一列の画素として扱う。エピポーラ画像生成部１３は、各マイクロレンズ画像に対応する一列の画素をマイクロレンズ画像の並び順に配置してエピポーラ画像を生成する（ステップＳ２０４）。例えば、エピポーラ画像生成部１３は、ライトフィールド画像における同一行のｎ個のマイクロレンズ画像それぞれからｍ個の画素を行単位で抽出した場合、ｍ行ｎ列に配置された画素からなるエピポーラ画像を生成することになる。

【0026】

エピポーラ画像生成部１３は、選択したライトフィールド画像における全ての行に対してステップＳ２０２からステップＳ２０４までの処理を施したか否かを判定する（ステップＳ２０５）。未処理の行がある場合（ステップＳ２０５：ＮＯ）、エピポーラ画像生成部１３は処理をステップＳ２０２に戻して、選択したライトフィールド画像の全ての行に対して処理が行われるまで、ステップＳ２０２からステップＳ２０４までの処理を繰り返す。一方、全ての行に対して処理を終えた場合（ステップＳ２０５：ＹＥＳ）、エピポーラ画像生成部１３は処理をステップＳ２０６に進める。

【0027】

エピポーラ画像生成部１３は、画像取得部１１が取得した全てのライトフィールド画像に対してステップＳ２０１からステップＳ２０５までの処理を施したか否かを判定する（ステップＳ２０６）。未処理のライトフィールド画像がある場合（ステップＳ２０６：ＮＯ）、エピポーラ画像生成部１３は処理をステップＳ２０１に戻して、取得した全てのライトフィールド画像に対して処理が行われるまで、ステップＳ２０１からステップＳ２０５までの処理を繰り返す。一方、全てのライトフィールド画像に対して処理を終えた場合（ステップＳ２０６：ＹＥＳ）、エピポーラ画像生成部１３はエピポーラ画像を生成する処理を終了する。

【0028】

エピポーラ画像生成部１３は、上述の処理を行うことにより、複数のライトフィールド画像それぞれに対して、複数のエピポーラ画像を生成する。エピポーラ画像生成部１３は、生成した複数のエピポーラ画像と当該エピポーラ画像の元になったライトフィールド画像とを対応付けてエピポーラ画像解析部１４に出力する。

【0029】

エピポーラ画像解析部１４は、エピポーラ画像生成部１３が出力する複数のライトフィールド画像のうちいずれか一つのライトフィールド画像を基準画像とし、基準画像のエピポーラ画像と比較対象画像のエピポーラ画像とに基づいて被写体の撮影地点を算出する。

【0030】

図４は、エピポーラ画像解析部１４が行う処理を示すフローチャートである。
エピポーラ画像解析部１４は、エピポーラ画像生成部１３が複数のエピポーラ画像を生成した後にそれらのエピポーラ画像を取得すると、画像取得部１１が取得した全てのライトフィールド画像からいずれか一つのライトフィールド画像を選択する。エピポーラ画像解析部１４は、選択した一つのライトフィールド画像を基準画像に設定する（ステップＳ３０１）。なお、基準画像に設定するライトフィールド画像の選択は、画像解析装置１を操作するユーザの指示に従って選択してもよいし、他のライトフィールド画像との重複領域が最も多いライトフィールド画像を選択してもよいし、ランダムに選択してもよい。

【0031】

エピポーラ画像解析部１４は、基準画像及び比較対象画像それぞれから生成された複数のエピポーラ画像のうち一つのエピポーラ画像をそれぞれ選択する（ステップＳ３０２）。具体的には、エピポーラ画像解析部１４は、基準画像から生成された複数のエピポーラ画像のうちあるマイクロレンズ画像の行及びある画素行で構成されるエピポーラ画像を選択する。なお、基準画像のエピポーラ画像の選択は、画像解析装置１を操作するユーザの指示に従って選択してもよいし、他のライトフィールド画像との重複領域が最も多いライトフィールド画像を選択してもよいし、ランダムに選択してもよい。また、エピポーラ画像解析部１４は、選択した基準画像のエピポーラ画像を生成する際に使用したマイクロレンズ画像の行及び画素行と同じマイクロレンズ画像の行及び画素行で生成された比較対象画像のエピポーラ画像を選択する。

【0032】

その後、エピポーラ画像解析部１４は、基準画像のエピポーラ画像上及び比較対象画像のエピポーラ画像上それぞれから直線を検出する（ステップＳ３０３）。直線の検出には、ハフ変換などが利用されてもよい。エピポーラ画像解析部１４は、ステップＳ３０４の処理で検出した基準画像のエピポーラ画像上の直線及び比較対象画像のエピポーラ画像上の直線それぞれの交点を算出する（ステップＳ３０４）。

【0033】

エピポーラ画像解析部１４は、基準画像のエピポーラ画像上の直線の交点と比較対象画像のエピポーラ画像上の直線の交点とのずれ量を算出する（ステップＳ３０５）。具体的には、エピポーラ画像解析部１４は、基準画像のエピポーラ画像上の直線の交点が比較対象画像のエピポーラ画像上の直線の交点に一致するように各交点の座標位置のずれ量を算出する。算出されたずれ量は、エピポーラ画像上での２次元のずれ量に相当する。その後、エピポーラ画像解析部１４は、算出したずれ量に基づいて被写体を撮影した地点の座標を算出する（ステップＳ３０６）。

【0034】

エピポーラ画像解析部１４は、全ての比較対象画像に対してステップＳ３０２からステップＳ３０６までの処理を施したか否かを判定する（ステップＳ３０７）。未処理のライトフィールド画像がある場合（ステップＳ３０７：ＮＯ）、エピポーラ画像解析部１４は処理をステップＳ３０２に戻して、全ての比較対象画像に対して処理が行われるまで、ステップＳ３０２からステップＳ３０６までの処理を繰り返す。一方、全ての比較対象画像に対して処理を終えた場合（ステップＳ３０７：ＹＥＳ）、エピポーラ画像解析部１４は処理を終了する。

【0035】

以下では、図を参照して、上述した画像解析装置１が被写体を撮影した地点を算出する際の具体的な手順について詳細に説明する。

【0036】

（画像取得部１１の動作）
メインレンズと撮像素子（例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳイメージセンサ（CMOS image sensor））との間にマイクロレンズアレイが設けられたプレノプティックカメラをライトフィールドカメラとして用いて撮影を行い、複数のライトフィールド画像を取得する。プレノプティックカメラの内部においては、マイクロレンズアレイ及び撮像素子を微小なピンホールカメラアレイと見なすことができるため、メインレンズによって結像されたシーンの光学像を、これらの微小なピンホールカメラアレイを用いて撮影したことになる。例えば、ライトフィールドカメラとしてのプレノプティックカメラを水平なレールに乗せて等間隔に動かしながら撮影することにより得られた、画像間に重複領域を有する複数のライトフィールド画像を画像取得部１１が取得する。

【0037】

（画像補正部１２の動作）
図５は、画像補正部１２が行う処理の一例を示す図である。
［ステップＳ１０１〜ステップＳ１０３］
プレノプティックカメラで撮影したライトフィールド画像１００は、図５に示すように、マイクロレンズで撮影された小画像（マイクロレンズ画像１０１、１０２）で構成される。図５（Ａ）では、ライトフィールド画像１００に含まれるマイクロレンズ画像の一部分を抜粋して示している。画像補正部１２は、公知の円検出方法などを用いて、ライトフィールド画像１００からマイクロレンズ画像１０１、１０２を抽出し、抽出した各マイクロレンズ画像１０１、１０２の中心位置１０３、１０４を算出する。画像補正部１２は、ライトフィールド画像１００に含まれるマイクロレンズ画像全てに対して中心位置を算出する。

【0038】

［ステップＳ１０４］
一般的にプレノプティックカメラでは、マイクロレンズが六角格子状（図５（Ａ）に示す形）又は正方格子状に設けられる。そのため、各マイクロレンズによって撮影された各マイクロレンズ画像は、図５（Ｂ）に示されるように、六角格子状又は正方格子状に配列される。画像補正部１２は、図５（Ｂ）に示されるような各マイクロレンズ画像において、同じ行又は同じ列に配置されているマイクロレンズ画像の中心位置を結んだ線分がライトフィールド画像の水平軸又は垂直軸と平行となる回転角度１０５を算出する。

【0039】

［ステップＳ１０５］
画像補正部１２は、ライトフィールド画像の中心から最も近いマイクロレンズ画像１０６を中心に各マイクロレンズ画像を、ステップＳ１０４の処理で算出した回転角度でライトフィールド画像の水平軸又は垂直軸と平行となる方向（図５では、時計回りの方向）に回転させる。
［ステップＳ１０６］
画像補正部１２は、ステップＳ１０１からステップＳ１０５までの処理を繰り返すことにより、ライトフィールド画像ごとの光学的な補正を行う。

【0040】

（エピポーラ画像生成部１３の動作）
図６は、エピポーラ画像生成部１３が行う処理の一例を示す図である。
［ステップＳ２０２］
プレノプティックカメラで撮影したライトフィールド画像は、図６に示すように、マイクロレンズで撮影された小画像（マイクロレンズ画像２０１）で構成される。また、図６の下図に示されるグリッド線は、ライトフィールド画像の画素を示す。エピポーラ画像生成部１３は、公知の円検出方法などを用いて、マイクロレンズ画像２０１を検出する。エピポーラ画像生成部１３は、検出したマイクロレンズ画像２０１の輪郭に沿って、処理対象となっている行に並べられているマイクロレンズ画像２０１を抽出する。例えば、エピポーラ画像生成部１３が、図５の下図に示されるマイクロレンズ画像のうち、１行目に並べられているマイクロレンズ画像を抽出したとする。

【0041】

［ステップＳ２０３］
エピポーラ画像生成部１３は、抽出した行におけるマイクロレンズ画像のうち、着目しているマイクロレンズ画像２０３から同一行の画素２０４を行単位で抽出する。

【0042】

［ステップＳ２０４］
全てのマイクロレンズ又はマイクロレンズ画像の番号を２次元のパラメータ（ｘ，ｙ）で定義することができる。ここでは、ライトフィールド画像の原点を画像の左上の画素としたときに、最も左上に位置するマイクロレンズ画像の番号を（ｘ，ｙ）＝（０，０）とする。右側に隣接するマイクロレンズ画像に進むごとにｘの値は、１ずつインクリメントされ、下側に隣接するマイクロレンズ画像に進むごとにｙの値は１ずつインクリメントされる。エピポーラ画像生成部１３は、このマイクロレンズ画像の番号に基づいて、ステップＳ１２３において抽出した行単位の画素をエピポーラ画像の空間（エピポーラ画像空間）に配置してエピポーラ画像を生成する。

【0043】

なお、エピポーラ画像空間は、ｎ−ｉ空間で定義される空間である。ｎ軸の値は、マイクロレンズ画像の番号（ｘ，ｙ）のうちｘ又はｙのいずれかの値に対応する。ｉ軸の値は、マイクロレンズ画像における水平方向又は垂直方向の画素座標に対応する。なお、マイクロレンズ画像における画素座標は、マイクロレンズ画像の中心を原点とする座標系における座標である。

【0044】

例えば、ライトフィールド画像において行ごとにマイクロレンズ画像を選択し、選択したマイクロレンズ画像から同一行の画素を行単位で抽出する場合には、ｎ軸の値はマイクロレンズ画像の番号（ｘ，ｙ）のｘの値に対応し、ｉ軸の値はマイクロレンズ画像における各画素の水平方向の画素座標に対応する。また、ライトフィールド画像において列ごとにマイクロレンズ画像を選択し、選択したマイクロレンズ画像から同一列の画素を列単位で抽出する場合には、ｎ軸の値はマイクロレンズ画像の番号（ｘ，ｙ）のｙの値に対応し、ｉ軸の値はマイクロレンズ画像における各画素の垂直方向の画素座標に対応する。

【0045】

図６に示す例において、エピポーラ画像生成部１３は、着目しているマイクロレンズ画像２０３における中央の一行における画素２０４を行単位で抽出し、抽出した画素２０４をエピポーラ画像空間における画素列２０５に配置する。マイクロレンズ画像２０３の番号は（１，４）であり、マイクロレンズ画像２０３から抽出された画素２０４は、エピポーラ画像空間におけるｎ＝４の位置に配置される。

【0046】

［ステップＳ２０５］
エピポーラ画像生成部１３は、ステップＳ２０２からステップＳ２０４までの処理を繰り返すことにより、ライトフィールド画像における各行のマイクロレンズ画像それぞれに対して複数のエピポーラ画像を生成する。
［ステップＳ２０６］
エピポーラ画像生成部１３は、ステップＳ２０１からステップＳ２０５までの処理を繰り返すことにより、ライトフィールド画像ごとに複数のエピポーラ画像を生成する。すなわち、ライトフィールド画像における画素の行数分のエピポーラ画像が、ライトフィールド画像ごとに生成されることになる。エピポーラ画像生成部１３によって生成されるエピポーラ画像の一例を図７に示す。

【0047】

図７は、エピポーラ画像生成部１３によって生成されるエピポーラ画像の一例を表す図である。
図７に示されるエピポーラ画像は、エピポーラ画像生成部１３がステップＳ２０２の処理で抽出した行に含まれるマイクロレンズ画像それぞれから、各マイクロレンズ画像における同一行の画素を行単位で抽出し、抽出した各マイクロレンズ画像における行単位の画素をそれぞれエピポーラ画像空間における対応する画素列に配置することによって生成される。図７に示すエピポーラ画像には、２つの直線が示されている。これら２つの直線はそれぞれ被写体を表す。すなわち、図７に示すエピポーラ画像の元になったライトフィールド画像には２つの被写体が撮像されていたことが表されている。

【0048】

（エピポーラ画像解析部１４の動作）
図８は、エピポーラ画像解析部１４が行う処理の一例を示す図である。
［ステップＳ３０１］
エピポーラ画像解析部１４は、複数のライトフィールド画像のうち、被写体を撮影した地点を算出する際の基準とするライトフィールド画像を基準画像に選択し、選択したライトフィールド画像を基準画像に設定する。

【0049】

［ステップＳ３０２］
エピポーラ画像解析部１４は、基準画像から生成された複数のエピポーラ画像のうちいずれか一つのエピポーラ画像を選択する。この処理によって選択された基準画像のエピポーラ画像を図８（Ａ）に示す。また、エピポーラ画像解析部１４は、比較対象画像から生成された複数のエピポーラ画像のうちいずれか一つのエピポーラ画像を選択する。この処理によって選択された比較対象画像のエピポーラ画像を図８（Ｂ）に示す。
なお、以下の説明では、ステップＳ３０２の処理で選択された基準画像のエピポーラ画像及び比較対象画像のエピポーラ画像に同一の被写体が複数（図８では、２つ）撮影されているとして説明する。

【0050】

［ステップＳ３０３］
エピポーラ画像解析部１４は、基準画像のエピポーラ画像上（図８（Ａ））からそれぞれ直線３０１、３０２及び比較対象画像のエピポーラ画像上（図８（Ｂ））からそれぞれ直線３０３、３０４を検出し、直線パラメータを算出する。
［ステップＳ３０４］
エピポーラ画像解析部１４は、各エピポーラ画像から検出した直線の交点を算出する。具体的には、エピポーラ画像解析部１４は、図８（Ｃ）に示すように、基準画像のエピポーラ画像上から検出された直線３０１と３０２との交点３０５の座標値を直線３０１及び３０２の直線パラメータから算出する。また、エピポーラ画像解析部１４は、図８（Ｄ）に示すように、比較対象画像のエピポーラ画像上から検出された直線３０３と３０４との交点３０６の座標値を直線３０３及び３０４の直線パラメータから算出する。

【0051】

［ステップＳ３０５］
エピポーラ画像解析部１４は、図８（Ｅ）に示すように、ステップＳ３０４の処理で算出した各交点３０５及び３０６の座標値の２次元上でのずれ量Δｎ_m、Δｉ_mを算出する。図８（Ｅ）において、ずれ量Δｎ_mは矢印３０７の方向を表し、Δｉ_mは矢印３０８の方向を表す。このずれ量は、エピポーラ画像上での位置ずれ量であり、エピポーラ画像解析部１４はこれら２つのずれ量とライトフィールドカメラの設計パラメータを用いることによって図８（Ａ）に示すエピポーラ画像の元になったライトフィールド画像を撮影した撮影位置と図８（Ｂ）に示すエピポーラ画像の元になったライトフィールド画像を撮影した撮影位置との３次元的なずれ量を算出する。
［ステップＳ３０６］
エピポーラ画像解析部１４は、ステップＳ３０６の処理で算出したずれ量を用いて、以下の式１に基づいて比較対象画像の撮影位置を算出する。

【0052】

【数1】

【0053】

式１のδ_ｍは被写体を撮影した地点を表し、Ｆはメインレンズの焦点距離を表し、ｆはマイクロレンズと撮像素子の距離を表し、ｌはマイクロレンズ間の距離を表し、ｗ_ｐは画素幅を表し、Ｂはメインレンズとマイクロレンズアレイとの間の距離を表し、Ａはメインレンズの焦点距離Ｆを用いたレンズ公式（１／Ａ＋１／Ｂ＝１／Ｆ）を満たす距離を表す。上記設計パラメータの関係を図９に示す。

【0054】

図９は、パラメータの関係を模式的に説明する図である。
図９における（ｘ，ｕ）はメインレンズ外側の光線を表す。図９において光線（ｘ，ｕ）は、メインレンズとマイクロレンズアレイとの間の距離Ｂ、メインレンズの焦点距離Ｆを用いたレンズ公式（１／Ａ＋１／Ｂ＝１／Ｆ）を満たす距離Ａだけメインレンズから離れた位置として定義されている。また、図９における（ｘ_０’，ｕ_０’）は撮影地点０でのマイクロレンズアレイ上で定義される光線を表し、（ｘ_ｍ’，ｕ_ｍ’）は撮影地点ｍでのマイクロレンズアレイ上で定義される光線を表す。ここで、ｘは光線の通過する位置を表し、ｕは光線の方向を表す。

【0055】

図９に示すような複数の撮影地点から撮影することにより得られたライトフィールド画像を画像取得部１１は取得する。このとき、各ライトフィールド画像は、少なくとも隣接する撮影地点間のライトフィールド画像においては、ライトフィールド画像上の被写体において重複する領域を有している。図２に示す例では、撮影地点０の撮影位置において撮影することにより得られたライトフィールド画像と、撮影地点ｍの撮影位置において撮影することにより得られたライトフィールド画像とに重複領域が存在する場合を示している。エピポーラ画像解析部１４は、図９に示すような重複領域が存在するように撮影されたライトフィールド画像の一方を基準画像に設定し、他方を比較対象画像に設定する。

【0056】

［ステップＳ３０８］
エピポーラ画像解析部１４は、ステップＳ３０２からステップＳ３０６までの処理を繰り返すことにより、被写体を撮影した位置（比較対象画像を撮影した地点）を算出する。

【0057】

以上のように構成された画像解析装置１によれば、複数の地点から撮像された複数のライトフィールド画像のそれぞれから生成された各エピポーラ画像上に、被写体が複数撮像されていることを示す複数の直線が検出される。さらに本実施形態における画像解析装置１では、ライトフィールド画像間で同一の被写体が複数撮像されている。したがって、基準画像のエピポーラ画像上から検出された複数の直線の交点と比較対象画像のエピポーラ画像上から検出された複数の直線の交点とのずれ量と、ライトフィールドカメラの設計パラメータとに基づいて被写体を撮像した位置が算出される。そのため、既知の被写体の撮影を事前に行わず、被写体を撮影した地点を算出することが可能になる。

【0058】

＜変形例＞
エピポーラ画像生成部１３は、各ライトフィール画像において行ごとにマイクロレンズ画像を選択することに代えて、各ライトフィールド画像において列ごとにマイクロレンズ画像を選択してもよい。この場合、エピポーラ画像生成部１３は、選択した列のマイクロレンズ画像それぞれから列単位で画素を選択し、選択した一列の画素をマイクロレンズ画像の並び順で行方向に並べることによりエピポーラ画像を生成する。
重複領域を有するライトフィールド画像（比較対象画像）は、異なる撮影位置におけるライトフィールドカメラの撮像素子の物理的な位置が重複するようにライトフィールドカメラを移動させて取得したライトフィールド画像であってもよい。
本実施形態において、画像解析装置１は一つの装置として構成される場合について説明した。しかし、本実施形態における構成に限ることなく、画像取得部１１、画像補正部１２、エピポーラ画像生成部１３及びエピポーラ画像解析部１４それぞれが独立した装置で構成され、各装置が相互に通信可能に接続された画像生成システムとして構成してもよい。

【0059】

上述した例では基準画像のエピポーラ画像から検出された複数の直線の交点３０５と、比較対象画像のエピポーラ画像から検出された複数の直線の交点３０６とが図８（Ｅ）に示すようにｎ−ｉ平面の上方に現れる例を示した。しかし、基準画像のエピポーラ画像から検出された複数の直線の交点と、比較対象画像のエピポーラ画像から検出された複数の直線の交点とが図１０に示すようにｎ−ｉ平面の下方に現れる場合がある。この場合についてもエピポーラ画像解析部１４は上述した例と同様の処理を行なう。以下、図１０を用いて具体的に説明する。

【0060】

図１０は、エピポーラ画像解析部１４が行う処理の別例を示す図である。
エピポーラ画像解析部１４は、基準画像から生成された複数のエピポーラ画像のうちいずれか一つのエピポーラ画像を選択する。この処理によって選択された基準画像のエピポーラ画像を図１０（Ａ）に示す。また、エピポーラ画像解析部１４は、比較対象画像から生成された複数のエピポーラ画像のうちいずれか一つのエピポーラ画像を選択する。この処理によって選択された比較対象画像のエピポーラ画像を図１０（Ｂ）に示す。

【0061】

次に、エピポーラ画像解析部１４は、基準画像のエピポーラ画像上（図１０（Ａ））からそれぞれ直線３０９、３１０及び比較対象画像のエピポーラ画像上（図１０（Ｂ））からそれぞれ直線３１１、３１２を検出し、直線パラメータを算出する。
エピポーラ画像解析部１４は、各エピポーラ画像から検出した直線の交点を算出する。具体的には、エピポーラ画像解析部１４は、図１０（Ｃ）に示すように、基準画像のエピポーラ画像上から検出された直線３０９と３１０との交点３１３の座標値を直線３０９及び３１０の直線パラメータから算出する。また、エピポーラ画像解析部１４は、図１０（Ｄ）に示すように、比較対象画像のエピポーラ画像上から検出された直線３１１と３１２との交点３１４の座標値を直線３１１及び３１２の直線パラメータから算出する。

【0062】

エピポーラ画像解析部１４は、図１０（Ｅ）に示すように、算出した各交点３１３及び３１４の座標値の２次元上でのずれ量Δｎ_m、Δｉ_mを算出する。図１０（Ｅ）において、ずれ量Δｎ_mは矢印３１５の方向を表し、Δｉ_mは矢印３１６の方向を表す。このずれ量は、エピポーラ画像上での位置ずれ量であり、エピポーラ画像解析部１４はこれら２つのずれ量とライトフィールドカメラの設計パラメータを用いることによって図１０（Ａ）に示すエピポーラ画像の元になったライトフィールド画像を撮影した撮影位置と図１０（Ｂ）に示すエピポーラ画像の元になったライトフィールド画像を撮影した撮影位置との３次元的なずれ量を算出する。そして、エピポーラ画像解析部１４は、算出したずれ量を用いて、上記式１に基づいて比較対象画像の撮影位置を算出する。

【0063】

なお、本発明の画像解析装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像解析装置１の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0064】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0065】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0066】

１…画像解析装置， １１…画像取得部， １２…画像補正部， １３…エピポーラ画像生成部， １４…エピポーラ画像解析部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】