特許 6236664 画像補正装置及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6236664

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】画像補正装置及びコンピュータプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171120BHJP

   H04N 5/225 20060101ALI20171120BHJP

   G06T 3/00 20060101ALI20171120BHJP

   G06T 7/557 20170101ALI20171120BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/225 410

   G06T3/00 750

   G06T7/557

【請求項の数】4

【全頁数】12

(21)【出願番号】特願2014-254310(P2014-254310)

(22)【出願日】2014年12月16日

(65)【公開番号】特開2016-116120(P2016-116120A)

(43)【公開日】2016年6月23日

【審査請求日】2016年12月8日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504139662

【氏名又は名称】国立大学法人名古屋大学

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】竹内 広太

(72)【発明者】

【氏名】藤井 憲作

(72)【発明者】

【氏名】小島 明

(72)【発明者】

【氏名】藤井 俊彰

(72)【発明者】

【氏名】高橋 桂太

【審査官】 吉川 康男

(56)【参考文献】

【文献】 特開２０１５−１１９３９５（ＪＰ，Ａ）

【文献】 特開２０１１−２５９１６８（ＪＰ，Ａ）

【文献】 特開２０１２−２１６９９２（ＪＰ，Ａ）

【文献】 特開２０１５−２１１３７２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２２５

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ ７／５５７

(57)【特許請求の範囲】

【請求項1】

複数の地点から撮影された、メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数のマイクロレンズ画像を含み構成されるライトフィールド画像を取得する画像取得部と、
取得された前記ライトフィールド画像から複数のエピポーラ画像を生成するエピポーラ画像生成部と、
複数のライトフィールド画像のうちいずれか一つのライトフィールド画像を基準画像とし、前記基準画像のエピポーラ画像と他のライトフィールド画像のエピポーラ画像とに基づいて、前記基準画像のエピポーラ画像に対する前記他のライトフィールド画像のエピポーラ画像の位置ずれを補正する画像補正部と、
を備える画像補正装置。

【請求項2】

前記エピポーラ画像生成部は、前記ライトフィールド画像において同じ列又は同じ行のマイクロレンズ画像それぞれにおける同一列の画素列又は同一行の画素行を取得し、取得した画素列又は画素行を取得元のマイクロレンズ画像の並び順に配置することでエピポーラ画像を生成する、請求項１に記載の画像補正装置。

【請求項3】

前記画像補正部は、前記基準画像と重複する領域を有するライトフィールド画像のエピポーラ画像と前記基準画像のエピポーラ画像との間のずれ量を算出し、前記ずれ量に基づいて前記基準画像と重複する領域を有するライトフィールド画像のエピポーラ画像の座標変換を行うことで前記基準画像のエピポーラ画像に対する前記他のライトフィールド画像のエピポーラ画像の位置ずれを補正する、請求項１又は２に記載の画像補正装置。

【請求項4】

請求項１から３のいずれか１項に記載の画像補正装置としてコンピュータを機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像補正装置及びコンピュータプログラムに関する。

【背景技術】

【0002】

被写体からカメラレンズに侵入する全ての光線の向きと光量とを取得する技術が知られており、被写体を異なる視点から撮影した複数の画像の集合をライトフィールド画像という。ライトフィールド画像を得ることができるライトフィールドカメラは、被写体からカメラのレンズに侵入する全ての光線の向きと光量とを取得するために、メインレンズと、被写体との間に配置された光学要素のアレイとを有している。このアレイ内で、各光学要素は、アレイ内の他の光学要素と異なる角度からの光を受光し、異なるビューを主レンズに向ける。光検出器アレイは、アレイ内の各光学要素からの異なるビューを受像することができる。

【0003】

上述のような構成を有するライトフィールドカメラによって、ライトフィールド画像を利用できるようになったが、レンズやアレイなどのサイズの制約により、ライトフィールド画像の解像度が限定されたものとなっている。そこで、非特許文献１に記載された技術では、ＭＡＰ型超解像技術を用いて複数の低解像度のライトフィールド画像から高解像度のライトフィールド画像を生成する試みが行われている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】蚊野、「ＭＡＰ型超解像処理における復元誤差を考慮したライトフィールドカメラ画像の高画素化」、「画像の認識・理解シンポジウム（MIRU2012）」、2012年8月

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１に記載されたＭＡＰ型超解像度処理で一般的に用いられる勾配法では、複数の低解像度のライトフィールド画像の位置合わせが難しいという問題があった。
上記事情に鑑み、本発明は、複数の地点から撮影されたライトフィールド画像を同じ座標系で利用するための位置ずれを補正するための画像取得技術を提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の一態様は、複数の地点から撮影された、メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数のマイクロレンズ画像を含み構成されるライトフィールド画像を取得する画像取得部と、取得された前記ライトフィールド画像から複数のエピポーラ画像を生成するエピポーラ画像生成部と、複数のライトフィールド画像のうちいずれか一つのライトフィールド画像を基準画像とし、前記基準画像のエピポーラ画像と他のライトフィールド画像のエピポーラ画像とに基づいて、前記基準画像のエピポーラ画像に対する前記他のライトフィールド画像のエピポーラ画像の位置ずれを補正する画像補正部と、を備える画像補正装置である。

【0007】

本発明の一態様は、上記の画像補正装置であって、前記エピポーラ画像生成部は、前記ライトフィールド画像において同じ列又は同じ行のマイクロレンズ画像それぞれにおける同一列の画素列又は同一行の画素行を取得し、取得した画素列又は画素行を取得元のマイクロレンズ画像の並び順に配置することでエピポーラ画像を生成する。

【0008】

本発明の一態様は、上記の画像補正装置であって、前記画像補正部は、前記基準画像と重複する領域を有するライトフィールド画像のエピポーラ画像と前記基準画像のエピポーラ画像との間のずれ量を算出し、前記ずれ量に基づいて前記基準画像と重複する領域を有するライトフィールド画像のエピポーラ画像の座標変換を行うことで前記基準画像のエピポーラ画像に対する前記他のライトフィールド画像のエピポーラ画像の位置ずれを補正する。

【0009】

本発明の一態様は、上記の画像補正装置としてコンピュータを機能させるためのコンピュータプログラムである。

【発明の効果】

【0010】

本発明により、複数の地点から撮影されたライトフィールド画像を同じ座標系で利用するための位置ずれを補正するための画像取得技術を提供することが可能になる。

【図面の簡単な説明】

【0011】

【図1】一実施形態における画像補正装置１の構成を示すブロック図である。

【図2】画像取得部１１が取得するライトフィールド画像を模式的に説明する図である。

【図3】エピポーラ画像生成部１２がエピポーラ画像を生成する処理を示すフローチャートである。

【図4】画像補正部１３が行う補正処理を示すフローチャートである。

【図5】エピポーラ画像生成部１２が行う処理の一例を示す図である。

【図6】エピポーラ画像生成部１２によって生成されるエピポーラ画像の一例を表す図である。

【図7】画像補正部１３が行う処理の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、一実施形態における画像補正装置１の構成を示すブロック図である。
画像補正装置１は、基準となるライトフィールド画像（以下、「基準画像」という。）のエピポーラ画像（ＥＰＩ：Epipolar Plane Image）と、基準画像と重複領域を有するライトフィールド画像（以下、「比較対象画像」という。）のエピポーラ画像との位置ずれを補正する。エピポーラ画像は、エピポーラ平面画像ともいわれる。図１に示すように、画像補正装置１は、画像取得部１１、エピポーラ画像生成部１２及び画像補正部１３を備えている。

【0013】

画像取得部１１は、異なる地点から撮影された、メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数のマイクロレンズ画像を含み構成されるライトフィールド画像を複数取得する。画像取得部１１が取得する複数のライトフィールド画像は、ライトフィールドカメラを移動させながら撮影を行うことにより得られたライトフィールド画像である。すなわち、複数の地点から被写体をライトフィールドカメラで撮影することにより得られた複数のライトフィールド画像であって重複領域を有する複数のライトフィールド画像を画像取得部１１は取得する。画像取得部１１が取得する各ライトフィールド画像は、複数のマイクロレンズを介して撮影された小画像（以下、「マイクロレンズ画像」という。）が複数並ぶことで構成されている画像である。

【0014】

図２は、画像取得部１１が取得するライトフィールド画像を模式的に説明する図である。
図２に示すような異なる撮影地点から撮影することにより得られたライトフィールド画像を画像取得部１１は取得する。このとき、各ライトフィールド画像は、少なくとも隣接する撮影地点間のライトフィールド画像においては、ライトフィールド画像上の被写体において重複する領域を有している。図２に示す例では、撮影地点０の位置において撮影することにより得られたライトフィールド画像と、撮影地点ｍの位置において撮影することにより得られたライトフィールド画像とに重複領域が存在する場合を示している。

【0015】

図２における（ｘ，ｕ）はメインレンズ外側の光線を表す。図２において光線（ｘ，ｕ）は、メインレンズとマイクロレンズアレイとの間の距離をＢとしてメインレンズの焦点距離Ｆを用いたレンズ公式（１／Ａ＋１／Ｂ＝１／Ｆ）を満たす距離Ａだけメインレンズから離れた位置として定義されている。また、図２における（ｘ_０’，ｕ_０’）は撮影地点０でのマイクロレンズアレイ上で定義される光線を表し、（ｘ_ｍ’，ｕ_ｍ’）は撮影地点ｍでのマイクロレンズアレイ上で定義される光線を表す。ここで、ｘは光線の通過する位置を表し、ｕは光線の方向を表す。

【0016】

エピポーラ画像生成部１２は、画像取得部１１が取得したライトフィールド画像ごとにエピポーラ画像を生成する。
図３は、エピポーラ画像生成部１２がエピポーラ画像を生成する処理を示すフローチャートである。
エピポーラ画像生成部１２は、処理を開始すると、画像取得部１１が取得した複数のライトフィールド画像のうち未処理のライトフィールド画像を一つ選択する（ステップＳ１２１）。

【0017】

エピポーラ画像生成部１２は、選択したライトフィールド画像を構成し行列状に並べられているマイクロレンズ画像から、未処理の行に並べられているマイクロレンズ画像を抽出する（ステップＳ１２２）。なお、ライトフィールド画像から未処理の行に含まれるマイクロレンズ画像を抽出する順序は、任意の順序でよく、例えば画像の上から順に、画像の下から順に、又はランダムな順で抽出してもよい。

【0018】

エピポーラ画像生成部１２は、抽出した行に含まれるマイクロレンズ画像それぞれから、マイクロレンズ画像における同一行の画素（以下、「画素行」という。）を行単位で抽出する（ステップＳ１２３）。すなわち、ステップＳ１２３において抽出される画素は、処理対象としているライトフィールド画像における同一行の画素になっている。

【0019】

エピポーラ画像生成部１２は、ステップＳ１２３において抽出した各マイクロレンズ画像における一行の画素を、時計回りに９０度又は反時計回りに９０度回転させた一列の画素として扱う。エピポーラ画像生成部１２は、各マイクロレンズ画像に対応する一列の画素をマイクロレンズ画像の並び順に配置してエピポーラ画像を生成する（ステップＳ１２４）。例えば、エピポーラ画像生成部１２は、ライトフィールド画像における同一行のｎ個のマイクロレンズ画像それぞれからｍ個の画素を行単位で抽出した場合、ｍ行ｎ列に配置された画素からなるエピポーラ画像を生成することになる。

【0020】

エピポーラ画像生成部１２は、選択したライトフィールド画像における全ての行に対してステップＳ１２２からステップＳ１２４までの処理を施したか否かを判定する（ステップＳ１２５）。未処理の行がある場合（ステップＳ１２５：ＮＯ）、エピポーラ画像生成部１２は処理をステップＳ１２２に戻して、選択したライトフィールド画像の全ての行に対して処理が行われるまで、ステップＳ１２２からステップＳ１２４までの処理を繰り返す。一方、全ての行に対して処理を終えた場合（ステップＳ１２５：ＹＥＳ）、エピポーラ画像生成部１２は処理をステップＳ１２６に進める。

【0021】

エピポーラ画像生成部１２は、画像取得部１１が取得した全てのライトフィールド画像に対してステップＳ１２１からステップＳ１２５までの処理を施したか否かを判定する（ステップＳ１２６）。未処理のライトフィールド画像がある場合（ステップＳ１２６：ＮＯ）、エピポーラ画像生成部１２は処理をステップＳ１２１に戻して、取得した全てのライトフィールド画像に対して処理が行われるまで、ステップＳ１２１からステップＳ１２５までの処理を繰り返す。一方、全てのライトフィールド画像に対して処理を終えた場合（ステップＳ１２６：ＹＥＳ）、エピポーラ画像生成部１２はエピポーラ画像を生成する処理を終了する。

【0022】

エピポーラ画像生成部１２は、上述の処理を行うことにより、複数のライトフィールド画像それぞれに対して、複数のエピポーラ画像を生成する。エピポーラ画像生成部１２は、生成した複数のエピポーラ画像と当該エピポーラ画像の元になったライトフィールド画像とを対応付けて画像補正部１３に出力する。

【0023】

画像補正部１３は、エピポーラ画像生成部１２が出力する複数のライトフィールド画像のうちいずれか一つのライトフィールド画像を基準画像とし、基準画像のエピポーラ画像と比較対象画像のエピポーラ画像とに基づいて、基準画像のエピポーラ画像に対する比較対象画像のエピポーラ画像の位置ずれを補正する。例えば、画像補正部１３は、比較対象画像のエピポーラ画像に対して座標変換を行うことによって比較対象画像のエピポーラ画像を基準画像のエピポーラ画像と同一座標のエピポーラ画像に変換する。

【0024】

図４は、画像補正部１３が行う補正処理を示すフローチャートである。
画像補正部１３は、エピポーラ画像生成部１２が複数のエピポーラ画像を生成した後にそれらのエピポーラ画像を取得すると、画像取得部１１が取得した全てのライトフィールド画像からいずれか一つのライトフィールド画像を選択する。画像補正部１３は、選択した一つのライトフィールド画像を基準画像に設定する（ステップＳ２０１）。なお、基準画像に設定するライトフィールド画像の選択は、画像補正装置１を操作するユーザの指示に従って選択してもよいし、他のライトフィールド画像との重複領域が最も多いライトフィールド画像を選択してもよいし、ランダムに選択してもよい。

【0025】

画像補正部１３は、基準画像及び比較対象画像それぞれから生成された複数のエピポーラ画像のうち、未処理のエピポーラ画像をそれぞれ一つ選択する（ステップＳ２０２）。画像補正部１３は、比較対象画像から生成されたエピポーラ画像と、基準画像から生成されたエピポーラ画像との間の座標位置におけるずれ量を算出する（ステップＳ２０３）。画像補正部１３が算出するずれ量には、例えば二つのエピポーラ画像において類似する領域を重ね合わせた際のエピポーラ画像間のずれを示す値が用いられる。

【0026】

画像補正部１３は、比較対象画像のエピポーラ画像に対して、算出したずれ量に基づく座標変換を行うことによって比較対象画像のエピポーラ画像の位置ずれを補正する（ステップＳ２０４）。この処理により、画像補正部１３は、比較対象画像のエピポーラ画像を基準画像のエピポーラ画像と同一座標系のエピポーラ画像に変換する。画像補正部１３は、比較対象画像の全てのエピポーラ画像に対してステップＳ２０２からステップＳ２０４までの処理を施したか否かを判定する（ステップＳ２０５）。

【0027】

未処理のエピポーラ画像がある場合（ステップＳ２０５：ＮＯ）、画像補正部１３は処理をステップＳ２０２に戻して、比較対象画像の全てのエピポーラ画像に対して処理が行なわれるまで、ステップＳ２０２からステップＳ２０４までの処理を繰り返す。
一方、全てのエピポーラ画像に対して処理を終えた場合（ステップＳ２０５：ＹＥＳ）、画像補正部１３は補正処理を終了する。

【0028】

画像補正装置１は、上述の処理を行なう各機能部を有することによって、複数の地点から撮影された複数のライトフィールド画像の位置ずれを補正することができる。
以下では、図を参照して、上述した画像補正装置１がエピポーラ画像間の位置ずれを補正するときの具体的な手順について詳細に説明する。

【0029】

（画像取得部１１の動作）
メインレンズと撮像素子との間にマイクロレンズアレイが設けられたプレノプティックカメラをライトフィールドカメラとして用いて撮影を行い、複数のライトフィールド画像を取得する。プレノプティックカメラの内部においては、マイクロレンズアレイ及び撮像素子を微小なピンホールカメラアレイと見なすことができるため、メインレンズによって結像されたシーンの光学像を、これらの微小なピンホールカメラアレイを用いて撮影したことになる。例えば、ライトフィールドカメラとしてのプレノプティックカメラを水平なレールに乗せて等間隔に動かしながら撮影することにより得られた、画像間に重複領域を有する複数のライトフィールド画像を画像取得部１１が取得する。

【0030】

（エピポーラ画像生成部１２の動作）
図５は、エピポーラ画像生成部１２が行う処理の一例を示す図である。
［ステップＳ１２２］
プレノプティックカメラで撮影したライトフィールド画像は、図５に示すように、マイクロレンズで撮影された小画像（マイクロレンズ画像６０１）で構成される。また、図５の下図に示されるグリッド線は、ライトフィールド画像の画素を示す。エピポーラ画像生成部１２は、公知の円検出方法などを用いて、マイクロレンズ画像６０１を検出する。エピポーラ画像生成部１２は、検出したマイクロレンズ画像６０１の輪郭に沿って、処理対象となっている行に並べられているマイクロレンズ画像６０１を抽出する。例えば、エピポーラ画像生成部１２が、図５の下図に示される複数のマイクロレンズ画像のうち、１行目に並べられている複数のマイクロレンズ画像を抽出したとする。

【0031】

［ステップＳ１２３］
エピポーラ画像生成部１２は、抽出した行におけるマイクロレンズ画像のうち、着目しているマイクロレンズ画像６０３から同一行の画素（画素行）６０４を行単位で抽出する。
［ステップＳ１２４］
全てのマイクロレンズ又はマイクロレンズ画像の番号を２次元のパラメータ（ｘ，ｙ）で定義することができる。ここでは、ライトフィールド画像の原点を画像の左上の画素としたときに、最も左上に位置するマイクロレンズ画像の番号を（ｘ，ｙ）＝（０，０）とする。右側に隣接するマイクロレンズ画像に進むごとにｘの値は、１ずつインクリメントされ、下側に隣接するマイクロレンズ画像に進むごとにｙの値は１ずつインクリメントされる。エピポーラ画像生成部１２は、このマイクロレンズ画像の番号に基づいて、ステップＳ１２３において抽出した行単位の画素をエピポーラ画像の空間（エピポーラ画像空間）に配置してエピポーラ画像を生成する。

【0032】

なお、エピポーラ画像空間は、ｎ−ｉ空間で定義される空間である。ｎ軸の値は、マイクロレンズ画像の番号（ｘ，ｙ）のうちｘ又はｙのいずれかの値に対応する。ｉ軸の値は、マイクロレンズ画像における水平方向又は垂直方向の画素座標に対応する。なお、マイクロレンズ画像における画素座標は、マイクロレンズ画像の中心を原点とする座標系における座標である。

【0033】

例えば、ライトフィールド画像において行ごとにマイクロレンズ画像を選択し、選択したマイクロレンズ画像から同一行の画素を行単位で抽出する場合には、ｎ軸の値はマイクロレンズ画像の番号（ｘ，ｙ）のｘの値に対応し、ｉ軸の値はマイクロレンズ画像における各画素の水平方向の画素座標に対応する。また、ライトフィールド画像において列ごとにマイクロレンズ画像を選択し、選択したマイクロレンズ画像から同一列の画素を列単位で抽出する場合には、ｎ軸の値はマイクロレンズ画像の番号（ｘ，ｙ）のｙの値に対応し、ｉ軸の値はマイクロレンズ画像における各画素の垂直方向の画素座標に対応する。

【0034】

図５に示す例において、エピポーラ画像生成部１２は、着目しているマイクロレンズ画像６０３における中央の一行における画素６０４を行単位で抽出し、抽出した画素６０４をエピポーラ画像空間における画素列６０５に配置する。マイクロレンズ画像６０３の番号は（１，４）であり、マイクロレンズ画像６０３から抽出された画素６０４は、エピポーラ画像空間におけるｎ＝４の位置に配置される。

【0035】

［ステップＳ１２５］
エピポーラ画像生成部１２は、ステップＳ１２２からステップＳ１２４までの処理を繰り返すことにより、ライトフィールド画像における各行のマイクロレンズ画像それぞれに対して複数のエピポーラ画像を生成する。
［ステップＳ１２６］
エピポーラ画像生成部１２は、ステップＳ１２１からステップＳ１２５までの処理を繰り返すことにより、ライトフィールド画像ごとに複数のエピポーラ画像を生成する。すなわち、ライトフィールド画像における画素の行数分のエピポーラ画像が、ライトフィールド画像ごとに生成されることになる。エピポーラ画像生成部１２によって生成されるエピポーラ画像の一例を図６に示す。

【0036】

図６は、エピポーラ画像生成部１２によって生成されるエピポーラ画像の一例を表す図である。
図６に示されるエピポーラ画像は、エピポーラ画像生成部１２がステップＳ１２２の処理で抽出した行に含まれるマイクロレンズ画像それぞれから、各マイクロレンズ画像における同一行の画素を行単位で抽出し、抽出した各マイクロレンズ画像における行単位の画素をそれぞれエピポーラ画像空間における対応する画素列に配置することによって生成される。図６に示すエピポーラ画像には、２つの直線が示されている。これら２つの直線はそれぞれ被写体を表す。すなわち、図６に示すエピポーラ画像の元になったライトフィールド画像には２つの被写体が撮像されていたことが表されている。

【0037】

（画像補正部１３の動作）
図７は、画像補正部１３が行う処理の一例を示す図である。
［ステップＳ２０１］
画像補正部１３は、複数のライトフィールド画像のうち、上述したいずれかの方法に従って選択した一つのライトフィールド画像を基準画像に設定する。

【0038】

［ステップＳ２０２、Ｓ２０３］
画像補正部１３は、基準画像から生成される複数のエピポーラ画像のうち一つのエピポーラ画像を選択する。選択されたエピポーラ画像に対応するｎ−ｉがなすエピポーラ画像空間を基準画像のエピポーラ画像のエピポーラ画像空間とする。また、画像補正部１３は、比較対象画像から生成される複数のエピポーラ画像のうち一つのエピポーラ画像を選択する。画像補正部１３は、選択したエピポーラ画像を基準画像のエピポーラ画像からあるずれ量Δｎ_m、Δｉ_mだけ離れた位置に配置する。

【0039】

図７に示される例では、基準画像のエピポーラ画像がエピポーラ画像７０１に相当し、比較対象画像のエピポーラ画像がエピポーラ画像７０２に相当する。なお、比較対象画像のエピポーラ画像は、ステップＳ２０２の処理で選択された基準画像のエピポーラ画像の生成の際に使用されたマイクロレンズ画像の行及び画素行と同じマイクロレンズ画像の行及び画素行で生成された比較対象画像のエピポーラ画像である。

【0040】

画像補正部１３は、基準画像のエピポーラ画像７０１と、比較対象画像のエピポーラ画像７０２とのずれ量（Δｎ_m，Δｉ_m）を算出する。このとき、（Δｎ_m，Δｉ_m）が取り得る値の範囲は予め定められている。画像補正部１３は、ずれ量（Δｎ_m，Δｉ_m）の取り得る値ごとに、エピポーラ画像７０１とエピポーラ画像７０２との重複領域７０３における相関値を算出する。相関値には、例えば重複領域７０３におけるＳＳＤ（Sum of Squared Difference）などの公知の相関指標が用いられる。

【0041】

画像補正部１３は、算出した相関値のうち、最も相関が高いことを示す相関値に対応する（Δｎ_m，Δｉ_m）をずれ量として選択する。なお、ずれ量は画素列又は画素行において同じ値をとるものであるため、各行又は各列におけるエピポーラ画像において算出したずれ量の平均値や中間値、最頻値を算出してずれ量として選択してもよい。

【0042】

［ステップＳ２０４］
比較対象画像のエピポーラ画像のエピポーラ画像空間をｎ_ｍ−ｉ_ｍとすると、画像補正部１３は、比較対象画像のエピポーラ画像に対して、算出したずれ量（Δｎ_m，Δｉ_m）に基づく座標変換を行うことによって比較対象画像のエピポーラ画像の位置ずれを補正する。座標変換には、以下の式１が用いられる。

【0043】

【数1】

【0044】

［ステップＳ２０５］
画像補正部１３は、ステップＳ２０２からステップＳ２０４までの処理を繰り返すことによって、比較対象画像全てのエピポーラ画像の位置ずれを補正する。

【0045】

以上のように構成された画像補正装置１によれば、基準画像及び比較対象画像それぞれから生成されるエピポーラ画像を用いて、エピポーラ画像間のずれ量が算出される。そして、算出されたずれ量に基づいて画像補正装置１が比較対象画像のエピポーラ画像に対して座標変換を行う。この処理によって、エピポーラ画像間の位置ずれが補正される。これにより、複数の地点から撮影された複数のライトフィールド画像を同じ座標系で利用することができる。そのため、超解像処理、ケラレ補正及びパノラマ画像の合成が可能になる。

【0046】

＜変形例＞
エピポーラ画像生成部１２は、各ライトフィール画像において行ごとにマイクロレンズ画像を選択することに代えて、各ライトフィールド画像において列ごとにマイクロレンズ画像を選択してもよい。この場合、エピポーラ画像生成部１２は、選択した列のマイクロレンズ画像それぞれから列単位で画素を選択し、選択した一列の画素をマイクロレンズ画像の並び順で行方向に並べることによりエピポーラ画像を生成する。
重複領域を有するライトフィールド画像（比較対象画像）は、異なる位置におけるライトフィールドカメラの撮像素子（例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳイメージセンサ（CMOS image sensor））の物理的な位置が重複するようにライトフィールドカメラを移動させて取得したライトフィールド画像であってもよい。
本実施形態において、画像補正装置１は一つの装置として構成される場合について説明した。しかし、本実施形態における構成に限ることなく、画像取得部１１、エピポーラ画像生成部１２及び画像補正部それぞれが独立した装置で構成され、各装置が相互に通信可能に接続された画像生成システムとして構成してもよい。

【0047】

なお、本発明の画像補正装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像補正装置１の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0048】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0049】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0050】

１…画像補正装置， １１…画像取得部， １２…エピポーラ画像生成部， １３…画像補正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】