特許 6802848 画像処理装置、撮像システム、画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6802848

(24)【登録日】2020年12月1日

(45)【発行日】2020年12月23日

(54)【発明の名称】画像処理装置、撮像システム、画像処理方法および画像処理プログラム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20201214BHJP

【ＦＩ】

   G06T3/00 750

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2018-543485(P2018-543485)

(86)(22)【出願日】2016年10月3日

(86)【国際出願番号】JP2016079257

(87)【国際公開番号】WO2018066027

(87)【国際公開日】20180412

【審査請求日】2019年10月2日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】岡澤 淳郎

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２０１１−０２２８０５（ＪＰ，Ａ）

【文献】 特開２０１３−０７２８１３（ＪＰ，Ａ）

【文献】 特開２０１５−２２４９０９（ＪＰ，Ａ）

【文献】 国際公開第２００９／１０７１９７（ＷＯ，Ａ１）

【文献】 島村 潤 他，プロジェクタ・カメラシステムにおける射影変換行列と直線パターン検出に基づく複数平面の検出，映像情報メディア学会誌，日本，（社）映像情報メディア学会，２００７年 １月 １日，第61巻 第1号，pp.76-84

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ ３／４０

Ｈ０４Ｎ １／３８７

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

被写体を撮影して得られる複数の画像の内の基準となる基準画像の各画素に対する該基準画像以外の１枚以上の参照画像の各画素の位置ずれ量を射影変換行列を用いて算出する位置ずれ量算出部と、
該位置ずれ量算出部により算出された前記位置ずれ量に基づいて変換した前記参照画像を前記基準画像に合成して、合成画像を生成する画像合成部とを備え、
前記位置ずれ量算出部が、前記参照画像における前記位置ずれ量が異なる平面ごとに前記射影変換行列を算出する多平面射影変換行列算出部と、前記平面ごとに算出された各前記射影変換行列を用いて前記参照画像を変換した複数の位置合わせ画像を生成し、これら複数の位置合わせ画像と前記基準画像との各差分値に基づき、前記参照画像の各画素が属する前記平面およびこれら平面ごとに適用する前記射影変換行列を選択した平面マップを生成する平面選択部と、前記平面マップにおける前記射影変換行列の選択の誤りを抑制する選択エラー低減処理部と、前記射影変換行列の選択の誤りが抑制された前記平面マップに基づき、前記平面ごとに前記位置ずれ量の演算処理を行う演算処理部とを備え、
前記選択エラー低減処理部が、前記平面選択部により前記位置合わせ画像を生成する際の前記射影変換行列を用いた幾何変換に起因する前記射影変換行列の選択の誤りを抑制する変換誤差低減処理部を備え、
前記変換誤差低減処理部が、前記平面マップに膨張処理を施した後に収縮処理を施す画像処理装置。

【請求項2】

前記膨張処理が、前記平面マップにおける対象となる複数の前記画素の内の最大の画素値で前記対象となる複数の画素を置き換え、前記収縮処理が、前記平面マップにおける対象となる前記複数の画素の内の最小の画素値で前記対象となる複数の画素を置き換える請求項１に記載の画像処理装置。

【請求項3】

前記選択エラー低減処理部が、ノイズに起因する前記射影変換行列の選択の誤りを抑制するマップフィルタ処理部を備える請求項２に記載の画像処理装置。

【請求項4】

前記マップフィルタ処理部が、前記平面マップに対してメディアンフィルタ処理を施す請求項３に記載の画像処理装置。

【請求項5】

前記選択エラー低減処理部が、前記平面マップを縮小するマップ縮小処理部と、該マップ縮小処理部により縮小された前記平面マップを縮小前の解像度に戻すマップ拡大処理部とを備える請求項１から請求項４のいずれかに記載の画像処理装置。

【請求項6】

前記マップ縮小処理部が、前記選択エラー低減処理部により前記射影変換行列の選択の誤りが抑制される前に前記平面マップの解像度を低減し、
前記マップ拡大処理部が、前記選択エラー低減処理部により前記射影変換行列の選択の誤りが抑制された後に、前記平面マップの解像度を拡大する請求項５に記載の画像処理装置。

【請求項7】

被写体の複数の画像を取得する撮像部と、
該撮像部により取得された前記複数の画像を処理する請求項６に記載の画像処理装置とを備える撮像システム。

【請求項8】

被写体を撮影して得られる複数の画像の内の基準となる基準画像の各画素に対する該基準画像以外の１枚以上の参照画像の各画素の位置ずれ量を射影変換行列を用いて算出する位置ずれ量算出工程と、
該位置ずれ量算出工程により算出された前記位置ずれ量に基づいて変換した前記参照画像を前記基準画像に合成して、合成画像を生成する画像合成工程とを含み、
前記位置ずれ量算出工程が、前記参照画像における前記位置ずれ量が異なる平面ごとに前記射影変換行列を算出する多平面射影変換行列算出工程と、前記平面ごとに算出された各前記射影変換行列を用いて前記参照画像を変換した複数の位置合わせ画像を生成し、これら複数の位置合わせ画像と前記基準画像との差分値に基づき、前記参照画像の各画素が属する前記平面およびこれら平面ごとに適用する前記射影変換行列を選択した平面マップを生成する平面選択工程と、前記平面マップにおける前記射影変換行列の選択の誤りを抑制する選択エラー低減処理工程と、前記射影変換行列の選択の誤りが抑制された前記平面マップに基づき、前記平面ごとに前記位置ずれ量の算出処理を行う演算処理工程とを含み、
前記選択エラー低減処理工程が、前記平面選択工程により前記位置合わせ画像を生成する際の前記射影変換行列を用いた幾何変換に起因する前記射影変換行列の選択の誤りを抑制する変換誤差低減工程を含み、
前記変換誤差低減工程では、前記平面マップに膨張処理を施した後に収縮処理を施す画像処理方法。

【請求項9】

被写体を撮影して得られる複数の画像の内の基準となる基準画像の各画素に対する該基準画像以外の参照画像の各画素の位置ずれ量を射影変換行列を用いて算出する位置ずれ量算出工程と、
該位置ずれ量算出工程により算出された前記位置ずれ量に基づいて変換した前記参照画像を前記基準画像に合成して、合成画像を生成する画像合成工程とをコンピュータに実行させる画像処理プログラムであって、
前記位置ずれ量算出工程が、前記参照画像における前記位置ずれ量が異なる平面ごとに前記射影変換行列を算出する多平面射影変換行列算出工程と、前記平面ごとに算出された各前記射影変換行列を用いて前記参照画像を変換した複数の位置合わせ画像を生成し、これら複数の位置合わせ画像と前記基準画像との差分値に基づき、前記参照画像の各画素が属する前記平面およびこれら平面ごとに適用する前記射影変換行列を選択した平面マップを生成する平面選択工程と、前記平面マップにおける前記射影変換行列の選択の誤りを抑制する選択エラー低減処理工程と、前記射影変換行列の選択の誤りが抑制された前記平面マップに基づき、前記平面ごとに前記位置ずれ量の算出処理を行う演算処理工程とを含み、
前記選択エラー低減処理工程が、前記平面選択工程により前記位置合わせ画像を生成する際の前記射影変換行列を用いた幾何変換に起因する前記射影変換行列の選択の誤りを抑制する変換誤差低減工程を含み、
前記変換誤差低減工程では、前記平面マップに膨張処理を施した後に収縮処理を施す画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像システム、画像処理方法および画像処理プログラムに関するものである。

【背景技術】

【0002】

従来、複数枚の画像を位置合わせする技術の１つとして、各画素位置の位置ずれ量を射影変換行列でモデル化する手法がある。これは、複数枚の撮像画像の中から任意に設定された基準画像と参照画像に対して、オプティカルフローや特徴点マッチング等で画像の特徴的な領域の位置ずれ量を求めた後、その位置ずれ量の情報から画面全体の幾何的な変化を推定することで各画素位置の位置ずれ量を求める手法である。

【0003】

各画素位置の位置ずれ量を射影変換行列を用いて求める場合、奥行きのある物体が含まれなければ、画像全体がどの方向にどれだけ移動したかを正しく算出することができる。しかし、複数の平面が混在するような奥行きのある物体が含まれる場合は、異なる平面の領域で位置ずれ量が大きく異なるため、その領域ごとに異なる位置ずれ量を考慮する必要がある。適切な領域に適切な位置ずれ量を適用できない場合は、正しく位置合わせができず、合成した画像にアーチファクト（データエラー）が発生してしまう。

【0004】

このような問題を解決して合成画像を生成する装置として、特許文献１に記載の画像処理装置が知られている。特許文献１に記載の画像処理装置は、アーティファクトを抑制するために、まず位置ずれ量を表す射影変換行列を複数求める。射影変換行列は、複数の平面が混在する被写体において、いずれかの平面に最適な射影変換行列を示す。射影変換行列を切り替えながら、一旦、位置ずれ量を適用した画像（以降、位置合わせ画像という。）を複数生成し、これら位置合わせ画像と基準画像との差分値を求める。差分値が大きい領域は位置ずれ量が異なる他の平面領域だと判断し、差分値が最も小さい位置合わせ画像を生成する際に用いた射影変換行列をその画素における適用すべき射影変換行列として選択する。そして、全画素の選択結果（平面マップ）を用いて、適切な領域に適切な位置ずれ量を適用し、合成画像のアーティファクトの抑制を行っている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第５４９９２６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載の画像処理装置では、位置合わせ画像と基準画像の差分が、平面が異なる要因以外にも、特に位置合わせ時の射影変換によるエッジなどの高周波成分の変化によって発生し得る。そのため、単純に位置合わせ画像と基準画像の差分値を用いただけでは、正しく平面を選択できず、奥行がある被写体で位置ずれが発生し、合成画像にアーティファクトが発生するという問題がある。

【0007】

本発明は、上述した事情に鑑みてなされたものであって、奥行きがあり複数の平面が混在するような被写体についても、位置ずれによるアーティファクトを抑制した高精細な合成画像を生成することができる画像処理装置、撮像システム、画像処理方法および画像処理プログラムを提供することを目的としている。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の第１態様は、被写体を撮影して得られる複数の画像の内の基準となる基準画像の各画素に対する該基準画像以外の１枚以上の参照画像の各画素の位置ずれ量を射影変換行列を用いて算出する位置ずれ量算出部と、該位置ずれ量算出部により算出された前記位置ずれ量に基づいて変換した前記参照画像を前記基準画像に合成して、合成画像を生成する画像合成部とを備え、前記位置ずれ量算出部が、前記参照画像における前記位置ずれ量が異なる平面ごとに前記射影変換行列を算出する多平面射影変換行列算出部と、前記平面ごとに算出された各前記射影変換行列を用いて前記参照画像を変換した複数の位置合わせ画像を生成し、これら複数の位置合わせ画像と前記基準画像との各差分値に基づき、前記参照画像の各画素が属する前記平面およびこれら平面ごとに適用する前記射影変換行列を選択した平面マップを生成する平面選択部と、前記平面マップにおける前記射影変換行列の選択の誤りを抑制する選択エラー低減処理部と、前記射影変換行列の選択の誤りが抑制された前記平面マップに基づき、前記平面ごとに前記位置ずれ量の演算処理を行う演算処理部とを備える画像処理装置である。

【0009】

本態様によれば、位置ずれ量算出部において、多平面射影変換行列算出部により、参照画像における基準画像との位置ずれ量が異なる平面ごとに射影変換行列が算出され、平面選択部により、各射影変換行列により参照画像が変換された複数の位置合わせ画像が生成される。そして、平面選択部により、各位置合わせ画像と基準画像との差分値に基づいて、参照画像の各画素が属する平面およびこれら平面ごとに適用される射影変換行列が選択された平面マップが生成され、演算処理部により、平面マップに基づいて平面ごとに位置ずれ量が算出される。これにより、画像合成部において、算出された位置ずれ量に基づいて参照画像が変換されて、平面の領域ごとの基準画像との位置ずれが解消され、参照画像と基準画像とが位置合わせされた合成画像が生成される。

【0010】

ここで、平面の領域が異なる要因以外にも、他の要因により位置合わせ画像と基準画像とに差分が生じ、適用する射影変換行列の選択に誤りが生じることがある。この場合において、選択エラー低減処理部により、平面マップにおける射影変換行列の選択の誤りが抑制されることで、適切な平面マップに基づいて、適切な領域に適切な位置ずれ量を適用することができる。これにより、奥行きがあり複数の平面が混在するような被写体についても、位置ずれによるアーティファクトを抑制した高精細な合成画像を生成することができる。

【0011】

上記態様においては、前記選択エラー低減処理部が、前記平面選択部により前記位置合わせ画像を生成する際の前記射影変換行列を用いた幾何変換に起因する前記射影変換行列の選択の誤りを抑制する変換誤差低減処理部を備えることとしてもよい。

【0012】

平面選択部により生成される位置合わせ画像には、射影変換行列を用いた幾何変換によって高周波成分（エッジ等）の絵柄変化が発生することがあり、絵柄変化が発生した位置合わせ画像と基準画像とでは差分値が大きく出てしまい、適用する射影変換行列の選択に誤りが生じることになる。変換誤差低減処理部により、射影変換行列を用いた幾何変換に起因する射影変換行列の選択の誤りを抑制することで、幾何変換による高周波成分の変化の影響を低減し、演算処理部により、適切な平面マップに基づいて、平面ごとに適切な位置ずれ量を算出することができる。

【0013】

上記態様においては、前記変換誤差低減処理部が、前記平面マップに膨張処理を施した後に収縮処理を施すこととしてもよい。
このように構成することで、平面ごとに正しく選択された射影変換行列は維持されたまま、誤って選択された射影変換行列を正すことができる。

【0014】

上記態様においては、前記膨張処理が、前記平面マップにおける対象となる複数の前記画素の内の最大の画素値で前記対象となる複数の画素を置き換え、前記収縮処理が、前記平面マップにおける対象となる前記複数の画素の内の最小の画素値で前記対象となる複数の画素を置き換えることとしてもよい。

【0015】

このように構成することで、膨張処理により、対象となる複数の画素内のエッジや孤立点が周辺の画素値によって置き換えられる一方、収縮処理により、対象となる複数の画素を含む領域において膨張処理により削られた領域の射影変換行列を復元することができる。

【0016】

上記態様においては、前記選択エラー低減処理部が、ノイズに起因する前記射影変換行列の選択の誤りを抑制するマップフィルタ処理部を備えることとしてもよい。

【0017】

ノイズの影響により位置合わせ画像と基準画像の差分が大きくなるかもしくは小さくなると、適用する射影変換行列の選択に誤りが生じることがある。マップフィルタ処理部により、ノイズに起因する射影変換行列の選択の誤りを抑制することで、ノイズの影響を低減し、演算処理部により、適切な平面マップに基づいて、平面ごとに適切な位置ずれ量を算出することができる。

【0018】

上記態様においては、前記マップフィルタ処理部が、前記平面マップに対してメディアンフィルタ処理を施すこととしてもよい。
ノイズに起因する選択エラーの場合、孤立点のようにランダム的に異なる平面が存在するため、メディアンフィルタ処理を施すことで、被写体としての連続性を維持していない、孤立点のようにランダム的に発生する選択の誤りを効率的に抑制することができる。

【0019】

上記態様においては、前記選択エラー低減処理部が、前記平面マップを縮小するマップ縮小処理部と、該マップ縮小処理部により縮小された前記平面マップを縮小前の解像度に戻すマップ拡大処理部とを備えることとしてもよい。

【0020】

このように構成することで、マップ縮小処理部により縮小された状態の平面マップにおける射影変換行列の選択の誤りを抑制すれば、平面マップが縮小されている分だけ、射影変換行列の選択の誤りを抑制するための演算量を削減することができる。

【0021】

上記態様においては、前記マップ縮小処理部が、前記選択エラー低減処理部により前記射影変換行列の選択の誤りが抑制される前に前記平面マップの解像度を低減し、
前記マップ拡大処理部が、前記選択エラー低減処理部により前記射影変換行列の選択の誤りが抑制された後に、前記平面マップの解像度を拡大することとしてもよい。
このように構成することで、演算量を効果的に削減することができる。

【0022】

本発明の第２態様は、被写体の複数の画像を取得する撮像部と、該撮像部により取得された前記複数の画像を処理する上記いずれかの画像処理装置とを備える撮像システムである。
本態様によれば、奥行きがあり複数の平面が混在するような被写体についても、撮像部により取得された被写体の複数の画像を用いて、画像処理装置により、位置ずれによるアーティファクトを抑制した高精細な合成画像を生成することができる。

【0023】

本発明の第３態様は、被写体を撮影して得られる複数の画像の内の基準となる基準画像の各画素に対する該基準画像以外の１枚以上の参照画像の各画素の位置ずれ量を射影変換行列を用いて算出する位置ずれ量算出工程と、該位置ずれ量算出工程により算出された前記位置ずれ量に基づいて変換した前記参照画像を前記基準画像に合成して、合成画像を生成する画像合成工程とを含み、前記位置ずれ量算出工程が、前記参照画像における前記位置ずれ量が異なる平面ごとに前記射影変換行列を算出する多平面射影変換行列算出工程と、前記平面ごとに算出された各前記射影変換行列を用いて前記参照画像を変換した複数の位置合わせ画像を生成し、これら複数の位置合わせ画像と前記基準画像との差分値に基づき、前記参照画像の各画素が属する前記平面およびこれら平面ごとに適用する前記射影変換行列を選択した平面マップを生成する平面選択工程と、前記平面マップにおける前記射影変換行列の選択の誤りを抑制する選択エラー低減処理工程と、前記射影変換行列の選択の誤りが抑制された前記平面マップに基づき、前記平面ごとに前記位置ずれ量の算出処理を行う演算処理工程と含む画像処理方法である。

【0024】

本態様によれば、位置ずれ量算出工程において、多平面射影変換行列算出工程により、参照画像における位置ずれ量が異なる平面ごとに射影変換行列が算出され、平面選択工程により、射影変換行列が切り替えられながら参照画像が変換された複数の位置合わせ画像が生成される。そして、平面選択工程により、各位置合わせ画像と基準画像との差分値に基づいて、参照画像の各画素が属する平面およびこれら平面ごとに適用される射影変換行列が選択された平面マップが生成され、演算処理工程により、平面マップに基づいて平面ごとに位置ずれ量が算出される。これにより、画像合成工程において、算出された位置ずれ量に基づいて参照画像が変換されて、平面の領域ごとの基準画像との位置ずれが解消され、参照画像と基準画像とが位置合わせされた合成画像が生成される。

【0025】

この場合において、選択エラー低減処理工程により射影変換行列の選択の誤りが抑制されることで、適切な平面マップに基づいて、適切な領域に適切な位置ずれ量を適用することができる。これにより、奥行きがあり複数の平面が混在するような被写体についても、位置ずれによるアーティファクトを抑制した高精細な合成画像を生成することができる。

【0026】

本発明の第４態様は、被写体を撮影して得られる複数の画像の内の基準となる基準画像の各画素に対する該基準画像以外の参照画像の各画素の位置ずれ量を射影変換行列を用いて算出する位置ずれ量算出工程と、該位置ずれ量算出工程により算出された前記位置ずれ量に基づいて変換した前記参照画像を前記基準画像に合成して、合成画像を生成する画像合成工程とをコンピュータに実行させる画像処理プログラムであって、前記位置ずれ量算出工程が、前記参照画像における前記位置ずれ量が異なる平面ごとに前記射影変換行列を算出する多平面射影変換行列算出工程と、前記平面ごとに算出された各前記射影変換行列を用いて前記参照画像を変換した複数の位置合わせ画像を生成し、これら複数の位置合わせ画像と前記基準画像との差分値に基づき、前記参照画像の各画素が属する前記平面およびこれら平面ごとに適用する前記射影変換行列を選択した平面マップを生成する平面選択工程と、前記平面マップにおける前記射影変換行列の選択の誤りを抑制する選択エラー低減処理工程と、前記射影変換行列の選択の誤りが抑制された前記平面マップに基づき、前記平面ごとに前記位置ずれ量の算出処理を行う演算処理工程とを含む画像処理プログラムである。

【0027】

本態様によれば、コンピュータの実行により、位置ずれ量算出工程においては、多平面射影変換行列算出工程によって、参照画像における位置ずれ量が異なる平面ごとに射影変換行列が算出され、平面選択工程によって、射影変換行列が切り替えられながら参照画像が変換された複数の位置合わせ画像が生成される。そして、平面選択工程によって、各位置合わせ画像と基準画像との差分値に基づいて、参照画像の各画素が属する平面およびこれら平面ごとに適用される射影変換行列が選択された平面マップが生成され、演算処理工程によって、平面マップに基づいて平面ごとに位置ずれ量が算出される。これにより、画像合成工程においては、算出された位置ずれ量に基づいて参照画像が変換されて、平面の領域ごとの基準画像との位置ずれが解消され、参照画像と基準画像とが位置合わせされた合成画像が生成される。

【0028】

この場合において、選択エラー低減処理工程によって射影変換行列の選択の誤りが抑制されることで、適切な平面マップに基づいて、適切な領域に適切な位置ずれ量を適用することができる。これにより、コンピュータに実行によって、奥行きがあり複数の平面が混在するような被写体についても、位置ずれによるアーティファクトを抑制した高精細な合成画像を生成することができる。

【発明の効果】

【0029】

本発明によれば、装置を大型化させることなく、奥行きがあり複数の平面が混在するような被写体についても、位置ずれによるアーティファクトを抑制した高精細な合成画像を生成するという効果を奏する。

【図面の簡単な説明】

【0030】

【図1】本発明の一実施形態に係る撮像システムの構成例の概略を示すブロック図である。

【図2】図１の画像処理部の構成例の概略を示すブロック図である。

【図3】図２の位置合わせ量算出部の構成例の概略を示すブロック図である。

【図4】奥行の距離が異なる２つの被写体を撮影した投影像の一例を示す図である。

【図5】カメラを平行移動させた場合の図４の被写体の投影像の一例を示す図である。

【図6】本発明の一実施形態に係る画像処理方法を説明するフローチャートである。

【図7】図６の位置ずれ量算出工程を説明するフローチャートである。

【図8】平面による位置ずれ量の違いと位置ずれ量によるグルーピングを説明する図である。

【図9】位置合わせ画像の差分値を用いた平面選択を説明する図である。

【図10】平面マップの縮小方法を説明する図である。

【図11】基準画像と参照画像の間でカメラが２０°回転運動した場合にサンプリングされる画像データの一例を示す図である。

【図12】射影変換行列を用いて参照画像をデジタル的に幾何変換した画像データの一例を示す図である。

【図13】平面マップの膨張処理を説明する図である。

【図14】平面マップの収縮処理を説明する図である。

【発明を実施するための形態】

【0031】

本発明の一実施形態に係る画像処理装置、撮像システム、画像処理方法および画像処理プログラムについて図面を参照して以下に説明する。
本実施形態に係る撮像システム１００は、例えば、デジタルカメラである。この撮像システム１００は、図１に示されるように、被写体（図示略）の複数の画像を取得する撮像部１と、Ａ−ＡＭＰ（Ａｎａｌｏｇｕｅ Ａｍｐｌｉｆｉｅｒ）３と、ＡＤＣ（Ａｎａｌｏｇｅ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）５と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７と、画像処理部（画像処理装置）９と、ビデオエンコーダ１１と、表示部１３と、ＣＰＵ１５と、操作部１７と、ＦＬＡＳＨメモリ１９とを備えている。

【0032】

撮像部１は、被写体からの光を集光する撮影レンズ２１と、撮影レンズ２１により集光された光束の量を制限する絞り２３と、絞り２３を通過した光を遮断可能なメカシャッタ２５と、メカシャッタ２５を通過した光を撮影する撮像素子２７とを備えている。

【0033】

撮影レンズ２１は、被写体の像を撮像素子２７に形成するための単一または複数のレンズから構成された光学系である。撮影レンズ２１としては、単焦点レンズでもズームレンズでもよい。
絞り２３は、撮影レンズ２１の光軸上に配置されており、その口径を変化し得るように構成されている。

【0034】

メカシャッタ２５は、絞り２３の後方に配置され、開閉自在に構成されている。メカシャッタ２５の開放時間を調節することにより、被写体からの被写体光束が撮像素子２７に入射する入射時間を調節することができるようになっている。すなわち、メカシャッタ２５は、撮像素子２７の露光時間を調整することができるようになっている。メカシャッタ２５としては、公知のフォーカルプレーンシャッタやレンズシャッタ等が採用され得る。

【0035】

撮像素子２７は、撮影レンズ２１の光軸上であって、メカシャッタ２５の後方で、かつ撮影レンズ２１により被写体光束が結像される位置に配置されている。この撮像素子２７は、画素を構成するフォトダイオード（図示略）が二次元的に配置されて構成されている。

【0036】

撮像素子２７を構成するフォトダイオードは、受光量に応じた電荷を生成するようになっている。フォトダイオードにおいて発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積されるようになっている。ＣＰＵ１５からの制御信号に従い、キャパシタに蓄積された電荷が画像信号として読み出されるようになっている。

【0037】

画素を構成するフォトダイオードの前面には、例えば、ベイヤ配列のカラーフィルタ（図示略）が配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有している。

【0038】

Ａ−ＡＭＰ３は、撮像素子２７から送られてくる画像信号のアナログゲイン調整を行うようになっている。
ＡＤＣ５は、アナログデジタル変換器であり、Ａ−ＡＭＰ３によってアナログゲイン調整された画像信号をデジタル形式の画像信号（画素データ）に変換するようになっている。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。また、画素データによって示される各々の画素に係る値を画素値と記す。ＡＤＣ５により作成された撮像データは、ＤＲＡＭ７に書き込まれるようになっている。

【0039】

ＤＲＡＭ７は、電気的に書き換え可能なメモリであり、撮像データ（画素データ）、記録用画像データ、表示用画像データ、ＣＰＵ１５における処理データといった各種データを一時的に記憶することができるようになっている。一時的な記憶用としては、ＤＲＡＭ７に代えて、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が用いられてもよい。

【0040】

画像処理部９は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって構成されている。この画像処理部９は、ＤＲＡＭ７から画像データを読み出して画像処理を行い、表示用画像データおよび記録用画像データとしてＤＲＡＭ７に書き戻すようになっている。

【0041】

また、画像処理部９は、例えば、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成し、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成するようになっている。さらに、画像処理部９は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成するようになっている。

【0042】

このような画像処理部９は、図２に示すように、位置合わせ量算出部（位置ずれ量算出部）２９と、画像合成部３１と、ホワイトバランス（ＷＢ）補正処理部３３と、同時化処理部３５と、輝度特性変換部３７と、エッジ強調処理部３９と、ノイズ低減（ＮＲ：ノイズリダクション）処理部４１と、色再現処理部４３とを備えている。

【0043】

画像処理部９を構成する各種構成部としては、上述した構成部のみに限らず、他の構成部も含まれる。画像処理部９におけるその他の構成部としては、例えば、圧縮伸張処理部等がある。しかしながら、上述の構成部以外のその他の構成部については、本発明に直接関連しない部分であるので、それらの図示は省略し、またその説明も省略する。

【0044】

位置合わせ量算出部２９は、撮像部１により取得された複数の画像の内の基準となる基準画像と基準画像以外の１枚以上の参照画像をＤＲＡＭ７から読み出し、読み出した基準画像の各画素に対する参照画像の各画素の位置ずれ量を算出するようになっている。

【0045】

この位置合わせ量算出部２９について、図３を用いてさらに説明する。位置合わせ量算出部２９は、多平面射影変換行列算出部４５と、平面選択部４７と、選択エラー低減処理部４９と、演算処理部５１とを備えている。

【0046】

多平面射影変換行列算出部４５は、参照画像における位置ずれ量が異なる平面ごとに射影変換行列を算出するようになっている。具体的には、多平面射影変換行列算出部４５は、画像の特徴点を抽出して同一平面と想定される特徴点ごとにグルーピングし、グルーピングした特徴点の情報を用いて射影変換行列を求めるようになっている。射影変換行列はグループ数分算出される。

【0047】

ここで、図４に示すように、奥行２つの平面が存在する被写体を想定する。奥の被写体（木）Ｔは、手前の被写体（人物）Ｐよりも実世界上では大きい。しかし、奥の被写体Ｔは、手前の被写体Ｐよりも被写体距離が遠いため、撮像した投影像では小さくなる。そのため、奥の被写体Ｔの大きさが手前の被写体Ｐよりも実世界上ではるかに大きくとも、投影像上は奥の被写体Ｔと手前の被写体Ｐとが同等の大きさで映ることが有り得る。

【0048】

この状況において、例えば図５に示すように、カメラが平行移動したとすると、被写体距離の近い手前の被写体Ｐは投影像上で大きく運動するが、被写体距離の遠い奥の被写体Ｔは運動量が少ない。そのため、被写体距離の異なる各被写体Ｐ，Ｔの画像領域に応じて、位置ずれ量の違いが発生する。このように画像内で複数の位置ずれ量が存在することから、それを正しく位置合わせするために複数の射影変換行列が必要となる。

【0049】

平面選択部４７は、多平面射影変換行列算出部４５により算出された複数の射影変換行列の内、画素位置ごとにいずれの射影変換行列を用いて位置ずれ量を算出すべきかを判断するようになっている。具体的には、平面選択部４７は、まず、平面ごとに算出されたすべての射影変換行列を用いて参照画像を変換した複数の位置合わせ画像を生成するようになっている。そして、生成した複数の位置合わせ画像と基準画像との差分値を画素ごとに算出し、画素ごとに差分値が最も小さい位置合わせ画像を生成する際に用いた射影変換行列を選択して、参照画像の各画素が属する平面およびこれら平面ごとに適用する射影変換行列を選択した平面マップを生成するようになっている。

【0050】

選択エラー低減処理部４９は、図３に示すように、マップ縮小処理部５３と、マップフィルタ処理部５５と、変換誤差低減処理部５７と、マップ拡大処理部５９とを備え、平面マップにおける射影変換行列の選択の誤りを抑制するようになっている。

【0051】

マップ縮小処理部５３は、平面選択部４７により生成された各画素位置の所属する平面および適用すべき射影変換行列の情報、すなわち平面マップを縮小するようになっている。平面マップを縮小することで、後段のフィルタ処理における演算量を削減することができる。

【0052】

マップフィルタ処理部５５は、画像のノイズに起因する平面マップの選択エラーを抑制するようになっている。ノイズの影響により位置合わせ画像と基準画像の差分が大きくなるかもしくは小さくなると、適用する射影変換行列の選択に誤りが生じることがある。マップフィルタ処理部５５により、ノイズに起因する射影変換行列の選択の誤りを抑制することで、ノイズの影響を低減することができる。

【0053】

変換誤差低減処理部５７は、位置合わせ画像生成時の幾何変換に起因する平面選択の誤りを抑制するようになっている。位置合わせ画像には、射影変換行列を用いた幾何変換によって高周波成分（エッジ等）の絵柄変化が発生することがあり、絵柄変化が発生した位置合わせ画像と基準画像とでは差分値が大きく出てしまい、適用する射影変換行列の選択に誤りが生じることになる。変換誤差低減処理部５７により、射影変換行列を用いた幾何変換に起因する射影変換行列の選択の誤りを抑制することで、幾何変換による高周波成分の変化の影響を低減することができる。

【0054】

マップ拡大処理部５９は、マップ縮小処理部５３により縮小された平面マップを縮小前の解像度と同等となるように拡大するようになっている。

【0055】

演算処理部５１は、選択エラー低減処理部４９により射影変換行列の選択の誤りが抑制された平面マップに基づき、平面ごとに位置ずれ量の演算処理を行うようになっている。例えば、演算処理部５１は、まず、平面マップと射影変換行列を用いて、参照画像の基準画像上での座標を求めるようになっている。

【0056】

参照画像の座標位置をｘ，ｙとし、求められる基準画像上での座標位置をx'，y'とし、画素位置の平面選択結果をＰ（ｘ,ｙ）とする。
Ｐ（ｘ，ｙ）が平面Ａの場合は、基準画像上の座標位置ｘ’，ｙ’は式（１）により求められる。

【数1】

【0057】

また、Ｐ（ｘ，ｙ)が平面Ｂの場合は、基準画像上の座標位置ｘ’，ｙ’は式（２）により求められる。

【数2】

【0058】

そして、演算処理部５１は、式（３），（４）により位置ずれ量を算出するようになっている。
ｄｉｆ＿ｘ＝ｘ−ｘ’・・・（３）
ｄｉｆ＿ｙ＝ｙ−ｙ’・・・（４）
ここで、ｄｉｆ＿ｘ，ｄｉｆ＿ｙ: 参照画像の座標位置を基準画像の座標位置に位置合わせする際の位置ずれ量である。

【0059】

図２に戻り、画像合成部３１は、演算処理部５１により算出された位置ずれ量に基づいて、例えば参照画像に幾何学的な変換を施し、変換した参照画像を基準画像に合成して、合成画像を生成するようになっている。

【0060】

合成処理は、例えば、位置合わせ画像と基準画像の同じ座標位置の画素値を単純に加算平均する手法でもよく、手法を限定するものではない。また合成処理の目的もノイズリダクション、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）、超解像といった様々な目的が考えられ、これを限定するものではない。

【0061】

ホワイトバランス補正処理部３３は、画像合成部３１により生成された合成画像のデータの各色成分を所定のゲイン量で増幅し、合成画像の色バランスを補正するようになっている。

【0062】

同時化処理部３５は、例えば撮像素子２７の色フィルタのベイヤ配列に対応して撮像素子２７を介して出力される撮像データを用いて生成された合成画像において、１つの画素が１つの色成分に対応している撮像データについて、１つの画素が複数の色成分に対応している画像データに変換するようになっている。

【0063】

輝度特性変換部３７は、同時化処理部３５で生成された合成画像の輝度特性を表示や記録に適するように変換するようになっている。

【0064】

エッジ強調処理部３９は、輝度特性変換部３７からの合成画像の出力データ（画像データ）からバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、その結果を元の合成画像の画像データに加算して、対象とする合成画像の画像データにおけるエッジ（輪郭）成分を強調するようになっている。

【0065】

ノイズ低減処理部４１は、コアリング処理等を用いて、エッジ強調処理部３９からの合成画像の出力データ（画像データ）におけるノイズ成分を除去するようになっている。

【0066】

色再現処理部４３は、合成画像の色再現を適切なものとするための各種の処理を行うようになっている。色再現処理部４３により行われる処理としては、例えばカラーマトリクス演算処理等がある。カラーマトリクス演算処理は、合成画像のデータに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じるようになっている。色再現処理部４３では、この他に、例えば彩度・色相の補正処理等を行うようになっている。

【0067】

図１に戻り、ビデオエンコーダ１１は、画像処理部９によって生成されてＤＲＡＭ７に一時的に記憶された表示用画像データを読み出し、読み出した表示用画像データを表示部１３に出力するようになっている。

【0068】

表示部１３は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ））や有機ＥＬディスプレイであって、デジタルカメラの背面等に配置される。この表示部１３は、ビデオエンコーダ１１から送られてくる表示用画像データに従って画像を表示するようになっている。また、表示部１３は、ライブビュー表示や記録済み画像の表示等にも使用することができる。

【0069】

ＣＰＵ１５は、制御信号を発信し、撮像素子２７の制御、絞り２３の開口径制御、メカシャッタ２５の開閉制御、画像処理部９の駆動、ビデオエンコーダ１１の駆動および撮像システム１００の全体制御を行うようになっている。また、ＣＰＵ１５は、撮像素子２７により取得される画像が基準画像となるか参照画像となるかを判断するようになっている。

【0070】

操作部１７は、電源ボタン、レリーズボタン、再生ボタン、メニューボタンといった各種の操作ボタンおよびタッチパネル等の各種の操作部材を含んでいる。操作部１７により入力されたユーザからの指示は、ＣＰＵ１５による処理によって認識されるようになっている。

【0071】

ＦＬＡＳＨメモリ１９は、デジタルカメラとしての撮像システム１００に内蔵または装填自在に構成されており、記録用画像データを所定の形式の画像ファイルとして記録することができるようになっている。

【0072】

図１において、符号６１はバスを示している。バス６１は、ＡＤＣ５、ＤＲＡＭ７、ＣＰＵ１５、画像処理部９、ＦＬＡＳＨメモリ１９およびビデオエンコーダ１１に接続されている。これら各部で発生した各種のデータは、バス６１を介して転送されるようになっている。

【0073】

次に、本実施形態に係る画像処理部９を備える撮像システム１００を用いた画像処理方法について説明する。
本実施形態に係る画像処理方法は、図６のフローチャートに示されるように、被写体を撮影して得られる基準画像の各画素に対する１枚以上の参照画像の各画素の位置ずれ量を算出する位置ずれ量算出工程（ステップＳＡ５）と、位置ずれ量算出工程（ステップＳＡ５）により算出された位置ずれ量に基づいて変換した参照画像を基準画像に合成して、合成画像を生成する画像合成工程（ステップＳＡ６）とを含んでいる。

【0074】

位置ずれ量算出工程（ステップＳＡ５）は、図７のフローチャートに示されるように、参照画像における位置ずれ量が異なる平面ごとに射影変換行列を算出する多平面射影変換行列算出工程（ステップＳＢ１）と、多平面射影変換行列算出工程（ステップＳＢ１）により平面ごとに算出された各射影変換行列を用いて参照画像を変換した複数の位置合わせ画像を生成し、これら複数の位置合わせ画像と基準画像との差分値に基づいて平面マップを生成する平面選択工程（ステップＳＢ２）と、平面マップにおける射影変換行列の選択の誤りを抑制する選択エラー低減処理工程（ステップＳＢ３−ＳＢ６）と、射影変換行列の選択の誤りが抑制された平面マップに基づいて、平面ごとに位置ずれ量の算出処理を行う演算処理工程（ステップＳＢ７）と含んでいる。

【0075】

次に、このように構成された画像処理部９を備える撮像システム１００および画像処理方法の作用について説明する。
本実施形態に係る撮像システム１００による静止画記録の処理の一例を図６のフローチャートに示す。静止画記録は、例えば、ライブビュー表示中にレリーズボタンとしての操作部１７が押圧されたときに開始される。ここでは、静止画記録の処理について説明するが、動画記録の動作においても同様の処理が行われ得る。なお、図６を参照して説明する処理は、ＣＰＵ１５が制御を行い、画像処理部９のＡＳＩＣが実行する。これら処理に係るプログラムは、光ディスクや磁気ディスクや半導体メモリ等、各種記録媒体にも記録され得る。

【0076】

図６のフローチャートに示されるように、まず、ＣＰＵ１５の作動により、静止画記録用の撮影が開始され（ステップＳＡ１）、今回の撮影が基準画像となるか否かが判断される（ステップＳＡ２）。基準画像か否かの判断は、時系列的に連続撮影される静止画像群の中で、例えば最初の静止画か否かで判断する。

【0077】

今回の撮影が基準画像である場合は、撮影画像は基準画像としてバス６１を介してＤＲＡＭ７に書き込まれ（ステップＳＡ３）、次の撮影に移行される。ＤＲＡＭ７に書き込まれた基準画像は、連続撮影が終了するまでＤＲＡＭ７に保存される。
今回の撮影が基準画像でなかった場合は、撮影画像は参照画像としてバス６１を介してＤＲＡＭ７に保存される（ステップＳＡ４）。

【0078】

次に、ＤＲＡＭ７に保存されている基準画像および参照画像が画像処理部９により読み出され、位置合わせ量算出部２９により、位置ずれ量算出処理が行われる（ステップＳＡ５）。位置ずれ量算出処理の詳細については後述する。

【0079】

次に、画像合成部３１により、位置合わせ量算出部２９によって算出された位置ずれ量に基づいて参照画像に幾何学的な変換が施され、変換された参照画像が基準画像に合成されて、合成画像が生成される（ステップＳＡ６）。

【0080】

次いで、ＣＰＵ１５により、連続撮影が終了したか否かが判断される（ステップＳＡ７）。具体的には、ＣＰＵ１５により、連続撮影停止の指示が入力されたか否かが判定される。撮影停止の指示は、例えば、静止画撮影中に操作部１７としてのレリーズボタンが再度押圧されることで入力される。連続撮影停止の指示が入力されていないときは、次の参照画像の撮影のため、ステップＳＡ２に戻る。一方、撮影停止の指示が入力された場合は、ステップＳＡ８に進む。

【0081】

次いで、画像処理部９内のホワイトバランス補正処理部３３、同時化処理部３５、輝度特性変換部３７、エッジ強調処理部３９、ノイズ低減処理部４１、色再現処理部４３により、合成画像の現像処理が行われる（ステップＳＡ８）。

【0082】

画像処理部９において現像処理された合成画像は、バス６１を介してＤＲＡＭ７に書き込まれる（ステップＳＡ９）。
ＣＰＵ１５により、ＤＲＡＭ７に書き込まれた記録用の合成画像がＦＬＡＳＨメモリ１９に記録される（ステップＳＡ１０）。その後、処理は終了する。

【0083】

次に、ステップＳＡ５の位置ずれ量算出処理の詳細について、図７のフローチャートを参照して説明する。
位置ずれ量算出処理は、まず、多平面射影変換行列算出部４５により、参照画像における位置ずれ量が異なる平面ごとに射影変換行列が算出される（ステップＳＢ１）。具体的には、まず、多平面射影変換行列算出部４５により、画像内の特徴点抽出と特徴点マッチングが行われ、基準画像と参照画像の対応点の座標位置が求められる。対応点の抽出は、公知のオプティカルフローを用いた動きベクトルやＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）といった手法が用いられる。

【0084】

続いて、多平面射影変換行列算出部４５により、対応点のグルーピングが行われる。対応点のグルーピングは、単純に基準画像と参照画像の対応点の座標位置のずれ量が近しい対応点を同一グループにするやり方でもよいし、一旦、任意にグルーピングした対応点で射影変換行列を求めた後、例えば実際に参照画像の対応点の座標位置を基準画像上に射影し、座標位置の誤差が最小となるようにグループを更新していくような再帰的な処理で求めてもよく、手法を限定するものではない。

【0085】

本実施形態においては、例えば、図８に示すように、多平面射影変換行列算出部４５により、まず、位置ずれ量が異なる２つのグループＷ１，Ｗ２とそれぞれに属する対応点の座標が求められる。図８において、各グループＷ１，Ｗ２の黒丸は対応点を示している。
次いで、多平面射影変換行列算出部４５により、同一グループＷ１の対応点および同一グループＷ２の対応点がそれぞれ４点用いられて、射影変換行列が求められる。

【0086】

図８に示す例の場合は、２つのグループＷ１，Ｗ２が存在するため、下記式（３），（４）の様に、射影変換行列でモデル化される幾何変換関数が求められる。下記式（３），（４）は、未知数が８つの連立方程式となるため、４つの対応点を与えることで解くことができる。

【0087】

【数3】

ここで、ｘ１，ｙ１：位置ずれ量グループＷ１の基準画像上の対応点座標、ｘ２，ｙ２：位置ずれ量グループＷ１の基準画像上の対応点座標、Ｈ１〜Ｈ８：位置ずれ量グループＷ１の射影変換行列である。

【0088】

【数4】

ここで、ｘ１’，ｙ１'：位置ずれ量グループＷ２の参照画像上の対応点座標、ｘ２’,ｙ２’：位置ずれ量グループＷ２の参照画像上の対応点座標、Ｇ１〜Ｇ８：位置ずれ量グループＷ２の射影変換行列である。

【0089】

次に、平面選択部４７により平面選択が行われる（ステップＳＢ２）。平面選択では、多平面射影変換行列算出部４５により算出されたすべての射影変換行列が用いられて、複数の位置合わせ画像が生成される。

【0090】

例えば、２つの射影変換行列（Ｈ１〜Ｈ８）と（Ｇ１〜Ｇ８）が算出された場合は、平面選択部４７により、図９に示すように、参照画像が射影変換行列（Ｈ１〜Ｈ８）により変換された位置合わせ画像と、参照画像が射影変換行列（Ｇ１〜Ｇ８）により変換された位置合わせ画像の２つが生成される。

【0091】

そして、ある画素位置において平面を選択する場合、平面選択部４７により、その画素位置の射影変換行列（Ｈ１〜Ｈ８）で求めた画像と基準画像の差分と、射影変換行列（Ｇ１〜Ｇ８）で求めた画像と基準画像の差分が比較され、差分値が低い画像の射影変換行列が選択される。

【0092】

図９に示すように、異なる平面の射影変換行列で位置合わせを行うため、位置ずれが発生し、差分値が大きくなる。左記の処理が全画素位置に対して行われ、各画素位置の所属する平面および適用すべき射影変換行列が決定されて、各画素位置の選択結果である平面マップが出力される。平面マップは、例えば、平面が２つしか存在しない場合は、２つの射影変換行列（Ｈ１〜Ｈ８）と射影変換行列（Ｇ１〜Ｇ８）のいずれを適用すべきかが０か１で示される２値画像となる。

【0093】

続いて、マップ縮小処理部５３により平面マップの縮小処理が行われる（ステップＳＢ３）。縮小処理は、補間によって更なる選択エラーを発生させぬように、補間でなく間引き処理でリサイズすることが望ましい。図１０では、縦横８ｘ８の平面マップを１／２に縮小する場合を例示するが、縮小率やマップの縦横サイズはこれに限定されるものではない。

【0094】

図１０において、縦横８ｘ８の平面マップに対して水平垂直方向に１／２間引きが行われた場合は、例えば、水平方向の画素は偶数位置の結果のみが抽出され、かつ垂直方向の画素も偶数位置の結果のみが抽出されて、水平垂直サイズが１／２となる。縮小した平面マップが以降の処理の入力となる。

【0095】

続いて、マップフィルタ処理部５５により、縮小した平面マップにマップフィルタ処理が施される（ステップＳＢ４）。マップフィルタ処理は、縮小した平面マップに対して、ノイズ除去フィルタが適用される。マップフィルタ処理で抑制すべき選択エラーは、画像のノイズ起因による選択エラーである。

【0096】

通常、位置合わせ画像と基準画像の差分値が大きく出る位置ずれに起因する場合は、特定の被写体領域に被写体の面積をもって発生する。一方、ノイズ起因による選択エラーの場合は、孤立点のようにランダム的に異なる平面が存在する。そのため、被写体としての連続性を維持していない孤立点のようにランダム的に発生する選択のエラーは、ノイズ除去フィルタ、例えばメディアンフィルタ（メディアンフィルタ処理）によって抑制できる。

【0097】

続いて、変換誤差低減処理部５７により、平面マップに変換誤差低減処理が施される（ステップＳＢ５）。射影変換行列を用いた位置合わせ画像の生成において、射影変換後の座標位置は整数精度で表現されないケースがある。その場合、整数画素位置の画素値を生成するために、バイキュービック補間などの周辺画素を用いた重みづけ補間で生成することが一般的である。

【0098】

補間は、特にエッジ部の画素値に影響を与え、ひいては差分画像に影響を与える。例えば、図１１は、基準画像と参照画像の間で、カメラが２０°回転運動した場合にサンプリングされた画像データを示す。一方、図１２は、射影変換行列を用いて参照画像をデジタル的に幾何変換した結果である。

【0099】

図１１に示す例では、必ず撮像素子２７の区画精度でサンプリングされるため、整数精度で白黒の模様が撮像される。一方、図１２に示すように、デジタル処理で幾何変換する場合は、計算上の小数精度は、例えば周辺画素の重みづけ混合等で表現され、白黒のエッジ成分は、重みづけ補間による影響で白もしくは黒が混合したグレーとなる。その結果、図１１で生成された画像と図１２で生成された画像は、カメラの運動を正しく推定できていたとしても、差分が発生する。そのため、平面マップはエッジ部で誤判定となる。

【0100】

次に、変換誤差低減処理部５７により、平面マップに変換誤差低減処理が施される。変換誤差低減処理は、平面マップに膨張処理が施された後に収縮処理が施される。これにより、正しい平面選択が維持されたまま、エッジ部の選択エラーが除去される。図１３に示す平面マップには、正しくは１すなわち白の平面となるのが正しい領域にもかかわらず、エッジ部の誤判定により、０すなわち黒の平面が混在している。これを除去するために、膨張処理フィルタが適用される。

【0101】

膨張処理フィルタは、例えば、３ｘ３の画素内の最大となる画素値でフィルタの対象となる画素値を置き換える処理が行われる。膨張処理フィルタを適用することで、１〜２画素内のエッジや孤立点は、周辺の画素値によって置き換えられる。

【0102】

一方、膨張処理を施したのみでは、図１４に示す正しい平面選択結果の場合は、領域が削られてしまう。そのため、次に膨張処理フィルタが適用された平面マップに対して、収縮フィルタ処理が施される。

【0103】

収縮処理フィルタは、例えば、３ｘ３の画素内、最小となる画素値でフィルタの対象となる画素値が置き換えられる。収縮処理を行うことで、３画素以上の領域を含む平面選択結果は、削られた領域が復元する。一方、図１３に示すエッジ部の選択エラーは、除去されたままである。なお、膨張/収縮フィルタのフィルタサイズは、３ｘ３のサイズに限定されるものではなく、用途や画像サイズに応じて可変にしてもよい。

【0104】

次に、マップ拡大処理部５９により、縮小された処理後の平面マップが拡大される（ステップＳＢ６）。マップ拡大処理では、縮小前の画像と同等の解像度すなわち基準画像と同等の解像度に平面マップが拡大される。

【0105】

次に、演算処理部５１により、平面マップの各画素位置の平面選択結果とそれに紐づく射影変換行列が用いられて、各画素の位置ずれ量が算出される（ステップＳＢ７）。算出された各画素の位置ずれ量は画像合成部３１に送られる。これにより、図６のフローチャートのステップＳＡ６に戻り、画像合成部３１において、演算処理部５１からの各画素の位置ずれ量に基づいて参照画像が変換されて、基準画像との合成画像が生成されることになる。

【0106】

以上説明したように、本実施形態に係る画像処理部９を備える撮像システム１００および画像処理方法によれば、画像合成部３１において、平面マップに基づき参照画像が変換されて平面の領域ごとに基準画像との位置ずれが解消され、参照画像と基準画像とが位置合わせされた合成画像が生成される。

【0107】

ここで、複数の平面が存在するような奥行きがある物体が含まれる画像においては、平面の領域が異なる要因以外にも、他の要因により位置合わせ画像と基準画像とに差分が生じて、適用する射影変換行列の選択に誤りが生じることがあるが、選択エラー低減処理部４９により、平面マップにおける射影変換行列の選択の誤りが抑制される。これにより、適切な平面マップに基づいて、適切な領域に適切な位置ずれ量を適用することができる。したがって、奥行きがあり複数の平面が混在するような被写体についても、位置ずれによるアーティファクトを抑制した高精細な合成画像を生成することができる。

【0108】

本実施形態においては、画像処理方法をハードウェアによって実現する構成について説明したが、コンピュータにより実行可能な画像処理プログラムによって実現することとしてもよい。

【0109】

以上、本発明の一実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本実施形態においては、撮像システム１００としてのデジタルカメラを例示して説明したが、デジタルカメラに限らず、基準画像と参照画像が存在する複数の撮像データさえあれば、上述の技術は適用され得る。

【符号の説明】

【0110】

１ 撮像部
９ 画像処理部（画像処理装置）
２９ 位置合わせ量算出部（位置ずれ量算出部）
３１ 画像合成部
４５ 多平面射影変換行列算出部
４７ 平面選択部
４９ 選択エラー低減処理部
５１ 演算処理部
５３ マップ縮小処理部
５５ マップフィルタ処理部
５７ 変換誤差低減処理部
５９ マップ拡大処理部
１００ 撮像システム
ＳＡ５ 位置ずれ量算出工程
ＳＡ６ 画像合成工程
ＳＢ１ 多平面射影変換行列算出工程
ＳＢ２ 平面選択工程
ＳＢ３ 選択エラー低減処理工程
ＳＢ４ 選択エラー低減処理工程
ＳＢ５ 選択エラー低減処理工程
ＳＢ６ 選択エラー低減処理工程
ＳＢ７ 演算処理工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】