特許 6592523 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6592523

(24)【登録日】2019年9月27日

(45)【発行日】2019年10月16日

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体

(51)【国際特許分類】

   H04N 5/341 20110101AFI20191007BHJP

   H04N 5/232 20060101ALI20191007BHJP

   H04N 9/04 20060101ALI20191007BHJP

   G06T 5/50 20060101ALI20191007BHJP

   G06T 3/40 20060101ALI20191007BHJP

【ＦＩ】

   H04N5/341

   H04N5/232 290

   H04N9/04 B

   G06T5/50

   G06T3/40 700

【請求項の数】15

【全頁数】23

(21)【出願番号】特願2017-545066(P2017-545066)

(86)(22)【出願日】2015年10月16日

(86)【国際出願番号】JP2015079295

(87)【国際公開番号】WO2017064807

(87)【国際公開日】20170420

【審査請求日】2018年10月15日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】梶村 康祐

【審査官】 橘 高志

(56)【参考文献】

【文献】 特開２０１５−０７６７９６（ＪＰ，Ａ）

【文献】 特開２０１２−２３０４８６（ＪＰ，Ａ）

【文献】 特開平１０−１９１１３６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３４１

Ｇ０６Ｔ ３／４０

Ｇ０６Ｔ ５／５０

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ９／０４

(57)【特許請求の範囲】

【請求項1】

複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成部と、
該高解像度合成部により生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定部と、
該動体判定部により求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正部とを備える画像処理装置。

【請求項2】

前記動体判定部により求められた１以上の相関量から相関係数を算出する相関係数算出部を備え、
前記画像補正部が、前記相関係数算出部により算出された相関係数に基づく合成比率によって、前記高解像度合成画像と前記基準画像とを合成することにより、前記高解像度合成画像を補正する請求項１に記載の画像処理装置。

【請求項3】

前記動体判定部により求められた１以上の相関量から相関係数を算出する相関係数算出部を備え、
前記画像補正部が、前記相関係数算出部により算出された相関係数に基づく合成比率によって、前記高解像度合成画像に対しローパス効果の異なるフィルタを掛けた２つの画像を合成することにより、前記高解像度合成画像を補正する請求項１に記載の画像処理装置。

【請求項4】

前記動体判定部が、該高解像度合成部により生成された前記高解像度合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で算出した複数の相関値の大小関係演算により１以上の相関量を求める請求項１から請求項３のいずれかに記載の画像処理装置。

【請求項5】

前記相関値が、２つの前記比較画像の同位置の領域どうしを用いて算出した相関値、および、２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値から選択された２以上の相関値を含む請求項４に記載の画像処理装置。

【請求項6】

２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値は、あらかじめ設定された高解像度化倍率が水平方向にｍ倍、垂直方向にｎ倍のとき、２つの前記比較画像の位置が相対的に水平方向にｍ画素、垂直方向にｎ画素ずれた位置の領域どうしを用いて算出した相関値である請求項５に記載の画像処理装置。

【請求項7】

前記基準画像および前記参照画像を取得する画像取得部と、
該画像取得部により取得された前記基準画像および前記参照画像を処理する請求項１から請求項６のいずれかに記載の画像処理装置とを備える撮像装置。

【請求項8】

複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成ステップと、
該高解像度合成ステップにより生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定ステップと、
該動体判定ステップにより求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正ステップとを含む画像処理方法。

【請求項9】

前記動体判定ステップにより求められた１以上の相関量から相関係数を算出する相関係数算出ステップを含み、
前記画像補正ステップが、前記相関係数算出ステップにより算出された相関係数に基づく合成比率によって、前記高解像度合成画像と前記基準画像とを合成することにより、前記高解像度合成画像を補正する請求項８に記載の画像処理方法。

【請求項10】

前記動体判定ステップにより求められた１以上の相関量から相関係数を算出する相関係数算出ステップを含み、
前記画像補正ステップが、前記相関係数算出ステップにより算出された相関係数に基づく合成比率によって、前記高解像度合成画像に対しローパス効果の異なるフィルタを掛けた２つの画像を合成することにより、前記高解像度合成画像を補正する請求項８に記載の画像処理方法。

【請求項11】

前記動体判定ステップが、該高解像度合成ステップにより生成された前記高解像度合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で算出した複数の相関値の大小関係演算により１以上の相関量を求める請求項８から請求項１０のいずれかに記載の画像処理方法。

【請求項12】

前記相関値が、２つの前記比較画像の同位置の領域どうしを用いて算出した相関値、および、２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値から選択された２以上の相関値を含む請求項１１に記載の画像処理方法。

【請求項13】

２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値は、あらかじめ設定された高解像度化倍率が水平方向にｍ倍、垂直方向にｎ倍のとき、２つの前記比較画像の位置が相対的に水平方向にｍ画素、垂直方向にｎ画素ずれた位置の領域どうしを用いて算出した相関値である請求項１２に記載の画像処理方法。

【請求項14】

複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成ステップと、
該高解像度合成ステップにより生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定ステップと、
該動体判定ステップにより求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正ステップとをコンピュータに実行させる画像処理プログラム。

【請求項15】

複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成ステップと、
該高解像度合成ステップにより生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定ステップと、
該動体判定ステップにより求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正ステップとをコンピュータに実行させる画像処理プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体に関するものである。

【背景技術】

【0002】

複数枚の画像を合成し高解像度化する技術の一つとして、光学像と撮像系の位置を相対的にずらして撮影した画像を合成し、解像度を向上させる画素ずらし超解像技術がある。これは、光学像と撮像系の位置を相対的にずらして撮影した複数の画像を、撮影画像よりも高解像度な画像空間上にずれ量を考慮しながら配置し、それらの画像情報をもとに補間処理や繰り返し再構成処理等を行って解像度を向上させるものである。この技術は、細かい模様の被写体など、撮影した画像中でエイリアシング（モアレ）が発生してしまうような被写体において、位置ずれがある複数枚の画像が合成されることによりエイリアシングが除去されるため、解像度の向上効果が得られる。

【0003】

しかし、上記技術は、被写体が動いた領域では多重像などのアーティファクトが生じるという課題がある。動体領域におけるアーティファクトを抑制する技術として、特許文献１に開示された技術が知られている。

【0004】

特許文献１では複数枚の画像間で相関量を算出し、相関量に基づいて画像の合成比率を制御している。例えば、撮影した複数枚の画像のうち１枚を基準画像、その他の画像を参照画像として、基準画像と参照画像間で領域毎に差分を求め、その差分値から基準画像との相関量を算出し、相関が高いほど参照画像の合成比率を大きく、相関が低いほど参照画像の合成比率を小さく（基準画像の比率を大きく）制御する。こうすることで、被写体の動きや位置ずれによる多重像などのアーティファクトが生じないようにしている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１−１９９７８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述の高解像度化を行う場合に特許文献１のような技術を適用すると、基準画像と参照画像間で領域毎に差分量を算出し、その差分量に基づいた合成比率を用いて、複数枚合成された高解像度画像と基準画像の拡大画像とを合成することにより高解像度画像の動体領域におけるアーティファクトを抑制する構成が考えられる。

【0007】

しかしながら、低輝度の領域では、ノイズの影響から低輝度の動体領域における差分量と非動体領域における差分量が同程度になることがある。この場合、差分量に基づく合成比率の制御により、低輝度の動体領域の差分量では基準画像の合成比率が大きくなるように制御すると、低輝度の非動体領域も基準画像の合成比率が大きくなってしまい、高解像度化が見込めない。一方、低輝度の動体領域の差分量では複数枚合成された高解像度画像の合成比率を大きくするように制御すると、非動体領域の解像度向上効果が得られるが、動体領域では多重像などのアーティファクトが生じてしまう。このように、差分量に基づく合成比率制御だけでは、低輝度領域で解像度向上効果とアーティファクトの抑制を両立することができない。

【0008】

本発明は上述した事情に鑑みてなされたものであって、解像度向上効果とアーティファクト抑制を両立することができる画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供することを目的としている。

【課題を解決するための手段】

【0009】

本発明の一態様は、複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成部と、該高解像度合成部により生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定部と、該動体判定部により求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正部とを備える画像処理装置である。

【0010】

本態様によれば、撮像素子によって取得された基準画像および１以上の参照画像が、高解像度合成部により合成されて、基準画像および参照画像よりも解像度の高い高解像度合成画像が生成される。生成された高解像度合成画像の任意の領域について、複数の相関値が求められた後、相関値間の大小関係演算が動体判定部において行われ１以上の相関量が算出される。そして、算出された１以上の相関量を用いて画像補正部により高解像度合成画像が補正される。

【0011】

すなわち、高解像度合成画像の補正が単一の相関値に基づくことなく、複数の相関値の大小関係演算により求められた１以上の相関量に基づいて行われるので、低輝度領域で動きがあるものの画素値が小さいために単一の相関値ではノイズに埋もれてしまうような状況においても、複数の相関値の大小関係演算により求めた１以上の相関量によって動体であるか非動体であるかを判別し、被写体の動きによるアーティファクトの発生を抑制しつつ、高解像度合成画像の解像度向上を図ることができる。

【0012】

上記態様においては、前記動体判定部により求められた１以上の相関量から相関係数を算出する相関係数算出部を備え、前記画像補正部が、前記相関係数算出部により算出された相関係数に基づく合成比率によって、前記高解像度合成画像と前記基準画像とを合成することにより、前記高解像度合成画像を補正してもよい。

【0013】

このようにすることで、複数の相関値の大小関係演算により求められた１以上の相関量から相関係数算出部により算出された相関係数に基づく合成比率によって、高解像度合成画像と基準画像とが合成されるので、動体である場合には基準画像の合成比率を高くし、非動体である場合には高解像度合成画像の合成比率を高くして、被写体の動きによるアーティファクトの発生を抑制しつつ、高解像度合成画像の解像度向上を図ることができる。

【0014】

また、上記態様においては、前記動体判定部により求められた１以上の相関量から相関係数を算出する相関係数算出部を備え、前記画像補正部が、前記相関係数算出部により算出された相関係数に基づく合成比率によって、前記高解像度合成画像に対しローパス効果の異なるフィルタを掛けた２つの画像を合成することにより、前記高解像度合成画像を補正してもよい。

【0015】

このようにすることで、複数の相関値の大小関係演算により求められた１以上の相関量から相関係数算出部により算出された相関係数に基づく合成比率によって、高解像度合成画像にローパス効果の異なるフィルタが掛けられた２つの画像が合成されるので、動体である場合にはローパス効果の高いフィルタが掛けられた画像の合成比率を高くし、非動体である場合にはローパス効果の低いフィルタが掛けられた画像の合成比率を高くして、被写体の動きによるアーティファクトの発生を抑制しつつ、高解像度合成画像の解像度向上を図ることができる。

【0016】

また、上記態様においては、前記動体判定部が、該高解像度合成部により生成された前記高解像度合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で算出した複数の相関値の大小関係演算により１以上の相関量を求めてもよい。

【0017】

このようにすることで、撮像素子に設けられた異なる種類のカラーフィルタに対応する画素により同時に取得された画素値をそれぞれ高解像度画像空間に配列して構成された２つの比較画像間で複数の相関値が算出されその大小関係演算が行われる。これにより、動体あるいは非動体を明確に区別できる相関量を算出することができ、被写体の動きによるアーティファクトの発生を抑制しつつ、高解像度合成画像の解像度向上を図ることができる。

【0018】

また、上記態様においては、前記相関値が、２つの前記比較画像の同位置の領域どうしを用いて算出した相関値、および、２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値から選択された２以上の相関値を含んでいてもよい。

【0019】

また、上記態様においては、２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値は、あらかじめ設定された高解像度化倍率が水平方向にｍ倍、垂直方向にｎ倍のとき、２つの前記比較画像の位置が相対的に水平方向にｍ画素、垂直方向にｎ画素ずれた位置の領域どうしを用いて算出した相関値であることが好ましい。

【0020】

このようにすることで、２つの比較画像の相対的にずれた領域どうしを用いて算出された相関値が、動体あるいは非動体を明確に区別する相関量を算出できる相関値となり、被写体の動きによるアーティファクトの発生を抑制しつつ、高解像度合成画像の解像度向上を図ることができる。

【0021】

また、本発明の他の態様は、前記基準画像および前記参照画像を取得する画像取得部と、該画像取得部により取得された前記基準画像および前記参照画像を処理する上記いずれかの画像処理装置とを備える撮像装置である。

【0022】

また、本発明の他の態様は、複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成ステップと、該高解像度合成ステップにより生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定ステップと、該動体判定ステップにより求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正ステップとを含む画像処理方法である。

【0023】

上記態様においては、前記動体判定ステップにより求められた１以上の相関量から相関係数を算出する相関係数算出ステップを含み、前記画像補正ステップが、前記相関係数算出ステップにより算出された相関係数に基づく合成比率によって、前記高解像度合成画像と前記基準画像とを合成することにより、前記高解像度合成画像を補正してもよい。

【0024】

また、上記態様においては、前記動体判定ステップにより求められた１以上の相関量から相関係数を算出する相関係数算出ステップを含み、前記画像補正ステップが、前記相関係数算出ステップにより算出された相関係数に基づく合成比率によって、前記高解像度合成画像に対しローパス効果の異なるフィルタを掛けた２つの画像を合成することにより、前記高解像度合成画像を補正してもよい。

【0025】

また、上記態様においては、前記動体判定ステップが、該高解像度合成ステップにより生成された前記高解像度合成画像の異なる種類のカラーフィルタに対応する画素によりそれぞれ構成される２つの比較画像間で算出した複数の相関値の大小関係演算により１以上の相関量を求めてもよい。

【0026】

また、上記態様においては、前記相関値が、２つの前記比較画像の同位置の領域どうしを用いて算出した相関値、および、２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値から選択された２以上の相関値を含んでいてもよい。

【0027】

また、上記態様においては、２つの前記比較画像の位置が相対的にずれた領域どうしを用いて算出した相関値は、あらかじめ設定された高解像度化倍率が水平方向にｍ倍、垂直方向にｎ倍のとき、２つの前記比較画像の位置が相対的に水平方向にｍ画素、垂直方向にｎ画素ずれた位置の領域どうしを用いて算出した相関値であることが好ましい。

【0028】

また、本発明の他の態様は、複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成ステップと、該高解像度合成ステップにより生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定ステップと、該動体判定ステップにより求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正ステップとをコンピュータに実行させる画像処理プログラムである。

【0029】

また、本発明の他の態様は、複数種のカラーフィルタを画素毎に配列した撮像素子によって、被写体を時系列的に撮影することにより取得された基準画像および該基準画像以外の１枚以上の参照画像を、それらの画像よりも解像度の高い高解像度画像空間上で合成して高解像度合成画像を生成する高解像度合成ステップと、該高解像度合成ステップにより生成された前記高解像度合成画像の任意の領域について、該領域内の複数の相関値の大小関係演算により１以上の相関量を求める動体判定ステップと、該動体判定ステップにより求められた前記相関量に基づいて、前記高解像度合成画像を補正する画像補正ステップとをコンピュータに実行させる画像処理プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体である。

【発明の効果】

【0030】

本発明によれば、解像度向上効果とアーティファクト抑制を両立することができるという効果を奏する。

【図面の簡単な説明】

【0031】

【図1】本発明の一実施形態に係る撮像装置を示す全体構成図である。

【図2A】図１の撮像装置により取得されたＧｒチャネルの高解像度画像の一部を示す図である。

【図2B】図１の撮像装置により取得されたＧｂチャネルの高解像度画像の一部を示す図である。

【図3A】図２ＡのＧｒチャネルおよび図２ＢのＧｂチャネルの同一位置の注目領域に定義された演算領域を示す図である。

【図3B】図２ＡのＧｒチャネルの演算領域に対して左斜め上にずれた図２ＢのＧｂチャネルの演算領域を示す図である。

【図3C】図２ＡのＧｒチャネルの演算領域に対して右斜め上にずれた図２ＢのＧｂチャネルの演算領域を示す図である。

【図3D】図２ＡのＧｒチャネルの演算領域に対して左斜め下にずれた図２ＢのＧｂチャネルの演算領域を示す図である。

【図3E】図２ＡのＧｒチャネルの演算領域に対して右斜め下にずれた図２ＢのＧｂチャネルの演算領域を示す図である。

【図4】図１の撮像装置の相関係数算出部において第１相関量から第１相関係数を算出するマップの一例を示す図である。

【図5】図１の撮像装置の相関係数算出部において第２相関量から第２相関係数を算出するマップの一例を示す図である。

【図6】図１の撮像装置に備えられる画像補正部を示すブロック図である。

【図7】図１の画像補正部において第３相関係数から合成比率を算出するマップの一例を示す図である。

【図8】図１の撮像装置に備えられる画像処理装置の具体的な動作例を示す図である。

【図9A】図８の非動体領域について図３Ａの具体的な画素値例を挙げた相関値の算出例を示す図である。

【図9B】図８の非動体領域について図３Ｂの具体的な画素値例を挙げた相関値の算出例を示す図である。

【図9C】図８の非動体領域について図３Ｃの具体的な画素値例を挙げた相関値の算出例を示す図である。

【図9D】図８の非動体領域について図３Ｄの具体的な画素値例を挙げた相関値の算出例を示す図である。

【図9E】図８の非動体領域について図３Ｅの具体的な画素値例を挙げた相関値の算出例を示す図である。

【図10A】図８の動体領域について図３Ａの具体的な画素値例を挙げた相関値の算出例を示す図である。

【図10B】図８の動体領域について図３Ｂの具体的な画素値例を挙げた相関値の算出例を示す図である。

【図10C】図８の動体領域について図３Ｃの具体的な画素値例を挙げた相関値の算出例を示す図である。

【図10D】図８の動体領域について図３Ｄの具体的な画素値例を挙げた相関値の算出例を示す図である。

【図10E】図８の動体領域について図３Ｅの具体的な画素値例を挙げた相関値の算出例を示す図である。

【図11】図１の撮像装置に備えられた相関係数算出部における第１相関量と第１相関係数との関係の一例を示す図である。

【図12】図１の撮像装置に備えられた相関係数算出部における第２相関量と第２相関係数との関係の一例を示す図である。

【図13】図１の撮像装置に備えられた画像補正部における基準画像と高解像度合成画像との合成比率の一例を示す図である。

【図14】本発明の一実施形態に係る画像処理方法を示すフローチャートである。

【図15】図１の撮像装置の画像補正部の変形例を示すブロック図である。

【図16】図１の撮像装置の変形例を示すブロック図である。

【図17】図１６の撮像装置の動作を説明するフローチャートである。

【図18】図１の撮像装置の相関係数算出部における相関量と相関係数との関係の他の例を示す図である。

【図19】図１の撮像装置に備えられた画像補正部における基準画像と高解像度合成画像との合成比率の他の例を示す図である。

【発明を実施するための形態】

【0032】

本発明の一実施形態に係る撮像装置１および画像処理装置３について、図面を参照して以下に説明する。

【0033】

本実施形態に係る撮像装置１は、図１に示されるように、被写体を撮影して画像を取得する画像取得部２と、画像取得部２により取得された画像を記憶するメモリ４と、メモリ４に記憶された画像を処理する本発明の一実施形態に係る画像処理装置３とを備えている。

【0034】

画像取得部２は、被写体からの光を集光する撮像レンズ５と、該撮像レンズ５により集光された光が入射され被写体の光学像を形成する撮像素子６と、該撮像素子６を画素の配列方向にサブピクセル単位でシフトさせるセンサシフト機構７と、センサシフト機構７による撮像素子６のシフト方向とシフト量を制御するセンサシフト制御部８とを備えている。

【0035】

撮像素子６は、Ｒ，Ｇｒ，Ｇｂ，Ｂの４種類のカラーフィルタが２×２画素単位で画素毎に配置された、いわゆるベイヤ配列構造を有している。撮像素子６により時系列的に取得された複数枚の画像は、最初に取得された画像を基準画像、その後に撮像素子６をシフトさせながら取得された１枚以上の画像を参照画像としてメモリ４に記憶されるようになっている。

【0036】

画像処理装置３は、メモリ４に記憶された複数枚の画像から高解像度の合成画像（高解像度合成画像）を生成する高解像度合成部９と、合成画像から複数の相関値を算出し、算出された複数の相関値の大小関係演算により１以上の相関量を算出する動体判定部１０と、該動体判定部１０により算出された相関量を画像補正に用いる相関係数に変換する相関係数算出部１１と、算出された相関係数に基づき合成画像を補正する画像補正部１２とを備えている。

【0037】

高解像度合成部９には、複数枚の画像がメモリ４から入力されるとともに、センサシフト制御部８からの撮像素子６のシフト制御情報（シフト方向およびシフト量）が入力されようになっている。高解像度合成部９は、メモリ４から入力された基準画像および１以上の参照画像を、センサシフト制御部８から入力されたシフト制御情報に基づき位置合わせをしながら、カラーフィルタの色毎の高解像度画像空間上に配置するようになっている。

【0038】

具体的には、まず、基準画像の各画素をカラーフィルタの色毎に高解像度画像空間上に配置し、次に、基準画像に対するシフト方向およびシフト量に基づいて参照画像の各画素を高解像度画像空間上に配置するようになっている。画素を配置する際には、配置する画素に対応するカラーフィルタの色と同色の画素が既に基準画像の画素や別の参照画像の画素が配置されていれば、新たに配置しなくてもよいし、既に配置されている画素と加算平均して画素値を更新してもよい。また、累積加算後に加算回数で正規化してもよい。

【0039】

また、高解像度合成部９は、全ての画素を配置した後に、まだ配置されていない画素を補間して埋める処理を行ってもよい。補間の方法は、例えば、配置された周囲の画素を用いて最近傍法により埋めたり、エッジ方向を考慮した方向判別補間を施したりしてもよい。

【0040】

図２Ａに、高解像度画像空間上のＧｒチャネルの合成画像、図２Ｂに高解像度画像空間上のＧｂチャネルの合成画像をそれぞれ示す。Ｒ，Ｂチャネルの合成画像も同じように生成されている。

【0041】

図２Ａおよび図２Ｂに示す例では、１枚の基準画像と７枚の参照画像の合計８枚の画像を合成して合成画像が生成されている。図中の添字番号は、撮影順を示している。画素の配列方向として、横方向を水平方向、縦方向を垂直方向とすると、図２Ａおよび図２Ｂの各画素は、
１：基準画像、
２：基準画像に対して水平方向に１画素、垂直方向０画素、
３：基準画像に対して水平方向に０画素、垂直方向に１画素、
４：基準画像に対して水平方向に１画素、垂直方向に１画素、
５：基準画像に対して水平方向に０．５画素、垂直方向に０．５画素、
６：基準画像に対して水平方向に１．５画素、垂直方向に０．５画素、
７：基準画像に対して水平方向に０．５画素、垂直方向に１．５画素、
８：基準画像に対して水平方向に１．５画素、垂直方向に１．５画素、
それぞれシフトして撮影することにより取得された画像を構成する画素である。各画像のシフト方向とシフト量を考慮して水平方向および垂直方向とも２倍の画素数の高解像度画像空間上に配置すると図２Ａおよび図２Ｂのようになる。図中の網掛けは配置されていない画素を示している。

【0042】

動体判定部１０は、Ｇｒチャネルの合成画像とＧｂチャネルの合成画像を小領域に区切り、対応する小領域毎に相関演算を行うようになっている。ここでは、相関値として、対応する小領域毎にＳＡＤ（画素差分の絶対値の合計）値を計算し、その結果を用いた大小関係演算によりエッジ度合および動体度合を示す２つの相関量を求めるようになっている。

【0043】

具体的には、まず、図３Ａに示すように、８枚の画像を高解像度画像空間上に配置し補間することにより、全ての画素が画素値を有している合成画像を用いて、Ｇｒチャネルの合成画像とＧｂチャネルの合成画像の同一位置８×８画素の小領域を注目領域として設定する。

【0044】

また、注目領域内の４×４画素を相関演算に用いる演算領域として設定する。この演算領域はＧｒチャネルの合成画像とＧｂチャネルの合成画像それぞれに設定し、１つは図３Ａに示すようにＧｒチャネルとＧｂチャネルで同一位置の４×４画素を演算領域とし、その他に４つの演算領域を、図３Ｂから図３Ｅに示すように、Ｇｒチャネルの合成画像とＧｂチャネルの合成画像の演算領域が互いに水平方向および垂直方向に２画素ずれている位置となるように設定している。

【0045】

そして、演算領域３００と演算領域３０１のＳＡＤ（ＳＡＤ０とする。以下同様）、演算領域３００と演算領域３０２のＳＡＤ（ＳＡＤ１）、演算領域３００と演算領域３０３のＳＡＤ（ＳＡＤ２）、演算領域３００と演算領域３０４のＳＡＤ（ＳＡＤ３）、演算領域３００と演算領域３０５のＳＡＤ（ＳＡＤ４）を算出する。

【0046】

さらに、算出されたＳＡＤ０からＳＡＤ４の中からＳＡＤの最大値（ＭａｘＳＡＤ）および最小値（ＭｉｎＳＡＤ）を求める。

【0047】

これらを用いて注目領域のエッジ度合を示す相関量（第１相関量）と動体度合を示す相関量（第２相関量）の２つを以下の大小関係演算式により算出する。

【0048】

第１相関量＝ＭａｘＳＡＤ−ＳＡＤ０
第２相関量＝ＳＡＤ０−ＭｉｎＳＡＤ
第１相関量はエッジ度合が強いほど大きな値となる。第２相関量は動体度合が強いほど大きな値となる。

【0049】

相関係数算出部１１では、動体判定部１０で求められた２つの相関量を画像補正に用いる第１相関係数および第２相関係数に変換する。例えば、図４に示すように、第１閾値と第２閾値を設定し、第１相関量が第１閾値以下で相関性が０、第２閾値以上で相関性が１、その間では相関量が大きいほど相関性が高くなるような第１相関係数に変換するようになっている。

【0050】

また、図５に示すように、第２相関量は、第３閾値以下で相関性が１、第４閾値以上で
相関性が０とし、その間で相関量が大きいほど相関性が低くなるように変換するようになっている。

【0051】

画像補正部１２は、図６に示されるように、相関係数算出部１１から出力された相関係数に基づいて合成比率を算出する合成比率算出部１２０と、メモリ４に記憶されている基準画像のＲＡＷデータをデモザイキング処理してカラー化する色補間処理部１２１と、カラー化された基準画像を合成画像と同じ画像サイズに拡大する拡大処理部１２２と、高解像度合成部９により生成された合成画像と拡大処理された拡大基準画像とを、合成比率算出部１２０により算出された合成比率に従って合成する合成処理部１２３とを備えている。

【0052】

合成比率算出部１２０は、相関係数と合成比率とを対応付けたマップを備えている。マップは、例えば、図７に示すように、第１相関係数と第２相関係数とを掛け合わせた第３相関係数を横軸に、合成比率を縦軸に示している。

【0053】

マップは、第３相関係数が第５閾値以下のとき基準画像の拡大画像のみとなり、第６閾値以上のとき高解像度合成画像のみとなり、第５閾値と第６閾値の間では、第３相関係数が大きいほど高解像度合成画像の合成比率が大きくなり、第３相関係数が低いほど基準画像の合成比率が大きくなるようになっている。

【0054】

この処理を全ての注目領域について実施し、最後に補正画像をメモリ４へ出力する。

【0055】

ここで、画像処理装置３の具体的な動作例を用いて、本発明の一実施形態に係る画像処理方法を図８から図１４を参照して説明する。

【0056】

画像として、図８に示すように、被写体８０，８１が画像中に含まれ、被写体８０は非動体、被写体８１は動体であり、撮像素子６をシフトさせながら撮影した８枚画像中で被写体８１の位置が大きく動いている例を示す。

【0057】

本実施形態に係る画像処理方法においては、図１４に示されるように、まず、取得された８枚の画像を高解像度画像空間内に配置して高解像度合成画像を生成する（高解像度合成ステップＳ１）。

【0058】

次いで、高解像度合成部９により８枚の画像を配置し生成された合成画像の８×８画素の小領域８２，８３について、それぞれＧｒチャネルおよびＧｂチャネルを抜き出し、前述の方法でＳＡＤ０からＳＡＤ４を算出し、それらの大小関係演算により相関量を算出する（動体判定ステップＳ２）。ここでは高解像度合成部９で画素補間を行っていない状態の合成画像を用いて相関量を求めることとする。小領域８２については、ＧｒチャネルおよびＧｂチャネルが図９Ａから図９Ｅに示すようになっており、ＳＡＤ０からＳＡＤ４を算出すると次のようになる。

【0059】

ＳＡＤ０＝８２
ＳＡＤ１＝８２
ＳＡＤ２＝８２
ＳＡＤ３＝８３
ＳＡＤ４＝１８３

【0060】

この結果、エッジ度合を示す第１相関量は、
第１相関量＝ＭａｘＳＡＤ−ＳＡＤ０＝１８３−８２＝１０１
動体度合を示す第２相関量は、
第２相関量＝ＳＡＤ０−ＭｉｎＳＡＤ＝８２−８２＝０
となる。

【0061】

一方、小領域８３については、ＧｒチャネルおよびＧｂチャネルが図１０Ａから図１０Ｅに示すようになっている。小領域８３は、図８に示すように撮影画像の１枚目と２枚目で動体が撮像された領域であるため、高解像度画像空間上の各チャネルの１枚目と２枚目に該当する画素位置に動体画素が配置されている。この小領域８３について相関値を算出すると、次のようになる。

【0062】

ＳＡＤ０＝８２
ＳＡＤ１＝９
ＳＡＤ２＝５８
ＳＡＤ３＝６３
ＳＡＤ４＝８８

【0063】

この結果、エッジ度合を示す第１相関量は、
第１相関量＝８８−８２＝６
動体度合を示す第２相関量は、
第２相関量＝８２−９＝７３
となる。

【0064】

そして、相関係数算出部１１では、第１相関量および第２相関量をそれぞれ第１相関係数、第２相関係数に変換する（相関係数算出ステップＳ３）。例えば、図１１および図１２に示すような変換を行い、小領域８２では第１相関係数＝０．５、第２相関係数＝１、小領域８３では第１相関係数＝０、第２相関係数＝０．３６となる。

【0065】

そして、画像補正部１２では、図１３に示すような合成比率で基準画像と高解像度合成画像とが合成される（画像補正ステップＳ４）。小領域８２では第１相関係数×第２相関係数＝０．５×１＝０．５となり、高解像度合成画像の合成比率が１となる。一方、小領域８３では、第１相関係数×第２相関係数＝０×０．３６＝０となり、基準画像の合成比率が１となる。

【0066】

このように、動体の領域で基準画像の合成比率が大きくなるため、多重像などのアーティファクトを抑制しつつ、非動体領域で高解像度合成画像の合成比率が大きくなるため解像度を向上させることができる。

【0067】

特に、低輝度領域に動体が存在している場合、基準画像と参照画像との差分に基づいて合成比率を設定していた従来技術では、ノイズの影響で動体であるか非動体であるかを判別できず、アーティファクト発生の抑制と解像度向上の両立が困難である。

【0068】

仮に本具体例で用いた画像に従来技術を適用したとすると、ＳＡＤ０に相当する同位置どうしでＳＡＤ値を取るだけになり、小領域８２，８３ともにＳＡＤ＝８２となって小領域８２，８３の合成比率を区別できないため、アーティファクト発生の抑制と解像度向上の両立が困難であることは明らかである。

【0069】

これに対して、本実施形態によれば、ＧｒとＧｂの合成画像間で複数の相関値を求め、それらの大小関係演算結果から算出された相関量に基づいて合成比率を算出する。

【0070】

このため、低輝度領域で動きがあるものの画素値が小さいために差分値が小さくノイズに埋もれてしまうような状況においても、動体であるか非動体であるかを確実に判別することができる。これにより、被写体の動きによるアーティファクトの発生を抑制しつつ、かつ、画像の解像度向上を図ることができるという利点がある。

【0071】

なお、本実施形態においては、合成比率算出部１２０により算出された合成比率に従って、基準画像と合成画像とを合成することにより合成画像を補正することとしたが、これに代えて、図１５に示されるように、基準画像を用いることなく、合成画像をローパス効果の異なる２種類のフィルタ（第１のフィルタ１２５および第２のフィルタ１２６）を備えるフィルタ処理部１２４に入力し、フィルタ処理後の画像を合成比率算出部１２０により算出された合成比率に従って合成することにしてもよい。

【0072】

このようにすることで、相関性が低い領域では、ローパス効果の高いフィルタにより処理された画像の合成比率を大きくして画像をぼかし、相関性が高い領域では、ローパス効果の低いフィルタにより処理された画像の合成比率を大きくして鮮明な画像を取得することができる。

【0073】

これによっても、被写体の動きや位置ずれによるアーティファクトの発生を効果的に抑えることができるという利点がある。なお、ローパス効果の低いフィルタとしては、合成画像をそのまま出力する（フィルタをかけない）場合を含むものとする。

【0074】

また、本実施形態においては、図１６に示されるように、センサシフト制御部８、高解像度合成部９、動体判定部１０、相関係数算出部１１および画像補正部１２を制御する撮影処理制御部１４を備えていてもよい。

【0075】

撮影処理制御部１４は、図１７に示されるように、例えば、手ぶれセンサの信号に基づいて、撮影モードを判定し（ステップＳ１１）、撮影モードが三脚モードの場合はセンサシフト制御部８をＯＮに設定して（ステップＳ１２）、複数枚の画像を撮影し（ステップＳ１３）、センサシフト制御部８からのセンサシフト情報を高解像度合成部９に出力する（ステップＳ１４）。

【0076】

撮影モードが手持ちモードの場合には、センサシフト制御部８をＯＦＦにして（ステップＳ１５）、複数枚の画像を撮影し（ステップＳ１６）、高解像度合成部９の位置ずれ検出部１３で複数枚の画像間のずれ量を検出する（ステップＳ１７）。なお、手持ちモードでも複数枚画像間でズレが生じるように撮影できれば良いため、センサシフト制御部８をＯＮにしてもよい。

【0077】

次に、撮影処理制御部１４は、高解像度合成部９で複数枚の画像を合成し（ステップＳ１）、動体判定部１０で、合成されたＧｒとＧｂの合成画像から複数の相関値を算出し（ステップＳ２）、その相関値の大小関係演算結果から相関量を算出させ、相関係数算出部１１で相関量を相関係数に変換させる（ステップＳ３）。

【0078】

撮影処理制御部１４は、相関係数算出部１１で相関量を相関係数に変換する際に、ＩＳＯ感度に応じた変換をすることができる。撮影処理制御部１４は複数枚画像撮影時のＩＳＯ感度情報を取得し（ステップＳ１８）、ＩＳＯ感度が低感度、中感度、高感度に応じて第１閾値から第４閾値を設定する（ステップＳ１９からＳ２１）。

【0079】

ＩＳＯ感度が高いほどノイズが増え、静止部でも第２相関量（動体度合）が大きくなる可能性があるため、第３閾値と第４閾値を小さくし、静止部でも動体度合が大きくならないように変換される。あるいは、画像補正部１２で生成する合成比率のマップで、ＩＳＯ感度が高いほど第５閾値と第６閾値を小さくすることで、合成画像またはローパス効果の低いフィルタが掛けられた画像の合成比率が大きくなるように設定される。

【0080】

また、撮影処理制御部１４は、複数枚撮影時の画像間の露光量ばらつきの有無を検出して、（ステップＳ２２）ばらつき量の多さによって第５閾値、第６閾値を小さくする（ステップＳ２３）。ばらつき量が多くなると静止部でも相関が低くなる可能性があるため、第５閾値と第６閾値を小さくして合成画像またはローパス効果の低いフィルタが掛けられた画像の合成比率が大きくなるように設定される。

【0081】

また、撮影処理制御部１４は、複数枚撮影時の画像間のフリッカの有無を検出して（ステップＳ２４）、フリッカ量の多さによって第５閾値、第６閾値を小さくする（ステップＳ２５）。フリッカ量が多くなると静止部でも相関が低くなる可能性があるため、第５閾値と第６閾値を小さくして合成画像またはローパス効果の低いフィルタが掛けられた画像の合成比率が大きくなるように設定される。

【0082】

また、本実施形態では、相関係数算出部１１において相関量を相関係数に変換する際に、図４および図５のように第１閾値から第４閾値を設定し折線で変換しているが、図１８のように直線で変換してもよいし、より多くの閾値を設けて折線を増やしてもよいし、曲線的に変換してもよいし、他にも多くの方法が容易に考えられる。

【0083】

また、画像補正部１２において図７のように第５閾値と第６閾値を設けて第５閾値以下の場合は基準画像の拡大画像のみとし、第６閾値以上の場合は高解像度合成画像のみとなるような合成比率のマップを採用しているが、図１９のように全ての相関量に対して基準画像の拡大画像と高解像度合成画像が合成比率を持つようなマップにしてもよいし、合成比率が相関量に応じて線形に変化するマップに限るものでもない。

【0084】

また、本実施形態においては、相関量を複数のＳＡＤ値から算出したが、ＳＡＤに限らず、画素差分値の平均値や、画素差分値の最大値と最小値の差、ＳＳＤ（画素差分値の２乗の合計値）、ＮＣＣ（正規化相互相関）などを用いてもよい。また、本実施形態においては複数のＳＡＤ値の大小関係演算結果から第１相関量および第２相関量の２つの相関量を算出したが、より多くの相関量を算出してもよい。

【0085】

また、本実施形態においては、注目領域を８×８画素として、その中の４×４画素を演算領域としてＳＡＤ値を算出しているが、注目領域及び演算領域のサイズはこれに限るものではない。

【0086】

また、画像の領域の特性に応じて演算領域のサイズを可変にして行ってもよい。例えば、演算領域のサイズの上限を３２×３２画素、下限を４×４画素として、画像のコントラストが高いほど注目領域サイズを４×４画素に近づけてより細かく相関量を求め、逆にコントラストが低いほど注目領域のサイズを３２×３２画素に近づけるようにしてもよい。

【0087】

このようにすることで、コントラストが高い領域ではより細かい領域毎に動体か非動体かを確実に判別し、アーティファクトの発生抑制と高解像度化を両立できる。そして、低輝度のようなコントラストが低い領域ではより多くの画素値情報に基づいて相関量を算出し、その大小関係演算結果から動体か非動体かを判別するための相関量を確実に算出することができる。

【0088】

いずれにしても、本実施形態によれば、合成画像間での複数の相関量の大小関係演算結果から求められた相関量に基づいて合成比率を算出することで動体と非動体を確実に判別することができ、アーティファクト発生の抑制と解像度向上を両立することができる。

【0089】

また、本実施形態に係る画像処理方法は、上記のような画像処理装置３によって実施される場合の他、コンピュータにより実行することができる画像処理プログラムによっても実施することができる。この場合、ＣＰＵ等のプロセッサが画像処理プログラムを実行することで、本実施形態に係る画像処理方法が実施される。

【0090】

具体的には記憶媒体に記憶された画像処理プログラムが読み出され、読み出された画像処理プログラムがＣＰＵ等のプロセッサにより実行される。ここで、記憶媒体は、プログラムやデータ等を格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ハードディスクドライブあるいはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。

【符号の説明】

【0091】

１ 撮像装置
２ 画像取得部
３ 画像処理装置
６ 撮像素子
９ 高解像度合成部
１０ 動体判定部
１１ 相関係数算出部
１２ 画像補正部
８０，８１ 被写体
Ｓ１ 高解像度合成ステップ
Ｓ２ 動体判定ステップ
Ｓ３ 相関係数算出ステップ
Ｓ４ 画像補正ステップ

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図9D】

【図9E】

【図10A】

【図10B】

【図10C】

【図10D】

【図10E】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】