特許 6415113 撮像装置、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6415113

(24)【登録日】2018年10月12日

(45)【発行日】2018年10月31日

(54)【発明の名称】撮像装置、画像処理方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20181022BHJP

   H04N 5/335 20110101ALI20181022BHJP

   H04N 5/238 20060101ALI20181022BHJP

   G06T 3/00 20060101ALI20181022BHJP

   G03B 15/00 20060101ALI20181022BHJP

   G03B 7/091 20060101ALI20181022BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/335

   H04N5/238

   G06T3/00

   G03B15/00 H

   G03B7/091

【請求項の数】7

【全頁数】26

(21)【出願番号】特願2014-111391(P2014-111391)

(22)【出願日】2014年5月29日

(65)【公開番号】特開2015-226256(P2015-226256A)

(43)【公開日】2015年12月14日

【審査請求日】2017年2月21日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(74)【代理人】

【識別番号】100101661

【弁理士】

【氏名又は名称】長谷川 靖

(74)【代理人】

【識別番号】100135932

【弁理士】

【氏名又は名称】篠浦 治

(72)【発明者】

【氏名】味戸 剛幸

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２００１−０８６３８３（ＪＰ，Ａ）

【文献】 特開平１１−３３１８５７（ＪＰ，Ａ）

【文献】 国際公開第２００５／０６９２１６（ＷＯ，Ａ１）

【文献】 特開２０００−２４４９３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １５／００

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ ５／２３８

Ｈ０４Ｎ ５／３３５

(57)【特許請求の範囲】

【請求項1】

所定の画素ピッチで２次元状に配列された複数の画素を有する撮像素子と、
上記撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらし部と、
上記複数の相対位置のそれぞれにおいて上記撮像素子に撮像動作を行わせて、複数の画像データを取得する撮像制御部と、
上記撮像制御部により取得された複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成部と、
上記合成画像データの画素開口に関する特性に基づきエッジ強調パラメータを決定し、決定したエッジ強調パラメータにより上記合成画像データにエッジ強調処理を行う画像処理部と、
を有し、
上記画素開口に関する特性は、画素開口率であり、
上記画像処理部は、上記エッジ強調パラメータを、上記画素開口率の増加に従って単調増加するように決定することを特徴とする撮像装置。

【請求項2】

所定の画素ピッチで２次元状に配列された複数の画素を有する撮像素子と、
上記撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらし部と、
上記複数の相対位置のそれぞれにおいて上記撮像素子に撮像動作を行わせて、複数の画像データを取得する撮像制御部と、
上記撮像制御部により取得された複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成部と、
上記合成画像データの画素開口に関する特性を、上記合成画像データに関連付けて記録する画像記録部と、
を有することを特徴とする撮像装置。

【請求項3】

所定の画素ピッチで２次元状に配列された複数の画素を有する撮像素子と、
上記撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらし部と、
上記複数の相対位置のそれぞれにおいて上記撮像素子に撮像動作を行わせて、複数の画像データを取得する撮像制御部と、
上記撮像制御部により取得された複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成部と、
上記合成画像データの画素開口に関する特性に基づきエッジ強調パラメータを決定し、決定したエッジ強調パラメータにより上記合成画像データにエッジ強調処理を行う画像処理部と、
を有し、
上記画素開口に関する特性は、画素開口ＭＴＦ特性であり、
上記画像処理部は、上記エッジ強調パラメータを、上記画素開口ＭＴＦ特性の増加に従って単調減少するように決定することを特徴とする撮像装置。

【請求項4】

上記画像処理部は、上記エッジ強調パラメータを、上記画素開口に関する特性に加えて、さらに撮像に用いたレンズのＭＴＦ特性に基づき、決定することを特徴とする請求項１または請求項３に記載の撮像装置。

【請求項5】

上記撮像素子は、輝度相当色を含む複数色の色フィルタを、１画素に１色が対応するように配置して構成され、
上記画素ずらし部は、上記複数の相対位置の内の少なくとも２つの相対位置において、上記輝度相当色の色フィルタに対応する画素であって、異なる画素の位置が重複するように、上記複数の相対位置を設定することを特徴とする請求項１または請求項２または請求項３に記載の撮像装置。

【請求項6】

上記画像合成部は、上記重複する位置において取得した上記輝度相当色の複数の画素データを平均して、該重複する位置における合成後の画素データとすることを特徴とする請求項５に記載の撮像装置。

【請求項7】

所定の画素ピッチで２次元状に配列された複数の画素を有する撮像素子と、上記撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行い、上記複数の相対位置のそれぞれにおいて上記撮像素子により撮像動作を行い取得された複数の画像データを処理する画像処理方法であって、
上記複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成し、
上記合成画像データの画素開口に関する特性に基づきエッジ強調パラメータを決定し、
決定した上記エッジ強調パラメータにより上記合成画像データにエッジ強調処理を行い、
上記画素開口に関する特性は、画素開口率、または画素開口ＭＴＦ特性であり、上記エッジ強調パラメータを、上記画素開口率の増加、または上記画素開口ＭＴＦ特性の減少に従って単調増加するように決定することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画素ピッチ未満の移動量で画素ずらしを行って取得した複数の画像データを合成し高解像度の画像を生成する撮像装置、画像処理方法に関する。

【背景技術】

【0002】

従来から、撮像素子と、撮像素子により受光される光束と、の相対位置を撮像素子の画素ピッチ未満の移動量で移動させて撮像を行い、取得した複数の画像データを合成してより高解像度の画像を生成する撮像装置が知られている。

【0003】

例えば特開平７−２４０８７０号公報には、撮影光学系によって結像される被写体像と撮像素子との相対的な位置を、可変頂角プリズムの屈曲により水平および／または垂直方向に１／２画素ピッチ分だけ変位させ、変位させた位置で取得した複数の画像データを合成することにより高解像度の画像を生成する技術が記載されている。

【0004】

また、特開平６−２２５３１７号公報には、圧電素子により撮像素子を水平または垂直方向に１画素ピッチ分、斜め方向に１／２画素ピッチ分ずらして、それぞれの画素ずらし位置で撮像を行い、取得された複数の画像を合成することにより高解像度の画像を生成する技術が記載されている。

【0005】

ところで近年、撮像素子の製造技術が進歩して画素開口率が向上しており、例えば、画素の開口幅が画素ピッチの５０％を越えるものも提案されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平７−２４０８７０号公報

【特許文献2】特開平６−２２５３１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述したような画素開口率が高い撮像素子に対して、上記特開平７−２４０８７０号公報や上記特開平６−２２５３１７号公報に記載の技術を適用すると、合成後の高解像度の画像ではサンプリングピッチよりも画素の開口幅が大きくなるという状態が生じてしまう。このために、例えばピクセル等倍の条件で観察した場合に、画像の鮮鋭度が大きく低下してしまう（具体例としては、同一の空間周波数におけるＭＴＦ特性が大幅に低下してしまう）。

【0008】

本発明は上記事情に鑑みてなされたものであり、画素ずらしした複数の画像から合成画像を得る際に、画素開口の影響による解像度劣化を軽減して、鮮鋭度が高い合成画像を生成することができる撮像装置、画像処理方法を提供することを目的としている。

【課題を解決するための手段】

【0009】

本発明のある態様による撮像装置は、所定の画素ピッチで２次元状に配列された複数の画素を有する撮像素子と、上記撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらし部と、上記複数の相対位置のそれぞれにおいて上記撮像素子に撮像動作を行わせて、複数の画像データを取得する撮像制御部と、上記撮像制御部により取得された複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成部と、上記合成画像データの画素開口に関する特性に基づきエッジ強調パラメータを決定し、決定したエッジ強調パラメータにより上記合成画像データにエッジ強調処理を行う画像処理部と、を有し、上記画素開口に関する特性は、画素開口率であり、上記画像処理部は、上記エッジ強調パラメータを、上記画素開口率の増加に従って単調増加するように決定する。
本発明のある態様による撮像装置は、所定の画素ピッチで２次元状に配列された複数の画素を有する撮像素子と、上記撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらし部と、上記複数の相対位置のそれぞれにおいて上記撮像素子に撮像動作を行わせて、複数の画像データを取得する撮像制御部と、上記撮像制御部により取得された複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成部と、上記合成画像データの画素開口に関する特性を、上記合成画像データに関連付けて記録する画像記録部と、を有する。
本発明のある態様による撮像装置は、所定の画素ピッチで２次元状に配列された複数の画素を有する撮像素子と、上記撮像素子と、該撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらし部と、上記複数の相対位置のそれぞれにおいて上記撮像素子に撮像動作を行わせて、複数の画像データを取得する撮像制御部と、上記撮像制御部により取得された複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成する画像合成部と、上記合成画像データの画素開口に関する特性に基づきエッジ強調パラメータを決定し、決定したエッジ強調パラメータにより上記合成画像データにエッジ強調処理を行う画像処理部と、を有し、上記画素開口に関する特性は、画素開口ＭＴＦ特性であり、上記画像処理部は、上記エッジ強調パラメータを、上記画素開口ＭＴＦ特性の増加に従って単調減少するように決定する。

【0010】

また、本発明のある態様による画像処理方法は、所定の画素ピッチで２次元状に配列された複数の画素を有する撮像素子と、上記撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行い、上記複数の相対位置のそれぞれにおいて上記撮像素子により撮像動作を行い取得された複数の画像データを処理する画像処理方法であって、上記複数の画像データを合成することにより、該撮像素子から得られる画像データよりも高解像度の合成画像データを生成し、上記合成画像データの画素開口に関する特性に基づきエッジ強調パラメータを決定し、決定した上記エッジ強調パラメータにより上記合成画像データにエッジ強調処理を行い、上記画素開口に関する特性は、画素開口率、または画素開口ＭＴＦ特性であり、上記エッジ強調パラメータを、上記画素開口率の増加、または上記画素開口ＭＴＦ特性の減少に従って単調増加するように決定する方法である。

【発明の効果】

【0011】

本発明の撮像装置、画像処理方法によれば、画素ずらしした複数の画像から合成画像を得る際に、画素開口の影響による解像度劣化を軽減して、鮮鋭度が高い合成画像を生成することが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態１におけるデジタルカメラの構成を示すブロック図。

【図2】上記実施形態１のデジタルカメラにおけるメイン処理の流れを示すフローチャート。

【図3】上記実施形態１のデジタルカメラにおける撮影処理の流れを示すフローチャート。

【図4】上記実施形態１のシフト機構により移動される撮像素子のセンタリング位置の例を示す図。

【図5】上記実施形態１の合成処理部の構成を示すブロック図。

【図6】上記実施形態１は、撮影で撮像素子から得られたベイヤ画像におけるＲ，Ｇｒ，Ｇｂ，Ｂ画素の基本的な画素配置を示す図。

【図7】上記実施形態１において、８枚分の図６に示す画素配置から画素配置部により得られたＲ画素配置を示す図。

【図8】上記実施形態１において、８枚分の図６に示す画素配置から画素配置部により得られたＧｒ画素配置を示す図。

【図9】上記実施形態１において、８枚分の図６に示す画素配置から画素配置部により得られたＧｂ画素配置を示す図。

【図10】上記実施形態１において、８枚分の図６に示す画素配置から画素配置部により得られたＢ画素配置を示す図。

【図11】上記実施形態１の合成処理部により合成された高解像度のベイヤ画像の画素配置を示す図。

【図12】上記実施形態１のデジタルカメラにおける画像処理の流れを示すフローチャート。

【図13】上記実施形態１において、合成画像データの画素開口に関する特性に応じてエッジ強調パラメータを決定する例を示す図表。

【図14】上記実施形態１におけるエッジ強調処理部の構成を示すブロック図。

【図15】上記実施形態１において、通常の１枚撮影により得られる通常画像の画素ピッチＰおよび画素開口幅Ａを示す図。

【図16】上記実施形態１において、画素ずらしにより得られる超解像画像の画素ピッチＰ’および画素開口幅Ａを示す図。

【図17】上記実施形態１において、超解像画像および通常画像の、画像空間周波数に対する画素開口ＭＴＦの例を示す線図。

【図18】上記実施形態１において、画像空間周波数に対するエッジ強調処理ＭＴＦの例を示す線図。

【図19】上記実施形態１において、画像空間周波数に対する画素開口ＭＴＦ×エッジ強調処理ＭＴＦの例を示す線図。

【図20】上記実施形態１において、画素開口率に応じてエッジ強調パラメータαを決定する例を示す線図。

【図21】上記実施形態１において、画素開口ＭＴＦに応じてエッジ強調パラメータαを決定する例を示す線図。

【図22】本発明の実施形態２において、空間周波数に対するレンズＭＴＦの例を示す線図。

【図23】上記実施形態２において、横軸が画像空間周波数となるように図２２のレンズＭＴＦを変換した線図。

【図24】上記実施形態２において、画像空間周波数に対するレンズＭＴＦ×画素開口ＭＴＦ×エッジ強調処理ＭＴＦの例を示す線図。

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

【0014】

図１から図２１は本発明の実施形態１を示したものであり、図１はデジタルカメラの構成を示すブロック図である。

【0015】

撮像装置であるデジタルカメラは、交換式レンズ１とカメラ本体２とをインタフェース（Ｉ／Ｆ）３を介して通信可能に接続して構成されている。

【0016】

交換式レンズ１は、例えばレンズマウントを介してカメラ本体２に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１側に設けられた電気接点およびカメラ本体２側に設けられた電気接点）等によりインタフェース３が構成されている。こうして、交換式レンズ１は、インタフェース３を介してカメラ本体２と通信可能となっている。

【0017】

交換式レンズ１は、レンズ１１と、絞り１２と、ドライバ１３と、フラッシュメモリ１４と、マイクロコンピュータ１５と、を備えている。

【0018】

レンズ１１は、被写体の光学像をカメラ本体２の後述する撮像素子２２上に結像するための撮影光学系である。

【0019】

絞り１２は、レンズ１１を通過する光束の通過範囲を制御する光学絞りである。

【0020】

ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行い、レンズ１１が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。加えて、ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、絞り１２を駆動して開口径を変化させる。この絞り１２の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。

【0021】

フラッシュメモリ１４は、マイクロコンピュータ１５により実行される制御プログラムや、交換式レンズ１に関する各種の情報を記憶する記憶媒体である。

【0022】

マイクロコンピュータ１５は、いわゆるレンズ側コンピュータであり、ドライバ１３、フラッシュメモリ１４、およびインタフェース３と接続されている。そして、マイクロコンピュータ１５は、インタフェース３を介して後述する本体側コンピュータであるマイクロコンピュータ４５と通信し、マイクロコンピュータ４５からの指令を受けて、フラッシュメモリ１４に記憶されている情報の読出／書込を行い、ドライバ１３を制御する。さらに、マイクロコンピュータ１５は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ４５へ送信する。

【0023】

インタフェース３は、交換式レンズ１のマイクロコンピュータ１５と、カメラ本体２のマイクロコンピュータ４５とを、双方向に通信可能に接続する。

【0024】

次に、カメラ本体２は、メカニカルシャッタ（メカシャッタ）２１と、撮像素子２２と、シフト機構２３と、アナログ処理部２４と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２５と、バス２６と、ＳＤＲＡＭ２７と、ＡＦ処理部２８と、ＡＥ処理部２９と、合成処理部３１と、画像処理部３２と、ＪＰＥＧ処理部３６と、モニタドライバ３７と、モニタ３８と、メモリインタフェース（メモリＩ／Ｆ）４１と、記録媒体４２と、操作部４３と、フラッシュメモリ４４と、マイクロコンピュータ４５と、を備えている。

【0025】

メカシャッタ２１は、レンズ１１からの光束が撮像素子２２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成のメカシャッタとなっている。このメカシャッタ２１は、マイクロコンピュータ４５の指令により駆動されて、光束の撮像素子２２への到達時間、つまり撮像素子２２による被写体の露光時間を制御する。

【0026】

撮像素子２２は、所定の画素ピッチ（図４に示す画素ピッチＰを参照）で２次元状に配列された複数の画素を有し、レンズ１１および絞り１２を介して結像された被写体の光学像を光電変換してアナログ画像信号を生成するものである。この撮像素子２２は、輝度相当色（例えば緑色）を含む複数色の色フィルタを１画素に１色が対応するように配置して構成され、具体的に、垂直方向および水平方向に配列された複数の画素の前面に原色ベイヤー配列のカラーフィルタを配置した単板式の撮像素子として構成されている（図６参照）。なお、撮像素子２２は、単板式の撮像素子に限らないことは勿論であり、例えば基板厚み方向に色成分を分離するような積層式の撮像素子であっても良い。

【0027】

シフト機構２３は、撮像素子２２と、この撮像素子２２により受光される光束と、の上述した２次元状配列方向の相対位置が、画素ピッチの非整数倍の移動量の相対位置を含む、移動量が異なる複数の相対位置となるように画素ずらしを行う画素ずらし部である。具体的に、シフト機構２３は、ボイスコイルモータ（ＶＣＭ）や圧電素子等の駆動源を用いて、レンズ１１の光軸に垂直な面内で撮像素子２２を移動させるものとなっている。本実施形態において、このシフト機構２３は、撮像素子２２から得られる画像データよりも高解像度の合成画像を得るべく複数枚の画像を撮像する際に、例えば半画素ピッチ単位で撮像素子２２を移動させるのに用いられる。

【0028】

なお、ここではシフト機構２３により撮像素子２２を移動させているが、これに代えてレンズ１１を移動させるようにしても良いし、撮像素子２２とレンズ１１との両方を移動させても構わないし、要は、撮像素子２２と受光光束との相対位置を変化させることができれば良い。

【0029】

アナログ処理部２４は、撮像素子２２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

【0030】

Ａ／Ｄ変換部２５は、アナログ処理部２４から出力されたアナログ画像信号をデジタル画像信号（以後、画像データなどという）に変換する。

【0031】

バス２６は、デジタルカメラ内のある場所で発生した各種のデータや制御信号を、デジタルカメラ内の他の場所へ転送するための転送路である。本実施形態におけるバス２６は、シフト機構２３と、Ａ／Ｄ変換部２５と、ＳＤＲＡＭ２７と、ＡＦ処理部２８と、ＡＥ処理部２９と、合成処理部３１と、画像処理部３２と、ＪＰＥＧ処理部３６と、モニタドライバ３７と、メモリＩ／Ｆ４１と、マイクロコンピュータ４５と、に接続されている。

【0032】

Ａ／Ｄ変換部２５から出力された画像データ（以下では適宜、ＲＡＷ画像データという）は、バス２６を介して転送され、ＳＤＲＡＭ２７に一旦記憶される。

【0033】

ＳＤＲＡＭ２７は、上述したＲＡＷ画像データ、あるいは合成処理部３１、画像処理部３２、ＪＰＥＧ処理部３６等において処理された画像データ等の各種データを一時的に記憶する記憶部である。

【0034】

ＡＦ処理部２８は、ＲＡＷ画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２２上のＡＦ用画素）を用いて位相差ＡＦを行う構成であっても構わない。

【0035】

ＡＥ処理部２９は、ＲＡＷ画像データに基づき、被写体輝度を算出する。ここで算出された被写体輝度は、自動露出（ＡＥ）制御、すなわち、絞り１２の制御やメカシャッタ２１の制御、撮像素子２２の露光タイミング制御（あるいは、いわゆる素子シャッタの制御）等に用いられる。なお、被写体輝度を算出するためのデータとして、ここではＲＡＷ画像データを利用したが、これに代えて、デジタルカメラに専用の測光センサを設けて得られたデータを利用するようにしても構わない。

【0036】

合成処理部３１は、撮像制御部であるマイクロコンピュータ４５の制御により取得された複数の画像データ（シフト機構２３により撮像素子２２を移動させて撮像された複数の画像データ）を合成することにより、撮像素子２２から得られる画像データよりも高解像度の合成画像データ（以下では適宜、超解像画像などという）を生成する画像合成部である。

【0037】

画像処理部３２は、撮像素子２２から得られたＲＡＷ画像データ（通常画像データ）、または合成処理部３１により合成された合成画像データに対して種々の画像処理を行うものであり、同時化処理部３３、エッジ強調処理部３４、ノイズ低減処理部３５を含んでいる。

【0038】

同時化処理部３３は、１画素につきＲＧＢ成分の内の１色成分のみが存在するベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補間して求めることにより、全画素がＲＧＢの３色成分を全て備える画像データに変換する同時化処理を行う。

【0039】

エッジ強調処理部３４は、画像データ（通常画像データまたは合成画像データ）の画素開口に関する特性（後述するように、例えば画素開口率、あるいは画素開口ＭＴＦ（Modulation Transfer Function）特性など）に基づきエッジ強調パラメータを決定し、決定したエッジ強調パラメータにより画像データ（通常画像データまたは合成画像データ）にエッジ強調処理を行うものとなっている。このエッジ強調処理部３４が行うエッジ強調処理については、後で図１４を参照して具体的に説明する。

【0040】

ノイズ低減処理部３５は、周波数に応じたコアリング処理などを画像データに行うことによりノイズ低減処理を行う。

【0041】

こうして画像処理部３２によって各種の処理が行われた後の画像データは、ＳＤＲＡＭ２７に再び記憶される。

【0042】

ＪＰＥＧ処理部３６は、画像データを記録する際には、ＳＤＲＡＭ２７から画像データを読み出して、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮し、圧縮した画像データをＳＤＲＡＭ２７に一旦記憶させる。こうしてＳＤＲＡＭ２７に記憶された圧縮した画像データは、マイクロコンピュータ４５により、ファイルを構成するために必要なヘッダが付加されて記録用のデータとして整えられる。そして、マイクロコンピュータ４５の制御に基づき、整えられた記録用のデータが、メモリＩ／Ｆ４１を介して記録媒体４２に記録される。

【0043】

また、ＪＰＥＧ処理部３６は、読み出された画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、マイクロコンピュータ４５の制御に基づき、例えばＪＰＥＧファイルがメモリＩ／Ｆ４１を介して記録媒体４２から読み出され、ＳＤＲＡＭ２７に一旦記憶される。ＪＰＥＧ処理部３６は、ＳＤＲＡＭ２７に記憶されたＪＰＥＧ画像データを読み出して、読み出したＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データをＳＤＲＡＭ２７に記憶させる。

【0044】

モニタドライバ３７は、ＳＤＲＡＭ２７に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、モニタ３８を駆動制御して映像信号に基づく画像をモニタ３８に表示させる。このモニタドライバ３７により行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体４２に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示などが含まれる。

【0045】

モニタ３８は、上述したようなモニタドライバ３７の駆動制御により、画像を表示すると共に、このデジタルカメラに係る各種の情報を表示する。

【0046】

メモリＩ／Ｆ４１は、上述したように、画像データの記録媒体４２への書き込み、および記録媒体４２からの画像データの読み出しを行う。

【0047】

記録媒体４２は、画像データを不揮発に記憶するものであり、例えばカメラ本体２に着脱可能なメモリカード等により構成されている。ただし、記録媒体４２は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。こうして記録媒体４２は、デジタルカメラに固有の構成である必要はない。

【0048】

操作部４３は、このデジタルカメラに対する各種の操作入力を行うためのものであり、デジタルカメラの電源をオン／オフするめの電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、デジタルカメラの設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定可能な項目には、撮影モード（通常撮影モード、画素ずらし超解像撮影モード等）、記録モード（ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード等）などが含まれている。この操作部４３に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ４５へ出力される。

【0049】

フラッシュメモリ４４は、マイクロコンピュータ４５により実行される処理プログラムや、このデジタルカメラに係る各種の情報を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ４４が記憶する情報としては、例えば、画像データの画素開口に関する特性に応じたエッジ強調パラメータ等のデジタルカメラの動作に必要な各種パラメータ、画素ずらし超解像撮影モードにおける画素ずらしの大きさ、方向、順序等の情報、およびデジタルカメラを特定するための製造番号などが幾つかの例として挙げられる。このフラッシュメモリ４４が記憶する情報は、マイクロコンピュータ４５により読み取られる。

【0050】

マイクロコンピュータ４５は、カメラ本体２内の各部を制御すると共に、インタフェース３を介してマイクロコンピュータ１５に指令を送信し交換式レンズ１を制御するものであり、このデジタルカメラを統括的に制御する制御部である。マイクロコンピュータ４５は、ユーザにより操作部４３から操作入力が行われると、フラッシュメモリ４４に記憶されている処理プログラムに従って、フラッシュメモリ４４から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。そして、マイクロコンピュータ４５は、上述したシフト機構２３により画素ずらしを行った複数の相対位置のそれぞれにおいて撮像素子２２に撮像動作を行わせ、複数の画像データを取得する撮像制御部としても機能するようになっている。さらに、マイクロコンピュータ４５は、メモリＩ／Ｆ４１を介して、合成画像データの画素開口に関する特性（後述するように、例えば画素開口率、または画素開口ＭＴＦ特性など）を、合成画像データに関連付けて記録する画像記録部としても機能する。

【0051】

次に、図２はデジタルカメラにおけるメイン処理の流れを示すフローチャートである。この図２に示す処理は、マイクロコンピュータ４５の制御に基づき行われる。

【0052】

操作部４３の電源ボタンがオン操作されてデジタルカメラの電源がオンになると、このメイン処理が開始され、まずデジタルカメラの初期化を行う（ステップＳ１）。

【0053】

次に、マイクロコンピュータ４５は、操作部４３の再生ボタンが操作されたか否かを判定する（ステップＳ２）。

【0054】

ここで再生ボタンが操作された場合には、再生・編集処理を行う（ステップＳ３）。この再生・編集処理は、記録媒体４２に記録されているファイルの一覧を表示して、ユーザーからの選択操作を待ち、選択決定されたファイルを再生したり、選択されている画像を編集したりする処理である。

【0055】

ステップＳ２において再生ボタンが操作されていないか、あるいはステップＳ３の処理が行われた場合には、操作部４３のメニューボタンが操作されて、デジタルカメラに関するカメラ設定が選択されたか否かを判定する（ステップＳ４）。

【0056】

ここでカメラ設定が選択された場合には、カメラ設定を変更するメニューをモニタ３８に表示して、カメラ設定を変更するユーザ操作が操作部４３からなされるのを待機する。ここに、カメラ設定の幾つかの例としては、上述したような
撮影モード：通常撮影モード、画素ずらし超解像撮影モード
記録モード：ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード
などが挙げられるが、これらに限るものではない。

【0057】

そして、ユーザ操作がなされた場合には、操作内容に応じてカメラ設定を行う（ステップＳ５）。

【0058】

ステップＳ４においてカメラ設定が選択されていないか、あるいはステップＳ５の処理が行われた場合には、レリーズボタンがオフから１段階目の押圧状態（いわゆる半押状態）である１ｓｔレリーズオンの状態へ遷移したか否かを判定する（ステップＳ６）。

【0059】

ここで１ｓｔレリーズオンの状態へ遷移した場合には、この遷移したタイミングにおいて、画像を撮影するための自動露出（ＡＥ）制御をＡＥ処理部２９により行うと共に、自動焦点制御（ＡＦ）をＡＦ処理部２８により行う（ステップＳ７）。これにより、１ｓｔレリーズボタンが押圧された以降は、いわゆるＡＥロックおよびＡＦロックが行われる。

【0060】

そして、電源ボタンがオフ操作されたか否かを判定し（ステップＳ８）、オフ操作されていない場合には、ステップＳ２へ戻って上述したような処理を繰り返して行う。

【0061】

また、上述したステップＳ６において１ｓｔレリーズオンの状態へ遷移していない場合には、レリーズボタンが２段階目の押圧状態である２ｎｄレリーズオンの状態（いわゆる全押状態）となっているか否かを判定する（ステップＳ９）。

【0062】

ここで、２ｎｄレリーズオンの状態となっていない場合には、メカシャッタ２１を開放状態にして、ライブビュー用の自動露出（ＡＥ）制御をＡＥ処理部２９により行い、電子シャッタによる１フレーム（あるいは１フィールド等）の画像撮影を行う（ステップＳ１０）。

【0063】

こうして撮影された画像に対して、記録画像に対して行う画像処理の幾つかを例えば省略した基本画像処理を行い（ステップＳ１１）、基本画像処理されたフレーム画像をモニタ３８にライブビューの１フレームとして表示する（ステップＳ１２）。

【0064】

その後、上述したステップＳ８の処理へ移行して電源ボタンがオフ操作されたか否かを判定し、オフ操作されていない場合には、ステップＳ２へ戻って上述したような処理を繰り返して行う。

【0065】

一方、上述したステップＳ９において、２ｎｄレリーズオンの状態となっている場合には、後で図３を参照して説明する撮影処理を実行する（ステップＳ１３）。

【0066】

続いて、ＲＡＷ記録モードが設定されているか否かを判定して（ステップＳ１４）、設定されている場合にはＲＡＷ画像を記録媒体４２に記録する（ステップＳ１５）。

【0067】

ステップＳ１４においてＲＡＷ記録モードが設定されていないか、あるいはステップＳ１５の処理が行われた場合には、撮影により得られた画像に対して、後で図１２を参照して説明するような画像処理を行う（ステップＳ１６）。

【0068】

その後、画像処理された画像をＪＰＥＧ圧縮して、Ｅｘｉｆ情報を含むヘッダを付加し、ＪＰＥＧファイルとして記録媒体４２に記録する（ステップＳ１７）。

【0069】

このステップＳ１７の処理が行われたら、上述したステップＳ８の処理へ移行して電源ボタンがオフ操作されたか否かを判定する。

【0070】

こうして、ステップＳ８において、電源ボタンがオフ操作された場合には、このメイン処理を終了する。

【0071】

図３は、デジタルカメラにおける撮影処理の流れを示すフローチャートである。

【0072】

この処理を開始すると、撮影モードが画素ずらし超解像撮影モードに設定されているか否かを判定する（ステップＳ２１）。

【0073】

ここで、画素ずらし超解像撮影モードに設定されていない場合には、絞り１２を駆動しメカシャッタ２１を開いて撮像素子２２により露光を行い、画像を１枚撮影する通常の撮影処理を行う（ステップＳ２２）。

【0074】

また、画素ずらし超解像撮影モードに設定されている場合には、レンズ１１の光軸に垂直な面内（撮像素子２２における複数の画素の２次元状配列面の方向）における撮像素子２２のセンタリング位置を設定して（ステップＳ２３）、シフト機構２３により撮像素子２２を設定したセンタリング位置へ移動する（ステップＳ２４）。

【0075】

ここに、図４はシフト機構２３により移動される撮像素子２２のセンタリング位置の例を示す図である。

【0076】

本実施形態においては、あるセンタリング位置に対して画素ピッチの非整数倍で位置が異なるセンタリング位置を含む、例えば８つの異なるセンタリング位置に撮像素子２２を移動して、各センタリング位置において画像を撮像し、撮像して得られた８枚の画像を合成することにより１枚の超解像画像を取得するようになっている。

【0077】

そして、画素ピッチをＰとすると、図４に示す例では、センタリング位置Ａ１に対して、センタリング位置Ａ２は右方向に１Ｐだけずれた位置、センタリング位置Ａ３は右方向に（１／２）Ｐかつ下方向に（１／２）Ｐだけずれた位置、センタリング位置Ａ４は左方向に（１／２）Ｐかつ下方向に（１／２）Ｐだけずれた位置、センタリング位置Ａ５は下方向に１Ｐだけずれた位置、センタリング位置Ａ６は右方向に１Ｐかつ下方向に１Ｐだけずれた位置、センタリング位置Ａ７は右方向に（１／２）Ｐかつ下方向に（３／２）Ｐだけずれた位置、センタリング位置Ａ８は左方向に（１／２）Ｐかつ下方向に（３／２）Ｐだけずれた位置となっている。

【0078】

従って、センタリング位置Ａ１に対して、センタリング位置Ａ３，Ａ４，Ａ７，Ａ８は画素ピッチの１／２倍または３／２倍（つまり非整数倍）の移動量の相対位置であるが、センタリング位置Ａ２，Ａ５，Ａ６は画素ピッチの１倍（つまり整数倍）の移動量の相対位置となる。このように、センタリング位置は、画素ピッチの非整数倍の移動量の相対位置を少なくとも１つ含む必要があるが、この条件を満たせば、画素ピッチの整数倍の移動量の相対位置をさらに含んでいても構わない。

【0079】

原色ベイヤー配列の撮像素子２２に対してシフト機構２３がこの図４に示すような画素ずらしを行うと、複数の相対位置の内の少なくとも２つの相対位置において、輝度相当色（ここでは緑色）の色フィルタに対応する画素であって、異なる画素の位置が重複するように（つまり、あるセンタリング位置におけるある輝度相当色画素と、他のセンタリング位置における他の輝度相当色画素と、が位置的に重複するように）、複数の相対位置が設定される（図８および図９参照）。

【0080】

ただし、図４に示したセンタリング位置は一例であり、その他の配置や、８以外のセンタリング位置数を採用しても勿論構わない。

【0081】

そして、移動したセンタリング位置において、絞り１２を駆動しメカシャッタ２１を開いて撮像素子２２により露光を行い、画像を１枚撮影する（ステップＳ２５）。

【0082】

続いて、図４に示したような８つのセンタリング位置Ａ１〜Ａ８での処理が全て終了したか否かを判定し（ステップＳ２６）、まだ終了していない場合にはステップＳ２３へ戻って、次のセンタリング位置の処理を行う。

【0083】

こうして、ステップＳ２６において、全てのセンタリング位置の処理が終了した場合には、撮影により得られた８枚の画像を、合成処理部３１により合成処理し、１枚の超解像画像を生成する（ステップＳ２７）。

【0084】

ステップＳ２７または上述したステップＳ２２の処理が終了したら、ステップＳ２７で得られた超解像画像に対しては超解像画像である旨の画像処理識別情報を設定し、ステップＳ２２で得られた画像に対しては通常画像である旨の画像処理識別情報を設定して（ステップＳ２８）、設定した画像処理識別情報をＥｘｉｆ情報に付加して（ステップＳ２９）、この処理から図２に示す処理へリターンする。

【0085】

なお、画像処理識別情報の例としては、画素ずらし超解像撮影モードで撮影された画像であるか否かの情報、画素開口率とサンプリングピッチの相対関係の情報、画素開口ＭＴＦに基づき決定されたエッジ強調度、などが挙げられる。また、Ｅｘｉｆ情報は、上述した図２のステップＳ１７の処理において、画像ファイルのヘッダに組み込まれて記録媒体４２へ記録されることになる。

【0086】

次に、図５は、合成処理部３１の構成を示すブロック図である。

【0087】

合成処理部３１は、画素配置部５１と、画素補間部５２と、加算部５３と、半値化部５４と、ベイヤ画像抽出部５５と、を備えている。

【0088】

画素配置部５１は、画素ずらし超解像撮影モードにおいて取得された８枚のベイヤ画像（ＲＡＷ画像）を、Ｒ成分、Ｇｒ成分、Ｇｂ成分、Ｂ成分にそれぞれ分離して、センタリング位置Ａ１〜Ａ８に応じて配置するものである。

【0089】

ここに、図６は撮影で撮像素子２２から得られたベイヤ画像におけるＲ，Ｇｒ，Ｇｂ，Ｂ画素の基本的な画素配置を示す図、図７は８枚分の図６に示す画素配置から画素配置部５１により得られたＲ画素配置を示す図、図８は８枚分の図６に示す画素配置から画素配置部５１により得られたＧｒ画素配置を示す図、図９は８枚分の図６に示す画素配置から画素配置部５１により得られたＧｂ画素配置を示す図、図１０は８枚分の図６に示す画素配置から画素配置部５１により得られたＢ画素配置を示す図である。

【0090】

画素配置部５１は、図６に示すような基本的な画素配置を繰り返して構成されている８枚のベイヤ画像から、Ｒ成分を抽出して図４に示したセンタリング位置Ａ１〜Ａ８に応じて再配置し、図７に示すような４×４画素配列中にＲ１〜Ｒ８画素が配列された画素配置のＲ合成画像を生成する。同様に、画素配置部５１は、８枚のベイヤ画像から、Ｇｒ，Ｇｂ，Ｂ成分を各抽出して、センタリング位置Ａ１〜Ａ８に応じて再配置し、図８，図９，図１０に各示すような画素配置のＧｒ合成画像，Ｇｂ合成画像，Ｂ合成画像をそれぞれ生成する。

【0091】

画素補間部５２は、周辺のＲ画素に基づき、図７に示すｘ１〜ｘ４画素位置の画素を補間して、Ｒ’１〜Ｒ’４画素とする。同様に、画素補間部５２は、周辺のＢ画素に基づき、図１０に示すｙ１〜ｙ４画素位置の画素を補間して、Ｂ’１〜Ｂ’４画素とする。

【0092】

この画素補間部５２による画素補間は、例えば周辺４画素補間を行う場合には、次の数式１，２に示すように表すことができる。
［数１］
Ｒ’１＝（Ｒ１＋Ｒ４＋（上Ｒ８）＋（左Ｒ２））／４
Ｒ’２＝（Ｒ１＋Ｒ２＋Ｒ３＋（上Ｒ７））／４
Ｒ’３＝（Ｒ４＋Ｒ５＋Ｒ８＋（左Ｒ６））／４
Ｒ’４＝（Ｒ３＋Ｒ５＋Ｒ６＋Ｒ７）／４
［数２］
Ｂ’１＝（Ｂ６＋Ｂ７＋Ｂ８＋Ｂ２）／４
Ｂ’２＝（Ｂ５＋Ｂ８＋Ｂ１＋（右Ｂ７））／４
Ｂ’３＝（Ｂ２＋Ｂ３＋Ｂ４＋（下Ｂ６））／４
Ｂ’４＝（Ｂ１＋Ｂ４＋（右Ｂ３）＋（下Ｂ５））／４
ここに、数式１，２中の「上」、「左」、「右」、「下」は、図７または図１０に示す４×４画素配列の、上側に位置する４×４画素配列、左側に位置する４×４画素配列、右側に位置する４×４画素配列、下側に位置する４×４画素配列をそれぞれ表している。

【0093】

加算部５３は、図８に示すＧｒ合成画像と、図９に示すＧｂ合成画像とを、対応する画素位置同士で加算する。

【0094】

半値化部５４は、加算部５３により加算されたＧｒＧｂ合成画像を２で割る。

【0095】

つまり、加算部５３および半値化部５４により、図８に示すＧｒ合成画像と、図９に示すＧｂ合成画像とが、平均化される。この平均化の処理は、次の数式３に示すように表すことができる。
［数３］
Ｇ’１＝（Ｇｒ２＋Ｇｂ５）／２
Ｇ’２＝（Ｇｒ１＋Ｇｂ６）／２
Ｇ’３＝（Ｇｒ３＋Ｇｂ８）／２
Ｇ’４＝（Ｇｒ４＋Ｇｂ７）／２
Ｇ’５＝（Ｇｒ６＋Ｇｂ１）／２
Ｇ’６＝（Ｇｒ５＋Ｇｂ２）／２
Ｇ’７＝（Ｇｒ７＋Ｇｂ４）／２
Ｇ’８＝（Ｇｒ８＋Ｇｂ３）／２

【0096】

こうして、合成処理部３１は、重複する位置において取得した輝度相当色（ここでは緑色）の複数の画素データを平均して、この重複する位置における合成後の画素データとすることにより、ノイズを低減して高画質化を図るようにしている。

【0097】

ベイヤ画像抽出部５５は、画素補間部５２により補間されたＲ’１〜Ｒ’４画素、およびＢ’１〜Ｂ’４画素と、半値化部５４から出力された平均化されたＧｒＧｂ合成画像とを、１枚の高解像度のベイヤ画像として合成し、出力する。

【0098】

ここに、図１１は合成処理部３１により合成された高解像度のベイヤ画像の画素配置を示す図である。

【0099】

図１１と図６を比較すれば分かるように、画素ずらし超解像撮影モードにおいては、水平方向に２倍かつ垂直方向に２倍の解像度の超解像画像が得られるようになっている。

【0100】

次に図１２は、デジタルカメラにおける画像処理の流れを示すフローチャートである。

【0101】

この処理に入ると、マイクロコンピュータ４５が画像処理に用いるパラメータをフラッシュメモリ４４から読み出して、画像処理部３２に設定する（ステップＳ３１）。このステップＳ３１において設定されるパラメータとしては、上述したような、画像データの画素開口に関する特性（画素開口率、画素開口ＭＴＦ特性など）に応じたエッジ強調パラメータが含まれている。なお、画素開口率、あるいは画素開口ＭＴＦ特性は、撮影モードが通常撮影モードと画素ずらし超解像撮影モードとの何れであるかに応じて値が定まってくるために、実用上は、撮影モードに応じてエッジ強調パラメータを設定しても構わない（図１３参照）。

【0102】

そして、画像処理部３２により、設定されたパラメータに基づく画像処理を行う（ステップＳ３２）。

【0103】

この画像処理は、以下の処理を含んでいる。

【0104】

まず、同時化処理部３３が、１画素につきＲＧＢ成分の内の１色成分のみが存在するベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補間して求めることにより、全画素がＲＧＢの３色成分を全て備える画像データに変換する同時化処理を行う。

【0105】

続いて、エッジ強調処理部３４が、バンドパスフィルタにより画像データからエッジ成分を抽出して、抽出したエッジ成分にエッジ強調度に応じた係数（エッジ強調パラメータ）を乗算し、元の画像データに加算することにより、エッジ強調処理を行う。

【0106】

さらに、ノイズ低減処理部３５が、画像データを周波数分解して、周波数に応じてコアリング処理などを行うことによりノイズ低減処理を行う。

【0107】

こうしてステップＳ３２の画像処理を行ったら、この処理から図２に示す処理へリターンする。

【0108】

図１４は、エッジ強調処理部３４の構成を示すブロック図である。

【0109】

この図１４に示す構成例では、エッジ強調処理部３４は、フィルタ演算部６１と、乗算部６２と、加算部６３と、を備えている。

【0110】

フィルタ演算部６１は、同時化処理部３３から入力される同時化後のＲ画像、Ｇ画像、Ｂ画像のそれぞれに対して、注目画素位置を中心とした例えば３×３画素の画素ブロックを抽出し、抽出した３×３画素に対して、例えば図１４に示すような３行３列の行列でなるエッジ抽出フィルタｆｅを作用させて、注目画素位置のエッジ成分を抽出する。

【0111】

乗算部６２は、フィルタ演算部６１により抽出された注目画素位置のエッジ成分に対して、エッジ強調パラメータαを乗算することにより、エッジ強調度を調整する。

【0112】

加算部６３は、乗算部６２から出力された調整後の注目画素位置のエッジ成分を、元の注目画素の画素データに加算することでエッジ強調を行い、エッジ強調結果を出力する。

【0113】

このような処理を例えばラスタスキャンの順序で注目画素位置を移動させながら全ての画素位置について行うことにより、エッジ強調処理が完了する。

【0114】

なお、ここでは同時化後のＲ画像、Ｇ画像、Ｂ画像のそれぞれに対してエッジ強調処理を行ったが、例えば画像データが輝度−色差データに変換された後であれば、輝度データのみに対してエッジ強調処理を行うようにしても構わない。

【0115】

ここで、図１３は、合成画像データの画素開口に関する特性に応じてエッジ強調パラメータαを決定する例を示す図表である。

【0116】

画像処理部３２のエッジ強調処理部３４は、合成処理部３１により生成された合成画像データの画素開口に関する特性に基づきエッジ強調パラメータαを決定するようになっている。

【0117】

まず、通常の１枚撮影により得られる通常画像と、図４に示したような画素ずらしにより得られる超解像画像とは、図１５および図１６に示すように画素ピッチ（サンプリングピッチ）が変化する。ここに、図１５は通常の１枚撮影により得られる通常画像の画素ピッチＰおよび画素開口幅Ａを示す図、図１６は画素ずらしにより得られる超解像画像の画素ピッチＰ’および画素開口幅Ａを示す図である。

【0118】

図１５に示す例においては、画素ピッチＰが３．８５μｍ、画素開口幅Ａが２．８９μｍである。従って、通常画像の画素開口率は、
Ａ／Ｐ＝２．８９／３．８５＝７５％
となる。

【0119】

なお、ここでは画素開口率を、１次元方向の画素開口率、つまりサンプリングピッチに対する１次元方向の画素開口長さの比率で表しているが、一般的な画素開口率の定義と同様に２次元における画素開口率、つまり撮像面の面積を画素数で割って得られる１画素分の面積に対する画素開口の面積の比率で表しても勿論構わない。

【0120】

一方、図１５に示すような画素構成の撮像素子２２に対して図４に示したような画素ずらしを行うと、図１６に示すように画素ピッチＰ’が図１５に示した画素ピッチＰの半分の１．９２μｍとなるために、超解像画像の画素開口率は、
Ａ／Ｐ’＝２．８９／１．９２＝１５０％
となる。従って、超解像画像では画素開口率が１００％を超えてしまうことになる。

【0121】

このような場合には、図１７に示すように、同一の画像空間周波数における画素開口ＭＴＦが、超解像画像Ｓでは通常画像Ｎに比べて大幅に低下してしまうことになる。ここに、図１７は、超解像画像Ｓおよび通常画像Ｎの、画像空間周波数に対する画素開口ＭＴＦの例を示す線図である。

【0122】

画素開口によるＭＴＦは、画像空間周波数をｕ、画素開口率をａとすると、次の数式４に示すように表される。
［数４］
ＭＴＦ（ｕ）＝｛ｓｉｎ（ａ×ｕ×π）｝／（ａ×ｕ×π）

【0123】

そして、図１７に示すように、超解像画像ＳのＭＴＦは、通常画像ＮのＭＴＦに比べて、画像空間周波数が増加するに従って大きく低下し、画像のコントラストが下がっていることが分かる。具体例として、０．３（本／水平または垂直画素数）の画像空間周波数における画素開口ＭＴＦは、通常画像Ｎが約０．９（９０％）であるのに対して、超解像画像Ｓは約０．７（７０％）となり、超解像画像Ｓの方が大幅に低下している。

【0124】

そこで、本実施形態においては、図１３に一例を示すように、エッジ強調パラメータαを、合成画像データの画素開口に関する特性に応じて変化させている。

【0125】

すなわち、エッジ強調処理部３４は、画素開口率が７５％（あるいは０．３（本／水平または垂直画素数）の画像空間周波数における画素開口ＭＴＦが０．９）である場合には、エッジ強調パラメータαを０．１に決定し、一方、画素開口率が１５０％（あるいは０．３（本／水平または垂直画素数）の画像空間周波数における画素開口ＭＴＦが０．７）である場合には、エッジ強調パラメータαを０．４５に決定する。

【0126】

なお、図１３においては、合成画像データの画素開口に関する特性の例として、画素開口率、あるいは画素開口ＭＴＦ特性を挙げているが、これらに限定されるものではない。そして、上述したように、撮影モードに応じてエッジ強調パラメータαを決定しても構わない。

【0127】

こうして、エッジ強調処理部３４は、決定したエッジ強調パラメータαにより画像データ（通常画像データまたは合成画像データ）にエッジ強調処理を行うようになっている。

【0128】

図１８は、画像空間周波数に対するエッジ強調処理ＭＴＦの例を示す線図である。

【0129】

エッジ強調パラメータαを用いてエッジ強調処理を行うと、エッジ強調処理ＭＴＦは、画像空間周波数が増加するに従って増加するが、エッジ強調パラメータαの値が大きいと、より高い増加率を示す。具体的に図１８に示す例では、画像空間周波数が０である場合にはα＝０．４５とα＝０．１との何れもエッジ強調処理ＭＴＦが１．０であるが、画像空間周波数が増加するに従って、α＝０．４５のエッジ強調処理ＭＴＦの方がα＝０．１のエッジ強調処理ＭＴＦよりも高い値となる。

【0130】

システム全体のＭＴＦは、システムを構成する各部のＭＴＦの乗算により表されるために、図１７に示すような画素開口ＭＴＦに、図１８に示すようなエッジ強調処理ＭＴＦを乗算すると、図１９に示すようなＭＴＦが得られる。ここに図１９は、画像空間周波数に対する画素開口ＭＴＦ×エッジ強調処理ＭＴＦの例を示す線図である。

【0131】

α＝０．１のエッジ強調処理を行うと、図１７と図１９とを見比べれば分かるように、通常画像Ｎおよび超解像画像Ｓの何れも、ＭＴＦが幾らか改善する（ひいては、鮮鋭度も幾らか改善する）。ただし、通常画像Ｎについてはαを０．１よりも大きくすると、ＭＴＦが１を超える可能性があり、過剰なエッジ強調になると考えられる。これに対して、超解像画像ＳについてはＭＴＦに更なる改善の余地がある。

【0132】

そこで、超解像画像Ｓについてはα＝０．４５のエッジ強調処理（つまり、通常画像Ｎよりも強めのエッジ強調処理）を行うようにしている。この場合には、超解像画像ＳのＭＴＦは、０〜０．２（本／水平または垂直画素数）の画像空間周波数までは、通常画像ＮのＭＴＦにほぼ遜色のない１の値をとり、０．２（本／水平または垂直画素数）の画像空間周波数を超えても、α＝０．１のエッジ強調処理の場合よりはＭＴＦの大幅な改善を示している。従って、より好ましい解像感が得られることが分かる。

【0133】

ただし、エッジ強調度を強くするとノイズも増幅されてしまうが、上述したように、Ｇ成分についてはＧｒ成分とＧｂ成分との平均値を用いてＳ／Ｎを向上しているために、エッジ強調によるノイズ増幅分をある程度キャンセルすることが可能である。

【0134】

エッジ強調パラメータαとして、どの程度の値をとれば良いかは、合成画像データの画素開口に関する特性に応じて異なる。そこで、エッジ強調処理部３４は、例えば図２０または図２１に示すようにエッジ強調パラメータαを決定するようになっている。

【0135】

まず、図２０は画素開口率に応じてエッジ強調パラメータαを決定する例を示す線図である。

【0136】

合成画像データの画素開口に関する特性として画素開口率を用いる場合には、エッジ強調処理部３４は、エッジ強調パラメータαを、画素開口率が初期値Ａ０から増加するに従って単調増加するように決定する。

【0137】

また、図２１は画素開口ＭＴＦに応じてエッジ強調パラメータαを決定する例を示す線図である。

【0138】

合成画像データの画素開口に関する特性として画素開口ＭＴＦ特性を用いる場合には、エッジ強調処理部３４は、エッジ強調パラメータαを、画素開口ＭＴＦ特性が初期値ＭＴＦ０から増加するに従って単調減少するように決定する。

【0139】

なお、上述では、撮像装置であるデジタルカメラ内においてエッジ強調処理を行ったが、これに限るものではない。例えば、合成画像データの画素開口に関する特性を合成画像データに関連付けて記録媒体４２に記録し、記録媒体４２に記録された合成画像データ、および合成画像データの画素開口に関する特性をパーソナルコンピュータ等の外部装置で読み込んで、パーソナルコンピュータ上で画像処理プログラムを実行することにより、上述したようなエッジ強調処理を行うようにしても良い。あるいは、合成画像および画素開口に関する特性を記録するのに代えて、合成画像を生成する元となった複数枚（上記例では８枚）のＲＡＷ画像データと画素ずらしにおける移動量と画素開口に関する特性とを記録して、外部装置で画像合成処理およびエッジ強調処理を行うようにしても構わない。

【0140】

このような実施形態１によれば、合成画像データの画素開口に関する特性に基づきエッジ強調パラメータを決定し、決定したエッジ強調パラメータにより合成画像データにエッジ強調処理を行うようにしたために、画素ずらしした複数の画像から合成画像を得る際に、画素開口の影響による解像度劣化を軽減して、鮮鋭度が高い合成画像を生成することが可能となる。

【0141】

また、合成画像データの画素開口に関する特性を合成画像データに関連付けて記録媒体４２等に記録する場合には、コンピュータ等の外部装置において、合成画像データの画素開口に関する特性に基づきエッジ強調パラメータを決定し、決定したエッジ強調パラメータにより合成画像データにエッジ強調処理を行うことができる。そして、この場合にも、デジタルカメラ内でエッジ強調処理を行う場合と同様に、画素開口の影響による解像度劣化を軽減して、鮮鋭度が高い合成画像を生成することが可能となる。

【0142】

さらに、画素開口に関する特性として画素開口率を用い、エッジ強調パラメータαを画素開口率の増加に従って単調増加するように決定することで、画素開口率の値に応じた、より鮮鋭度が高い合成画像を得ることができる。

【0143】

一方、画素開口に関する特性として画素開口ＭＴＦ特性を用い、エッジ強調パラメータαを画素開口ＭＴＦ特性の増加に従って単調減少するように決定するで、画素開口ＭＴＦ特性の値に応じた、より鮮鋭度が高い合成画像を得ることができる。

【0144】

そして、シフト機構２３が、複数の相対位置の内の少なくとも２つの相対位置において、輝度相当色の色フィルタに対応する画素であって、異なる画素の位置が重複するように、複数の相対位置を設定するようにしたために、重複する複数の画素の内の何れかの画素を適切に用いて（つまり、不適切であると考えられる画素値は除外して、適切な画素値のみを用いて）高画質化を図ること、または重複する複数の画素の内の２つ以上の画素を用いて（例えば、平均値や中央値などの値をとることにより）画素値の適正化を図りひいては高画質化を図ることが可能となる。

【0145】

このとき、合成処理部３１が、重複する位置において取得した輝度相当色の複数の画素データを平均して、重複する位置における合成後の画素データとすることで、簡単な演算でＳ／Ｎを向上することができ、エッジ強調処理によるノイズの増大を相殺して、より高画質化された合成画像を確実に得ることができる。
［実施形態２］

【0146】

図２２から図２４は本発明の実施形態２を示したものであり、図２２は空間周波数に対するレンズＭＴＦの例を示す線図である。ここに、図２２においては、空間周波数の単位として（本／ｍｍ）を用いている。

【0147】

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

【0148】

上述した実施形態１では、エッジ強調処理部３４は、エッジ強調パラメータαを合成画像データの画素開口ＭＴＦ特性に基づいて決定していた。これに対して、この実施形態２においては、エッジ強調処理部３４は、エッジ強調パラメータαを、合成画像データの画素開口ＭＴＦ特性だけでなく、さらに、撮像に用いたレンズ１１のＭＴＦ特性にも基づいて決定するようにしている。

【0149】

図２２に示すレンズＭＴＦは、空間周波数０において１００％をとり、空間周波数が増加するに従って単調減少する。そして、通常画像のナイキスト周波数ＮＦ０（図２２に示す例では、空間周波数は約１３０（本／ｍｍ））において約３５％、超解像画像のナイキスト周波数ＮＦ１（図２２に示す例では、空間周波数は約２６０（本／ｍｍ））において約１５％をとる。

【0150】

レンズ１１の光学特性に図２２に示したようなＭＴＦ劣化がある場合、通常画像Ｎと超解像画像Ｓとでは、サンプリング周波数の違いにより画像に表れるＭＴＦ特性が異なる。

【0151】

ここに、図２３は、横軸が画像空間周波数となるように図２２のレンズＭＴＦを変換した線図である。

【0152】

画像空間周波数が０であるときを除いて、同一の画像空間周波数においては、超解像画像ＳのレンズＭＴＦよりも、通常画像ＮのレンズＭＴＦが大きい値となる。このような場合には、画素開口ＭＴＦだけでなく、さらにレンズＭＴＦを考慮する必要がある。

【0153】

図２４は、画像空間周波数に対するレンズＭＴＦ×画素開口ＭＴＦ×エッジ強調処理ＭＴＦの例を示す線図である。

【0154】

この図２４に示す例においては、レンズＭＴＦ×画素開口ＭＴＦ×エッジ強調処理ＭＴＦが最適化されるように（つまり、なるべく広い範囲の画像空間周波数において１００％に近いＭＴＦが得られるように）エッジ強調パラメータαを選択しており、具体的には、エッジ強調処理部３４は、通常画像Ｎに対してα＝１．３５を決定し、超解像画像Ｓに対してα＝４．９を決定している。

【0155】

このように、撮像して得られた複数枚の画像から合成される合成画像は、撮像に用いられるレンズ１１の影響も受けるために、レンズＭＴＦをさらに考慮することで、鮮鋭度をより適切に高めることができる。

【0156】

なお、レンズＭＴＦ特性は、固定式レンズでなく図１に示したような交換式レンズ１を用いる場合には、レンズ型番毎に（あるいはさらにレンズ個体毎に）異なることになる。加えて、レンズＭＴＦ特性は、撮影条件（ズーム位置、絞り１２の絞り値など）によっても異なる。このために、エッジ強調パラメータαを決定する際には、これら全ての条件を考慮することが好ましい。すなわち、フラッシュメモリ４４に記憶するエッジ強調パラメータαは、例えば、画素の開口に関する特性、レンズＭＴＦ、ズーム位置、絞り値などをパラメータとするテーブル、あるいは数式などとして記憶すると良い。

【0157】

また、本実施形態において、パーソナルコンピュータ等の外部装置でエッジ強調処理を行う場合には、さらにレンズＭＴＦ特性を、合成画像データあるいは複数枚のＲＡＷ画像データに関連付けて記録媒体４２に記録することになる。

【0158】

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、エッジ強調処理部３４が、エッジ強調パラメータαを、合成画像データの画素開口に関する特性に加えて、さらに撮像に用いたレンズのＭＴＦ特性に基づき決定するようにしたために、より一層鮮鋭度を高めた高画質の合成画像を得ることが可能となる。

【0159】

なお、上述では主として撮像装置について説明したが、上述した撮像装置と同様の処理を行う画像処理方法であっても良いし、該画像処理方法をコンピュータに実行させるための画像処理プログラム、該画像処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

【0160】

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

【符号の説明】

【0161】

１…交換式レンズ
２…カメラ本体
３…インタフェース（Ｉ／Ｆ）
１１…レンズ
１２…絞り
１３…ドライバ
１４…フラッシュメモリ
１５…マイクロコンピュータ
２１…メカシャッタ
２２…撮像素子
２３…シフト機構
２４…アナログ処理部
２５…Ａ／Ｄ変換部
２６…バス
２７…ＳＤＲＡＭ
２８…ＡＦ処理部
２９…ＡＥ処理部
３１…合成処理部
３２…画像処理部
３３…同時化処理部
３４…エッジ強調処理部
３５…ノイズ低減処理部
３６…ＪＰＥＧ処理部
３７…モニタドライバ
３８…モニタ
４１…メモリインタフェース（メモリＩ／Ｆ）
４２…記録媒体
４３…操作部
４４…フラッシュメモリ
４５…マイクロコンピュータ
５１…画素配置部
５２…画素補間部
５３…加算部
５４…半値化部
５５…ベイヤ画像抽出部
６１…フィルタ演算部
６２…乗算部
６３…加算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】