特許 7031410 画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-28

(45)【発行日】2022-03-08

(54)【発明の名称】画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220301BHJP

   G03B 15/00 20210101ALI20220301BHJP

   H04N 5/357 20110101ALI20220301BHJP

【ＦＩ】

H04N5/232 290

G03B15/00 H

H04N5/357

【請求項の数】 10

(21)【出願番号】P 2018053861

(22)【出願日】2018-03-22

(65)【公開番号】P2019169759

(43)【公開日】2019-10-03

【審査請求日】2021-01-18

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(72)【発明者】

【氏名】寺内 正和

(72)【発明者】

【氏名】上原 広靖

(72)【発明者】

【氏名】宮田 雅嗣

(72)【発明者】

【氏名】狩野 博

(72)【発明者】

【氏名】西村 武剛

【審査官】津幡 貴生

(56)【参考文献】

【文献】特開２０１５－１６２８５１（ＪＰ，Ａ）

【文献】特開２０１７－０３４４７３（ＪＰ，Ａ）

【文献】国際公開第２００９／００１４６７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－２５７

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ５／３５７

(57)【特許請求の範囲】

【請求項1】

複数の画像データにノイズリダクション処理を実行可能なノイズリダクション処理部と、
前記複数の画像データの位置ずれ量を検出する位置ずれ量検出部と、
前記位置ずれ量に応じて前記複数の画像データを合成することにより合成画像データを得る画像データ合成部と、
を有し、
前記位置ずれ量検出部は、ノイズリダクション処理の実行後の前記複数の画像データの位置ずれ量を検出し、
前記画像データ合成部は、ノイズリダクション処理の実行前の前記複数の画像データを合成し、
前記ノイズリダクション処理部は、前記合成画像データに位置ズレ検出時とは異なる強度のノイズリダクション処理を実行する、
ことを特徴とする画像処理装置。

【請求項2】

前記ノイズリダクション処理部は、前記複数の画像データについてノイズリダクション処理が必要か否かを判定し、必要と判定した画像データにノイズリダクション処理を実行し、不要と判定した画像データにノイズリダクション処理を実行しない、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記ノイズリダクション処理部は、前記複数の画像データの固定パターンノイズを除去可能である、
ことを特徴とする請求項１又は請求項２に記載の画像処理装置。

【請求項4】

前記ノイズリダクション処理部は、前記複数の画像データのランダムパターンノイズを除去可能である、
ことを特徴とする請求項１又は請求項２に記載の画像処理装置。

【請求項5】

前記ノイズリダクション処理部は、前記複数の画像データに対するノイズリダクション処理の強度を前記合成画像データに対するノイズリダクション処理の強度よりも強くする、
ことを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。

【請求項6】

複数の画像データにノイズリダクション処理を実行可能なノイズリダクション処理ステップと、
前記複数の画像データの位置ずれ量を検出する位置ずれ量検出ステップと、
前記位置ずれ量に応じて前記複数の画像データを合成することにより合成画像データを得る画像データ合成ステップと、
を有し、
前記位置ずれ量検出ステップでは、ノイズリダクション処理の実行後の前記複数の画像データの位置ずれ量を検出し、
前記画像データ合成ステップでは、ノイズリダクション処理の実行前の前記複数の画像データを合成し、
前記ノイズリダクション処理ステップでは、前記合成画像データに位置ズレ検出時とは異なる強度のノイズリダクション処理を実行する、
ことを特徴とする画像処理方法。

【請求項7】

複数の画像データにノイズリダクション処理を実行可能なノイズリダクション処理ステップと、
前記複数の画像データの位置ずれ量を検出する位置ずれ量検出ステップと、
前記位置ずれ量に応じて前記複数の画像データを合成することにより合成画像データを得る画像データ合成ステップと、
を有し、
前記位置ずれ量検出ステップでは、ノイズリダクション処理の実行後の前記複数の画像データの位置ずれ量を検出し、
前記画像データ合成ステップでは、ノイズリダクション処理の実行前の前記複数の画像データを合成し、
前記ノイズリダクション処理ステップでは、前記合成画像データに位置ズレ検出時とは異なる強度のノイズリダクション処理を実行する、
ような各処理ステップをコンピュータに実行させることを特徴とする画像処理プログラム。

【請求項8】

複数の画像データにノイズリダクション処理を実行可能なノイズリダクション処理部と、
前記複数の画像データの位置ずれ量を検出する位置ずれ量検出部と、
前記位置ずれ量に応じて前記複数の画像データを合成することにより合成画像データを得る画像データ合成部と、
を有し、
前記位置ずれ量検出部は、ノイズリダクション処理の実行後の前記複数の画像データの位置ずれ量を検出し、
前記画像データ合成部は、ノイズリダクション処理の実行前の前記複数の画像データを合成し、
前記ノイズリダクション処理部は、前記合成画像データに位置ズレ検出時とは異なる強度のノイズリダクション処理を実行する、
ことを特徴とする撮影装置。

【請求項9】

複数の画像データにノイズリダクション処理を実行可能なノイズリダクション処理ステップと、
前記複数の画像データの位置ずれ量を検出する位置ずれ量検出ステップと、
前記位置ずれ量に応じて前記複数の画像データを合成することにより合成画像データを得る画像データ合成ステップと、
を有し、
前記位置ずれ量検出ステップでは、ノイズリダクション処理の実行後の前記複数の画像データの位置ずれ量を検出し、
前記画像データ合成ステップでは、ノイズリダクション処理の実行前の前記複数の画像データを合成し、
前記ノイズリダクション処理ステップでは、前記合成画像データに位置ズレ検出時とは異なる強度のノイズリダクション処理を実行する、
ことを特徴とする撮影方法。

【請求項10】

複数の画像データにノイズリダクション処理を実行可能なノイズリダクション処理ステップと、
前記複数の画像データの位置ずれ量を検出する位置ずれ量検出ステップと、
前記位置ずれ量に応じて前記複数の画像データを合成することにより合成画像データを得る画像データ合成ステップと、
を有し、
前記位置ずれ量検出ステップでは、ノイズリダクション処理の実行後の前記複数の画像データの位置ずれ量を検出し、
前記画像データ合成ステップでは、ノイズリダクション処理の実行前の前記複数の画像データを合成し、
前記ノイズリダクション処理ステップでは、前記合成画像データに位置ズレ検出時とは異なる強度のノイズリダクション処理を実行する、
ような各処理ステップをコンピュータに実行させることを特徴とする撮影プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラムに関する。

【背景技術】

【0002】

特許文献１は、ほぼ同じ位置から撮影角度だけを変えて撮影された複数の色画像データから１枚の高解像度の色画像データを合成する画像合成装置を開示している。

【0003】

特許文献２は、複数の撮影画像を互いに微小変位シフトさせて重ね合わせる超解像処理を実行する画像処理装置を開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平１０－１４３６３５号公報

【文献】特開２０１１－１８０６７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１、２は、対象になる撮影された複数の画像データの一部又は全部にノイズ（固定パターンノイズやランダムパターンノイズ）が発生した場合、合成画像データの品質が劣化するおそれがある。

【0006】

本発明は、以上の問題意識に基づいてなされたものであり、ノイズ（固定パターンノイズやランダムパターンノイズ）の影響を低減することができる画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラムを提供することを目的の１つとする。

【課題を解決するための手段】

【0007】

本実施形態による画像処理装置は、複数の画像データにノイズリダクション処理を実行可能なノイズリダクション処理部と、前記複数の画像データの位置ずれ量を検出する位置ずれ量検出部と、前記位置ずれ量に応じて前記複数の画像データを合成することにより合成画像データを得る画像データ合成部と、を有し、前記位置ずれ量検出部は、ノイズリダクション処理の実行後の前記複数の画像データの位置ずれ量を検出し、前記画像データ合成部は、ノイズリダクション処理の実行前の前記複数の画像データを合成し、前記ノイズリダクション処理部は、前記合成画像データに位置ズレ検出時とは異なる強度のノイズリダクション処理を実行する、ことを特徴としている。

【0008】

本実施形態による画像処理方法は、複数の画像データにノイズリダクション処理を実行可能なノイズリダクション処理ステップと、前記複数の画像データの位置ずれ量を検出する位置ずれ量検出ステップと、前記位置ずれ量に応じて前記複数の画像データを合成することにより合成画像データを得る画像データ合成ステップと、を有し、前記位置ずれ量検出ステップでは、ノイズリダクション処理の実行後の前記複数の画像データの位置ずれ量を検出し、前記画像データ合成ステップでは、ノイズリダクション処理の実行前の前記複数の画像データを合成し、前記ノイズリダクション処理ステップでは、前記合成画像データに位置ズレ検出時とは異なる強度のノイズリダクション処理を実行する、ことを特徴としている。

【0009】

本実施形態による画像処理プログラムは、複数の画像データにノイズリダクション処理を実行可能なノイズリダクション処理ステップと、前記複数の画像データの位置ずれ量を検出する位置ずれ量検出ステップと、前記位置ずれ量に応じて前記複数の画像データを合成することにより合成画像データを得る画像データ合成ステップと、を有し、前記位置ずれ量検出ステップでは、ノイズリダクション処理の実行後の前記複数の画像データの位置ずれ量を検出し、前記画像データ合成ステップでは、ノイズリダクション処理の実行前の前記複数の画像データを合成し、前記ノイズリダクション処理ステップでは、前記合成画像データに位置ズレ検出時とは異なる強度のノイズリダクション処理を実行する、ような各処理ステップをコンピュータに実行させることを特徴としている。

【0010】

本実施形態による撮影装置は、複数の画像データにノイズリダクション処理を実行可能なノイズリダクション処理部と、前記複数の画像データの位置ずれ量を検出する位置ずれ量検出部と、前記位置ずれ量に応じて前記複数の画像データを合成することにより合成画像データを得る画像データ合成部と、を有し、前記位置ずれ量検出部は、ノイズリダクション処理の実行後の前記複数の画像データの位置ずれ量を検出し、前記画像データ合成部は、ノイズリダクション処理の実行前の前記複数の画像データを合成し、前記ノイズリダクション処理部は、前記合成画像データに位置ズレ検出時とは異なる強度のノイズリダクション処理を実行する、ことを特徴としている。

【0011】

本実施形態による撮影方法は、複数の画像データにノイズリダクション処理を実行可能なノイズリダクション処理ステップと、前記複数の画像データの位置ずれ量を検出する位置ずれ量検出ステップと、前記位置ずれ量に応じて前記複数の画像データを合成することにより合成画像データを得る画像データ合成ステップと、を有し、前記位置ずれ量検出ステップでは、ノイズリダクション処理の実行後の前記複数の画像データの位置ずれ量を検出し、前記画像データ合成ステップでは、ノイズリダクション処理の実行前の前記複数の画像データを合成し、前記ノイズリダクション処理ステップでは、前記合成画像データに位置ズレ検出時とは異なる強度のノイズリダクション処理を実行する、ことを特徴としている。

【0012】

本実施形態による撮影プログラムは、複数の画像データにノイズリダクション処理を実行可能なノイズリダクション処理ステップと、前記複数の画像データの位置ずれ量を検出する位置ずれ量検出ステップと、前記位置ずれ量に応じて前記複数の画像データを合成することにより合成画像データを得る画像データ合成ステップと、を有し、前記位置ずれ量検出ステップでは、ノイズリダクション処理の実行後の前記複数の画像データの位置ずれ量を検出し、前記画像データ合成ステップでは、ノイズリダクション処理の実行前の前記複数の画像データを合成し、前記ノイズリダクション処理ステップでは、前記合成画像データに位置ズレ検出時とは異なる強度のノイズリダクション処理を実行する、ような各処理ステップをコンピュータに実行させることを特徴としている。

【発明の効果】

【0013】

本発明によれば、ノイズ（固定パターンノイズやランダムパターンノイズ）の影響を低減することができる画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラムを提供することができる。

【図面の簡単な説明】

【0014】

【図1】本実施形態の画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラムを搭載したカメラユニット付き電子機器の概略構成を示すブロック図である。

【図2】画素ずらしマルチショット合成モードの一例を示す概念図である。

【図3】固定パターンノイズとランダムパターンノイズの一例を示す概念図である。

【図4】固定パターンノイズに対するノイズリダクション処理の一例を示す概念図である。

【図5】ランダムパターンノイズに対するノイズリダクション処理の一例を示す概念図である。

【図6】ランダムパターンノイズを含む複数の画像データを合成することによりランダムパターンノイズが軽減される様子の一例を示す概念図である。

【図7】画像データ合成処理の一例を示す第１の概念図である。

【図8】画像データ合成処理の一例を示す第２の概念図である。

【図9】画像データ合成処理の一例を示す第３の概念図である。

【図10】位置合わせ演算を行う撮影手法によるノイズ除去の問題の一例を示す概念図である。

【図11】本実施形態のデジタルカメラによる撮影処理を示すフローチャートである。

【図12】図１１のステップＳＴ５のノイズリダクション処理を示すフローチャートである。

【図13】別の実施形態のデジタルカメラによる撮影処理を示すフローチャートである。

【発明を実施するための形態】

【0015】

図１は、本実施形態の画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラムを搭載したカメラユニット付き電子機器１の概略構成を示すブロック図である。本実施形態の画像処理方法、画像処理プログラム、撮影方法及び撮影プログラムは、電子機器１に内蔵されたコンピュータに所定の処理ステップを実行させることにより実現される。

【0016】

電子機器１は、例えば、デジタルカメラ、携帯電話、ゲーム機器等の撮影機能を搭載した各種機器とすることができるが、本実施形態では、電子機器１がデジタルカメラである場合を例示して説明する。あるいは、電子機器１は、撮影機能を搭載することなく、画像データの入力を受けて当該画像データに画像処理を施すＰＣ等の各種機器とすることもできる。

【0017】

デジタルカメラ１は、カメラユニット１０と、画像処理装置２０と、メモリ（例えばＲＡＭ）３０と、記録媒体（例えばＵＳＢメモリ）４０と、表示装置（例えばＬＣＤ）５０と、入力装置６０と、センサ７０と、防振ユニット８０と、ＣＰＵ９０と、これらの各構成要素を直接的又は間接的に接続するバス１００とを有している。

【0018】

カメラユニット１０は、撮影光学系（図示略）と、イメージセンサ（撮像素子）１１（図２）とを有している。撮影光学系による被写体像はイメージセンサ１１の受光面上に結像され、マトリックス状に配置された検出色の異なる複数の画素によって電気信号に変換され、画像データとして画像処理装置２０に出力される。画像処理装置２０は、カメラユニット１０による画像データに所定の画像処理を施す。画像処理装置２０により画像処理が施された画像データは、メモリ３０に一時的に記録される。メモリ３０に記録された画像データは、ユーザの選択・決定に従って、記録媒体４０に保存され、表示装置５０に表示される。

【0019】

入力装置６０は、例えば、電源スイッチ、レリーズスイッチ、各種機能の選択・設定を実行するためのダイヤルスイッチ、四方向スイッチ、タッチパネル等から構成される。センサ７０は、例えば、デジタルカメラ１のボディ本体に加えられる加速度、角速度、角加速度を検出する加速度検出器、角速度検出器、角加速度検出器等から構成される。センサ７０による出力は、デジタルカメラ１のボディ本体の振れを示す振れ検出信号として、ＣＰＵ９０に入力される。

【0020】

防振ユニット８０は、カメラユニット１０の撮影光学系とイメージセンサ１１の少なくとも一方を移動部材として、当該移動部材を撮影光学系の光軸と異なる方向に（例えば撮影光学系の光軸と直交する平面内で）駆動する。ＣＰＵ９０は、防振ユニット８０を駆動制御する。ＣＰＵ９０は、センサ７０からデジタルカメラ１のボディ本体の振れを示す振れ検出信号の入力を受けて、防振ユニット８０によって移動部材を撮影光学系の光軸と異なる方向に駆動する。これにより、イメージセンサ１１における被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。

【0021】

デジタルカメラ１は、防振ユニット８０を利用して、カメラユニット１０のイメージセンサ１１を撮影光学系の光軸と異なる方向に（例えば撮影光学系の光軸と直交する平面内で）微細に移動させながら時系列に複数回の撮影を行い、その画像データを１枚に合成（画像データの単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成）することで、超高精細（高画質、高精度）な画像データを生成する撮影モードを搭載している。以下ではこの撮影モードを「画素ずらしマルチショット合成モード」、「マルチショット合成モード」及び「ＲＲＳ（リアル・レゾリューション・システム）撮影モード」と呼ぶことがある。これらのモードでは、１画素あたり１つの色情報のみを取得する従来のベイヤ方式と異なり、１画素毎にＲＧＢ各色の情報を得ることで、細部までのディティールや色再現に優れた極めて高精細な画像データを描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。

【0022】

図２Ａ～図２Ｄは、本実施形態の画素ずらしマルチショット合成モードの一例を示す概念図である。図２Ａ～図２Ｄにおいて、イメージセンサ１１は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂのいずれかが配置されている。各画素は、前面のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂを透過して入射した被写体の色を検出、つまり、色成分（波長域）の光を光電変換し、その強さ（輝度）に応じた出力が得られる。より具体的に、図２Ａの基準位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ下方に相対移動させた図２Ｂの位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ右方に相対移動させた図２Ｃの位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ上方に相対移動させた図２Ｄの位置で１枚の画像を撮影し、最後に図２Ａの基準位置に戻る。このように、光軸直交平面内で、太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像が、ＲＡＷ画像データとして、画像処理装置２０に入力される。画像処理装置２０は、イメージセンサ１１が時系列に撮影した４枚の画像データを合成して合成画像データを得る。

【0023】

ところで、イメージセンサ１１が時系列に撮影した４枚の画像データには、固定パターンノイズやランダムノイズが含まれる。

【0024】

図３Ａは、固定パターンノイズの一例を示す概念図である。固定パターンノイズは、撮像素子（イメージセンサ１１）の画素に固有のノイズであり、図３Ａでは、横方向に筋状に発生している固定パターンノイズが例示的に描かれている。

【0025】

図３Ｂは、ランダムパターンノイズの一例を示す概念図である。ランダムパターンノイズは、座標的（位置的）かつ時間的にランダムなノイズであり、図３Ｂでは、画像データの全体に散りばめられたドット状のランダムパターンノイズが例示的に描かれている。

【0026】

本実施形態では、複数の画像データが持つノイズ（例えば図３Ａの固定パターンノイズや図３Ｂのランダムパターンノイズ）に対して適切なノイズリダクション処理を施した上で、当該ノイズリダクション処理後の複数の画像データを合成することによって、ノイズの影響により位置ズレ検出の精度を落とさない高品質な合成画像データを得る機能を有している。以下では、この機能に関する画像処理装置２０の構成及び作用効果について詳細に説明する。なお、以下では、適宜、複数の画像データとして、画素ずらしマルチショット合成のために取得した４枚の画像データを用いる場合を例示して説明する。

【0027】

画像処理装置２０は、ノイズリダクション処理部２１と、位置ずれ量検出部２２と、画像データ合成部２３とを有している。

【0028】

ノイズリダクション処理部２１は、画素ずらしマルチショット合成のために取得した４枚の画像データ（複数の画像データ）に対してノイズリダクション処理を実行可能である。ノイズリダクション処理部２１は、４枚の画像データのそれぞれを精査してノイズリダクション処理が必要か否かを判定し、必要と判定した画像データにノイズリダクション処理を実行し、不要と判定した画像データにノイズリダクション処理を実行しない。従って、４枚の画像データの全てにノイズリダクション処理を実行する場合、４枚の画像データの全てにノイズリダクション処理を実行しない場合、４枚の画像データの一部の画像データにノイズリダクション処理を実行して他の画像データにノイズリダクション処理を実行しない場合がある。ここで述べたノイズリダクション処理は、例えば、４枚の画像データの撮影条件（例えばＦ値やシャッタスピード等により定まる露光値）をそれぞれ異ならせた場合に適用して有効である。これは、撮影条件によっては、ある画像データについてはノイズリダクション処理が必要である一方、他の画像データについてはノイズリダクション処理が不要である場合があり、これらの場合に柔軟な処理が可能になるからである。

【0029】

ノイズリダクション処理部２１は、４枚の画像データに対してノイズリダクション処理を施すか否かを一括して（一度に）判定することも可能である。例えば、４枚の画像データの撮影条件（例えばＦ値やシャッタスピード等により定まる露光値）が同一の場合には、４枚の画像データのそれぞれに対して判定を行う場合よりも、４枚の画像データに対してノイズリダクション処理を施すか否かを一括して（一度に）判定した方が、ノイズリダクション処理部２１による演算量（処理量）を低減できて好適である。

【0030】

このように、ノイズリダクション処理部２１は、複数の画像データを取得する際の撮影条件が同一であるか異なっているかに応じて、複数の画像データに対するノイズリダクション処理の態様を柔軟に変更する制御を行うことができる。より具体的に、ノイズリダクション処理部２１は、撮影条件が同一である場合は、複数の画像データに対してノイズリダクション処理を施すか否かを一括して（一度に）判定し、撮影条件が異なっている場合は、複数の画像データに対してノイズリダクション処理を施すか否かをそれぞれ独立して判定することができる。

【0031】

図４は、固定パターンノイズに対するノイズリダクション処理の一例を示す概念図である。図４に示すように、固定パターンノイズを含んだ画像データから固定パターンノイズを減算することにより、固定パターンノイズを除去した画像データを得ることができる。

【0032】

図５は、ランダムパターンノイズに対するノイズリダクション処理の一例を示す概念図である。図５に示すように、ランダムパターンノイズを含んだ画像データに対して線形・非線形などのノイズリダクション処理を実行することにより、ランダムパターンノイズを除去（低減）した画像データを得ることができる。ランダムパターンノイズに対するノイズリダクション処理では、例えば、画像データに含まれる高周波成分を除去し、且つ／又は、画像データをエッジ部と平坦部に分けて別個の非線形処理を実行することができる。

【0033】

ランダムパターンノイズは複数枚の画像データを合成すると低減するという特徴もある。図６に示すように、ランダムパターンノイズを含む複数（ここでは３枚）の画像データを合成したときに、合成画像データにおいて、合成前の各画像データのランダムパターンノイズが軽減される場合がある。このような場合には、位置検出用の画像に対してノイズリダクションを施して位置検出によりズレ量を算出し、合成画像にはノイズリダクションを施さない画像を用いて先の位置ズレ情報をもとに合成を行うことでノイズリダクション処理に代えることが可能である。

【0034】

このように、ノイズリダクション処理部２１は、４枚の画像データ（複数の画像データ）の固定パターンノイズ及び／又はランダムパターンノイズを除去することが可能である。

【0035】

位置ずれ量検出部２２は、ノイズリダクション処理部２１が必要に応じてノイズリダクション処理を施した４枚の画像データ（複数の画像データ）の位置ずれ量（画素ずれ量）を検出する。位置ずれ量検出部２２は、例えば、特許第４７６０９２３号公報に開示されているブロックマッチング等の周知技術を用いて、複数の画像データの位置ずれ量を確実かつ精密に検出することができる。

【0036】

位置ずれ量検出部２２は、イメージセンサ１１の画素出力に基づいて、ピクセル毎又はサブピクセル毎に、複数の画像データの位置ずれ量を検出することができる。また位置ずれ量検出部２２は、イメージセンサ１１の画素出力に基づいて、ＲＧＢプレーン毎に、複数の画像データの位置ずれ量を検出することができる。その際、位置ずれ量検出部２２は、ＲＧＢプレーンのうちの特定のＲプレーン、Ｇプレーン、または、Ｂプレーンだけを使用してもよいし、使用するプレーンを変動させてもよい。例えば、ある画像データ間の位置ずれ量を検出するときにはＧプレーンを使用し、その他の画像データ間の位置ずれ量を検出するときにはＲプレーンを使用するといった柔軟な対応が可能である。また位置ずれ量検出部２２は、上記画像データの位置ずれ情報と、センサ７０を構成する加速度検出器、角速度検出器、角加速度検出器の少なくとも１つの出力とに基づいて、複数の画像データの位置ずれ量を検出することができる。

【0037】

位置ずれ量検出部２２は、上述したセンサ７０の出力を利用した検出態様とイメージセンサ１１の画素出力を利用した検出態様を組み合わせることができる。すなわち、センサ７０の出力を利用して位置ずれ量の方向性におおよその見当をつけた後に、イメージセンサ１１の画素出力を利用して精密な位置ずれ量を検出することができる。

【0038】

位置ずれ量検出部２２は、イメージセンサ１１の画素出力に特定用途の画素出力が含まれている場合、当該特定用途の画素出力を当該画素以外の周辺の画素を利用して補間、補正するか、当該特定用途の画素出力を除外するか、低い重み付けを与えて位置ずれ量を検出することができる。特定用途の画素出力とは、例えば、撮影に無関係な位相差検出画素などを含むことができる。

【0039】

画像データ合成部２３は、位置ずれ量検出部２２が検出した位置ずれ量に応じて、ノイズリダクション処理部２１が必要に応じてノイズリダクション処理を施した４枚の画像データ（複数の画像データ）を相対移動して合成することにより、合成画像データを得る。ここで、「複数の画像データを相対移動して合成する」とは、当該複数の画像データが相対移動するように当該複数の画像データをオフセットすることを意味する。

【0040】

画像データ合成部２３は、４枚の画像データのいずれかの画像データを基準画像データに設定して、この基準画像データとその他の画像データの位置ずれ量に応じて、その他の画像データが基準画像データに重なるように、４枚の画像データを相対移動して合成することができる。

【0041】

画像データ合成部２３は、位置ずれ量検出部２２による位置ずれ量の検出精度とは異なる移動精度で、４枚の画像データを相対移動させることができる。例えば、位置ずれ量検出部２２による位置ずれ量の検出精度をサブピクセル単位とする一方、画像データ合成部２３による４枚の画像データの移動精度をピクセル単位としてもよい。

【0042】

図７は、画像データ合成処理の一例を示す第１の概念図である。図７に示すように、本実施形態の画素ずらしマルチショット合成では、被写体光束に対してイメージセンサ１１の撮像面を画素単位で相対移動させながら４枚の画像データ（複数の画像データ）を取得する。図７の例では、左上の初期位置（基準位置）で１枚目の画像データを取得し、右上の移動位置で２枚目の画像データを取得し、左下の移動位置で３枚目の画像データを取得し、右下の移動位置で４枚目の画像データを取得している。１枚目～４枚目の画像データにおける各画像データの撮影範囲を実線で描いており、２枚目～４枚目の画像データにおける１枚目の画像データの撮影範囲を破線で描いている。つまり、１枚目の画像データを基準画像データとしたとき、２枚目～４枚目の画像データにおける実線と破線の撮影範囲のずれ量が位置ずれ量として検出される。画像データ合成部２３は、図７における１枚目～４枚目の画像データに対してＳＡＤ（Sum of Absolute Difference）等のマッチング処理を行うことにより、同一被写体が写っている位置を探索することができる。

【0043】

図８Ａ、図８Ｂは、画像データ合成処理の一例を示す第２の概念図である。画素ずらしマルチショット合成画像（高解像度画像）を作成する場合、複数の画像データの位置合わせ演算を行う必要がある（複数の画像データを実際に重ね合わせる必要はない）。位置合わせ演算は、例えば、ＳＡＤ等の手法によって画像データ間の位置ずれ量を算出することにより行われ、その後、位置ずれ量を補正するようにして複数の画像データを合成する。ＳＡＤ等のマッチングは、ある画像データにおいて探したい部分を切り出すことで注目部分とし、他の画像データにおいて当該注目部分に対応する部分を探索することにより実行する。

【0044】

図８Ａに示すように、複数の画像データにノイズが無い場合において複数の画像データに同じ被写体が写っているときには、画像データの探索を実行すると、注目部分の一致度が高く出る場所が存在する。これに対し、図８Ｂに示すように、複数の画像データに固定パターンノイズがある場合には、イメージセンサ１１の撮像面に対してノイズは一定だが、被写体との位置関係がずれてしまうので、同じ被写体が写っている場所での注目部分の一致度が低くなってしまう。従って、本実施形態のように、高精度な位置探索を行うために、位置合わせ演算を行う前の複数の画像データに必要に応じてノイズリダクション処理を施すことで、注目部分の一致度を高めることが有効である。

【0045】

図９Ａ～図９Ｄは、画像データ合成処理の一例を示す第３の概念図である。ランダムパターンノイズの場合には被写体に対してランダムにノイズが発生するため、ＳＡＤ等のマッチング処理の精度が下がりやすい。画素ずらしマルチショット合成画像（高解像度画像）を作成する場合、位置合わせ演算を高精度に行うことが重要なので、ランダムパターンノイズを除去した上で複数の画像データを比較することが有効である。位置検出の際のコントラストを下げることになるランダムパターンノイズを除去すれば、注目部分の特徴点だけを効率的に残すことが可能である。

【0046】

図９Ａ、図９Ｂはランダムパターンノイズが相対的に少ない場合を示している。図９Ｂに明らかなように、探索点の位置情報に対するＳＡＤ出力のエッジが鋭く出ており、注目部分の探索精度が高くなっている。図９Ｃ、図９Ｄはランダムパターンノイズが相対的に多い場合を示している。図９Ｄに明らかなように、探索点の位置情報に対するＳＡＤ出力のエッジが緩く出ており、注目部分の探索精度が低くなっている。

【0047】

以上の実施形態では、画像処理装置２０に入力する複数の画像データが、画素ずらしマルチショット合成のために取得した４枚の画像データである場合を例示して説明した。しかし、画像処理装置２０に入力する複数の画像データは、カメラユニット１０が撮影した直後のものに限定されない。例えば、指定のフォルダ、クラウドストレージ、動画等といった記録済みの画像群が存在する中から、構図やアングル、撮影時間、画質的特徴が近しい複数の画像を選択・抽出することができる。この選択・抽出の処理を連続的に繰り返す場合は、複数の画像をＮ枚の独立した組としてもよいし、Ｎ－１枚のオーバーラップを持った組としてもよい。あるいは、画像処理装置２０に入力する複数の画像データは、防振ユニット８０を利用することなく（イメージセンサ１１の能動的に動かすのではなく）、撮影者の手振れ（揺らぎ）によるショット毎の画像のずれを利用して行う、所謂「手振れ利用画素ずらしマルチショット合成、手振れ利用マルチショット合成」により得られたものであってもよい。

【0048】

図１のブロック図には描いていないが、画像処理装置２０は、画像処理装置２０に入力した複数の画像データが本実施形態の高解像度撮影に適しているか否かを評価するマッチング部を有することができる。例えば、上述した画素ずらしマルチショット合成の場合の他、複数の画像データが同構図や同アングルで連写モードを利用して撮影されたものである場合、複数の画像データは本実施形態の高解像度撮影に適していると判定される可能性が高い。一方、複数の画像データが構図やアングルを異ならせて時間的にずらして撮影されたものである場合、複数の画像データは本実施形態の高解像度撮影に適していないと判定される可能性が高い。

【0049】

図１のブロック図には描いていないが、画像処理装置２０は、位置ずれ量検出部２２が検出した位置ずれ量に応じて複数の画像データの中から合成対象となる画像データを選択する画像データ選択部を有することができる。この画像データ選択部は、例えば、複数の画像データが上述した「手振れ利用画素ずらしマルチショット合成、手振れ利用マルチショット合成」により得たものである場合に特に有用である。すなわち、防振ユニット８０を利用した画素ずらしマルチショット合成の場合とは異なり、手振れ利用画素ずらしマルチショット合成では、高解像度撮影に適していない画像データが入力すること、及び／又は、ＲＧＢのカラーフィルタの画素位置が同一パターンの複数の画像データが重複して入力することがあり得るので、高品質な合成画像データを得るために要求される画像データを選択することが好ましい。例えば、ＲＧＢのカラーフィルタの画素位置が異なるパターンの複数の画像データを選択することで高解像度撮影（画素ずらしマルチショット合成）をより高精度に実行することができる。

【0050】

図１０は、位置合わせ演算を行う撮影手法によるノイズ除去の一例を示す概念図である。図１０は、被写体光束に対してイメージセンサ１１の撮像面を画素単位で相対移動させて（イメージセンサ１１による撮影範囲をずらして）２枚の画像データを得る場合を示している。固定パターンノイズはイメージセンサ１１の同位置に発生するので、２枚の画像データにおいて被写体と固定パターンノイズの位置関係がずれる。そして、高解像度撮影（画素ずらしマルチショット合成）を行う場合には、被写体位置に応じて画像データをずらして合成（位置合わせ切り出し）するので、固定パターンノイズがずれた位置で合成される。

【0051】

しかしながら、図１０のように固定パターンノイズがずれた位置で合成された合成画像データに対して、通常は固定パターンであるため合成後に補正を掛けることができる。例えば、被写体光束に対するイメージセンサ１１の画素ずれ量に応じて固定パターンノイズをずらし、さらに画像データが複数枚で平均化されている場合は平均化された枚数分の固定パターンノイズを除して減算することにより、合成画像データを補正することができる。ゆえに、合成前の画像データの各々に（１枚毎に）ノイズリダクション処理を施すことは必須ではない。

【0052】

図１１は、本実施形態のデジタルカメラ１による撮影処理を示すフローチャートである。

【0053】

ステップＳＴ１では、通常撮影（１枚撮影）であるか、画素ずらしマルチショット合成であるかを判定する。通常撮影（１枚撮影）である場合はステップＳＴ２に進み、画素ずらしマルチショット合成である場合はステップＳＴ３に進む。

【0054】

ステップＳＴ２では、通常撮影（１枚撮影）を実行して１枚の画像データを取得した後、撮影処理を終了する。

【0055】

ステップＳＴ３では、被写体光束に対してイメージセンサ１１の撮像面を画素単位で相対移動させながら複数回（例えば４回）の撮影を行うことにより、複数枚（例えば４枚）の画像データを取得する。

【0056】

ステップＳＴ４では、複数枚（例えば４枚）の画像データのいずれかについて、ノイズリダクション処理が必要か否かを判定する。ノイズリダクション処理が必要な場合（ステップＳＴ４：Ｙｅｓ）はステップＳＴ５に進み、ノイズリダクション処理が不要な場合（ステップＳＴ４：Ｎｏ）はステップＳＴ６に進む。

【0057】

ステップＳＴ５では、ステップＳＴ４でノイズリダクション処理が必要と判定された画像データに対してノイズリダクション処理を実行する。このノイズリダクション処理については、サブルーチンとして後に詳細に説明する。

【0058】

ステップＳＴ６では、全ての画像データに対してノイズリダクション処理判定（つまりノイズリダクション処理が必要であればそれを実行し不要であればそれを実行しない）を行ったか否かを判定する。全ての画像データに対してノイズリダクション処理判定を行った場合（ステップＳＴ６：Ｙｅｓ）はステップＳＴ７に進み、全ての画像データに対してノイズリダクション処理判定を行っていない場合（ステップＳＴ６：Ｎｏ）はステップＳＴ４に戻る。

【0059】

ステップＳＴ７では、必要に応じてノイズリダクション処理を施した複数枚(４枚)の画像データを合成して高解像度画像を得る。

【0060】

図１２は、図１１のステップＳＴ５のノイズリダクション処理を示すフローチャートである。

【0061】

ステップＳＴ５１では、画像データに固定パターンノイズが含まれるか否かを判定する。例えば、長時間露光撮影且つ／又は高感度撮影である場合に画像データに固定パターンノイズが含まれると判定し、長時間露光撮影且つ／又は高感度撮影でない場合に画像データに固定パターンノイズが含まれないと判定することができる。または、画像データを解析して画像データに固定パターンノイズが含まれるか否かを判定することができる。画像データに固定パターンノイズが含まれる場合（ステップＳＴ５１：Ｙｅｓ）はステップＳＴ５２に進み、画像データに固定パターンノイズが含まれない場合（ステップＳＴ５１：Ｎｏ）はステップＳＴ５３に進む。

【0062】

ステップＳＴ５２では、画像データに対して固定パターンノイズを除去するためのノイズリダクション処理を実行する（図４参照）。

【0063】

ステップＳＴ５３では、画像データにランダムパターンノイズが含まれるか否かを判定する。例えば、長時間露光撮影且つ／又は高感度撮影である場合に画像データにランダムパターンノイズが含まれると判定し、長時間露光撮影且つ／又は高感度撮影でない場合に画像データにランダムパターンノイズが含まれないと判定することができる。または、画像データを解析して画像データにランダムパターンノイズが含まれるか否かを判定することができる。画像データにランダムパターンノイズが含まれる場合（ステップＳＴ５３：Ｙｅｓ）はステップＳＴ５４に進み、画像データにランダムパターンノイズが含まれない場合（ステップＳＴ５３：Ｎｏ）は処理を終了してリターンする。

【0064】

ステップＳＴ５４では、画像データに対してランダムパターンノイズを除去するためのノイズリダクション処理を実行する（図５参照）。その後、処理を終了してリターンする。

【0065】

図１３は別の実施形態のデジタルカメラ１による撮影処理を示すフローチャートである。

【0066】

上記実施の形態では、位置ずれ量検出部２２が、ノイズリダクション処理の実行後の複数の画像データの位置ずれ量を検出し、画像データ合成部２３が、ノイズリダクション処理の実行後の複数の画像データを合成する。これに対して、図１３の別の実施形態では、位置ずれ量検出部２２が、ノイズリダクション処理の実行後の複数の画像データの位置ずれ量を検出し、画像データ合成部２３が、ノイズリダクション処理の実行前の複数の画像データを合成し、ノイズリダクション処理部２１が、合成画像データに前述と異なるノイズリダクション処理を実行する。この場合において、ノイズリダクション処理部２１は、複数の画像データに対するノイズリダクション処理の強度を合成画像データに対するノイズリダクション処理の強度よりも強くする。

【0067】

ステップＳＴ１’では、被写体光束に対してイメージセンサ１１の撮像面を画素単位で相対移動させながら複数回（例えば４回）の撮影を行うことにより、複数枚（例えば４枚）の画像データを取得する。

【0068】

ステップＳＴ２’では、複数枚(４枚)の画像データに対して必要に応じてノイズリダクション処理を実行する。その際、ノイズリダクション処理の実行前の複数枚(４枚)の画像データも保持しておく。

【0069】

ステップＳＴ３’では、ステップＳＴ２’においてノイズリダクション処理を実行した後の複数枚(４枚)の画像データの位置ずれ量を検出する。また、複数枚(４枚)の画像データの位置ずれ量に基づいて位置合わせ演算処理を実行する。

【0070】

ステップＳＴ４’では、ステップＳＴ３’で検出した位置ずれ量（及び位置合わせ演算処理の結果）に応じて、ステップＳＴ２’においてノイズリダクション処理を実行する前の複数枚(４枚)の画像データを合成して合成画像データを得る。

【0071】

ステップＳＴ５’では、ステップＳＴ４’で得た合成画像データに対してノイズリダクション処理を実行する。ステップＳＴ５’のノイズリダクション処理の強度は、ステップＳＴ２’のノイズリダクション処理の強度よりも弱くする。すなわち、ステップＳＴ５’では、合成画像データに位置ズレ検出時（ステップＳＴ２’）とは異なる強度のノイズリダクション処理を実行する。例えば、複数の画像データの枚数がＮ枚である場合（Ｎ枚撮影時）には、位置合わせ演算用のノイズリダクション処理（ステップＳＴ２’）の強度を、合成画像用のノイズリダクション処理（ステップＳＴ５’）の強度のルートＮ倍、つまり（Ｎ）^１／２倍とすることができる。

【0072】

このように、位置合わせ演算用のノイズリダクション処理（ステップＳＴ２’）と、合成画像用のノイズリダクション処理（ステップＳＴ５’）とを別々に行った場合であっても、撮影感度や露光時間等に起因するノイズの影響を低減することができる。位置合わせ演算用のノイズリダクション処理（ステップＳＴ２’）と合成画像用のノイズリダクション処理（ステップＳＴ５’）を別々に行うことにより、非線形・線形のノイズ処理（図５）よりも合成によるノイズ軽減効果（図６）の方が効果が高く真の値に近いため、合成によるＮＲを行ってノイズレベルを下げた後により弱いノイズ処理を行うことで高品位な結果を得ることができる。

【0073】

このように本実施形態の画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラムでは、ノイズリダクション処理部２１が、複数の画像データにノイズリダクション処理を実行可能であり、位置ずれ量検出部２２が、複数の画像データの位置ずれ量を検出し、画像データ合成部２３が、位置ずれ量に応じて複数の画像データを合成することにより合成画像データを得る。これにより、撮影感度や露光時間等に起因するノイズの影響を低減することができる。

【0074】

また、本実施形態では、複数の画像データを用いた高解像度撮影（例えば画素ずらしマルチショット合成）において、高感度撮影や長時間露光撮影などのノイズが多い状況でより正確な位置合わせ演算処理を実行することができる。すなわち、各画像データのノイズ成分を除去した後に位置合わせ演算処理を実行することで、当該位置合わせ演算処理ひいては高解像度撮影（例えば画素ずらしマルチショット合成）を高精度に実行することができる。

【符号の説明】

【0075】

１ デジタルカメラ（カメラユニット付き電子機器）
１０ カメラユニット
１１ イメージセンサ（撮像素子）
２０ 画像処理装置
２１ ノイズリダクション処理部
２２ 位置ずれ量検出部
２３ 画像データ合成部
３０ メモリ
４０ 記録媒体
５０ 表示装置
６０ 入力装置
７０ センサ
８０ 防振ユニット
９０ ＣＰＵ
１００ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】