特開 2023-174740 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023174740

(43)【公開日】2023-12-08

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231201BHJP

   G06T 5/00 20060101ALI20231201BHJP

   H04N 5/21 20060101ALI20231201BHJP

【ＦＩ】

H04N23/60 500

G06T5/00 705

H04N5/21

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023172451

(22)【出願日】2023-10-04

(62)【分割の表示】P 2022104994の分割

【原出願日】2018-02-28

(71)【出願人】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】雄賀多（澤邉） 暢志

(72)【発明者】

【氏名】金藤 浩史

(72)【発明者】

【氏名】土井田 茂

(72)【発明者】

【氏名】宮田 公佳

(72)【発明者】

【氏名】海老原 慎哉

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE02

5B057CE06

5B057CE08

5B057DA17

5B057DB02

5B057DB06

5B057DB09

5B057DC30

5C122DA03

5C122EA22

5C122EA24

5C122EA37

5C122FH18

5C122FH23

5C122HA42

5C122HA88

5C122HB01

(57)【要約】

【課題】ノイズ低除去の高精度化を図ること。
【解決手段】撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第２画像データ内の残像を低減する残像低減処理部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第２画像データからノイズを除去する除去部と、を有する。
【選択図】図６

【特許請求の範囲】

【請求項1】

被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、
前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、
前記第２画像データ内の残像を低減する残像低減処理部と、
前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第２画像データからノイズを除去する除去部と、
を有する撮像装置。

【請求項2】

請求項１に記載の撮像装置であって、
前記残像低減処理部は、ローパスフィルタを用いて、前記第２画像データ内の残像を低減する、撮像装置。

【請求項3】

請求項１に記載の撮像装置であって、
前記残像低減処理部は、前記第１画像データと前記第２画像データとを合成し、合成された画像データにおいて、前記第１画像データ内の被写体像と前記第２画像データ内の被写体像との間を補間する、撮像装置。

【請求項4】

請求項２に記載の撮像装置であって、
前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
前記算出部は、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
前記残像低減処理部は、前記第３画像データ内の残像を低減し、
前記除去部は、前記第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第３画像データからノイズを除去する、撮像装置。

【請求項5】

請求項１に記載の撮像装置であって、
前記第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部を有し、
前記算出部は、前記抽出部によって抽出された第１空間情報に基づいて、前記第１重みを算出する、撮像装置。

【請求項6】

被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、
前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、
前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、
前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理部と、
を有する撮像装置。

【請求項7】

請求項６に記載の撮像装置であって、
前記残像低減処理部は、ローパスフィルタを用いて、前記第２ノイズ除去画像データ内の残像を低減する、撮像装置。

【請求項8】

請求項６に記載の撮像装置であって、
前記残像低減処理部は、前記第１ノイズ除去画像データと前記第２ノイズ除去画像データとを合成し、合成された画像データにおいて、前記第１ノイズ除去画像データ内の被写体像と前記第２ノイズ除去画像データ内の被写体像との間を補間する、撮像装置。

【請求項9】

請求項７に記載の撮像装置であって、
重みを調整する調整部を有し、
前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
前記算出部は、前記残像低減処理部による残像低減処理済みの第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
前記除去部は、前記残像低減処理済みの第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記第３画像データからノイズを除去し、
前記残像低減処理部は、前記除去部によって前記第３画像データからノイズ除去された第３ノイズ除去画像データ内の残像を低減する、撮像装置。

【請求項10】

請求項６に記載の撮像装置であって、
前記第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部を有し、
前記算出部は、前記抽出部によって抽出された第１空間情報に基づいて、前記第１重みを算出する、撮像装置。

【請求項11】

請求項６に記載の撮像装置であって、
前記残像低減処理部は、前記第１ノイズ除去画像データと前記第２画像データとの差分に基づいて、前記第２ノイズ除去画像データ内に存在する残像の画像データを検出し、前記残像の画像データを、前記残像の検出領域に対応する前記第２画像データ内の領域の画像データに置換する、撮像装置。

【請求項12】

被写体を撮像する際のフレームレートの入力を受け付ける入力部と、
前記入力部によって入力されたフレームレートに対応する第１光量情報から前記第１光量情報よりも大きい第２光量情報に調整する調整部と、
前記フレームレートおよび前記調整部によって調整された第２光量情報に基づいて、前記被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、
前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、
前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、
を有する撮像装置。

【請求項13】

請求項１２に記載の撮像装置であって、
前記フレームレートおよび前記第１光量情報に基づいて、残像を低減する撮像条件を設定する設定部を有し、
前記撮像部は、前記フレームレート、前記第２光量情報、および前記設定部によって設定された撮像条件に基づいて、前記被写体を撮像して、前記第１画像データおよび前記第２画像データを出力する、撮像装置。

【請求項14】

請求項１２に記載の撮像装置であって、
重みを調整する調整部を有し、
前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
前記算出部は、前記除去部によってノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
前記除去部は、前記第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記第３画像データからノイズを除去する、撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関する。

【背景技術】

【0002】

動画に対するノイズ除去手法として、過去のフレームと現在のフレームの重み付き平均処理がある（たとえば、下記特許文献１を参照）。しかしながら、特許文献１のノイズ低減システムは、より精度を上げるには画像メモリーにより多くの過去のフレームを保持しなければならないが、画像メモリーの使用メモリ量にも限界がある。一方、使用メモリ量を制限すると、ノイズ低減の精度向上が見込めない。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平０６－０６２２８３号公報

【発明の概要】

【0004】

本願において開示される発明の第１側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データと前記第２画像データよりも時間的に後の第３画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みをする算出部と、前記算出部によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去部と、を有する。

【0005】

本願において開示される発明の第２側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部と、前記抽出部によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、を有する。

【0006】

本願において開示される発明の第３側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第２画像データ内の残像を低減する残像低減処理部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第２画像データからノイズを除去する除去部と、を有する。

【0007】

本願において開示される発明の第４側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理部と、を有する。

【0008】

本願において開示される発明の第５側面となる撮像装置は、被写体を撮像する際のフレームレートの入力を受け付ける入力部と、露光時間を、前記入力部によって入力されたフレームレートに対応する第１露光時間から前記第１露光時間よりも長い第２露光時間に調整する調整部と、前記フレームレートおよび前記調整部によって調整された第２露光時間に基づいて、前記被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、を有する。

【0009】

本願において開示される発明の第６側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データと前記第２画像データよりも時間的に後に撮像された第３画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出する算出部と、前記算出部によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去部と、を有する。

【0010】

本願において開示される発明の第７側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部と、前記抽出部によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、を有する。

【0011】

本願において開示される発明の第８側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第２画像データ内の残像を低減する残像低減処理部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第２画像データからノイズを除去する除去部と、を有する。

【0012】

本願において開示される発明の第９側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理部と、を有する。

【0013】

本願において開示される発明の第１０側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データと前記第２画像データよりも時間的に後に撮像された第３画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出する算出処理と、前記算出処理によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去処理と、をプロセッサに実行させる。

【0014】

本願において開示される発明の第１１側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出処理と、前記抽出処理によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出処理と、前記第１ノイズ除去画像データと、前記算出処理によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去処理と、をプロセッサに実行させる。

【0015】

本願において開示される発明の第１２側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出処理と、前記第２画像データ内の残像を低減する残像低減処理と、前記第１ノイズ除去画像データと、前記算出処理によって算出された第１重みと、に基づいて、前記残像低減処理による残像低減処理済みの第２画像データからノイズを除去する除去処理と、をプロセッサに実行させる。

【0016】

本願において開示される発明の第１３側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出処理と、前記第１ノイズ除去画像データと、前記算出処理によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去処理と、前記除去処理によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理と、をプロセッサに実行させる。

【図面の簡単な説明】

【0017】

【図1】図１は、撮像装置のハードウェア構成例を示すブロック図である。

【図2】図２は、実施例１にかかる撮像装置の機能的構成例を示すブロック図である。

【図3】図３は、実施例１にかかる撮像装置による再帰的ノイズ除去手順例を示すフローチャートである。

【図4】図４は、調整済みの重みによる再帰的ノイズ除去例を示す説明図である。

【図5】図５は、調整済みの重みを適用しない再帰的ノイズ除去例を示す説明図である。

【図6】図６は、実施例２にかかる撮像装置の機能的構成例を示すブロック図である。

【図7】図７は、実施例２にかかる撮像装置による再帰的ノイズ除去手順例を示すフローチャートである。

【図8】図８は、実施例３にかかる撮像装置の機能的構成例を示すブロック図である。

【図9】図９は、実施例３にかかる撮像装置による再帰的ノイズ除去手順例を示すフローチャートである。

【図10】図１０は、実施例４にかかる撮像装置の機能的構成例を示すブロック図である。

【図11】図１１は、実施例４にかかる残像低減処理部による補間処理例を示す説明図である。

【図12】図１２は、実施例４にかかる撮像装置による再帰的ノイズ除去手順例を示すフローチャートである。

【図13】図１３は、実施例５にかかる撮像装置の機能的構成例を示すブロック図である。

【図14】図１４は、実施例５にかかる撮像装置による再帰的ノイズ除去手順例を示すフローチャートである。

【図15】図１５は、実施例６にかかる残像低減処理例を示す説明図である。

【図16】図１６は、実施例６にかかる撮像装置の機能的構成例を示すブロック図である。

【図17】図１７は、実施例６にかかる撮像装置による再帰的ノイズ除去手順例を示すフローチャートである。

【図18】図１８は、実施例７にかかる動画撮像例を示す説明図である。

【図19】図１９は、実施例７にかかる撮像装置の機能的構成例を示すブロック図である。

【図20】図２０は、撮像装置による撮像処理手順例を示すフローチャートである。

【発明を実施するための形態】

【実施例0018】

実施例１について説明する。動画に対するノイズ除去手法として、ノイズ除去された過去の画像データとノイズが除去されていない現在の画像データとの重み付き平均処理がある。ノイズの除去精度を高めるためには過去フレーム数をメモリに多く保持しておく必要があるが、メモリ使用量が増加してしまう。

【0019】

このため、実施例１では、ノイズが除去されたノイズ除去画像データの数を必要最小限に抑制するため、撮像装置は、ノイズ除去に使用される重みを再帰的に利用することにより、ノイズ除去精度の向上を図り、メモリ使用量を低減する。

【0020】

重みとは、動画像において時間的に連続する先行画像データと後続画像データとを同一領域で比較した場合の当該領域ごとにおける後続画像データに対する先行画像データの信頼度である。領域とは、１画素以上の画素集合である。領域は画像データ全体であってもよい。

【0021】

重みは、たとえば、０．０以上１．０以下の範囲をとり、値が大きいほど信頼度が高いことを意味する。先行画像データおよび後続画像データの同一領域どうしが類似するほど、重みの値は大きくなる。重みを再帰的に利用することにより、過去の画像データの残像ほど重みの値が小さくなり、残像が低減される。以下、実施例１について詳細に説明する。

【0022】

＜撮像装置のハードウェア構成例＞
図１は、撮像装置のハードウェア構成例を示すブロック図である。撮像装置１００は、動画撮影可能な装置であり、具体的には、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、パーソナルコンピュータ、ゲーム機である。図１では、撮像装置の一例としてデジタルカメラを例に挙げて説明する。

【0023】

撮像装置１００は、プロセッサ１０１と、記憶デバイス１０２と、駆動部１０３と、光学系１０４と、撮像素子１０５と、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０６と、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１０７と、操作デバイス１０８と、センサ１０９と、表示デバイス１１０と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１１１と、バス１１２と、を有する。プロセッサ１０１、記憶デバイス１０２、駆動部１０３、ＬＳＩ１０７、操作デバイス１０８、センサ１０９、表示デバイス１１０、および通信ＩＦ１１１は、バス１１２に接続される。

【0024】

プロセッサ１０１は、撮像装置１００を制御する。記憶デバイス１０２は、プロセッサ１０１の作業エリアとなる。また、記憶デバイス１０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス１０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。記憶デバイス１０２は、撮像装置１００に複数実装されてもよく、そのうちの少なくとも１つは、撮像装置１００に対し着脱自在でもよい。

【0025】

駆動部１０３は、光学系１０４を駆動制御する。駆動部１０３は、駆動回路１０３ａと駆動源１０３ｂとを有する。駆動回路１０３ａは、プロセッサ１０１からの指示により駆動源１０３ｂを制御する。駆動源１０３ｂは、たとえば、モータであり、駆動回路１０３ａの制御により、光学系１０４内のズーミングレンズ１４１ｂおよびフォーカシングレンズ１４１ｃを光軸方向に移動させたり、絞り１４２を開閉制御する。

【0026】

光学系１０４は、光軸方向に配列された複数のレンズ（レンズ１４１ａ、ズーミングレンズ１４１ｂ、およびフォーカシングレンズ１４１ｃ）と、絞り１４２と、を含む。光学系１０４は、被写体光を集光し、撮像素子１０５に出射する。

【0027】

撮像素子１０５は、光学系１０４からの被写体光を受光して電気信号に変換する。撮像素子１０５は、たとえば、ＸＹアドレス方式の固体撮像素子（たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ‐Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ））であってもよく、順次走査方式の固体撮像素子（たとえば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ））であってもよい。

【0028】

撮像素子１０５の受光面には、複数の受光素子（画素）がマトリクス状に配列されている。そして、撮像素子１０５の画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列（たとえば、ベイヤ配列）に従って配置される。そのため、撮像素子１０５の各画素は、カラーフィルタでの色分解によって各色成分に対応するアナログの電気信号を出力する。

【0029】

ＡＦＥ１０６は、撮像素子１０５からのアナログの電気信号に対して信号処理を施すアナログフロントエンド回路である。ＡＦＥ１０６は、電気信号のゲイン調整、アナログ信号処理（相関二重サンプリング、黒レベル補正など）、Ａ／Ｄ変換処理、デジタル信号処理（欠陥画素補正など）を順次実行してＲＡＷ画像データを生成し、ＬＳＩに出力する。上述した駆動部１０３、光学系１０４、撮像素子１０５、およびＡＦＥ１０６は、撮像部１２０を構成する。

【0030】

ＬＳＩ１０７は、ＡＦＥ１０６からのＲＡＷ画像データについて、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理など、特定の処理を実行する集積回路である。ＬＳＩ１０７は、具体的には、たとえば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によって実現してもよい。

【0031】

操作デバイス１０８は、コマンドやデータを入力する。操作デバイス１０８としては、たとえば、レリーズボタンを含む各種ボタン、スイッチ、ダイヤル、タッチパネルがある。センサは、情報を検出するデバイスであり、たとえば、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）センサ、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）センサ、ジャイロセンサ、加速度センサ、温度センサなどがある。表示デバイス１１０は、画像データや設定画面を表示する。表示デバイス１１０には、撮像装置１００の背面にある背面モニタと、電子ビューファインダと、がある。通信ＩＦ１１１は、ネットワークと接続し、データを送受信する。

【0032】

＜撮像装置１００の機能的構成例＞
図２は、実施例１にかかる撮像装置１００の機能的構成例を示すブロック図である。撮像装置１００は、取得部２０１と、算出部２０２と、除去部２０３と、画像保存部２０４と、第１メモリ２０５と、を有する。取得部２０１、算出部２０２、除去部２０３、画像保存部２０４、および第１メモリ２０５は、画像処理装置２００を構成する。

【0033】

取得部２０１は、撮像部１２０によって撮像された時間的に連続する一連の画像データを取得する。取得部２０１は、たとえば、記憶デバイス１０２の１つであるバッファメモリである。なお、撮像装置１００が、撮像部１２０がない画像処理装置２００である場合、記憶デバイス１０２または通信ＩＦ１１１からの一連の画像データを取得することになる。取得部２０１は、たとえば、記憶デバイス１０２の１つであるバッファメモリである。

【0034】

算出部２０２、除去部２０３および画像保存部２０４は、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０７により実現される。また、第１メモリ２０５は、記憶デバイス１０２の１つである。

【0035】

ここで、一連の画像データを、連続する第１画像データ～第３画像データを例に挙げて説明する。なお、撮像部１２０は、被写体を撮像して、第１画像データ～第３画像データの順に出力するものとする。第１画像データは、連続する第１画像データ～第３画像データの中で、撮像部１２０から出力された時間的に最古の画像データとする。第２画像データは、第１画像データよりも時間的に後に撮像部１２０から出力された画像データとする。第３画像データは、第２画像データよりも時間的に後に撮像部１２０から出力された画像データとする。

【0036】

算出部２０２は、重み計算部２２１と、重み調整部２２２と、重み保存部２２３と、第２メモリ２２４と、を有する。重み計算部２２１は、除去部２０３によって第１画像データからノイズ除去された第１ノイズ除去画像データおよび第２画像データに基づいて、第１画像データの第１重みを算出する。算出部２０２は、第１重みを算出する際、第２画像データに先行する過去画像データとして、第１ノイズ除去画像データを第１メモリ２０５から読み出す。第１画像データは、第２画像データの先行画像データであり、第２画像データは、第１画像データの後続画像データである。

【0037】

また、算出部２０２は、除去部２０３によって第２画像データからノイズ除去された第２ノイズ除去画像データおよび第３画像データに基づいて、第２画像データの第２重みを算出する。算出部２０２は、第２重みを算出する際、第３画像データに先行する過去画像データとして、第１メモリ２０５から第２ノイズ除去画像データを読み出す。第２画像データは、第３画像データの先行画像データであり、第３画像データは、第２画像データの後続画像データである。

【0038】

重みとは、上述したように、時間的に連続する先行画像データと後続画像データとを同一領域で比較した場合の当該領域ごとにおける後続画像データに対する先行画像データの信頼度である。領域とは、１画素以上の画素集合である。領域は画像データ全体であってもよい。

【0039】

ここで、時刻ｔよりも前にノイズ除去処理された画像データをＩｏｌｄと表記し、時刻ｔの画像データをＩｔと表記する。ＩｏｌｄやＩｔを区別しない場合は、単に画像データＩと表記する。画像データＩは、たとえば、マトリクス状の画素群の各値に対応する行列である。したがって、重みもまた行列により表現され、Ｗと表記する。重みＷの各要素は、画像データＩ内の領域（ｘ，ｙ）に対応し、その領域の重みｗは、たとえば、０．０以上１．０以下の範囲をとる。

【0040】

ある領域において、重み（信頼度）ｗが高いほど、当該領域において、先行画像データと後続画像データとの間で画像のブレが少ない、すなわち、残像が少ないことを示し、重み（信頼度）が低いほど、当該領域において、先行画像データと後続画像データとの間でブレが多い、すなわち、残像が多いことを示す。

【0041】

時刻ｔの後続画像データに対する先行画像データＩｏｌｄ内の領域の重みｗは、下記式（１）により算出される。

【0042】

ｗ＝ｆ（Ｉｔ，Ｉｏｌｄ）・・・（１）

【0043】

関数ｆ（・）は、先行画像データＩｏｌｄ内の領域の重みｗを求める関数である。なお、領域が先行画像データＩｏｌｄの全体であれば、重みｗは１つの値となる。また、重み計算部２２１は、先行画像データＩｏｌｄのチャンネル数に応じて複数の重みＷを求めてもよい。先行画像データＩｏｌｄの領域の重みｗは、後続画像データＩｔの類似度が大きいほど大きくするのがよい。領域の重みｗの求め方の一例としては下記式（２）がある。

【0044】

【数1】

【0045】

関数ｆｘ,ｙは、領域（ｘ，ｙ）の重みｗの算出を意味する。ｘは先行画像データＩｏｌｄの領域の列方向における位置を示し、ｙは行方向の位置を示す。また，関数φｘ,ｙは領域（ｘ，ｙ）を中心とした近傍領域の部分画像データを取得する関数である。また，||・||はＬ２ノルムを意味する。また，σは、重みの算出結果を調整するパラメータである。σは上記式（２）の分子の値である画像の差に対する感度を調整するためパラメータであり、σの値を大きくすると画像の差が大きくても重みが大きく算出されることになる。

【0046】

重み調整部２２２は、第２メモリ２２４に保存されている最新の重みＷｏｌｄに基づいて、重み計算部２２１によって計算された重みＷを調整する。調整済みの重みＷを重みＷ´とする。重み保存部２２３は、重み調整部２２２による調整前の重みＷをＷｏｌｄとして第２メモリ２２４に保存する（式（４）を参照）。第２メモリ２２４は、記憶デバイス１０２により構成される。

【0047】

調整済みの重みＷ´は、下記式（３）により算出される。

【0048】

Ｗ´＝ｇ（Ｗ，Ｗｏｌｄ）・・・（３）

【0049】

関数ｇ（・）は、重みＷを調整する関数である。Ｗｏｌｄは、下記式（４）のように、調整前の重みＷにより更新される。ここでは直接重みＷをＷｏｌｄに更新しているが，重みＷのサイズを縮小してＷｏｌｄに更新してもよい。重みを過去重みＷｏｌｄと称す。

【0050】

Ｗｏｌｄ＝Ｗ・・・（４）

【0051】

また、式（３）の右辺は、たとえば、下記式（５）により表現される。

【0052】

【数2】

【0053】

また、調整済みの重みＷ´に上限や下限を設けたり、一律の調整係数を掛けたりしてもよい。また、式（３）の右辺は、たとえば、下記式（６）により表現されてもよい。

【0054】

ｇ（Ｗ，Ｗｏｌｄ）＝ｍｉｎ（Ｗ，Ｗｏｌｄ）・・・（６）

【0055】

上記式（６）は、重みＷと過去重みＷｏｌｄを要素ごとに比較して、値が小さい方の重みｗを採用する。このようにして、調整済みの重みＷ´の領域の重みｗ´は、調整前の重みｗに比べて小さくなる。

【0056】

ここで、上述した第１画像データ～第３画像データを例に挙げて、重みＷの調整について説明する。なお、第１画像データを先行画像データとし、第１画像データからノイズ除去された第１ノイズ除去画像データを過去画像Ｉｏｌｄとした場合の重みＷを重みＷ１とする。また、第２画像データを先行画像データとし、第２画像データからノイズ除去された第２ノイズ除去画像データを過去画像Ｉｏｌｄとした場合の重みＷを重みＷ２とする。また、第３画像データを先行画像データとし、第３画像データからノイズ除去された第３ノイズ除去画像データを過去画像Ｉｏｌｄとした場合の重みＷを重みＷ３とする。

【0057】

なお、第１画像データが動画像データの先頭画像データである場合、第１画像データに先行する画像データは存在しないため、重みＷ１は重み調整部２２２によって調整されずに、重み保存部２２３により第２メモリ２２４に過去重みＷｏｌｄとして保存される。第１画像データおよび第２画像データにより重みＷ２が計算された場合、重み調整部２２２は、第２メモリ２２４から過去重みＷｏｌｄ（＝重みＷ１）を読みだして、上記式（５）により重みＷ２と乗算して、調整済みの重みＷ２´を算出する。重み保存部２２３は、調整前の重みＷ２を過去重みＷｏｌｄとして第２メモリ２２４に保存する。

【0058】

また、第２画像データおよび第３画像データにより重みＷ３が計算された場合、重み調整部２２２は、第２メモリ２２４から重みＷｏｌｄ（＝重みＷ２）を読みだして、上記式（５）により、重みＷ３と乗算して、調整済みの重みＷ３´を算出する。重み保存部２２３は、調整前の重みＷ３をＷｏｌｄとして第２メモリ２２４に保存する。

【0059】

除去部２０３は、調整済みの重みＷ´に基づいて、ノイズ除去対象の画像データのノイズを除去し、ノイズ除去画像データを出力する。具体的には、たとえば、除去部２０３は、調整済みの重みＷ´を用いた重み付け平均により、ノイズ除去対象の画像データのノイズを除去する。重み付け平均は、たとえば、下記式（７）により表現される。

【0060】

【数3】

【0061】

上記式（７）において、Ｉｏｕｔは、ノイズ除去された画像データ（ノイズ除去画像データ）である。

【0062】

画像保存部２０４は，除去部２０３から出力されたノイズ除去画像データＩｏｕｔを過去画像データＩｏｌｄとして第１メモリ２０５に保存する。第１メモリ２０５は、記憶デバイス１０２により構成される。

【0063】

＜再帰的ノイズ除去処理＞
図３は、実施例１にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。図４は、調整済みの重みＷ´による再帰的ノイズ除去例を示す説明図である。図４の比較例として、図５を例示する。図５は、調整済みの重みＷ´を適用しない再帰的ノイズ除去例を示す説明図である。なお、図４および図５において図３のステップに該当する箇所には、図３のステップ番号を付す。なお、図５では調整済みの重みＷ´を適用しないため、ステップＳ３０４～Ｓ３０６は存在しない。また、図４および図５では、撮像装置１００は、撮像方向を固定しており、被写体像が左から右に移動する動画像データを撮像する場合を例に挙げて説明する。

【0064】

まず、図４および図５の中央点線の左側について、図３を用いて説明する。撮像装置１００は、取得部２０１により現在画像データを取得して読み込み（ステップＳ３０１）、過去画像データを第１メモリ２０５から読み込む（ステップＳ３０２）。ここで、現在画像データとは、時刻ｔ－１の後続画像データＩ（ｔ－１）であり、過去画像データとは、時刻（ｔ－１）以前の時刻（ｔ－２）の先行画像データからノイズ除去されたノイズ除去画像データ、すなわちＩｏｌｄである。Ｉｏｌｄには、被写体像ＯＢ（ｔ－２）が存在するものとする。

【0065】

撮像装置１００は、重み計算部２２１により、過去画像データＩｏｌｄと現在画像データＩ（ｔ－１）とを式（２）に与えて、重みＷ（ｔ－１）を計算する（ステップＳ３０３）。過去画像データＩｏｌｄと現在画像データＩ（ｔ－１）とにおいて、同一領域の画像が類似するほど、重みは大きくなり、類似しなくなるほど、小さくなる。したがって、過去画像データＩｏｌｄと現在画像データＩ（ｔ－１）とにおいて、被写体像ＯＢ（ｔ－２），ＯＢ（ｔ－１）がいずれも存在しない領域は、ほぼ同じ画像となり、当該領域の重みｗ（ｔ－１）は、たとえば、最大値の１．０となる。

【0066】

一方、過去画像データＩｏｌｄと現在画像データＩ（ｔ－１）とにおいて、被写体像ＯＢ（ｔ－２），ＯＢ（ｔ－１）のいずれか一方が存在する領域は、異なる画像となり、当該領域の重みｗ（ｔ－１）は低くなる。ここでは、例として、当該領域の重みｗ（ｔ－１）を０．０とする。なお、被写体像ＯＢ（ｔ－２），ＯＢ（ｔ－１）の境界部分の領域については、被写体像ＯＢ（ｔ－２），ＯＢ（ｔ－１）のいずれか一方が存在する領域よりも類似している。ここでは、例として、当該領域の重みｗ（ｔ－１）を０．５とする。

【0067】

つぎに、撮像装置１００は、第２メモリ２２４から過去重みＷｏｌｄを読み込む（ステップＳ３０４）。この過去重みＷｏｌｄを例として、全要素の値が「１．０」の行列とする。撮像装置１００は、重み調整部２２２により、第２メモリ２２４からの過去重みＷｏｌｄと、ステップＳ３０３で重み計算した重みＷ（t－１）とを式（３）に与えて、調整済みの重みＷ´を出力する（ステップＳ３０５）。

【0068】

調整済みの重みＷ´は、たとえば、式（５）に示したように、過去重みＷｏｌｄと、重みＷ（ｔ）との積により求められる。過去重みＷｏｌｄは全要素の値が「１．０」の行列であるため、調整済みの重みＷ´は、重み計算した重みＷ（t－１）と同じである。

【0069】

そして、撮像装置１００は、第２メモリ２２４に調整前の重みＷ（ｔ－１）を格納して、あらたな過去重みＷｏｌｄとする（ステップＳ３０６）。

【0070】

撮像装置１００は、除去部２０３により、過去画像データＩｏｌｄと現在画像データＩ（ｔ－１）と調整済みの重みＷ´とを式（７）に与えて、現在画像データＩ（ｔ－１）からノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩｏｕｔ（ｔ－１）を出力する（ステップＳ３０８）。出力されたノイズ除去画像データＩｏｕｔ（ｔ－１）は、表示デバイス１１０に表示される。ノイズ除去画像データＩｏｕｔ（ｔ－１）は、現在画像データＩ（ｔ－１）と同じ位置に被写体像ＯＢ（ｔ－１）が存在し、過去画像データＩｏｌｄの被写体像ＯＢ（ｔ－２）と同じ位置に残像Ａ（ｔ－２）が存在する。残像Ａ（ｔ－２）は、主に、被写体像ＯＢ（ｔ－２）の輪郭が際立った画像データとなる。

【0071】

また、撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩｏｕｔ（ｔ－１）を第１メモリ２０５に出力し、過去画像データＩｏｌｄを更新する（ステップＳ３０９）。このあと、撮像装置１００は、たとえば、ユーザの動作撮影の終了操作入力により、画像処理が終了するか否かを判断する（ステップＳ３１０）。終了しない場合（ステップＳ３１０：Ｎｏ）、撮像装置１００は、取得部２０１におけるバッファメモリの読み込み位置を更新し（ステップＳ３１１）、ステップＳ３０１に戻る。

【0072】

つぎに、図４および図５の中央点線の右側について、図３を用いて説明する。撮像装置１００は、取得部２０１により時刻ｔの現在画像データＩ（ｔ）を取得して読み込み（ステップＳ３０１）、過去画像データＩｏｌｄを第１メモリ２０５から読み込む（ステップＳ３０２）。ここで、過去画像データＩｏｌｄは、ステップＳ３０９で得られたノイズ除去画像データＩｏｕｔ（ｔ－１）である。

【0073】

撮像装置１００は、重み計算部２２１により、過去画像データＩｏｌｄと現在画像データＩ（ｔ）とを式（２）に与えて、重みＷ（ｔ）を計算する（ステップＳ３０３）。過去画像データＩｏｌｄと現在画像データＩ（ｔ）とにおいて、同一領域の画像が類似するほど、重みは大きくなり、類似しなくなるほど、小さくなる。したがって、過去画像データＩｏｌｄと現在画像データＩ（ｔ）とにおいて、被写体像ＯＢ（ｔ－１），ＯＢ（ｔ）がいずれも存在しない領域は、ほぼ同じ画像となり、当該領域の重みｗ（ｔ）は、たとえば、最大値の１．０となる。

【0074】

一方、過去画像データＩｏｌｄと現在画像データＩ（ｔ）とにおいて、被写体像ＯＢ（ｔ－１），ＯＢ（ｔ）のいずれか一方が存在する領域は、異なる画像となり、当該領域の重みｗ（ｔ）は低くなる。ここでは、例として、当該領域の重みｗ（ｔ）を０．０とする。なお、被写体像ＯＢ（ｔ－１），ＯＢ（ｔ）の境界部分の領域については、被写体像ＯＢ（ｔ－１），ＯＢ（ｔ）のいずれか一方が存在する領域よりも類似している。ここでは、例として、当該領域の重みｗ（ｔ）を０．５とする。また、過去画像データＩｏｌｄ（ノイズ除去画像データＩｏｕｔ（ｔ－１））において、残像Ａ（ｔ－２）が存在する領域の重みを０．７５とする。

【0075】

つぎに、撮像装置１００は、第２メモリ２２４から過去重みＷｏｌｄを読み込む（ステップＳ３０４）。この過去重みＷｏｌｄは、ステップＳ３０６で先に算出された重みＷ（t－１）である。撮像装置１００は、重み調整部２２２により、第２メモリ２２４からの過去重みＷｏｌｄと、ステップＳ３０３で重み計算した重みＷ（t）とを式（３）に与えて、調整済みの重みＷ´を出力する（ステップＳ３０５）。

【0076】

調整済みの重みＷ´は、たとえば、式（５）に示したように、過去重みＷｏｌｄと、重みＷ（t）との積により求められる。この場合の過去重みＷｏｌｄは、ステップＳ３０６で先に算出された重みＷ（t－１）であるため、残像Ａ（ｔ－２）が存在する領域内部の重みｗ（ｔ）は０になり、輪郭の重みｗ（ｔ）は、０．３７５（＝０．７５×０．５）となる。また、残像Ａ（ｔ－１）が存在する領域内部の重みｗ（ｔ）は０（＝０．０×０．０）のままであるが、輪郭の重みｗ（ｔ）は０．２５（＝０．５×０．５）である。

【0077】

そして、撮像装置１００は、第２メモリ２２４に調整前の重みＷ（ｔ）を格納して、あらたな過去重みＷｏｌｄとする（ステップＳ３０６）。

【0078】

撮像装置１００は、除去部２０３により、過去画像データＩｏｌｄと現在画像データＩ（ｔ）と調整済みの重みＷ´とを式（７）に与えて、現在画像データＩ（ｔ）からノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩｏｕｔ（ｔ）を出力する（ステップＳ３０８）。出力されたノイズ除去画像データＩｏｕｔ（ｔ）は、表示デバイス１１０に表示される。ノイズ除去画像データＩｏｕｔ（ｔ）は、現在画像データＩ（ｔ）と同じ位置に被写体像ＯＢ（ｔ）が存在し、過去画像データＩｏｌｄの被写体像ＯＢ（ｔ－１）と同じ位置に残像Ａ（ｔ－１）が存在し、さらに、被写体像ＯＢ（ｔ－２）と同じ位置に残像Ａ（ｔ－２）が存在する。

【0079】

また、撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩｏｕｔ（ｔ）を第１メモリ２０５に出力し、過去画像データＩｏｌｄを更新する（ステップＳ３０９）。このあと、撮像装置１００は、たとえば、ユーザの動作撮影の終了操作入力により、画像処理が終了するか否かを判断する（ステップＳ３１０）。終了する場合（ステップＳ３１０：Ｙｅｓ）、撮像装置１００は、画像処理を終了する。

【0080】

このように、過去画像データＩｏｌｄと現在画像データＩ（ｔ－１），Ｉ（ｔ）との間で変換のない領域では過去画像データＩｏｌｄを参照するための重みＷ（ｔ－１），Ｗ（ｔ）が大きくなるため、結果的に使用メモリを削減しつつノイズ除去率を増加させることができる。

【0081】

ただし、図５の例の場合、過去画像データＩｏｌｄと現在画像データＩ（ｔ－１），Ｉ（ｔ）との間で重みの算出がうまくいっていない領域、すなわち失敗している領域がある場合、その結果も保持される。したがって、長期にわたり失敗が残ってしまう。これが残像として画質を著しく劣化させてしまう原因となる。

【0082】

たとえば、図５の中の太矢印５Ａ１で示した被写体像ＯＢ（ｔ－２）の輪郭の残像Ａ（ｔ－２）のように、次のフレーム（画像データＩ（ｔ））でのステップＳ３０３の重み算出結果が太矢印５ａ１のように大きくなっており（ｗ（ｔ－１）＝０．７５）、結果として太矢印５Ａ２のように失敗した輪郭の残像Ａ（ｔ－２）が残ってしまっている。

【0083】

一方、実施例１の撮像装置１００は、過去画像データＩｏｌｄに、その時算出した重みが付随した状態で保持され、これを再利用する。これにより、残像が発生しているような信頼度の低い領域で過去画像データＩｏｌｄを参照するための重みＷ（ｔ－１），Ｗ（ｔ）が小さくなりやすくなるため、結果的に残像発生を抑制することができる。

【0084】

たとえば、図４中の太矢印４Ｂ１で示した被写体像ＯＢ（ｔ－２）の輪郭の重みｗ（ｔ－１）が太矢印４ｂ１のように大きく出ている一方（０．７５）、調整を掛けた太矢印４ｂ２では重みｗ（ｔ）が小さくなっており（０．３７５＝０．５×０．７５）、結果として太矢印５Ｂ２のように失敗した輪郭の残像Ａ（ｔ－２）の残り具合が低減できている。

【0085】

このように、図５の場合、ノイズ除去精度が図４に比べて低いため、図４と同等のノイズ除去精度を出すためには、過去の画像データの枚数を図４の場合よりも第１メモリ２０５に多く保持しておく必要があり、メモリ使用量が増加する。これに対し、図４では、直近の過去画像データを第１メモリ２０５に保持しておけばよいため、ノイズ除去精度の向上と省メモリ化とを両立することができる。

【実施例0086】

実施例２は、画像データに含まれる空間情報を利用することで残像の発生を抑制する例である。なお、実施例２では、実施例１との相違点を中心に説明し、実施例１と共通部分については同一符号を用いて説明を省略する。

【0087】

＜撮像装置１００の機能的構成例＞
図６は、実施例２にかかる撮像装置１００の機能的構成例を示すブロック図である。実施例２の算出部６０２は、空間情報抽出部６２１と、重み計算部６２２と、を有する。空間情報抽出部６２１は、抽出対象となる画像データから空間情報を抽出する。抽出対象となる画像データは、過去画像データＩｏｌｄまたは現在画像データＩｔの少なくとも一方である。両方の画像データＩｏｌｄ，Ｉｔを用いる場合、空間情報抽出部６２１は、各々の画像データＩについて空間情報を抽出し、２つの空間情報の平均を算出したり、最大値を選択したり、αブレンドを算出してもよい。

【0088】

空間情報とは、抽出対象となる画像データに含まれる空間構造の特徴を示す情報であり、具体的には、たとえば、空間周波数成分がある。空間周波数成分の場合、たとえば、空間情報抽出部６２１は、下記式（８）～（１３）のように、２種類のサイズのローパスフィルタを用いて低周波成分Ｓｌｏｗと高周波成分Ｓｈｉｇｈを抽出することができる。

【0089】

【数4】

【0090】

式（８），（９）のＩは、抽出対象となる画像データである。また、式（１１）の関数ａｂｓ（・）は、領域（ｘ，ｙ）ごとの絶対値を算出する関数である。式（１３）は、式（８），（９）に代入される。式（８）に代入される場合、式（１３）は、Ｈσ１（ｘ，ｙ）となり、σはσ１となる。同様に、式（９）に代入される場合、式（１３）は、Ｈσ２（ｘ，ｙ）となり、σはσ２となる。

【0091】

なお、抽出対象となる画像データＩについては、空間情報を抽出しやすくするために事前に画像データＩに変換を掛けてもよい。さらに、空間情報抽出部６２１は、低周波成分Ｓｌｏｗと高周波成分Ｓｈｉｇｈの２成分だけでなく複数の帯域の周波数成分を算出してもよい。

【0092】

重み計算部６２２は、現在画像データと、過去画像データと、空間情報抽出部６２１によって抽出された空間情報と、に基づいて、過去画像データの重みＷを計算する。残像が目立ちやすい領域は明るい領域であったり、エッジ付近（過去画像データにおける被写体像の輪郭）のようにであったりすることが多い。このため、そのような領域の重みを小さくするのがよい。

【0093】

そこで、まず明るい領域を判断するため、重み計算部６２２は、低周波成分Ｓｌｏｗを用いて下記式（１４），（１５）のような処理を実行する。

【0094】

【数5】

【0095】

式（１４）のＳｌｏｗ，Ｉｔ，Ｓｌｏｗ，Ｉｏｌｄは、それぞれ現在画像データＩｔと過去画像データＩｏｌｄの低周波成分Ｓｌｏｗを意味する。式（１４）のｍａｘ（・）は、領域（ｘ，ｙ）ごとに最大値を算出する関数である。式（１５）のＳ´ｌｏｗは、現在画像データＩｔと過去画像データＩｏｌｄの低周波成分Ｓｌｏｗの最大値となるが、平均値でもよい。

【0096】

また、σ（・）は領域（ｘ，ｙ）ごとに値を算出するシグモイド関数で、入力値が大きいほど１に近づく。Ｔｌｏｗはしきい値を表すパラメータである。これにより、式（１５）の低周波成分Ｓｌｏｗによる調整値Ｋｌｏｗは、低周波成分Ｓｌｏｗが大きいほど、すなわち、明るい領域ほど小さい値になる。

【0097】

次にエッジ付近を判断するため、重み計算部６２２は、高周波成分Ｓｈｉｇｈを用いて下記式（１６），（１７）のような処理を実行する。

【0098】

【数6】

【0099】

式（１６）のＳｈｉｇｈ，Ｉｔ，Ｓｈｉｇｈ，Ｉｏｌｄは、それぞれ現在画像データＩｔと過去画像データＩｏｌｄの高周波成分Ｓｈｉｇｈを意味する。式（１６）のｍａｘ（・）は、領域（ｘ，ｙ）ごとに最大値を算出する関数である。式（１７）のＳ´ｈｉｇｈは、現在画像データＩｔと過去画像データＩｏｌｄの高周波成分Ｓｈｉｇｈの最大値となるが、平均値でもよい。

【0100】

また、σ（・）は領域（ｘ，ｙ）ごとに値を算出するシグモイド関数で、入力値が大きいほど１に近づく。Ｔｈｉｇｈはしきい値を表すパラメータである。これにより、式（１７）の高周波成分Ｓｈｉｇｈによる調整値Ｋｈｉｇｈは、高周波成分Ｓｈｉｇｈが大きいほど、すなわち、エッジ付近であるほど小さい値になる。

【0101】

求められた低周波成分Ｓｌｏｗによる調整値Ｋｌｏｗと高周波成分Ｓｈｉｇｈによる調整値Ｋｈｉｇｈとを用いて，最終的に更新された重みＷｎｅｗは、下記式（１８）で求められる。除去部２０３は、更新済みの重みＷｎｅｗを用いて、実施例１と同様な処理で現在画像データＩｔからノイズを除去し、ノイズ除去画像データとして出力する。また、画像保存部２０４は、ノイズ除去画像データを過去画像データＩｏｌｄとして第１メモリ２０５に保存する。

【0102】

【数7】

【0103】

式（１８）において、右辺のＷは、過去画像データＩｏｌｄを参照するための重みである。式（１８）で重みＷを重みＷｎｅｗに更新することにより、残像が目立ちやすい領域である明るい領域やエッジ付近の重みが小さくなるため、残像発生を抑制することができる。ここでは現在画像データＩｔと過去画像データＩｏｌｄの低周波成分Ｓｌｏｗおよび高周波成分Ｓｈｉｇｈを用いたが、低周波成分Ｓｌｏｗおよび高周波成分Ｓｈｉｇｈのいずれか一方だけを用いてもよい。

【0104】

＜再帰的ノイズ除去処理＞
図７は、実施例２にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例２では、図３と比較した場合、ステップＳ３０３～Ｓ３０６が存在せず、ステップＳ３０２のあと、撮像装置１００は、空間情報抽出部６２１により、空間情報抽出処理を実行する（ステップＳ７０１）。つぎに、撮像装置１００は、重み計算部６２２により、調整重みＷｎｅｗを計算する（ステップＳ７０２）。このあと、撮像装置１００は、除去部２０３により、調整重みＷｎｅｗを用いて、現在画像データＩｔからノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩｏｕｔを表示デバイス１１０に出力する（ステップＳ３０８）。

【0105】

撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩｏｕｔを過去画像データＩｏｌｄとして第１メモリ２０５に保存する（ステップＳ３０９）。このような処理を撮像が終了するまで、再帰的に実行することで、残像が目立ちやすい領域での重みが低く調整され、結果的に残像発生を抑制することができる。