(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162132
(43)【公開日】2024-11-21
(54)【発明の名称】画像処理装置、撮像装置、方法、及びプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20241114BHJP
H04N 23/70 20230101ALI20241114BHJP
【ＦＩ】
H04N23/60 500
H04N23/70
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023077384
(22)【出願日】2023-05-09
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】宮嶋 俊輔
(72)【発明者】
【氏名】川原 竣介
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122EA18
5C122EA22
5C122FF01
5C122FG14
5C122FH07
5C122FH10
5C122FH11
(57)【要約】
【課題】本発明は、画像回復機能を使用しつつ撮像装置の制御機能のリアルタイム性の低下を低減することを目的とする。
【解決手段】
撮像装置が撮像した第１画像と、前記第１画像を第１画像回復手段を用いて処理した第２画像とを取得する。前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する。前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する。前記パラメータを前記撮像装置に出力する。
【選択図】図１
【解決手段】
撮像装置が撮像した第１画像と、前記第１画像を第１画像回復手段を用いて処理した第２画像とを取得する。前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する。前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する。前記パラメータを前記撮像装置に出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
撮像装置が撮像した第１画像と、前記第１画像を第１画像回復手段を用いて処理した第２画像とを取得する取得手段と、
前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する検出手段と、
前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する決定手段と、
前記パラメータを前記撮像装置に出力する出力手段と、を備える、
ことを特徴とする画像処理装置。
前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する検出手段と、
前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する決定手段と、
前記パラメータを前記撮像装置に出力する出力手段と、を備える、
ことを特徴とする画像処理装置。
【請求項2】
前記取得手段は、前記第１画像を前記第１画像回復手段とは異なる第２画像回復手段を用いて処理した第３画像を取得し、
前記検出手段は、前記第３画像の第３特徴量を検出し、
前記決定手段は、前記第２特徴量と前記第３特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする請求項１に記載の画像処理装置。
前記検出手段は、前記第３画像の第３特徴量を検出し、
前記決定手段は、前記第２特徴量と前記第３特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記第２画像回復手段が前記第１画像を処理する時間は、前記第１画像回復手段が前記第１画像を処理する時間よりも短い、
ことを特徴とする請求項２に記載の画像処理装置。
ことを特徴とする請求項２に記載の画像処理装置。
【請求項4】
前記第１画像から部分画像を抽出する画像加工手段をさらに備え、
前記取得手段は、前記部分画像を前記第１画像回復手段、又は、前記第１画像回復手段と前記第２画像回復手段とは異なる第３画像回復手段を用いて処理した部分画像を取得し、
前記検出手段は、前記処理した部分画像の第４特徴量を検出し、
前記決定手段は、前記第２特徴量と前記第４特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする請求項２に記載の画像処理装置。
前記取得手段は、前記部分画像を前記第１画像回復手段、又は、前記第１画像回復手段と前記第２画像回復手段とは異なる第３画像回復手段を用いて処理した部分画像を取得し、
前記検出手段は、前記処理した部分画像の第４特徴量を検出し、
前記決定手段は、前記第２特徴量と前記第４特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項5】
前記第１画像の任意の領域を指定する領域指定手段をさらに備え、
前記画像加工手段は、前記第１画像から前記部分画像として前記任意の領域を抽出する、
ことを特徴とする請求項４に記載の画像処理装置。
前記画像加工手段は、前記第１画像から前記部分画像として前記任意の領域を抽出する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項6】
前記画像加工手段は、前記第１画像のサイズを所定のサイズに縮小する、
ことを特徴とする請求項４に記載の画像処理装置。
ことを特徴とする請求項４に記載の画像処理装置。
【請求項7】
前記画像加工手段は、前記領域指定手段によって指定された任意の領域のサイズが、前記第１画像から抽出する部分画像の規定サイズよりも小さい場合、前記第１画像から前記任意の領域を前記規定サイズで抽出する、
ことを特徴とする請求項５に記載の画像処理装置。
ことを特徴とする請求項５に記載の画像処理装置。
【請求項8】
前記第１特徴量と前記第２特徴量は、輝度又はホワイトバランス補正値である、
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項9】
前記撮像に関するパラメータは、前記撮像装置の露出パラメータ又はホワイトバランス補正値である、
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項10】
前記決定手段は、前記第１特徴量よりも前記第２特徴量を優先的に用いて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項11】
前記第２画像の出力周期は、前記第１画像の出力周期よりも長く、
前記取得手段は、前記第１画像の第１取得時刻よりも後の第２取得時刻において前記第２画像を取得し、前記第２取得時刻において前記第１画像とは異なる他の第１画像を取得し、
前記検出手段は、前記他の第１画像の他の第１特徴量を検出し、
前記第１特徴量と前記第２特徴量とに基づくオフセット値で、前記他の第１特徴量をオフセットする補正手段をさらに備え、
前記決定手段は、オフセットされた前記他の第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする請求項１に記載の画像処理装置。
前記取得手段は、前記第１画像の第１取得時刻よりも後の第２取得時刻において前記第２画像を取得し、前記第２取得時刻において前記第１画像とは異なる他の第１画像を取得し、
前記検出手段は、前記他の第１画像の他の第１特徴量を検出し、
前記第１特徴量と前記第２特徴量とに基づくオフセット値で、前記他の第１特徴量をオフセットする補正手段をさらに備え、
前記決定手段は、オフセットされた前記他の第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項12】
前記補正手段は、前記第２画像の第２取得時刻と、前記第２取得時刻よりも後の前記第２画像とは異なる他の第２画像を取得する第３取得時刻との間において取得される前記他の第１画像の前記他の第１特徴量を前記オフセット値でオフセットする、
ことを特徴とする請求項１１に記載の画像処理装置。
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項13】
前記補正手段は、前記第３取得時刻に決定された前記撮像装置の撮像に関するパラメータと、前記第１取得時刻又は前記第２取得時刻に決定された前記撮像装置の撮像に関するパラメータとに基づくオフセット値で前記他の第１特徴量をオフセットする、
ことを特徴とする請求項１２に記載の画像処理装置。
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項14】
前記決定手段は、前記第１特徴量又は前記第２特徴量と、特徴量の基準値とに基づいて、前記第１特徴量又は前記第２特徴量に対応する、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項15】
前記決定手段は、前記第１特徴量又は前記第２特徴量と、前記特徴量の基準値との差分に基づいて、前記第１特徴量又は前記第２特徴量に対応する、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする請求項１４に記載の画像処理装置。
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項16】
前記特徴量の基準値は、前記撮像装置に対する１回の制御周期で変更可能な段数に基づいて決定される、
ことを特徴とする請求項１４に記載の画像処理装置。
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項17】
前記第１画像回復手段、前記第２画像回復手段、及び前記第３画像回復手段は、ニューラルネットワークを用いたノイズ除去手段である、
ことを特徴とする請求項４に記載の画像処理装置。
ことを特徴とする請求項４に記載の画像処理装置。
【請求項18】
撮像手段と、
前記画像処理装置から受信した撮像に関するパラメータに基づいて前記撮像手段の撮像に関する制御を実行する撮像制御手段と、
請求項１から１５のいずれか一項に記載の画像処理装置と、を備える、
ことを特徴とする撮像装置。
前記画像処理装置から受信した撮像に関するパラメータに基づいて前記撮像手段の撮像に関する制御を実行する撮像制御手段と、
請求項１から１５のいずれか一項に記載の画像処理装置と、を備える、
ことを特徴とする撮像装置。
【請求項19】
撮像装置が撮像した第１画像と、前記第１画像を第１画像回復手段を用いて処理した第２画像とを取得する取得工程と、
前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する検出工程と、
前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する決定工程と、
前記パラメータを前記撮像装置に出力する出力工程と、を備える、
ことを特徴とする方法。
前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する検出工程と、
前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する決定工程と、
前記パラメータを前記撮像装置に出力する出力工程と、を備える、
ことを特徴とする方法。
【請求項20】
コンピュータに、
撮像装置が撮像した第１画像と、前記第１画像を第１画像回復手段を用いて処理した第２画像とを取得する取得工程と、
前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する検出工程と、
前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する決定工程と、
前記パラメータを前記撮像装置に出力する出力工程と、
を実行させるプログラム。
撮像装置が撮像した第１画像と、前記第１画像を第１画像回復手段を用いて処理した第２画像とを取得する取得工程と、
前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する検出工程と、
前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する決定工程と、
前記パラメータを前記撮像装置に出力する出力工程と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、撮像装置、方法、及びプログラムに関する。
【背景技術】
【0002】
従来、低照度下において画像にゲインをかけることで画像の輝度を増幅する技術が知られている。しかし、画像にゲインをかけることで輝度を増幅させると同時にノイズが付加されてしまう場合がある。画像にノイズが付加されてしまうと視認性が低下したり、露出制御やホワイトバランス制御などの撮像画像を使用した撮像装置の制御機能の精度が低下してしまう。そこで、ＮｏｉｓｅＲｅｄｕｃｔｉｏｎ（以下、ＮＲ）機能などの画像回復機能を用いて画像を回復させる技術が知られている。特許文献１には動画にゲインをかける際に、フレーム間の移動平均値にゲインをかけることで画像の輝度を増幅させつつノイズを低減する技術が開示されている。特許文献２には撮像画像に対する画像回復の前後にホワイトバランス補正を行った結果に基づいて色補正を行うことで、処理時間の増大を抑えつつ画像回復と色補正を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１６４１１２号公報
【特許文献2】特開２０１７－１２６９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１の技術は、画像回復を行いつつゲインをかけることで画像の輝度を増幅させつつノイズを低減させているが、露出制御機能のリアルタイム性が低下する。また、特許文献２の技術は、動画の被写体の変化に合わせて連続して画像回復とホワイトバランス補正の両方を行う場合にリアルタイム性の低下を低減できない。つまり、画像回復機能を使用しつつ、露出制御とホワイトバランス制御といった撮像装置の制御機能のリアルタイム性を確保することが困難となる。
【0005】
そこで、本発明は、画像回復機能を使用しつつ撮像装置の制御機能のリアルタイム性の低下を低減することを目的とする。
【課題を解決するための手段】
【0006】
本発明の目的を達成するために、本発明の一実施形態に係る画像処理装置は、撮像装置が撮像した第１画像と、前記第１画像を第１画像回復手段を用いて処理した第２画像とを取得する取得手段と、前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する検出手段と、前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する決定手段と、前記パラメータを前記撮像装置に出力する出力手段と、を備える、ことを特徴とする。
【発明の効果】
【0007】
本発明によれば、画像回復機能を使用しつつ撮像装置の制御機能のリアルタイム性の低下を低減することができる。
【図面の簡単な説明】
【0008】
【図1】第１実施形態に係る撮像システムの構成を示すブロック図。
【図2】第１実施形態に係る画像処理に関連する機能ブロック図。
【図3】第１実施形態に係る露出制御部２００の処理を説明するフローチャート。
【図4】第１実施形態に係る露出制御部２００が使用する画像の出力周期を説明する図。
【図5】第２実施形態に係る露出制御部２００の処理を説明するフローチャート。
【図6】第３実施形態に係る露出制御部２００の処理を説明するフローチャート。
【図7】第４実施形態に係る露出制御部２００の処理を説明するフローチャート。
【図8】第４実施形態に係る露出制御部２００が使用する画像の選択方法を説明する図。
【図9】第５実施形態に係る撮像システムの機能ブロック図。
【図10】第５実施形態に係る露出制御部２００の処理を説明するフローチャート。
【図11】第６実施形態に係る撮像システムの機能ブロック図。
【図12】第６実施形態に係る露出制御部２００の処理を説明するフローチャート。
【図13】第７実施形態に係る撮像システムの機能ブロック図。
【図14】第７実施形態に係るホワイトバランス制御部の処理を説明するフローチャート。
【図15】ホワイトバランス補正値を算出する方法を説明する図。
【図16】第８実施形態に係るホワイトバランス制御部１３００の処理を説明するフローチャート。
【図17】第９実施形態に係るホワイトバランス制御部１３００の処理を説明するフローチャート。
【図18】第１０実施形態に係るホワイトバランス制御部１３００の処理を説明するフローチャート。
【図19】第１１実施形態に係る撮像システムの機能ブロック図。
【図20】第１１実施形態に係るホワイトバランス制御部１３００の処理を説明するフローチャート。
【図21】第１２実施形態に係る撮像システムの機能ブロック図。
【図22】第１２実施形態に係るホワイトバランス制御部１３００の処理を説明するフローチャート。
【図23】従来例の撮像画像と回復画像の出力周期を説明する図。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る開示を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが開示に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0010】
図２３は、従来例の撮像画像と回復画像の出力周期を説明する図である。図２３(ａ)は、撮像画像の出力周期を説明する図である。図２３（ｂ）は、回復画像の出力周期を説明する図である。図２３(ａ)と図２３(ｂ)の横軸は時間ｔを示す。
【0011】
図２３(ａ)に示す黒塗りの各長方形は、撮像素子から出力される１フレームの画像（以下、撮像画像とも呼ぶ）を表す。図２３(ｂ)に示す斜線を含む各長方形は、撮像素子から出力された画像に画像回復処理された１フレームの画像を表す。図２３(ｂ)において画像回復処理された画像（以下、回復画像とも呼ぶ）は、図２３(ａ)の画像に比べて長い周期で出力されている。これは、画像回復処理の負荷が大きく、回復画像の出力に時間を要したことが原因である。例えば、図２３(ａ)において時刻ｔ０の撮像画像は、画像回復処理されることで図２３(ｂ)の時刻ｔ４で出力される。しかし、撮像画像を使用した露出制御機能の精度を向上させるためには、回復画像を使用することが好ましい。例えば、回復画像の出力周期が撮像画像の出力周期の４倍となった場合、撮像画像を使用した露出制御機能も４倍の周期で更新されることになってしまう。また、より低照度環境で撮影する程、ゲインを増大させる必要がある。ゲインの増大に伴い、画像に付加されるノイズ量も増大する。増大するノイズを除去するためには、より効果の高い画像回復機能を使用する必要がある。例えば、ＤｅｅｐＬｅａｒｉｎｇ（以下、ＤＬ）を用いたＮＲ機能が、従来技術のＮＲ性能を大幅に超える視認性能を達成している。しかし、より効果の高い画像回復機能を使用するほど処理負荷は増大し、回復画像の出力周期は長くなる傾向にある。よって、露出制御機能の更新周期もより長くなってしまう。
【0012】
図１は、第１実施形態に係る撮像システムの構成を示すブロック図である。
【0013】
撮像システムは、画像処理装置１００、撮像装置１２０、及び表示装置１３０を備える。画像処理装置１００では内部バス１１０に対して画像信号受信部１０１、カメラ通信接続部１０２、フレームメモリ１０３、ＣＰＵ１０４、ＲＯＭ１０５、ＲＡＭ１０６、ＧＰＵ１０７、表示駆動部１０８、表示装置接続部１０９が接続されている。内部バス１１０に接続される各部は、内部バス１１０を介して互いにデータのやりとりを行うことができる。
【0014】
撮像装置１２０のレンズ部１２１は、レンズと、レンズを駆動させるためのモータとを備える光学素子である。レンズ部１２１は、絞り、光学レンズ、絞り、及び光学レンズを駆動させるためのモーターを備えるレンズユニットである。レンズ部１２１は、制御信号に基づいて動作し、光学的に映像の拡大又は縮小を行い、焦点距離などの調整を行うことができる。また、レンズ部１２１は、入射光量を調整する場合、絞りの開口面積を制御する事で、所望の明るさとなるように光量を調整することができる。
【0015】
レンズ部１２１を透過した光は、撮像素子１２２で結像される。撮像素子１２２は、ＣＣＤセンサ、ＣＭＯＳセンサ、ＳＰＡＤセンサ、及び赤外センサなどを備え、光学的な信号を電気的な信号に変換し、画像信号を生成する。撮像素子１２２は、制御信号に基づいて駆動され、画素内の電荷をリセットし、読み出しのタイミングを制御する。また、撮像素子１２２は、電気的なアナログ信号（電圧値）として読み出された画素信号にゲイン処理を行ったり、アナログ信号をデジタル信号に変換する機能を有する。
【0016】
カメラ制御部１２３は、カメラ通信接続部１０２から出力された通信信号に基づいて、レンズ部１２１および撮像素子１２２の駆動制御を行う。
【0017】
画像処理装置１００の画像信号受信部１０１は、撮像素子１２２から出力された画像信号を受信する。
【0018】
カメラ通信接続部１０２は、カメラ制御部１２３へ通信信号を送信し、またはカメラ制御部１２３から通信信号を受信する。カメラ通信接続部１０２は、例えば、カメラ制御部１２３にレンズ部１２１と撮像素子１２２の駆動制御の情報を送信し、カメラ制御部１２３からレンズ部１２１と撮像素子１２２の動作情報を受信する。
【0019】
フレームメモリ１０３は、一般的にＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と呼ばれ、映像信号を一時的に記憶し、必要な時に映像信号を読み出すことが可能な素子である。映像信号は膨大なデータ量であるため、高速かつ高容量なフレームメモリ１０３が求められる。近年では、フレームメモリ１０３としてＤＤＲ４－ＳＤＲＡＭ（Ｄｕａｌ Ｄａｔａ Ｒａｔｅ ４ － Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）などが用いられることが多い。
【0020】
ＣＰＵ１０４は、画像処理装置１００の各機能を制御するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、主に画像処理とカメラ制御を行うために使用される。また、ＣＰＵ１０４は、画像回復を行うために使用されてもよい。また、ＣＰＵ１０４を駆動するために、ＣＰＵ１０４にはＲＯＭ１０５（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とＲＡＭ１０６が接続されている。
【0021】
ＲＯＭ１０５は、不揮発性の素子であり、ＣＰＵ１０４を動作させるためのプログラムと、各種調整パラメータなどを記憶する。ＲＯＭ１０５から読み出されたプログラムは、揮発性のＲＡＭ１０６に展開されて実行される。
【0022】
ＲＡＭ１０６は、フレームメモリ１０３に比べて、低速及び低容量である。
【0023】
ＧＰＵ１０７は、ＤＬによる画像回復を行うために使用される。ＤＬによる画像回復では、膨大な計算を並列して処理することが必要とされるため、ＣＰＵ１０４に比べて並列処理能力の高いＧＰＵ１０７を用いることが好適である。また、ＧＰＵ１０７は、画像処理を行うために使用されてもよい。
【0024】
表示装置１３０は、画像信号受信部１０１で受信した画像信号に対してＣＰＵ１０４又はＧＰＵ１０７で画像処理又は画像回復された画像と設定メニューを表示するための表示デバイスである。例えば、ＣＰＵ１０４は、画像処理装置１００と撮像装置１２０の設定状態の情報と設定メニューを生成し、画像処理又は画像回復された画像に生成した情報等を重畳して、表示装置１３０に表示させる。
【0025】
本実施形態では、図１に示した画像処理装置１００、撮像装置１２０、及び表示装置１３０を備える撮像システムを説明するが、この限りではない。例えば、撮像装置１２０は、撮像装置の機能に加えて、画像処理装置１００と同様の機能を有してもよいし、表示装置１３０と同様の機能を有してもよい。また、本実施形態において、画像信号受信部１０１で受信する画像は、撮像素子１２２で取得した画像を前提に説明するが、この限りではない。例えば、撮像素子１２２で取得した画像に対して、レンズ部１２１と撮像素子１２２の特性により発生したばらつきを考慮して補正してもよい。さらに、取得した画像は、ディベイヤー処理を行った後のＲＧＢ、ＸＹＺ、Ｌ＊ａ＊ｂ＊、ＨＳＶなどの色空間の画像でもよいし、ＹＵＶ、ＹＣｂＣｒ、ＹＰｂＰｒなどの輝度信号および色差信号をもつ画像でもよい。
【0026】
【0027】
撮像素子１２２にて変換された画像は、画像信号受信部１０１を介してＣＰＵ１０４及びＧＰＵ１０７へ出力される。
【0028】
ＧＰＵ１０７は、画像に対して画像回復処理を行う。画像回復処理は、例えばＤＬによるＮＲ処理である。画像回復処理された画像は、ＣＰＵ１０４へ出力される。
【0029】
露出制御部２００は、ＣＰＵ１０４に構成され、撮像素子１２２にて変換された画像及び、ＧＰＵ１０７にて画像回復処理された画像に基づいて、撮像装置１２０の露出制御を行う。露出制御部２００は、画像の輝度を測定し、輝度値が適正になるように絞り、シャッター、ゲイン、ＮＤの全てまたは一部を協調させながら撮像装置１２０の露出制御を実行する。
【0030】
現像部２０１は、ＣＰＵ１０４に構成され、ＧＰＵ１０７にて画像回復処理された画像に現像処理する。現像処理は、ディベイヤ及びガンマ処理等である。
【0031】
表示駆動部１０８は、現像部２０１にて現像された画像を表示装置１３０へ表示する。
【0032】
図３は、第１実施形態に係る露出制御部２００の処理を説明するフローチャートである。本処理は、自動露出制御機能が有効となると開始され、定期的に実行される。
【0033】
Ｓ３００で露出制御部２００は、撮像装置１２０の露出制御に関わるパラメータを取得する。パラメータは、例えば、絞り、シャッター、ゲイン、及びＮＤの現在値と設定値である。
【0034】
Ｓ３０１で露出制御部２００は、ＣＰＵ１０４がＧＰＵ１０７によって画像回復処理された画像（回復画像）を受信したか否かを判定する。露出制御部２００は、ＣＰＵ１０４が回復画像を受信したと判定した場合（Ｓ３０１でＹｅｓ）、処理をＳ３０２へ進める。一方で、露出制御部２００は、ＣＰＵ１０４が回復画像を受信していないと判定した場合（Ｓ３０１でＮｏ）、処理をＳ３０４へ進める。
【0035】
Ｓ３０２で露出制御部２００は、回復画像を取得する。
【0036】
Ｓ３０３で露出制御部２００は、Ｓ３０２にて取得した回復画像から露出の評価値を算出する。露出の評価値は、例えば、画像の平均輝度値である。
【0037】
Ｓ３０４で露出制御部２００は、ＣＰＵ１０４が撮像素子１２２から画像を受信したか否かを判定する。露出制御部２００は、ＣＰＵ１０４が撮像素子１２２から画像を受信したと判定した場合（Ｓ３０４でＹｅｓ）、処理をＳ３０５へ進める。一方で、露出制御部２００は、ＣＰＵ１０４が撮像素子１２２から画像を受信していないと判定した場合（Ｓ３０４でＮｏ）、処理をＳ３０７へ進める。
【0038】
Ｓ３０５で露出制御部２００は、撮像素子１２２から出力された画像（以下、撮像画像とも呼ぶ）を取得する。
【0039】
Ｓ３０６で露出制御部２００は、Ｓ３０３と同様に、Ｓ３０５にて取得した撮像画像から露出の評価値を算出する。露出の評価値は、例えば、画像の平均輝度値である。
【0040】
Ｓ３０７で露出制御部２００は、Ｓ３０３とＳ３０６の少なくとも一方にて露出の評価値が算出されたか否かを判定する。露出制御部２００は、Ｓ３０３とＳ３０６の少なくとも一方にて露出の評価値が算出されたと判定した場合（Ｓ３０７でＹｅｓ）、処理をＳ３０８へ進める。一方で、露出制御部２００は、Ｓ３０３とＳ３０６の少なくとも一方にて露出の評価値が算出されていないと判定した場合（Ｓ３０７でＮｏ）、処理を終了する。
【0041】
Ｓ３０８で露出制御部２００は、Ｓ３０３とＳ３０６の少なくとも一方にて算出された露出の評価値に基づいて、露出パラメータを決定する。Ｓ３０３とＳ３０６の両方で露出の評価値を算出していた場合、露出制御部２００は、Ｓ３０３にて算出した回復画像の露出の評価値に基づいて、露出パラメータを決定する。Ｓ３０３にて算出した回復画像の露出の評価値では、ノイズの影響が低減されており、評価値の算出精度が比較的高い。そのため、露出制御部２００は、撮像画像の露出の評価値よりも回復画像の露出の評価値を優先的に用いる。また、露出パラメータの決定方法として以下の方法が挙げられる。露出制御部２００は、例えば、露出の評価値が適正露出の評価値よりも低い場合、露出を明るい方向へ制御するために、ゲインを上げること、シャッターを長くすること、及び絞りを開くことの少なくともいずれかに対応する露出パラメータを決定する。
【0042】
Ｓ３０９で露出制御部２００は、Ｓ３０８にて決定した露出パラメータを、撮像装置１２０へ送信する。撮像装置１２０は、画像処理装置１００から受信した露出パラメータに基づいて、レンズ部１２１及び撮像素子１２２を制御する。
【0043】
【0044】
図４の時刻ｔ０でＣＰＵ１０４は、回復画像及び撮像素子１２２から出力された画像（撮像画像）を受信している。そのため、露出制御部２００は、回復画像から算出した評価値に基づいて露出パラメータを決定する。
【0045】
時刻ｔ１からｔ３でＣＰＵ１０４は、回復画像を受信しておらず、撮像画像を受信する。そのため、露出制御部２００は、撮像画像から算出した評価値に基づいて露出パラメータを決定する。
【0046】
時刻ｔ４でＣＰＵ１０４は、回復画像及び撮像画像を受信している。そのため、露出制御部２００は、回復画像から算出した露出の評価値に基づいて露出パラメータを決定する。
【0047】
時刻ｔ４以降では上記処理が繰り返される。よって、露出制御部２００は、回復画像を受信している場合、回復画像を使用して撮像装置１２０の露出制御を行う。一方で、露出制御部２００は、回復画像を受信しておらず、撮像画像を受信する場合、撮像画像を使用して撮像装置１２０の露出制御を行う。
【0048】
以上で説明した構成及び方法により回復画像をＣＰＵ１０４が受信している場合、ノイズが低減された画像を使用して露出制御が行えるため、露出制御の精度が向上する。さらに、ＣＰＵ１０４が回復画像を受信していない間では、撮像画像を使用して露出制御が行えるため、撮像画像の出力周期で露出制御を行うことが可能となる。よって、画像回復機能を使用しつつ撮像装置１２０の制御機能のリアルタイム性の低下を低減することが可能である。
【0049】
また、本実施形態では、回復画像の出力周期は、撮像画像の出力周期の４倍であるとしたが、これに限らない。回復画像の出力周期は、整数倍ではなくても良く、例えば、４．５倍でも良い。つまり、ＣＰＵ１０４が、回復画像を受信するタイミング（例えば、不図示の時刻ｔ４．５）で撮像画像を受信していなくても、本発明の効果を得ることができる。その場合、回復画像をＣＰＵ１０４が受信した後、露出制御部２００の制御周期にて回復画像を使用して露出制御を行う。
【0050】
また、本発明では画像回復処理はＧＰＵ１０７によって実行されるが、ＣＰＵ１０４によって実行された場合でも本発明の効果を同様に得ることができる。
【0051】
また、本発明では露出制御部２００及び現像部２０１はＣＰＵ１０４に構成されるが、ＧＰＵ１０７に構成された場合でも本発明の効果を同様に得ることができる。
【0052】
また、本発明では画像回復処理は、ＤＬによる画像回復処理としたが、これに限らない。画像回復処理は、例えば移動平均であるＬＰＦ及びメディアンフィルタを用いたＮＲであっても、本発明の効果を同様に得ることができる。
【0053】
＜第２実施形態＞
第２実施形態は、露出制御に使用する画像の連続性を考慮する。第１実施形態では、回復画像をＣＰＵ１０４が受信した場合、回復画像を使用して露出制御を行った。しかし、画像回復処理の負荷が大きいため、撮像画像の出力時点から所定時間経過後の（出力遅延した状態の）回復画像がＣＰＵ１０４へ送信される。図２３（ａ）及び図２３（ｂ）では、回復画像の出力周期は、撮像画像の出力周期の４倍である。そのため、時刻ｔ４でＣＰＵ１０４が受信した回復画像は、時刻ｔ０の撮像画像に対して画像回復処理することで生成される。つまり、時刻ｔ４で受信した回復画像は、時刻ｔ０時点の露出条件にて露光された画像である。よって、回復画像を受信するまでの間、すなわち時刻ｔ１からｔ３までの露出の変化については考慮されていない。本実施形態では、回復画像を受信するまでの間の露出条件の変更を考慮し、画像の連続性について考慮する方法について説明する。以下では、第１実施形態とは異なる部分について説明し、第１実施形態と同様の構成や処理については説明を省略する。
第２実施形態は、露出制御に使用する画像の連続性を考慮する。第１実施形態では、回復画像をＣＰＵ１０４が受信した場合、回復画像を使用して露出制御を行った。しかし、画像回復処理の負荷が大きいため、撮像画像の出力時点から所定時間経過後の（出力遅延した状態の）回復画像がＣＰＵ１０４へ送信される。図２３（ａ）及び図２３（ｂ）では、回復画像の出力周期は、撮像画像の出力周期の４倍である。そのため、時刻ｔ４でＣＰＵ１０４が受信した回復画像は、時刻ｔ０の撮像画像に対して画像回復処理することで生成される。つまり、時刻ｔ４で受信した回復画像は、時刻ｔ０時点の露出条件にて露光された画像である。よって、回復画像を受信するまでの間、すなわち時刻ｔ１からｔ３までの露出の変化については考慮されていない。本実施形態では、回復画像を受信するまでの間の露出条件の変更を考慮し、画像の連続性について考慮する方法について説明する。以下では、第１実施形態とは異なる部分について説明し、第１実施形態と同様の構成や処理については説明を省略する。
【0054】
【0055】
Ｓ５００で露出制御部２００は、Ｓ３０２にて取得した回復画像の取得時間（例えば、ｔ４）を記憶する。
【0056】
Ｓ５０１で露出制御部２００は、Ｓ３０３にて回復画像から算出した露出の評価値と、前回の回復画像の出力時刻に対応するＳ３０２にて記憶した時間（例えば、時刻ｔ０）において撮像画像から算出した評価値とに基づいて、オフセット値を算出する。前回の回復画像の出力時刻に対応するＳ３０２にて記憶した時間（時刻ｔ０）は、後述する少なくとも一つ以上前のＳ５０３にて記憶する時間と比較することで判定される。また、オフセット値は、例えば評価値の差分とする。
【0057】
Ｓ５０２で露出制御部２００は、オフセット値を更新したことを示すフラグをセットする。
【0058】
Ｓ３０４で露出制御部２００は、撮像画像をＣＰＵ１０４が受信したか否かを判定する。露出制御部２００は、ＣＰＵ１０４が撮像画像を受信したと判定した場合（Ｓ３０４でＹｅｓ）、処理をＳ３０５へ進める。一方で、露出制御部２００は、ＣＰＵ１０４が撮像画像を受信していないと判定した場合（Ｓ３０４でＮｏ）、処理を終了する。
【0059】
Ｓ５０３で露出制御部２００は、Ｓ３０５にて取得した撮像画像の取得時間を記憶する。
【0060】
Ｓ５０４で露出制御部２００は、オフセット値が更新されたか否かを判定する。露出制御部２００は、更新したことを示すフラグがセットされていればオフセット値が更新されたと判定する。露出制御部２００は、オフセット値が更新されたと判定した場合（Ｓ５０４でＹｅｓ）、処理をＳ５０５へ進める。一方で、露出制御部２００は、オフセット値が更新されていないと判定した場合（Ｓ５０４でＮｏ）、処理をＳ３０８へ進める。
【0061】
Ｓ５０５で露出制御部２００は、Ｓ３０６にて算出した撮像画像の露出の評価値を、Ｓ５０１にて算出したオフセット値（時刻ｔ０の撮像画像の露出の評価値と、時刻ｔ４の回復画像の露出の評価値との差分）でオフセットする。
【0062】
Ｓ５０６で露出制御部２００は、オフセット値を更新したことを示すフラグをクリアする。Ｓ３０８で露出制御部２００は、Ｓ５０５にてオフセットした撮像画像の露出の評価値に基づいて露出パラメータを決定する。
【0063】
次に、図４を参照しつつ、第２実施形態に係る露出の評価値の算出方法について説明する。
【0064】
図４の時刻ｔ０、ｔ４でＣＰＵ１０４は、回復画像及び撮像画像を受信する。時刻ｔ１からｔ３でＣＰＵ１０４は、回復画像を受信せず、撮像画像のみを受信する。時刻ｔ４で露出制御部２００は、回復画像の露出の評価値を算出する。
【0065】
次に、ＣＰＵ１０４が前回の回復画像を受信した時刻は、ｔ０である。そのため、露出制御部２００は、時刻ｔ０における撮像画像の露出の評価値と、時刻ｔ４における回復画像の露出の評価値とに基づいて、オフセット値（露出の評価値の差分）を算出する。露出制御部２００は、算出したオフセット値で時刻ｔ４における撮像画像の露出の評価値をオフセットする。時刻ｔ４以降（例えば、時刻ｔ８）も上記処理を繰り返す。本処理は、時刻ｔ０の撮像画像が、ＧＰＵ１０７の画像回復処理に要する時間分だけ遅れた時刻ｔ４でＣＰＵ１０４に受信されることを考慮している。つまり、時刻ｔ４で算出したオフセット値で時刻ｔ４の撮像画像の露出の評価値をオフセットすることで、時刻ｔ１からｔ３までの露出条件の変更を考慮することが可能となった。また、時刻ｔ４において算出したオフセット値は、時刻ｔ０において画像回復処理した影響を考慮した値となっている。つまり、本オフセット値で時刻ｔ４における撮像画像の露出の評価値をオフセットすることで、時刻ｔ４において画像回復処理時間の影響（具体的には、露出変化の影響）を考慮した露出の評価値を算出することが可能となる。
【0066】
以上で説明した構成及び方法により画像回復処理の影響を考慮したオフセット値を算出することで、回復画像がＣＰＵ１０４に受信されるまでの間の露出条件の変更を考慮し、画像の連続性について考慮することが可能となった。
【0067】
また、本実施形態では、回復画像がＣＰＵ１０４に受信された時刻におけるオフセット値で撮像画像の露出の評価値をオフセットすると説明したが、これに限らない。例えば、ＣＰＵ１０４の回復画像の受信時刻（取得時刻とも呼ぶ）以外の時刻における撮像画像の露出の評価値をオフセットすることで、より本発明の効果を得ることができる。例えば、図４の時刻ｔ１からｔ３の間では時刻ｔ０にて算出したオフセット値で撮像画像の露出の評価値をオフセットする。時刻ｔ４から次の回復画像がＣＰＵ１０４に受信されるまでの間（時刻ｔ５からｔ７まで）では、時刻ｔ４にて算出したオフセット値で撮像画像の露出の評価値をオフセットする。つまり、回復画像がＣＰＵ１０４に受信された時にオフセット値を更新する。
【0068】
＜第３実施形態＞
第３実施形態は、回復画像がＣＰＵ１０４に受信されるまでの間の露出条件の変更に基づいて、露出制御に使用する画像の連続性を考慮する。第２実施形態では、回復画像の露出の評価値と撮像画像の露出の評価値とに基づいて、オフセット値を算出した。一方、第３実施形態では露出条件の変化量に基づいてオフセット値を算出する。
第３実施形態は、回復画像がＣＰＵ１０４に受信されるまでの間の露出条件の変更に基づいて、露出制御に使用する画像の連続性を考慮する。第２実施形態では、回復画像の露出の評価値と撮像画像の露出の評価値とに基づいて、オフセット値を算出した。一方、第３実施形態では露出条件の変化量に基づいてオフセット値を算出する。
【0069】
【0070】
Ｓ６００で露出制御部２００は、Ｓ３００にて取得した露出制御に関するパラメータを記憶する。
【0071】
Ｓ６０１で露出制御部２００は、Ｓ６００にて記憶した露出制御に関するパラメータと、少なくとも一つ以上前の時刻におけるＳ６００にて記憶した露出制御に関するパラメータとに基づいて、オフセット値を算出する。オフセット値は、露出制御に関するパラメータに基づく段数（ＥＶ値）の変化量から求められる。一般的に、段数が１段変化すると入射光の量は１／２または２倍に変化する。よって、露出制御部２００は、段数の変化量に基づいて撮像素子１２２へ入射する光の変化量（露出の評価値の変化量）を算出し、露出の評価値の変化量をオフセット値として使用する。例えば、露出の評価値が平均輝度値である場合、撮像素子１２２の光学的な信号を電気的な信号に変換する際の変換効率と段数の変化量とに基づいて求められる撮像素子１２２へ入射する光の変化量を、平均輝度値に掛け合わせた値がオフセット値となる。
【0072】
Ｓ５０５で露出制御部２００は、Ｓ３０６にて算出した撮像画像の露出の評価値を、Ｓ６０１にて算出したオフセット値でオフセットする。
【0073】
次に、図４を参照しつつ第３実施形態に係る露出の評価値の算出方法について説明する。
【0074】
図４の時刻ｔ０、ｔ４でＣＰＵ１０４は、回復画像及び撮像画像を受信する。時刻ｔ１からｔ３でＣＰＵ１０４は、回復画像を受信せず、撮像画像を受信する。時刻ｔ４で露出制御部２００は、時刻ｔ０の露出段数を基準とした場合の露出段数の変化量を算出する。露出制御部２００は、算出した段数の変化量に基づいてオフセット値を算出する。露出制御部２００は、算出したオフセット値で時刻ｔ４における撮像画像の露出の評価値をオフセットする。時刻ｔ４以降も上記処理を繰り返す。
【0075】
以上で説明した構成及び方法により露出条件の変化量、つまり段数の変化量に基づいてオフセット値を算出することで、ＣＰＵ１０４が回復画像を受信するまでの間の露出条件の変更を考慮し、画像の連続性について考慮することが可能となった。
【0076】
また、本実施形態では、ＣＰＵ１０４が回復画像を受信する時刻（ｔ０、ｔ４）においてオフセット値で撮像画像の露出の評価値をオフセットすると説明した。なお、本実施形態では、第２実施形態と同様に回復画像の受信時刻以外の時刻において撮像画像の露出の評価値をオフセット値でオフセットすることで、より本発明の効果を高めることができる。
【0077】
＜第４実施形態＞
第４実施形態は、露出の具合に応じて露出の評価値を算出するための画像を選択する。回復画像は低ノイズの画像であり、露出の評価値を算出するのに好ましい。しかし、画像回復処理負荷によっては、回復画像の出力周期が低下してしまう。一方、撮像画像は高ノイズの画像であり、撮像画像の出力周期は低下しない。しかし、撮像画像から算出した露出の評価値の精度が低下する。露出の具合によっては、露出の評価値の精度よりも出力周期を優先する場合および出力周期よりも露出の評価値の精度を優先する場合がある。つまり、露出の具合に応じて、露出の評価値を算出するための画像を選択することが好ましい。
第４実施形態は、露出の具合に応じて露出の評価値を算出するための画像を選択する。回復画像は低ノイズの画像であり、露出の評価値を算出するのに好ましい。しかし、画像回復処理負荷によっては、回復画像の出力周期が低下してしまう。一方、撮像画像は高ノイズの画像であり、撮像画像の出力周期は低下しない。しかし、撮像画像から算出した露出の評価値の精度が低下する。露出の具合によっては、露出の評価値の精度よりも出力周期を優先する場合および出力周期よりも露出の評価値の精度を優先する場合がある。つまり、露出の具合に応じて、露出の評価値を算出するための画像を選択することが好ましい。
【0078】
【0079】
Ｓ７００で露出制御部２００は、基準評価値を取得する。基準評価値はＲＯＭ１０５に予め記憶され、ＣＰＵ１０４がＲＯＭ１０５から基準評価値を読み出す。基準評価値とは、適正露出時の画像の評価値であり、一定の数値範囲であることが好ましい。
【0080】
Ｓ７０１で露出制御部２００は、Ｓ３０６にて算出した撮像画像の露出の評価値と、Ｓ７００にて取得した基準評価値とに基づいて、現在の露出が適正露出であるか否か、及び、適正露出に近いか否かを判定する。例えば、露出制御部２００は、算出した撮像画像の露出の評価値が基準評価値の数値範囲内である場合、現在の露出が適正露出であると判定する。また、露出制御部２００は、算出した撮像画像の露出の評価値が基準評価値の数値範囲外であり、かつ算出した撮像画像の露出の評価値と基準評価値の数値範囲との間に一定の差分がある場合、現在の露出が適正露出に近いと判定する。ここで、一定の差分とは、例えば、露出の評価値と基準評価値の数値範囲との差分を段数で換算した時に１回の制御周期で変更可能な段数以下となる場合のことである。そして、露出制御部２００は、現在の露出が適正露出である又は適正露出に近いと判定した場合（Ｓ７０１でＹｅｓ）、処理をＳ３０１へ進める。一方、露出制御部２００は、現在の露出が適正露出ではなく、かつ適正露出に近くないと判定した場合（Ｓ７０１でＮｏ）、処理をＳ３０８へ進める。
【0081】
Ｓ３０８で露出制御部２００は、Ｓ３０３とＳ３０６の少なくとも一方にて算出された露出の評価値に基づいて、露出パラメータを決定する。露出制御部２００は、Ｓ３０３及びＳ３０６の両方にて露出の評価値を算出していた場合、Ｓ３０３にて算出した回復画像の露出の評価値に基づいて露出パラメータを決定する。
【0082】
図８は、第４実施形態に係る露出制御部２００が使用する画像の選択方法を説明する図である。図８で横軸は時間を示し、縦軸は露出の評価値を示し、二つの破線は基準評価値の範囲を示す。例えば、露出制御部２００は、露出の評価値が二つの破線の間に存在する場合に、現在の露出が適正露出であると判定する。
【0083】
時刻ｔ８０、ｔ８４、ｔ８８でＣＰＵ１０４は、回復画像及び撮像画像を受信する。時刻ｔ８０、ｔ８４、ｔ８８以外の時刻ではＣＰＵ１０４は、回復画像を受信せず、撮像画像のみを受信する。斜め線を含む白丸（○）、及び黒丸（●）は、露出の評価値を示す。時刻ｔ８０からｔ８４で露出制御部２００は、露出の評価値が基準評価値の範囲外にあり、かつ露出の評価値と基準評価値の範囲との間に一定の差分が存在しないため、撮像画像から算出した露出の評価値に基づいて露出制御を行う。時刻ｔ８５で露出制御部２００は、露出の評価値が基準評価値の範囲外にあり、かつ露出の評価値と基準評価値の範囲との間に一定の差分が存在するため、回復画像から算出した評価値に基づいて露出制御を行う。しかし、時刻ｔ８５からｔ８７で露出制御部２００は、ＣＰＵ１０４が回復画像を受信していないため、露出制御を実施しない。時刻ｔ８８で露出制御部２００は、ＣＰＵ１０４が回復画像を受信したため、回復画像から算出した露出の評価値に基づいて露出制御を行う。
【0084】
以上で説明した構成及び方法により露出の具合に応じて露出の評価値を算出するための画像を選択することが可能となった。よって、露出の評価値が基準評価値の範囲まで遠い場合、露出制御の更新周期（すなわち、画像の出力周期）を優先し、現在の露出が適正露出になるまでの時間を短縮することが可能となった。また、露出の評価値が基準評価値の範囲に近づいた場合、回復画像に基づいて露出制御を行うことで露出制御の精度（すなわち、露出の評価値の精度）を優先することが可能となった。
【0085】
また、本実施形態では、撮像画像の露出の評価値に基づいて露出の具合を判定した。しかし、露出制御部２００は、ＣＰＵ１０４が回復画像を受信した場合、回復画像の露出の評価値に基づいて露出の具合を判定しても良い。
【0086】
また、本実施形態では、露出の評価値と基準評価値の範囲との間に一定の差分があっても、回復画像を受信していない場合には露出制御を実施しない。しかし、この場合に露出制御を実施しても本発明の効果を得ることができる。回復画像を受信していない場合に露出制御を行う場合には、第２実施形態と第３実施形態で説明したオフセット値を使用することが好ましい。
【0087】
＜第５実施形態＞
第５実施形態は、２種類の画像回復処理を有する場合に、露出制御部２００は各々の画像回復処理を施した画像から露出の評価値を算出し、露出制御を行う。第１実施形態から第４実施形態では、回復画像及び撮像画像の露出の評価値を算出し、露出制御を行った。しかし、撮像装置１２０の用途によっては、露出制御の更新周期の低下をある程度許容しつつ、露出制御の精度を向上させたい場合がある。よって、本実施形態では、２種類の画像回復処理を有する場合に、常に回復画像の露出の評価値を算出し、露出制御を行うものとする。
第５実施形態は、２種類の画像回復処理を有する場合に、露出制御部２００は各々の画像回復処理を施した画像から露出の評価値を算出し、露出制御を行う。第１実施形態から第４実施形態では、回復画像及び撮像画像の露出の評価値を算出し、露出制御を行った。しかし、撮像装置１２０の用途によっては、露出制御の更新周期の低下をある程度許容しつつ、露出制御の精度を向上させたい場合がある。よって、本実施形態では、２種類の画像回復処理を有する場合に、常に回復画像の露出の評価値を算出し、露出制御を行うものとする。
【0088】
【0089】
第１ＮＲ部９００は、ＧＰＵ１０７内に構成され、撮像素子１２２から出力される画像（撮像画像）に対して画像回復処理を行う。第１ＮＲ部９００は、第１実施形態から第４実施形態で説明した画像回復処理と同じ処理を行う。
【0090】
第２ＮＲ部９０１は、ＧＰＵ１０７内に構成され、撮像素子１２２から出力される画像（撮像画像）に対して画像回復処理を行う。第２ＮＲ部９０１の画像回復処理は、第１ＮＲ部９００と比較して、処理負荷が小さく、露出制御の更新周期が短くなる画像回復処理である。
【0091】
露出制御部２００は、ＣＰＵ１０４内に構成され、第１ＮＲ部９００によって画像回復処理された画像及び第２ＮＲ部９０１によって画像回復処理された画像に基づいて、撮像装置１２０の露出制御を行う。
【0092】
現像部２０１は、ＣＰＵ１０４内に構成され、第１ＮＲ部９００によって画像回復処理された画像に対して現像処理を行う。
【0093】
【0094】
Ｓ１０００で露出制御部２００は、第１ＮＲ部９００によって画像回復処理された画像（以下、第１の回復画像とも呼ぶ）をＣＰＵ１０４が受信したか否かを判定する。露出制御部２００は、第１の回復画像を受信したと判定した場合（Ｓ１０００でＹｅｓ）、処理をＳ１００１へ進める。一方、露出制御部２００は、第１の回復画像を受信していないと判定した場合（Ｓ１０００でＮｏ）、処理をＳ１００３へ進める。
【0095】
Ｓ１００１で露出制御部２００は、第１の回復画像を取得する。
【0096】
Ｓ１００２で露出制御部２００は、Ｓ１００１にて取得した第１の回復画像から露出の評価値を算出する。
【0097】
Ｓ１００３で露出制御部２００は、第２ＮＲ部９０１によって画像回復処理が施された画像（以下、第２の回復画像とも呼ぶ）をＣＰＵ１０４が受信したか否かを判定する。露出制御部２００は、第２の回復画像を受信したと判定した場合（Ｓ１００３でＹｅｓ）、処理をＳ１００４へ進める。一方、露出制御部２００は、第２の回復画像を受信していないと判定した場合（Ｓ１００３でＮｏ）、処理をＳ１００６へ進める。
【0098】
Ｓ１００４で露出制御部２００は、第２の回復画像を取得する。
【0099】
Ｓ１００５で露出制御部２００は、Ｓ１００４にて取得した第２の回復画像から露出の評価値を算出する。
【0100】
Ｓ１００６で露出制御部２００は、Ｓ１００２とＳ１００５の少なくとも一方にて露出の評価値が算出されたか否かを判定する。露出制御部２００は、少なくとも１つの露出の評価値が算出されていると判定した場合（Ｓ１００６でＹｅｓ）、処理をＳ３０８へ進める。一方、露出制御部２００は、少なくとも１つの露出の評価値が算出されていないと判定した場合（Ｓ１００６でＮｏ）、処理を終了する。
【0101】
Ｓ３０８で露出制御部２００は、Ｓ１００２とＳ１００５の少なくとも一方にて算出された露出の評価値に基づいて、露出パラメータを決定する。Ｓ１００２及びＳ１００５の両方にて露出の評価値を算出していた場合、露出制御部２００は、Ｓ１００２にて算出した露出の評価値に基づいて、露出パラメータを決定する。Ｓ１００２にて算出した露出の評価値は、第１の回復画像に基づいて算出しているため、現像部２０１を通って表示装置１３０に表示される画像と同様な画像、すなわち使用者（ユーザ）が見る画像と同様である。つまり、使用者が見る画像と同様な画像に基づいて露出制御を行うため、より露出制御の精度が向上する。また、Ｓ１００５にて算出した露出の評価値は、第２の回復画像に基づいて算出しているため、比較的短い露出制御の更新周期となる。つまり、画像回復処理による露出制御のリアルタイム性の低下を低減することが可能となった。
【0102】
以上で説明した構成及び方法により表示装置１３０に表示される画像と同様の回復画像を使用して露出制御が行えるため、露出制御の精度が向上する。さらに、比較的処理負荷の小さい画像回復処理を施した画像（第２の回復画像）を使用して露出制御が行えるため、露出制御のリアルタイム性の低下を低減することが可能となった。よって、画像回復機能を使用しつつ撮像装置の制御機能のリアルタイム性の低下を低減することが可能となった。
【0103】
また、本実施形態では、第１ＮＲ部９００と第２ＮＲ部９０１の画像回復処理を実行した後の回復画像を露出制御に用いたが、これに限定しない。例えば、第２の回復画像のみを露出制御に用いてもよい。
【0104】
また、第２ＮＲ部９０１は、第１ＮＲ部９００と比較して処理負荷が小さく更新周期が短い画像回復処理を実行できるものとして、例えば、移動平均であるＬＰＦやメディアンフィルタを用いたＮＲであってもよく、この場合においても本発明の効果を得ることができる。
【0105】
＜第６実施形態＞
第６実施形態は、撮像画像の一部を抽出し、撮像画像から抽出した部分画像に対して画像回復処理を行う。第１実施形態から第５実施形態の画像回復処理では、撮像素子１２２から出力される画像サイズと同じサイズの撮像画像をそのまま用いていた。しかし、撮像画像の一部の領域に関しての露出の評価値を算出することで、露出制御を行うことも可能である。例えば、使用者が画像において注目したい領域（以下、注目領域とも呼ぶ）を有する場合には、注目領域のみの露出の評価値を算出することが好ましい。さらに、画像回復処理で入力される画像サイズを小さくすることで処理負荷を低減し、画像回復処理による露出制御機能の更新周期の低下を低減することが可能となる。
第６実施形態は、撮像画像の一部を抽出し、撮像画像から抽出した部分画像に対して画像回復処理を行う。第１実施形態から第５実施形態の画像回復処理では、撮像素子１２２から出力される画像サイズと同じサイズの撮像画像をそのまま用いていた。しかし、撮像画像の一部の領域に関しての露出の評価値を算出することで、露出制御を行うことも可能である。例えば、使用者が画像において注目したい領域（以下、注目領域とも呼ぶ）を有する場合には、注目領域のみの露出の評価値を算出することが好ましい。さらに、画像回復処理で入力される画像サイズを小さくすることで処理負荷を低減し、画像回復処理による露出制御機能の更新周期の低下を低減することが可能となる。
【0106】
【0107】
抽出部１１００は、ＧＰＵ１０７内に構成され、撮像素子１２２から出力される撮像画像の一部を抽出する（切り出す）。例えば、抽出部１１００は、画像から使用者が選択した注目領域を抽出する。使用者は、不図示の操作部によって注目領域を選択できる。また、抽出部１１００は、画像の中央の一部の領域など画像上の任意の座標で指定された領域を抽出してもよい。また、抽出部１１００は、任意の被写体を検出する処理を行い、その検出結果によって算出された被写体が存在する領域を画像から抽出してもよい。また、上記で説明した抽出方法は、画像から注目領域のみを抽出することに限定されることはなく、リサイズ処理により縮小画像を作成することを含んでもよい。あるいは、上記で説明した抽出方法は、画像から露出制御に使用される複数の領域を抽出することを含んでも良い。また、抽出部１１００は、ＣＰＵ１０４内に構成されていてもよい。抽出する画像サイズは、後述する第３ＮＲ部１１０１の画像の出力周期が、第１ＮＲ部９００の画像の出力周期よりも短くなるような画像サイズであることが好ましい。リサイズ処理により縮小画像を作成する場合について補足説明する。抽出部１１００は、画像から抽出する注目領域のサイズが予め規定された規定サイズよりも小さい場合、注目領域を規定サイズで抽出する。また、抽出部１１００は、画像から抽出する注目領域のサイズが予め規定された規定サイズよりも大きい場合、注目領域を不図示の操作部で指定された指定サイズで抽出する。
【0108】
第３ＮＲ部１１０１は、ＧＰＵ１０７内に構成され、抽出部１１００が撮像画像から抽出した部分画像に対して画像回復処理を行う。第３ＮＲ部１１０１の画像回復処理は、第１ＮＲ部９００と同様な画像回復処理とする。また、抽出部１１００が撮像画像から複数の領域を抽出する場合、複数の領域を任意の枚数ごとのバッチ処理として画像回復処理を行ってもよい。
【0109】
【0110】
Ｓ１２００で露出制御部２００は、第３ＮＲ部１１０１が部分画像に対して画像回復処理した画像（以下、第３の回復画像とも呼ぶ）をＣＰＵ１０４が受信したか否かを判定する。露出制御部２００は、ＣＰＵ１０４が第３の回復画像を受信したと判定した場合（Ｓ１２００でＹｅｓ）、処理をＳ１２０１へ進む。一方、露出制御部２００は、ＣＰＵ１０４が第３の回復画像を受信していないと判定した場合（Ｓ１２００でＮｏ）、処理をＳ１２０３へ進める。
【0111】
Ｓ１２０１で露出制御部２００は、第３の回復画像を取得する。
【0112】
Ｓ１２０２で露出制御部２００は、Ｓ１２０１にて取得した第３の回復画像から露出の評価値を算出する。
【0113】
Ｓ１２０３で露出制御部２００は、Ｓ１００２とＳ１２０２の少なくとも一方にて露出の評価値が算出されたか否かを判定する。露出制御部２００は、少なくとも１つの露出の評価値が算出されている場合（Ｓ１２０３でＹｅｓ）、処理をＳ３０８へ進める。一方、露出制御部２００は、少なくとも１つの露出の評価値が算出されていない場合（Ｓ１２０３でＮｏ）、処理を終了する。
【0114】
Ｓ３０８で露出制御部２００は、Ｓ１００２とＳ１２０２の少なくとも一方にて算出された露出の評価値に基づいて、露出パラメータを決定する。Ｓ１００２及びＳ１２０２の両方にて露出の評価値を算出していた場合、露出制御部２００は、Ｓ１００２にて第１の回復画像から算出した露出の評価値に基づいて、露出パラメータを決定する。なお、第１の回復画像は、現像部２０１を通って表示装置１３０に表示される画像、すなわち使用者が見る画像と同様である。つまり、使用者が見る画像と同様な画像（第１の回復画像）に基づいて露出制御を行うため、より露出制御の精度が向上する。また、Ｓ１２０２にて第３の回復画像から算出した露出の評価値は、第１の回復画像よりも比較的短い周期で更新される。つまり、画像回復処理による露出制御のリアルタイム性の低下を低減することが可能となった。
【0115】
以上で説明した構成及び方法により表示装置１３０に表示される画像と同様の画像（第１の回復画像）を使用して露出制御が行え、露出制御の精度が向上する。さらに、比較的処理負荷の小さい画像回復処理を施した画像（第３の回復画像）を使用して露出制御が行えるため、露出制御のリアルタイム性の低下を低減することが可能となった。よって、画像回復機能を使用しつつ撮像装置の制御機能のリアルタイム性の低下を低減することが可能となった。
【0116】
また、本実施形態では、第３ＮＲ部１１０１を設けたが、撮像画像から抽出した一部の領域（すなわち、部分画像）に対して画像回復処理できればこれに限らない。例えば、第３ＮＲ部１１０１と第１ＮＲ部９００を共通とする構成であっても、本発明の効果を得ることができる。
【0117】
また、本実施形態では、第１ＮＲ部９００と第３ＮＲ部１１０１の画像回復処理を行った後の回復画像を露出制御に用いたが、これに限定しない。例えば、第３ＮＲ部１１０１の画像回復処理を行った後の画像のみを露出制御に用いてもよい。
【0118】
また、本実施形態では、抽出部１１００をＧＰＵ１０７内に構成したが、ＣＰＵ１０４内に構成してもよい。
【0119】
また、抽出部１１００にて抽出された領域（部分画像）の大きさに応じて、第５実施形態の露出制御と本実施形態の露出制御を切り替えることで、より本発明の効果を得ることができる。例えば、抽出部１１００によって抽出された画像サイズがあるサイズより小さい場合には本実施形態を適用し、部分画像があるサイズよりも大きい場合には第５実施形態の露出制御処理へと切り替える。画像から抽出した領域（部分画像）が小さい場合には、本実施形態の効果を得ることができる。画像から抽出した領域（部分画像）が大きい場合には、第５実施形態の第２ＮＲ部９０１によって回復された画像で露出制御を行うことで、本実施形態の効果よりも第５実施形態の効果を得ることが可能となる。
【0120】
＜第７実施形態＞
第７本実施形態は、ホワイトバランス制御部１３００が回復画像を受信した場合、回復画像からホワイトバランス補正値を算出し、ホワイトバランス制御を行う。第１実施形態から第６実施形態では、回復画像を用いて露出制御を行った。第７実施形態では、第１実施形態から第６実施形態と同様に、ホワイトバランス制御においても回復画像を用いてホワイトバランス補正値を算出し、ホワイトバランス補正の精度を向上させる。
第７本実施形態は、ホワイトバランス制御部１３００が回復画像を受信した場合、回復画像からホワイトバランス補正値を算出し、ホワイトバランス制御を行う。第１実施形態から第６実施形態では、回復画像を用いて露出制御を行った。第７実施形態では、第１実施形態から第６実施形態と同様に、ホワイトバランス制御においても回復画像を用いてホワイトバランス補正値を算出し、ホワイトバランス補正の精度を向上させる。
【0121】
【0122】
ホワイトバランス制御部１３００は、ＣＰＵ１０４内に構成され、撮像素子１２２にて変換された画像及びＧＰＵ１０７にて画像回復処理された画像に基づいて、ホワイトバランス制御を行う。例えば、ホワイトバランス制御部１３００は、画像の白色領域を検出し、白色領域の色成分ごとの積分値が均一になるようなホワイトバランス補正値を算出する。
【0123】
現像部２０１は、ＣＰＵ１０４内に構成され、ＧＰＵ１０７にて画像回復処理された画像に現像処理を行う。また、現像部２０１は、ホワイトバランス制御部１３００にて算出されたホワイトバランス補正値に基づいて、ホワイトバランス補正を実施する。
【0124】
【0125】
Ｓ１４００でホワイトバランス制御部１３００は、Ｓ３０１にて取得した回復画像からホワイトバランス補正値を算出する。本実施形態では、ベイヤー配列のＲＡＷデータからホワイトバランス補正値としてＲゲインとＢゲインを算出する場合を一例として説明する。
【0126】
ここで、図１５は、ホワイトバランス補正値を算出する方法を説明する図である。
【0127】
図１５では、ホワイトバランス制御部１３００は、画像全体に複数の白色領域検出枠を設定し、検出枠ごとにＲ成分、Ｇ成分、及びＢ成分の積分値を算出する。次に、ホワイトバランス制御部１３００は、Ｇ成分に対するＲ成分とＢ成分の割合（Ｒ／ＧおよびＢ／Ｇ）を算出し、Ｒ成分の割合とＢ成分の割合との差分が閾値以下である場合に検出枠が白色領域であると判定する。次に、ホワイトバランス制御部１３００は、白色領域と判定された全ての検出枠内におけるＲ成分、Ｇ成分、及びＢ成分の積分値を算出する。最後に、ホワイトバランス制御部１３００は、白色領域の色成分ごとの積分値に基づいて、式（１）、式（２）を用いてホワイトバランス補正値を算出する。
Rgain=Ginteg/Rinteg・・・（１）
Bgain=Ginteg/Binteg・・・（２）
Rgain=Ginteg/Rinteg・・・（１）
Bgain=Ginteg/Binteg・・・（２）
【0128】
ここで、式（１）、式（２）のＲｇａｉｎとＢｇａｉｎは、ホワイトバランス補正値のＲゲイン及びＢゲインを表す。ＲｉｎｔｅｇとＧｉｎｔｅｇとＢｉｎｔｅｇは、白色領域のＲ成分、Ｇ成分、及びＢ成分の積分値を表す。また、ホワイトバランス補正値は、ＲＧＢの色成分に限定されず、例えば、ＹＣｂＣｒの信号からＣｂＣｒの色差信号を抽出し、色差信号に基づいて算出されてもよい。また、ホワイトバランス補正値は、複数回の制御周期で段階的に式（１）、式（２）で算出する値になるように制御されてもよい。また、ホワイトバランス補正値は、ＲｇａｉｎとＢｇａｉｎでそれぞれ設定できる範囲を設け、その設定できる範囲外の値が算出される場合はその範囲内の値になるように調整されてもよい。
【0129】
Ｓ１４０１でホワイトバランス制御部１３００は、Ｓ３０５にて取得した撮像画像からホワイトバランス補正値を算出する。ホワイトバランス補正値は、Ｓ１４００と同様の方法で算出される。
【0130】
Ｓ１４０２でホワイトバランス制御部１３００は、Ｓ１４００とＳ１４０１の少なくとも一方にてホワイトバランス補正値が算出された否かを判定する。ホワイトバランス制御部１３００は、少なくとも１つのホワイトバランス補正値が算出されていると判定した場合（Ｓ１４０２でＹｅｓ）、処理をＳ１４０３へ進める。一方、ホワイトバランス制御部１３００は、少なくとも１つのホワイトバランス補正値が算出されていないと判定した場合（Ｓ１４０２でＮｏ）、処理を終了する。
【0131】
Ｓ１４０３でホワイトバランス制御部１３００は、Ｓ１４００とＳ１４０１の少なくとも一方にて算出されたホワイトバランス補正値を、現像部２０１のホワイトバランス補正で使用するホワイトバランス補正値とする。Ｓ１４００及びＳ１４０１の両方にてホワイトバランス補正値を算出していた場合、ホワイトバランス制御部１３００は、Ｓ１４００にて回復画像から算出したホワイトバランス補正値を使用する。Ｓ１４００にて回復画像から算出したホワイトバランス補正値は、回復画像が低ノイズであるため、ホワイトバランス補正値の算出精度が比較的高いホワイトバランス補正値である。
【0132】
Ｓ１４０４でホワイトバランス制御部１３００は、Ｓ１４０３にて決定したホワイトバランス補正値を現像部２０１へ送信する。現像部２０１は、受信したホワイトバランス補正値に基づいてホワイトバランス補正を行う。
【0133】
次に、図４を参照しつつ第７実施形態に係るホワイトバランス制御部１３００が使用する画像について説明する。
【0134】
【0135】
図４の時刻ｔ０でＣＰＵ１０４は回復画像及び撮像画像を受信するため、ホワイトバランス制御部１３００は回復画像から算出したホワイトバランス補正値に基づいてホワイトバランス制御を行う。
【0136】
時刻ｔ１からｔ３でＣＰＵ１０４は、回復画像を受信せず、撮像画像を受信する。そのため、ホワイトバランス制御部１３００は、撮像画像から算出したホワイトバランス補正値に基づいてホワイトバランス制御を行う。
【0137】
時刻ｔ４でホワイトバランス制御部１３００は、ＣＰＵ１０４が回復画像及び撮像画像を受信するため、回復画像から算出したホワイトバランス補正値に基づいてホワイトバランス制御を行う。
【0138】
以降も上記処理を繰り返す。よって、回復画像がＣＰＵ１０４に受信される場合、ホワイトバランス制御部１３００は回復画像を使用してホワイトバランス制御を行う。一方、回復画像がＣＰＵ１０４に受信されていない場合、ホワイトバランス制御部１３００は撮像画像を使用してホワイトバランス制御を行う。
【0139】
以上で説明した構成及び方法により回復画像がＣＰＵ１０４に受信された場合、ノイズが低減された画像（回復画像）を使用してホワイトバランス制御を行うため、ホワイトバランス制御の精度が向上する。さらに、回復画像がＣＰＵ１０４に受信されていない間は、撮像画像を使用してホワイトバランス制御を行うため、撮像画像の出力周期でホワイトバランス制御を行うことが可能となる。よって、画像回復機能を使用しつつ撮像装置の制御機能のリアルタイム性の低下を低減することが可能となった。
【0140】
また、本実施形態では、回復画像の出力周期は、撮像画像の出力周期の４倍であるとしたが、これに限らない。回復画像の出力周期は、整数倍でなくてもよく、例えば、４．５倍でも良い。つまり、ＣＰＵ１０４が、回復画像を受信するタイミング（時刻）において撮像画像を受信していなくても、本発明の効果を得ることができる。その場合、回復画像をＣＰＵ１０４が受信した後、ホワイトバランス制御部１３００の制御周期にて回復画像を使用してホワイトバランス制御を行う。
【0141】
また、本発明では画像回復処理はＧＰＵ１０７によって実行されるが、ＣＰＵ１０４によって実行された場合でも本発明の効果を同様に得ることができる。
【0142】
また、本発明ではホワイトバランス制御部１３００及び現像部２０１はＣＰＵ１０４に構成されるが、ＧＰＵ１０７に構成された場合でも本発明の効果を同様に得ることができる。
【0143】
また、本発明では画像回復処理は、ＤＬによる画像回復処理としたが、これに限らない。画像回復処理は、例えば移動平均であるＬＰＦやメディアンフィルタを用いたＮＲであっても、本発明の効果を同様に得ることができる。
【0144】
＜第８実施形態＞
第８実施形態は、ホワイトバランス制御に使用する画像の連続性を考慮する。第７実施形態では、ＣＰＵ１０４が回復画像を受信した場合、回復画像を使用してホワイトバランス制御を行っていた。しかし、画像回復処理の負荷が大きいため、撮像画像の出力時点から所定時間経過後の（出力遅延した状態の）回復画像がＣＰＵ１０４へ出力される。図２３（ａ）及び図２３（ｂ）では、回復画像の出力周期は、撮像画像の出力周期の４倍である。そのため、時刻ｔ４にて受信した回復画像は、時刻ｔ０の撮像画像に対して画像回復処理することで生成される。つまり、時刻ｔ４にて受信した回復画像は、時刻ｔ０時点の露出条件にて露光された画像となる。よって、ＣＰＵ１０４が回復画像を受信するまでの間、すなわち時刻ｔ１からｔ３までの変化については考慮されていない。本実施形態では、ＣＰＵ１０４が回復画像を受信するまでの間の映像の色成分の変化を考慮し、画像の連続性について考慮する方法について説明する。以下では、第２実施形態及び第７実施形態とは異なる部分について説明し、同様の構成や処理については説明を省略する。
第８実施形態は、ホワイトバランス制御に使用する画像の連続性を考慮する。第７実施形態では、ＣＰＵ１０４が回復画像を受信した場合、回復画像を使用してホワイトバランス制御を行っていた。しかし、画像回復処理の負荷が大きいため、撮像画像の出力時点から所定時間経過後の（出力遅延した状態の）回復画像がＣＰＵ１０４へ出力される。図２３（ａ）及び図２３（ｂ）では、回復画像の出力周期は、撮像画像の出力周期の４倍である。そのため、時刻ｔ４にて受信した回復画像は、時刻ｔ０の撮像画像に対して画像回復処理することで生成される。つまり、時刻ｔ４にて受信した回復画像は、時刻ｔ０時点の露出条件にて露光された画像となる。よって、ＣＰＵ１０４が回復画像を受信するまでの間、すなわち時刻ｔ１からｔ３までの変化については考慮されていない。本実施形態では、ＣＰＵ１０４が回復画像を受信するまでの間の映像の色成分の変化を考慮し、画像の連続性について考慮する方法について説明する。以下では、第２実施形態及び第７実施形態とは異なる部分について説明し、同様の構成や処理については説明を省略する。
【0145】
【0146】
Ｓ１６００でホワイトバランス制御部１３００は、Ｓ１４００にて（時刻ｔ４の）回復画像から算出したホワイトバランス補正値と、前回の回復画像の出力時刻すなわちＳ３０２にて記憶した時間（時刻ｔ０）においてＳ１４０１にて撮像画像から算出したホワイトバランス補正値とに基づいて、オフセット値を算出する。前回の回復画像の出力時刻すなわちＳ３０２にて記憶した時間（時刻ｔ０）は、後述する少なくとも一つ以上前のＳ５０３にて記憶する時間と比較することで判定される。また、オフセット値は、例えばホワイトバランス補正値の差分とする。
【0147】
Ｓ１６０１でホワイトバランス制御部１３００は、Ｓ１４０１にて撮像画像から算出したホワイトバランス補正値を、Ｓ１６００にて算出したオフセット値でオフセットする。
【0148】
次に、図４を参照しつつ、第８実施形態に係るホワイトバランス補正値の算出方法について説明する。
【0149】
図４の時刻ｔ０、ｔ４でＣＰＵ１０４は、回復画像及び撮像画像を受信する。時刻ｔ１からｔ３でＣＰＵ１０４は、回復画像を受信せず、撮像画像のみを受信する。時刻ｔ４でホワイトバランス制御部１３００は、回復画像からホワイトバランス補正値を算出する。
【0150】
次に、ＣＰＵ１０４が前回の回復画像を受信した時刻は、ｔ０である。そのため、ホワイトバランス制御部１３００は、時刻ｔ０における撮像画像のホワイトバランス補正値と、時刻ｔ４における回復画像のホワイトバランス補正値とに基づいて、オフセット値を算出する。ホワイトバランス制御部１３００は、算出したオフセット値で時刻ｔ４における撮像画像のホワイトバランス補正値をオフセットする。時刻ｔ４以降も上記処理を繰り返す。本処理は、時刻ｔ０の撮像画像が、ＧＰＵ１０７の画像回復処理に要する時間分だけ遅れた時刻ｔ４にてＣＰＵ１０４に受信されることを考慮している。つまり、時刻ｔ４にて算出したオフセット値で時刻ｔ４の撮像画像のホワイトバランス補正値をオフセットすることで、時刻ｔ１からｔ３までの映像の色成分の変化を考慮することが可能となった。また、時刻ｔ４で算出したオフセット値は、時刻ｔ０において画像回復処理した影響を考慮した値となっている。つまり、本オフセット値で時刻ｔ４における撮像画像のホワイトバランス補正値をオフセットすることで、時刻ｔ４において映像の色成分変化の影響を考慮したホワイトバランス補正値を算出することが可能となる。
【0151】
以上で説明した構成及び方法により画像回復処理の影響を考慮したオフセット値を算出することで、回復画像がＣＰＵ１０４に受信されるまでの間の映像の色成分の変化を考慮し、画像の連続性について考慮することが可能となった。
【0152】
また、本実施形態では、回復画像がＣＰＵ１０４に受信された時刻においてオフセット値で撮像画像のホワイトバランス補正値をオフセットすると説明したが、これに限らない。例えば、ＣＰＵ１０４の回復画像の受信時刻以外の時刻においてオフセット値で撮像画像から算出したホワイトバランス補正値をオフセットすることで、より本発明の効果を得ることができる。例えば、図４の時刻ｔ１からｔ３の間では時刻ｔ０にて算出したオフセット値で撮像画像のホワイトバランス補正値をオフセットする。時刻ｔ４から次の回復画像がＣＰＵ１０４に受信されるまでの間（すなわち、時刻ｔ５からｔ７）は時刻ｔ４にて算出したオフセット値で撮像画像のホワイトバランス補正値をオフセットする。つまり、回復画像がＣＰＵ１０４に受信された時にオフセット値を更新する。
【0153】
＜第９実施形態＞
第９実施形態は、回復画像がＣＰＵ１０４に受信されるまでの間の映像の色成分の変化に基づいて、ホワイトバランス制御に使用する画像の連続性を考慮する。第２実施形態では、回復画像と撮像画像とに基づいてオフセット値を算出していたが、第９実施形態では、ホワイトバランス補正値の変化量に基づいてオフセット値を算出する。
第９実施形態は、回復画像がＣＰＵ１０４に受信されるまでの間の映像の色成分の変化に基づいて、ホワイトバランス制御に使用する画像の連続性を考慮する。第２実施形態では、回復画像と撮像画像とに基づいてオフセット値を算出していたが、第９実施形態では、ホワイトバランス補正値の変化量に基づいてオフセット値を算出する。
【0154】
【0155】
Ｓ１７００でホワイトバランス制御部１３００は、ホワイトバランス補正値の変化量に基づいて、オフセット値を算出する。
【0156】
次に、図４を参照しつつ第９実施形態に係るホワイトバランス補正値の算出方法について説明する。
【0157】
図４の時刻ｔ０、ｔ４でＣＰＵ１０４は、回復画像及び撮像画像を受信する。時刻ｔ１からｔ３でＣＰＵ１０４は、回復画像を受信せず、撮像画像のみを受信する。時刻ｔ４でホワイトバランス制御部１３００は、時刻ｔ０からｔ４までのホワイトバランス補正値の変化量を算出する。ホワイトバランス制御部１３００は、算出したホワイトバランス補正値の変化量に基づいてオフセット値を算出する。ホワイトバランス制御部１３００は、算出したオフセット値で時刻ｔ４における撮像画像のホワイトバランス補正値をオフセットする。時刻ｔ４以降も上記処理を繰り返す。
【0158】
以上で説明した構成及び方法によりホワイトバランス補正値の変化量に基づいてオフセット値を算出することで、回復画像がＣＰＵ１０４に受信されるまでの間の映像の色成分の変化を考慮し、画像の連続性について考慮することが可能となった。
【0159】
また、本実施形態では、回復画像がＣＰＵ１０４に受信される時刻でオフセット値で撮像画像のホワイトバランス補正値をオフセットすると説明した。しかし、本実施形態では、第８実施形態と同様に上記以外の時刻で撮像画像のホワイトバランス補正値をオフセット値でオフセットすることで、より本発明の効果を高めることができる。
【0160】
＜第１０実施形態＞
第１０実施形態は、映像の色成分の状態に応じてホワイトバランス補正値を算出するための画像を選択する。回復画像は低ノイズ画像であり、ホワイトバランス補正値を算出するのに好ましいが、画像回復処理の負荷によってホワイトバランス制御の更新周期が低下してしまう。一方、撮像画像からホワイトバランス補正値を算出する場合では、ホワイトバランス制御の更新周期の低下はないが、撮像画像のノイズによりホワイトバランス補正値の算出精度が低下してしまう。しかし、映像の色成分の状態によっては、ホワイトバランス補正値の算出精度よりもホワイトバランス制御の更新周期を優先する場合、および、ホワイトバランス制御の更新周期よりもホワイトバランス補正値の算出精度を優先する場合がある。つまり、映像の色成分の状態に応じてホワイトバランス補正値を算出する画像を選択することが好ましい。
第１０実施形態は、映像の色成分の状態に応じてホワイトバランス補正値を算出するための画像を選択する。回復画像は低ノイズ画像であり、ホワイトバランス補正値を算出するのに好ましいが、画像回復処理の負荷によってホワイトバランス制御の更新周期が低下してしまう。一方、撮像画像からホワイトバランス補正値を算出する場合では、ホワイトバランス制御の更新周期の低下はないが、撮像画像のノイズによりホワイトバランス補正値の算出精度が低下してしまう。しかし、映像の色成分の状態によっては、ホワイトバランス補正値の算出精度よりもホワイトバランス制御の更新周期を優先する場合、および、ホワイトバランス制御の更新周期よりもホワイトバランス補正値の算出精度を優先する場合がある。つまり、映像の色成分の状態に応じてホワイトバランス補正値を算出する画像を選択することが好ましい。
【0161】
【0162】
Ｓ１８００でホワイトバランス制御部１３００は、基準評価値を取得する。基準評価値はＲＯＭ１０５に予め記憶され、ＣＰＵ１０４がＲＯＭ１０５から基準評価値を読み出す。基準評価値とは、現在のホワイトバランスが適正ホワイトバランスであるか否かを判定する値であり、一定の数値範囲であることが好ましい。ここで、適正ホワイトバランスとは、白色領域をホワイトバランス補正値で補正した後のＧ成分に対するＲ成分の割合とＢ成分の割合の値がそれぞれ１である状態と定義する。ここで、補正後のＧ成分に対するＲ成分の割合とＢ成分の割合の値が１に近いほど適正ホワイトバランスに近いと判定する。
【0163】
Ｓ１８０１でホワイトバランス制御部１３００は、撮像画像からホワイトバランス評価値を算出する。撮像画像の白色領域のＧ成分に対するＲ成分の割合とＢ成分の割合の値に、Ｓ１４０１にて撮像画像から算出したホワイトバランス補正値を掛けた値をホワイトバランス評価値とする。つまり、ホワイトバランス評価値は、ホワイトバランス補正後の白色領域のＧ成分に対するＲ成分の割合の値（Ｒ成分のホワイトバランス評価値）とＢ成分の割合の値（Ｂ成分のホワイトバランス評価値）である。
【0164】
Ｓ１８０２でホワイトバランス制御部１３００は、Ｓ１８０１にて撮像画像から算出したホワイトバランス評価値と、Ｓ１８００にて取得した基準評価値とに基づいて、現在の映像のホワイトバランスが適正ホワイトバランスであるか否か、及び、適正ホワイトバランスに近いか否かを判定する。例えば、ホワイトバランス制御部１３００は、ホワイトバランス評価値が基準評価値の範囲内にある場合、現在の映像のホワイトバランスが適正ホワイトバランスであると判定する。一方、ホワイトバランス制御部１３００は、ホワイトバランス評価値が基準評価値の範囲外にあり、かつホワイバランス評価値と基準評価値の範囲との間に一定の差分がある場合、現在の映像のホワイトバランスが適正ホワイトバランスに近いと判定する。ここで、基準評価値の範囲として、例えば、Ｇ成分に対するＲ成分の割合の範囲を０．９～１．１などに設定し、Ｂ成分の割合の範囲を０．８～１．１などに設定する。Ｒ成分とＢ成分の両方のホワイトバランス評価値が基準評価値の範囲内にある場合、現在の映像のホワイトバランスが適正ホワイトバランスに近いと判定する。また、Ｒ成分及びＢ成分のホワイトバランス評価値と基準評価値の範囲との間の一定の差分は、任意の値であってよい。ホワイトバランス制御部１３００は、現在の映像のホワイトバランスが適正ホワイトバランスである、又は、適正ホワイトバランスに近いと判定した場合（Ｓ１８０２でＹｅｓ）、処理をＳ３０１へ進める。一方、ホワイトバランス制御部１３００が、現在の映像のホワイトバランスが適正ホワイトバランスではなく、かつ適正ホワイトバランスに近くないと判定した場合（Ｓ１８０２でＮｏ）、処理をＳ１４０３へ進める。
【0165】
次に、図８を参照しつつ第１０実施形態に係るホワイトバランス制御部１３００が使用する画像について説明する。図８で横軸は時間を示し、縦軸はホワイトバランス評価値を示し、二つの破線は基準評価値の範囲を示す。例えば、ホワイトバランス制御部１３００は、ホワイトバランス評価値が二つの破線の間に存在する場合、現在の映像のホワイトバランスが適正ホワイトバランスであると判定する。ここでは、Ｒ成分とＢ成分の両方のホワイトバランス評価値が適正値の範囲にある場合を前提として説明する。
【0166】
時刻ｔ８０、ｔ８４、ｔ８８でＣＰＵ１０４は、回復画像及び撮像画像を受信する。時刻ｔ８０、ｔ８４、ｔ８８以外の時刻でＣＰＵ１０４は、回復画像を受信せず、撮像画像を受信する。斜め線を含む白丸（○）及び黒丸（●）は、Ｒ成分とＢ成分のホワイトバランス評価値を示す。時刻ｔ８０からｔ８４でホワイトバランス制御部１３００は、ホワイトバランス評価値が基準評価値の範囲外にあり、かつホワイトバランス評価値と基準評価値の範囲との間に一定の差分がないため、撮像画像からホワイトバランス評価値を算出し、ホワイトバランス制御を行う。時刻ｔ８５でホワイトバランス制御部１３００は、ホワイトバランス評価値が基準評価値の範囲外にあり、かつホワイトバランス評価値と基準評価値の範囲との間に一定の差分があるため、回復画像からホワイトバランス評価値を算出し、ホワイトバランス制御を行う。しかし、時刻ｔ８５からｔ８７でホワイトバランス制御部１３００は、ＣＰＵ１０４が回復画像を受信していないため、ホワイトバランス制御を実施しない。時刻ｔ８８でホワイトバランス制御部１３００は、ＣＰＵ１０４が回復画像を受信するため、回復画像からホワイトバランス評価値を算出し、ホワイトバランス制御を行う。
【0167】
以上で説明した構成及び方法により映像の色成分の状態に応じてホワイトバランス評価値を算出するための画像を選択することが可能となった。よって、ホワイトバランス評価値が基準評価値の範囲まで遠い場合、ホワイトバランス制御の更新周期を優先し、現在のホワイトバランスが適正ホワイトバランスになるまでの時間を短縮することが可能となった。また、ホワイトバランス評価値が基準評価値の範囲に近づいた場合、回復画像に基づいてホワイトバランス制御を行うことでホワイトバランス制御の精度を優先することが可能となった。
【0168】
また、本実施形態では、撮像画像のホワイトバランス評価値に基づいて映像の色成分の状態を判定した。しかし、ホワイトバランス制御部１３００は、ＣＰＵ１０４が回復画像を受信した場合に、回復画像のホワイトバランス評価値を算出し、その評価値に基づいて映像の色成分の状態を判定しても良い。
【0169】
また、本実施形態では、ホワイトバランス評価値と基準評価値の範囲との間に一定の差分がある場合でも、回復画像を受信していない場合はホワイトバランス制御を実施しないが、この場合にホワイトバランス制御を実施しても本発明の効果を得ることができる。回復画像を受信していない場合のホワイトバランス制御では、第８実施形態から第９実施形態で説明したオフセット値を使用することが好ましい。
【0170】
＜第１１実施形態＞
第１１実施形態は、２種類の画像回復処理を有する場合に、ホワイトバランス制御部１３００は各々の画像回復処理を施した画像のホワイトバランス補正値を算出し、ホワイトバランス制御を行う。第７実施形態から第１０実施形態では、回復画像及び撮像画像からホワイトバランス補正値を算出し、ホワイトバランス制御を行った。しかし、撮像装置１２０の用途によっては、ホワイトバランス制御の更新周期の低下をある程度許容しつつ、ホワイトバランス制御の精度を向上させたい場合がある。よって、本実施形態では、２種類の画像回復処理を有する場合に、常に回復画像のホワイトバランス補正値を算出し、ホワイトバランス制御を行うものとする。
第１１実施形態は、２種類の画像回復処理を有する場合に、ホワイトバランス制御部１３００は各々の画像回復処理を施した画像のホワイトバランス補正値を算出し、ホワイトバランス制御を行う。第７実施形態から第１０実施形態では、回復画像及び撮像画像からホワイトバランス補正値を算出し、ホワイトバランス制御を行った。しかし、撮像装置１２０の用途によっては、ホワイトバランス制御の更新周期の低下をある程度許容しつつ、ホワイトバランス制御の精度を向上させたい場合がある。よって、本実施形態では、２種類の画像回復処理を有する場合に、常に回復画像のホワイトバランス補正値を算出し、ホワイトバランス制御を行うものとする。
【0171】
【0172】
【0173】
Ｓ２０００でホワイトバランス制御部１３００は、Ｓ１００１にて取得した第１の回復画像からホワイトバランス補正値を算出する。ホワイトバランス補正値の算出方法は、第７実施形態のＳ１４００と同様の方法である。
【0174】
Ｓ２００１でホワイトバランス制御部１３００は、Ｓ１００４にて取得した第２の回復画像からホワイトバランス補正値を算出する。ホワイトバランス補正値の算出方法は、第７実施形態のＳ１４００と同様の方法である。
【0175】
Ｓ２００２でホワイトバランス制御部１３００は、Ｓ２０００とＳ２００１の少なくとも一方にてホワイトバランス補正値が算出されたか否かを判定する。ホワイトバランス制御部１３００は、少なくとも１つのホワイトバランス補正値が算出されている場合（Ｓ２００２でＹｅｓ）、処理をＳ２００３へ進める。一方、ホワイトバランス制御部１３００は、少なくとも１つのホワイトバランス補正値が算出されていない場合（Ｓ２００２でＮｏ）、処理を終了する。
【0176】
Ｓ２００３でホワイトバランス制御部１３００は、Ｓ２０００とＳ２００１の少なくとも一方にて算出されたホワイトバランス補正値を、現像部２０１のホワイトバランス補正で使用するホワイトバランス補正値とする。Ｓ２０００及びＳ２００１の両方にてホワイトバランス補正値を算出していた場合、ホワイトバランス制御部１３００は、Ｓ２０００にて第１の回復画像から算出したホワイトバランス補正値を使用する。第１の回復画像のホワイトバランス補正値は、高精度なホワイトバランス補正値である。また、第１の回復画像は、現像部２０１を通って表示装置１３０に表示される画像と同様な画像、すなわち撮像装置１２０の使用者が見る画像と同様である。つまり、使用者が見る画像と同様な画像（第１の回復画像）に基づいてホワイトバランス制御を行うため、よりホワイトバランス制御の精度が向上する。また、第２の回復画像のホワイトバランス補正値は、低精度なホワイトバランス補正値であるが、比較的短い周期で更新される。このように、画像回復処理によるホワイトバランス制御のリアルタイム性の低下を低減することが可能となった。
【0177】
以上で説明した構成及び方法により表示装置１３０に表示される画像と同様の第１の回復画像を使用してホワイトバランス制御が行えるため、ホワイトバランス制御の精度が向上する。さらに、比較的処理負荷の小さい画像回復処理を施した画像（第２の回復画像）を使用してホワイトバランス制御が行えるため、ホワイトバランス制御のリアルタイム性の低下を低減することが可能となった。よって、画像回復機能を使用しつつ撮像装置の制御機能のリアルタイム性の低下を低減することが可能となった。
【0178】
また、本実施形態では、第１ＮＲ部９００と第２ＮＲ部９０１の画像回復処理を実行した後の回復画像をホワイトバランス制御に用いたが、これに限定しない。例えば、第２の回復画像のみをホワイトバランス制御に用いてもよい。
【0179】
＜第１２実施形態＞
第１２実施形態は、撮像画像の一部を抽出し、抽出した部分画像に対し画像回復処理を行う。第１１実施形態の画像回復処理では、撮像素子１２２から出力される画像サイズと同じサイズの画像をそのまま用いていた。しかし、撮像画像の一部の領域（部分画像）に関してのホワイトバランス補正値を算出することで、ホワイトバランス制御を行うことも可能である。例えば、使用者が画像の注目したい領域（以下、注目領域とも呼ぶ）を有する場合は、注目領域のみのホワイトバランス補正値を算出することが好ましい。さらに、画像回復処理で入力する画像サイズを小さくすることで処理負荷を低減し、画像回復処理によるホワイトバランス制御の更新周期の低下を低減することが可能となる。
第１２実施形態は、撮像画像の一部を抽出し、抽出した部分画像に対し画像回復処理を行う。第１１実施形態の画像回復処理では、撮像素子１２２から出力される画像サイズと同じサイズの画像をそのまま用いていた。しかし、撮像画像の一部の領域（部分画像）に関してのホワイトバランス補正値を算出することで、ホワイトバランス制御を行うことも可能である。例えば、使用者が画像の注目したい領域（以下、注目領域とも呼ぶ）を有する場合は、注目領域のみのホワイトバランス補正値を算出することが好ましい。さらに、画像回復処理で入力する画像サイズを小さくすることで処理負荷を低減し、画像回復処理によるホワイトバランス制御の更新周期の低下を低減することが可能となる。
【0180】
【0181】
【0182】
Ｓ２２００でホワイトバランス制御部１３００は、Ｓ１２０１にて取得した第３の回復画像からホワイトバランス補正値を算出する。ホワイトバランス補正値の算出方法は、第７実施形態のＳ１４００と同様の方法である。
【0183】
Ｓ２２０１でホワイトバランス制御部１３００は、Ｓ２０００とＳ２２００の少なくとも一方にてホワイトバランス補正値が算出されたか否かを判定する。ホワイトバランス制御部１３００は、少なくとも１つのホワイトバランス補正値が算出されていると判定した場合（Ｓ２２０１でＹｅｓ）、処理をＳ２２０２へ進める。一方、ホワイトバランス制御部１３００は、少なくとも１つのホワイトバランス補正値が算出されていないと判定した場合（Ｓ２２０１でＮｏ）、処理を終了する。
【0184】
Ｓ２２０２でホワイトバランス制御部１３００は、Ｓ２０００とＳ２２００の少なくとも一方にて算出されたホワイトバランス補正値を、現像部２０１のホワイトバランス補正で使用するホワイトバランス補正値にする。Ｓ２０００及びＳ２２００の両方にてホワイトバランス補正値を算出していた場合、ホワイトバランス制御部１３００は、Ｓ２０００にて第１の回復画像から算出したホワイトバランス補正値を使用する。第１の回復画像のホワイトバランス補正値は、高精度なホワイトバランス補正値である。また、第１の回復画像は、現像部２０１を通って表示装置１３０に表示される画像、すなわち使用者が見る画像と同様である。つまり、使用者が見る画像と同様な画像（第１の回復画像）に基づいてホワイトバランス制御を行うため、よりホワイトバランス制御の精度が向上する。また、Ｓ２２００にて第３の回復画像から算出したホワイトバランス補正値は、低精度なホワイトバランス補正値であるが、比較的短い周期で更新される。このように、画像回復処理によるホワイトバランス制御のリアルタイム性の低下を低減することが可能となった。
【0185】
以上で説明した構成及び方法により表示装置１３０に表示される画像と同様の画像（第１の回復画像）を使用してホワイトバランス制御が行えるため、ホワイトバランス制御の精度が向上する。さらに、比較的処理負荷の小さい画像回復処理を施した画像（第３の回復画像）を使用してホワイトバランス制御が行えるため、ホワイトバランス制御のリアルタイム性の低下を低減することが可能となった。よって、画像回復機能を使用しつつ撮像装置の制御機能のリアルタイム性の低下を低減することが可能となった。
【0186】
また、本実施形態では第１ＮＲ部９００と第３ＮＲ部１１０１の画像回復処理を行った後の回復画像をホワイトバランス制御に用いたが、これに限定しない。例えば、第３の回復画像のみをホワイトバランス制御に用いてもよい。あるいは、第３ＮＲ部１１０１を設けずに、撮像画像から抽出した部分画像の画像回復処理を第１ＮＲ部９００が行ってもよい。
【0187】
また、本実施形態では抽出部１１００をＧＰＵ１０７内に構成したが、ＣＰＵ１０４内に構成してもよい。
【0188】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0189】
本明細書の開示は、以下の画像処理装置、撮像装置、方法、及びプログラムを含む。
（項目１）
撮像装置が撮像した第１画像と、前記第１画像を第１画像回復手段を用いて処理した第２画像とを取得する取得手段と、
前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する検出手段と、
前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する決定手段と、
前記パラメータを前記撮像装置に出力する出力手段と、を備える、
ことを特徴とする画像処理装置。
（項目２）
前記取得手段は、前記第１画像を前記第１画像回復手段とは異なる第２画像回復手段を用いて処理した第３画像を取得し、
前記検出手段は、前記第３画像の第３特徴量を検出し、
前記決定手段は、前記第２特徴量と前記第３特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする項目１に記載の画像処理装置。
（項目３）
前記第２画像回復手段が前記第１画像を処理する時間は、前記第１画像回復手段が前記第１画像を処理する時間よりも短い、
ことを特徴とする項目２に記載の画像処理装置。
（項目４）
前記第１画像から部分画像を抽出する画像加工手段をさらに備え、
前記取得手段は、前記部分画像を前記第１画像回復手段、又は、前記第１画像回復手段と前記第２画像回復手段とは異なる第３画像回復手段を用いて処理した部分画像を取得し、
前記検出手段は、前記処理した部分画像の第４特徴量を検出し、
前記決定手段は、前記第２特徴量と前記第４特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする項目２又は３に記載の画像処理装置。
（項目５）
前記第１画像の任意の領域を指定する領域指定手段をさらに備え、
前記画像加工手段は、前記第１画像から前記部分画像として前記任意の領域を抽出する、
ことを特徴とする項目４に記載の画像処理装置。
（項目６）
前記画像加工手段は、前記第１画像のサイズを所定のサイズに縮小する、
ことを特徴とする項目４又は５に記載の画像処理装置。
（項目７）
前記画像加工手段は、前記領域指定手段によって指定された任意の領域のサイズが、前記第１画像から抽出する部分画像の規定サイズよりも小さい場合、前記第１画像から前記任意の領域を前記規定サイズで抽出する、
ことを特徴とする項目５に記載の画像処理装置。
（項目８）
前記第１特徴量と前記第２特徴量は、輝度又はホワイトバランス補正値である、
ことを特徴とする項目１から７のいずれか一項目に記載の画像処理装置。
（項目９）
前記撮像に関するパラメータは、前記撮像装置の露出パラメータ又はホワイトバランス補正値である、
ことを特徴とする項目１から８のいずれか一項目に記載の画像処理装置。
（項目１０）
前記決定手段は、前記第１特徴量よりも前記第２特徴量を優先的に用いて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする項目１から９のいずれか一項目に記載の画像処理装置。
（項目１１）
前記第２画像の出力周期は、前記第１画像の出力周期よりも長く、
前記取得手段は、前記第１画像の第１取得時刻よりも後の第２取得時刻において前記第２画像を取得し、前記第２取得時刻において前記第１画像とは異なる他の第１画像を取得し、
前記検出手段は、前記他の第１画像の他の第１特徴量を検出し、
前記第１特徴量と前記第２特徴量とに基づくオフセット値で、前記他の第１特徴量をオフセットする補正手段をさらに備え、
前記決定手段は、オフセットされた前記他の第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする項目１から１０のいずれか一項目に記載の画像処理装置。
（項目１２）
前記補正手段は、前記第２画像の第２取得時刻と、前記第２取得時刻よりも後の前記第２画像とは異なる他の第２画像を取得する第３取得時刻との間において取得される前記他の第１画像の前記他の第１特徴量を前記オフセット値でオフセットする、
ことを特徴とする項目１１に記載の画像処理装置。
（項目１３）
前記補正手段は、前記第３取得時刻に決定された前記撮像装置の撮像に関するパラメータと、前記第１取得時刻又は前記第２取得時刻に決定された前記撮像装置の撮像に関するパラメータとに基づくオフセット値で前記他の第１特徴量をオフセットする、
ことを特徴とする項目１２に記載の画像処理装置。
（項目１４）
前記決定手段は、前記第１特徴量又は前記第２特徴量と、特徴量の基準値とに基づいて、前記第１特徴量又は前記第２特徴量に対応する、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする項目１から１３のいずれか一項目に記載の画像処理装置。
（項目１５）
前記決定手段は、前記第１特徴量又は前記第２特徴量と、前記特徴量の基準値との差分に基づいて、前記第１特徴量又は前記第２特徴量に対応する、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする項目１４に記載の画像処理装置。
（項目１６）
前記特徴量の基準値は、前記撮像装置に対する１回の制御周期で変更可能な段数に基づいて決定される、
ことを特徴とする項目１４又は１５に記載の画像処理装置。
（項目１７）
前記第１画像回復手段、前記第２画像回復手段、及び前記第３画像回復手段は、ニューラルネットワークを用いたノイズ除去手段である、
ことを特徴とする項目４に記載の画像処理装置。
（項目１８）
撮像手段と、
前記画像処理装置から受信した撮像に関するパラメータに基づいて前記撮像手段の撮像に関する制御を実行する撮像制御手段と、
項目１から１５のいずれか一項目に記載の画像処理装置と、を備える、
ことを特徴とする撮像装置。
（項目１９）
撮像装置が撮像した第１画像と、前記第１画像を第１画像回復手段を用いて処理した第２画像とを取得する取得工程と、
前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する検出工程と、
前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する決定工程と、
前記パラメータを前記撮像装置に出力する出力工程と、を備える、
ことを特徴とする方法。
（項目２０）
コンピュータに、
撮像装置が撮像した第１画像と、前記第１画像を第１画像回復手段を用いて処理した第２画像とを取得する取得工程と、
前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する検出工程と、
前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する決定工程と、
前記パラメータを前記撮像装置に出力する出力工程と、
を実行させるプログラム。
（項目１）
撮像装置が撮像した第１画像と、前記第１画像を第１画像回復手段を用いて処理した第２画像とを取得する取得手段と、
前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する検出手段と、
前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する決定手段と、
前記パラメータを前記撮像装置に出力する出力手段と、を備える、
ことを特徴とする画像処理装置。
（項目２）
前記取得手段は、前記第１画像を前記第１画像回復手段とは異なる第２画像回復手段を用いて処理した第３画像を取得し、
前記検出手段は、前記第３画像の第３特徴量を検出し、
前記決定手段は、前記第２特徴量と前記第３特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする項目１に記載の画像処理装置。
（項目３）
前記第２画像回復手段が前記第１画像を処理する時間は、前記第１画像回復手段が前記第１画像を処理する時間よりも短い、
ことを特徴とする項目２に記載の画像処理装置。
（項目４）
前記第１画像から部分画像を抽出する画像加工手段をさらに備え、
前記取得手段は、前記部分画像を前記第１画像回復手段、又は、前記第１画像回復手段と前記第２画像回復手段とは異なる第３画像回復手段を用いて処理した部分画像を取得し、
前記検出手段は、前記処理した部分画像の第４特徴量を検出し、
前記決定手段は、前記第２特徴量と前記第４特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする項目２又は３に記載の画像処理装置。
（項目５）
前記第１画像の任意の領域を指定する領域指定手段をさらに備え、
前記画像加工手段は、前記第１画像から前記部分画像として前記任意の領域を抽出する、
ことを特徴とする項目４に記載の画像処理装置。
（項目６）
前記画像加工手段は、前記第１画像のサイズを所定のサイズに縮小する、
ことを特徴とする項目４又は５に記載の画像処理装置。
（項目７）
前記画像加工手段は、前記領域指定手段によって指定された任意の領域のサイズが、前記第１画像から抽出する部分画像の規定サイズよりも小さい場合、前記第１画像から前記任意の領域を前記規定サイズで抽出する、
ことを特徴とする項目５に記載の画像処理装置。
（項目８）
前記第１特徴量と前記第２特徴量は、輝度又はホワイトバランス補正値である、
ことを特徴とする項目１から７のいずれか一項目に記載の画像処理装置。
（項目９）
前記撮像に関するパラメータは、前記撮像装置の露出パラメータ又はホワイトバランス補正値である、
ことを特徴とする項目１から８のいずれか一項目に記載の画像処理装置。
（項目１０）
前記決定手段は、前記第１特徴量よりも前記第２特徴量を優先的に用いて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする項目１から９のいずれか一項目に記載の画像処理装置。
（項目１１）
前記第２画像の出力周期は、前記第１画像の出力周期よりも長く、
前記取得手段は、前記第１画像の第１取得時刻よりも後の第２取得時刻において前記第２画像を取得し、前記第２取得時刻において前記第１画像とは異なる他の第１画像を取得し、
前記検出手段は、前記他の第１画像の他の第１特徴量を検出し、
前記第１特徴量と前記第２特徴量とに基づくオフセット値で、前記他の第１特徴量をオフセットする補正手段をさらに備え、
前記決定手段は、オフセットされた前記他の第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする項目１から１０のいずれか一項目に記載の画像処理装置。
（項目１２）
前記補正手段は、前記第２画像の第２取得時刻と、前記第２取得時刻よりも後の前記第２画像とは異なる他の第２画像を取得する第３取得時刻との間において取得される前記他の第１画像の前記他の第１特徴量を前記オフセット値でオフセットする、
ことを特徴とする項目１１に記載の画像処理装置。
（項目１３）
前記補正手段は、前記第３取得時刻に決定された前記撮像装置の撮像に関するパラメータと、前記第１取得時刻又は前記第２取得時刻に決定された前記撮像装置の撮像に関するパラメータとに基づくオフセット値で前記他の第１特徴量をオフセットする、
ことを特徴とする項目１２に記載の画像処理装置。
（項目１４）
前記決定手段は、前記第１特徴量又は前記第２特徴量と、特徴量の基準値とに基づいて、前記第１特徴量又は前記第２特徴量に対応する、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする項目１から１３のいずれか一項目に記載の画像処理装置。
（項目１５）
前記決定手段は、前記第１特徴量又は前記第２特徴量と、前記特徴量の基準値との差分に基づいて、前記第１特徴量又は前記第２特徴量に対応する、前記撮像装置の撮像に関するパラメータを決定する、
ことを特徴とする項目１４に記載の画像処理装置。
（項目１６）
前記特徴量の基準値は、前記撮像装置に対する１回の制御周期で変更可能な段数に基づいて決定される、
ことを特徴とする項目１４又は１５に記載の画像処理装置。
（項目１７）
前記第１画像回復手段、前記第２画像回復手段、及び前記第３画像回復手段は、ニューラルネットワークを用いたノイズ除去手段である、
ことを特徴とする項目４に記載の画像処理装置。
（項目１８）
撮像手段と、
前記画像処理装置から受信した撮像に関するパラメータに基づいて前記撮像手段の撮像に関する制御を実行する撮像制御手段と、
項目１から１５のいずれか一項目に記載の画像処理装置と、を備える、
ことを特徴とする撮像装置。
（項目１９）
撮像装置が撮像した第１画像と、前記第１画像を第１画像回復手段を用いて処理した第２画像とを取得する取得工程と、
前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する検出工程と、
前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する決定工程と、
前記パラメータを前記撮像装置に出力する出力工程と、を備える、
ことを特徴とする方法。
（項目２０）
コンピュータに、
撮像装置が撮像した第１画像と、前記第１画像を第１画像回復手段を用いて処理した第２画像とを取得する取得工程と、
前記第１画像の第１特徴量と、前記第２画像の第２特徴量とを検出する検出工程と、
前記第１特徴量と前記第２特徴量の少なくともいずれかに基づいて、前記撮像装置の撮像に関するパラメータを決定する決定工程と、
前記パラメータを前記撮像装置に出力する出力工程と、
を実行させるプログラム。
【0190】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0191】
１００ 画像処理装置
１０１ 画像信号受信部
１０２ カメラ通信接続部
１０３ フレームメモリ
１０４ ＣＰＵ
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ ＧＰＵ
１０８ 表示駆動部
１０９ 表示装置接続部
１１０ 内部バス
１２０ 撮像装置
１２１ レンズ部
１２２ 撮像素子
１２３ カメラ制御部
１３０ 表示装置
２００ 露出制御部
２０１ 現像部
９００ 第１ＮＲ部
９０１ 第２ＮＲ部
１１００ 抽出部
１１０１ 第３ＮＲ部
１３００ ホワイトバランス制御部
１０１ 画像信号受信部
１０２ カメラ通信接続部
１０３ フレームメモリ
１０４ ＣＰＵ
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ ＧＰＵ
１０８ 表示駆動部
１０９ 表示装置接続部
１１０ 内部バス
１２０ 撮像装置
１２１ レンズ部
１２２ 撮像素子
１２３ カメラ制御部
１３０ 表示装置
２００ 露出制御部
２０１ 現像部
９００ 第１ＮＲ部
９０１ 第２ＮＲ部
１１００ 抽出部
１１０１ 第３ＮＲ部
１３００ ホワイトバランス制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】