特許 6361204 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6361204

(24)【登録日】2018年7月6日

(45)【発行日】2018年7月25日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/235 20060101AFI20180712BHJP

   G03B 7/093 20060101ALI20180712BHJP

   G03B 7/095 20060101ALI20180712BHJP

   H04N 5/232 20060101ALI20180712BHJP

   H04N 5/238 20060101ALI20180712BHJP

   H04N 5/243 20060101ALI20180712BHJP

【ＦＩ】

   H04N5/235 200

   G03B7/093

   G03B7/095

   H04N5/232 300

   H04N5/235 100

   H04N5/235 300

   H04N5/238

   H04N5/243

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2014-58969(P2014-58969)

(22)【出願日】2014年3月20日

(65)【公開番号】特開2015-185935(P2015-185935A)

(43)【公開日】2015年10月22日

【審査請求日】2017年3月17日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(72)【発明者】

【氏名】加藤 芳幸

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２０１１−００９９３７（ＪＰ，Ａ）

【文献】 特開２０１０−０２８３１９（ＪＰ，Ａ）

【文献】 特開２０１３−１８６２７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３５

Ｇ０３Ｂ ７／０９３

Ｇ０３Ｂ ７／０９５

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２３８

Ｈ０４Ｎ ５／２４３

(57)【特許請求の範囲】

【請求項1】

撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得手段と、
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得手段と、
前記第１の領域中の画像及び前記第２の領域中の画像の輝度値を各々評価する状態評価手段と、
前記状態評価手段における前記輝度値の評価結果が大きい方の画像を対象として、前記撮像手段における絞り及び電子シャッター速度の何れかによる露出制御による第１の画質調整を行い、前記輝度値の評価結果が小さい方の画像を対象として、ＩＳＯ感度の調整による第２の画質調整を行う調整手段と、
前記調整手段により画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記調整手段は、前記第１の領域中の画像及び前記第２の領域中の画像の露出制御を適正値より所定値低くすることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１の領域中の画像及び前記第２の領域中の画像の輝度値を算出する算出手段を有し、
前記調整手段は、前記算出手段により算出された輝度値の平均輝度に基づいて露出制御を行うことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記第１の領域及び前記第２の領域の何れかは、予め設定された特定の被写体が含まれる画像の領域であることを特徴とする請求項１から３の何れか１項に記載の画像処理装置。

【請求項5】

前記第１の領域及び前記第２の領域の何れかは、他方を包含することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。

【請求項6】

前記第１の領域中の画像及び前記第２の領域中の画像は、静止画像を含むことを特徴とする請求項１から５の何れか１項に記載の画像処理装置。

【請求項7】

前記第１の領域中の画像及び前記第２の領域中の画像は、動画像を含むことを特徴とする請求項１から５の何れか１項に記載の画像処理装置。

【請求項8】

撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得ステップと、
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得ステップと、
前記第１の領域中の画像及び前記第２の領域中の画像の輝度値を各々評価する状態評価ステップと、
前記状態評価ステップにおける前記輝度値の評価結果が大きい方の画像を対象として、前記撮像手段における絞り及び電子シャッター速度の何れかによる露出制御による第１の画質調整を行い、前記輝度値の評価結果が小さい方の画像を対象として、ＩＳＯ感度の調整による第２の画質調整を行う調整ステップと、
前記調整ステップにより画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御ステップと、
を含むことを特徴とする画像処理方法。

【請求項9】

コンピュータに、
撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得機能と、
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得機能と、
前記第１の領域中の画像及び前記第２の領域中の画像の輝度値を各々評価する状態評価機能と、
前記状態評価機能における前記輝度値の評価結果が大きい方の画像を対象として、前記撮像手段における絞り及び電子シャッター速度の何れかによる露出制御による第１の画質調整を行い、前記輝度値の評価結果が小さい方の画像を対象として、ＩＳＯ感度の調整による第２の画質調整を行う調整機能と、
前記調整機能により画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御機能と、
を実現させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画質の調整を行う画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、撮影対象に対してズーム倍率を変更することにより相異なる範囲の複数の画像データを記録させる技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−１７３８８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載された技術においては、当該相異なる範囲の画像データの画質については何ら考慮されていなかった。

【0005】

本発明は、このような状況に鑑みてなされたものであり、撮像された画像中の相異なる範囲の画像の画質を向上させることを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一態様の画像処理装置は、
撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得手段と、
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得手段と、
前記第１の領域中の画像及び前記第２の領域中の画像の輝度値を各々評価する状態評価手段と、
前記状態評価手段における前記輝度値の評価結果が大きい方の画像を対象として、前記撮像手段における絞り及び電子シャッター速度の何れかによる露出制御による前記第１の画質調整を行い、前記輝度値の評価結果が小さい方の画像を対象として、ＩＳＯ感度の調整による前記第２の画質調整を行う調整手段と、
前記調整手段により画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御手段と、
を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、撮像された画像中の相異なる範囲の画像の画質を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。

【図2】図１の撮像装置の機能的構成のうち、記録制御処理を実行するための機能的構成を示す機能ブロック図である。

【図3】第１動画像領域及び第２動画像領域の概念を示す模式図である。

【図4】図２の機能的構成を有する図１の撮像装置が実行する記録制御処理の流れを説明するフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を用いて説明する。

【0010】

図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、本発明に係る画像処理装置の一実施形態であり、例えばデジタルカメラとして構成される。

【0011】

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

【0012】

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。例えば、ＣＰＵ１１は、後述する記録制御処理のためのプログラムに従って記録制御処理を実行する。

【0013】

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

【0014】

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

【0015】

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

【0016】

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

【0017】

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１に適宜供給される。

【0018】

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

【0019】

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

【0020】

図２は、このような撮像装置１の機能的構成のうち、記録制御処理を実行するための機能的構成を示す機能ブロック図である。
記録制御処理とは、撮像部１６によって撮像された動画像において異なる範囲の領域をそれぞれ切り出し、切り出されたそれぞれの領域に対し、撮像装置１の機構的な絞りや電子シャッター速度の調整及びＩＳＯ感度を増減する調整を行うことにより、それぞれの領域の画像における明るさを調整して、撮像範囲の異なる２つの動画像を生成する一連の処理をいう。

【0021】

記録制御処理を実行する場合には、図２に示すように、ＣＰＵ１１において、撮像制御部５１と、第１動画像切出部５２と、第２動画像切出部５３と、第１輝度測定部５４と、第２輝度測定部５５と、輝度評価部５６と、露出制御部５７と、利得調整部５８と、が機能する。
また、記憶部１９の一領域には、第１動画像記憶部７１と、第２動画像記憶部７２と、が設定される。
第１動画像記憶部７１には、第１動画像切出部５２によって切り出された動画像（後述する第１動画像領域における動画像）のデータが記憶される。
第２動画像記憶部７２には、第２動画像切出部５３によって切り出された動画像（後述する第２動画像領域における動画像）のデータが記憶される。

【0022】

撮像制御部５１は、入力部１７からの撮像開始操作を受けて撮像を開始するように撮像部１６を制御する。

【0023】

第１動画像切出部５２は、撮像部１６から出力される動画像において、ユーザによって指定される２つの領域のうちの一方（以下、「第１動画像領域」と呼ぶ。）の動画像を切り出す。第１動画像切出部５２は、切り出した第１動画像領域の動画を第１動画像記憶部７１に記憶させる。また、第１動画像切出部５２は、切り出した第１動画像領域の動画を第１輝度測定部５４に出力する。
第２動画像切出部５３は、撮像部１６から出力される動画像において、ユーザによって指定される２つの領域のうちの他方（以下、「第２動画像領域」と呼ぶ。）の動画像を切り出す。第２動画像切出部５３は、切り出した第２動画像領域の動画を第２動画像記憶部７２に記憶させる。また、第２動画像切出部５３は、切り出した第２動画像領域の動画を第２輝度測定部５５に出力する。

【0024】

図３は、第１動画像領域及び第２動画像領域の概念を示す模式図である。
図３において、第１動画像領域及び第２動画像領域は、それぞれユーザによって指定され、図３の例では、第１動画像領域が撮像範囲全体に設定され、第２動画像領域が第１動画像領域の内部に設定されている。
例えば、第１動画像領域として背景を含む撮像範囲全体を設定し、第２動画像領域として当該撮像範囲全体から主要な被写体である人物の顔を検出し、当該検出された顔を中心とした領域を設定すること等が可能である。即ち、第１動画像切出部５２及び第２動画像切出部５３は、主要な被写体（例えば、人物の顔等）のモデルデータ等を用いて、主要な被写体を検出する機能を有し、ユーザは、検出された主要な被写体を中心とした領域を指定することが可能となっている。
ただし、第１動画像領域と第２動画像領域とを分離された小領域に設定すること等も可能である。

【0025】

図２に戻り、第１輝度測定部５４は、第１動画像領域の動画におけるフレームの画素の平均輝度（以下、「第１平均輝度」と呼ぶ。）を算出する。
第２輝度測定部５５は、第２動画像領域の動画におけるフレームの画素の平均輝度（以下、「第２平均輝度」と呼ぶ。）を算出する。

【0026】

輝度評価部５６は、第１輝度測定部５４によって算出された第１動画像領域の平均輝度（第１平均輝度）及び第２輝度測定部５５によって算出された第２動画像領域の平均輝度（第２平均輝度）を評価する。
具体的には、輝度評価部５６は、第１平均輝度と第２平均輝度の大きさを比較し、平均輝度が大きい方の領域の動画像をメイン動画像、平均輝度が小さい方の領域の動画像をサブ動画像に設定する。
また、輝度評価部５６は、画像の明るさを表す第１平均輝度及び第２平均輝度が適正範囲内にあるか否かを判定し、判定結果を露出制御部５７及び利得調整部５８に出力する。ここで、輝度評価部５６によって、メイン動画像の平均輝度及びサブ動画像の平均輝度が適正範囲内にあるか否かを判定する際の基準値は同一とすることや、メイン動画像及びサブ動画像それぞれに応じて異なるものとすることができる。
適正範囲の基準値を同一とする場合、初期の露出制御に対して、例えば、メイン動画像の平均輝度を適正範囲まで抑制するように機構的な絞りや電子シャッター速度を調整する一方で、サブ動画像の平均輝度を適正範囲まで上げるようにＩＳＯ感度を増加させる調整をすることが考えられる。
また、適正範囲の基準値を異ならせる場合、例えば、メイン動画像及びサブ動画像それぞれについてシーンを判定し、シーンに応じた基準値を用いること等ができる。

【0027】

露出制御部５７は、輝度評価部５６から入力される第１平均輝度及び第２平均輝度の判定結果に基づいて、撮像部１６における露出を制御する。このとき、露出制御部５７は、機構的な絞り及び電子シャッター速度を制御することにより、撮像部１６における露光を調整する。
具体的には、露出制御部５７は、メイン動画像に設定された領域の動画像を対象として、当該メイン動画像の平均輝度が適正範囲内となるよう制御する。

【0028】

利得調整部５８は、輝度評価部５６から入力される第１平均輝度及び第２平均輝度の判定結果に基づいて、サブ動画像のＩＳＯ感度を調整することにより当該サブ動画像の明るさを制御する。
具体的には、利得調整部５８は、サブ動画像のデジタル信号またはアナログ信号の増幅の利得を調整することにより、サブ動画像の平均輝度が適正範囲内となるよう制御する。

【0029】

次に、動作を説明する。
図４は、図２の機能的構成を有する図１の撮像装置１が実行する記録制御処理の流れを説明するフローチャートである。
記録制御処理は、入力部１７を介して、記録制御処理の開始を指示する操作が行われることに対応して開始される。

【0030】

ステップＳ１１において、第１輝度測定部５４は、第１動画像記憶部７１に記憶された第１動画像領域の動画におけるフレームの画素の平均輝度（第１平均輝度）を算出する。

【0031】

ステップＳ１２において、第２輝度測定部５５は、第２動画像記憶部７２に記憶された第２動画像領域の動画におけるフレームの画素の平均輝度（第２平均輝度）を算出する。

【0032】

ステップＳ１３において、輝度評価部５６は、第１平均輝度が第２平均輝度より大きいか否かの判定を行う。
第１平均輝度が第２平均輝度より大きい場合、ステップＳ１３においてＹＥＳと判定されて、処理はステップＳ１４に進む。
第１平均輝度が第２平均輝度より大きくない場合には、ステップＳ１３においてＮＯと判定されて、処理はステップＳ１５に進む。

【0033】

ステップＳ１４において、輝度評価部５６は、第１動画像領域の動画像をメイン動画像、第２動画像領域の動画像をサブ動画像に設定する。
ステップＳ１５において、輝度評価部５６は、第２動画像領域の動画像をメイン動画像、第１動画像領域の動画像をサブ動画像に設定する。

【0034】

ステップＳ１６において、輝度評価部５６は、適正範囲に対するメイン動画像の平均輝度の評価を行う。
ステップＳ１７において、露出制御部５７は、メイン動画像の平均輝度に基づいて、機構的な絞り及び電子シャッター速度の調整を行う。
ステップＳ１８において、露出制御部５７は、メイン動画像を記憶部１９（第１動画像記憶部７１あるいは第２動画像記憶部７２）に記憶する。

【0035】

ステップＳ１９において、輝度評価部５６は、適正範囲に対するサブ動画像の平均輝度の評価を行う。
ステップＳ２０において、利得調整部５８は、サブ動画像の平均輝度に基づいて、ＩＳＯ感度の調整を行う。

【0036】

ステップＳ２１において、利得調整部５８は、サブ動画像を記憶部１９（第１動画像記憶部７１あるいは第２動画像記憶部７２）に記憶する。

【0037】

以上のように構成される撮像装置１は、第１動画像切出部５２と、第２動画像切出部５３と、露出制御部５７と、利得調整部５８と、を備える。
第１動画像切出部５２は、撮像手段によって撮像された画像から、第１の領域中の画像を取得する。
撮像手段によって撮像された画像から、第１の領域とは異なる第２の領域中の画像を取得する。
露出制御部５７及び利得調整部５８は、第１の領域中の画像と第２の領域中の画像の各々の画質を調整する。
露出制御部５７及び利得調整部５８は、画質が調整された第１の領域中の画像及び第２の領域中の画像をリムーバブルメディア３１等の記録手段に記録させる。
これにより、撮像装置１においては、１つの撮像画像から取得される異なる画像それぞれの画質を調整することができる。
したがって、１つの撮像画像から異なる画像を取得する場合の画質を向上させることができる。

【0038】

また、露出制御部５７及び利得調整部５８は、第１の領域中の画像及び第２の領域中の画像の何れかの露出を制御する。
これにより、第１の領域中の画像及び第２の領域中の画像の明るさを適切に調整できる。

【0039】

また、露出制御部５７及び利得調整部５８は、第１の領域中の画像及び第２の領域中の画像の何れか一方に撮像手段における絞り及び電子シャッター速度の何れかによる露出制御を行う。
これにより、第１の領域中の画像及び第２の領域中の画像の一方を基準として、露出制御を行うことができる。

【0040】

また、露出制御部５７及び利得調整部５８は、第１の領域中の画像及び第２の領域中の画像の何れか一方にＩＳＯ感度の調整を行う。
これにより、第１の領域中の画像及び第２の領域中の画像の一方に対して、増幅による輝度の調整を行うことができる。

【0041】

また、第１の領域中の画像及び第２の領域中の画像の一方については露出の制御し、第１の領域中の画像及び第２の領域中の画像の他方についてはＩＳＯ感度を調整する。
これにより、第１の領域中の画像及び第２の領域中の画像の一方を基準として、露出制御を行い、第１の領域中の画像及び第２の領域中の画像の他方は増幅による輝度の調整によって画質を調整することができる。

【0042】

また、撮像装置１は、輝度評価部５６を備える。
輝度評価部５６は、第１の領域中の画像及び第２の領域中の画像の状態を評価する。
露出制御部５７及び利得調整部５８は、輝度評価部５６における評価結果に基づいて、第１の領域中の画像及び第２の領域中の画像の各々の画質を適切に調整する。
これにより、第１の領域中の画像及び第２の領域中の画像の評価結果に応じて、各々の画質を適切に調整することができる。

【0043】

また、輝度評価部５６は、第１輝度測定部５４及び第２輝度測定部５５を備える。
第１輝度測定部５４及び第２輝度測定部５５は、第１の領域中の画像及び第２の領域中の画像の輝度値を算出する。
輝度評価部５６は、第１輝度測定部５４及び第２輝度測定部５５により算出された第１の領域中の画像及び第２の領域中の画像の輝度値の大きさを比較する。
露出制御部５７及び利得調整部５８は、輝度値が大きい方の画像を対象として、撮像手段における機構的な絞り及び電子シャッター速度の少なくとも何れかによる露出制御を行い、輝度値が小さい方の画像を対象として、ＩＳＯ感度の調整を行う。
これにより、輝度値が大きい画像を基準として露出制御を行い、輝度値が小さい画像を増幅によって輝度値を調整することができるため、各画像の輝度を適切に調整することができる。

【0044】

また、第１の領域及び第２の領域の何れかは、予め設定された特定の被写体が含まれる画像の領域である。
これにより、特定の被写体が含まれる領域を確実に適切な画質とすることができる。

【0045】

第１輝度測定部５４及び第２輝度測定部５５は、第１の領域及び第２の領域の少なくとも一方に撮像手段における絞り及び電子シャッター速度の何れかによる露出制御を行った後、ＩＳＯ感度の調整を行う。
これにより、露出制御と併せてＩＳＯ感度の調整を行うことができるため、より適切に画質を調整することができる。

【0046】

また、第１の領域及び第２の領域の一方が、他方を包含する。
これにより、第１の領域あるいは第２の領域及びその一部の領域を共に適切な画質とすることができる。

【0047】

また、第１の領域中の画像及び第２の領域中の画像は、静止画像である。
これにより、静止画像を対象として、１つの撮像画像から取得される異なる画像それぞれに、画像状態についての異なる調整を行うことができる。
したがって、１つの撮像画像から異なる静止画像を取得する場合の画質を向上させることができる。

【0048】

また、第１の領域中の画像及び前記第２の領域中の画像は、動画像である。
これにより、動画像を対象として、１つの撮像画像から取得される異なる画像それぞれに、画像状態についての異なる調整を行うことができる。
したがって、１つの撮像画像から異なる動画像を取得する場合の画質を向上させることができる。

【0049】

また、露出制御部５７及び利得調整部５８は、画質として、色味、ホワイトバランス及び周辺減光の少なくとも何れかの調整を行う。
これにより、画質を決定する種々のパラメータを調整することが可能となる。

【0050】

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

【0051】

上述の実施形態では、露出制御部５７が機構的な絞り及び電子シャッター速度を制御することにより、メイン動画像の露出制御を行うこととして説明したが、これに限られない。
例えば、機構的な絞り及び電子シャッター速度によるメイン動画像及びサブ動画像の露出制御を適正範囲より一定量だけ露出アンダーの状態とし、メイン動画像及びサブ動画像に対してＩＳＯ感度の調整をすることで、メイン動画像及びサブ動画像の平均輝度を適正範囲に制御することとしてもよい。

【0052】

また、上述の実施形態では、メイン動画像及びサブ動画像において調整対象とする画質として、画像の明るさを例に挙げて説明したが、これに限られない。
例えば、色味（ＲＧＢバランスあるいは肌色調整等）、ホワイトバランス、あるいは周辺減光等の各種パラメータをそれぞれ調整することが可能である。
また、上述の実施形態では、メイン動画像及びサブ動画像が動画像である場合を例に挙げて説明したが、これに限られない。即ち、単写あるいは高速連写等において静止画像を撮像する際に、メインの静止画像及びサブの静止画像を切り出し、それぞれの画質を調整することが可能である。

【0053】

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、記録制御機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

【0054】

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

【0055】

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

【0056】

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

【0057】

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

【0058】

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0059】

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得手段と、
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得手段と、
前記第１の領域中の画像及び前記第２の領域中の画像の各々の画質を調整する状態調整手段と、
前記状態調整手段により画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記状態調整手段は、前記第１の領域中の画像及び前記第２の領域中の画像の何れかの露出を制御することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記状態調整手段は、前記第１の領域中の画像及び前記第２の領域中の画像の何れか一方に前記撮像手段における絞り及び電子シャッター速度の何れかによる露出制御を行うことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記状態調整手段は、前記第１の領域中の画像及び前記第２の領域中の画像の何れか一方にＩＳＯ感度の調整を行うことを特徴とする付記１から３の何れか１つに記載の画像処理装置。
［付記５］
前記状態調整手段は、前記第１の領域中の画像及び前記第２の領域中の画像の一方については露出の制御を行い、前記第１の領域中の画像及び前記第２の領域中の画像の他方についてはＩＳＯ感度を調整することを特徴とする付記１から４の何れか１つに記載の画像処理装置。
［付記６］
前記第１の領域中の画像及び前記第２の領域中の画像の状態を評価する状態評価手段を更に備え、
前記状態調整手段は、前記状態評価手段における評価結果に基づいて、前記第１の領域中の画像及び前記第２の領域中の画像の各々の画質を適切に調整することを特徴とする付記１から５の何れか１つに記載の画像処理装置。
［付記７］
前記状態評価手段は、
前記画像の状態として前記第１の領域中の画像及び前記第２の領域中の画像の輝度値を算出する算出手段と、
前記算出手段により算出された前記第１の領域中の画像及び前記第２の領域中の画像の輝度値の大きさを比較する比較手段とを有し、
前記状態調整手段は、前記輝度値が大きい方の画像を対象として、前記撮像手段における絞り及び電子シャッター速度の何れかによる露出制御を行い、前記輝度値が小さい方の画像を対象として、ＩＳＯ感度の調整を行うことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記第１の領域及び前記第２の領域の何れかは、予め設定された特定の被写体が含まれる画像の領域であることを特徴とする付記１から７の何れか１つに記載の画像処理装置。
［付記９］
前記状態調整手段は、前記第１の領域及び前記第２の領域の少なくとも一方に撮像手段における絞り及び電子シャッター速度の何れかによる露出制御を行った後、ＩＳＯ感度の調整を行うことを特徴とする付記１に記載の画像処理装置。
［付記１０］
前記第１の領域及び前記第２の領域の一方が、他方を包含することを特徴とする付記１から９の何れか１つに記載の画像処理装置。
［付記１１］
前記第１の領域中の画像及び前記第２の領域中の画像は、静止画像であることを特徴とする付記１から１０の何れか１つに記載の画像処理装置。
［付記１２］
前記第１の領域中の画像及び前記第２の領域中の画像は、動画像であることを特徴とする付記１から１１の何れか１つに記載の画像処理装置。
［付記１３］
前記状態調整手段は、前記画質として、色味、ホワイトバランス及び周辺減光の少なくとも何れかの調整を行うことを特徴とする付記１，１０，１１，１２の何れか１つに記載の画像処理装置。
［付記１４］
撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得ステップと、
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得ステップと、
前記第１の領域中の画像及び前記第２の領域中の画像の各々の画質を調整する状態調整ステップと、
前記状態調整ステップにより画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御ステップと、
を含むことを特徴とする画像処理方法。
［付記１５］
コンピュータに、
撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得機能と、
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得機能と、
前記第１の領域中の画像と前記第２の領域中の画像の各々の画質を調整する状態調整機能と、
前記状態調整手段により画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御手段と、
を実現させることを特徴とするプログラム。

【符号の説明】

【0060】

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・第１動画像切出部，５３・・・第２動画像切出部，５４・・・第１輝度測定部，５５・・・第２輝度測定部，５６・・・輝度評価部，５７・・・露出制御部，５８・・・利得調整部，７１・・・第１動画像記憶部，７２・・・第２動画像記憶部

【図1】

【図2】

【図3】

【図4】