(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-11
(45)【発行日】2023-01-19
(54)【発明の名称】電子機器
(51)【国際特許分類】
G03B 7/091 20210101AFI20230112BHJP
H04N 23/70 20230101ALI20230112BHJP
G03B 7/0997 20210101ALI20230112BHJP
【ＦＩ】
G03B7/091
H04N5/235
G03B7/0997
【請求項の数】
2
(21)【出願番号】P 2018142979
(22)【出願日】2018-07-30
(65)【公開番号】P2020020898
(43)【公開日】2020-02-06
【審査請求日】2021-06-22
(73)【特許権者】
【識別番号】501418867
【氏名又は名称】株式会社ブライセン
(74)【代理人】
【識別番号】100166338
【弁理士】
【氏名又は名称】関口 正夫
(72)【発明者】
【氏名】堀内 智史
(72)【発明者】
【氏名】山下 大貴
(72)【発明者】
【氏名】スルシンスキ ボグダン
【審査官】登丸 久寿
(56)【参考文献】
【文献】特開平０３－０１７６３６（ＪＰ，Ａ）
【文献】特開平０４－３４７８２６（ＪＰ，Ａ）
【文献】特開平０４－０６０６２０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０３Ｂ ７／２８
Ｈ０４Ｎ ５／２３５
Ｇ０３Ｂ ７／０９１
Ｇ０３Ｂ ７／０９９７
(57)【特許請求の範囲】
【請求項1】
露出制御機構に適用可能な露出パラメータの算出の基となる特徴量であって、露出制御の対象となる撮像画像の特徴量を計算する特徴量計算手段を備える電子機器において、前記特徴量計算手段が計算した前記特徴量に基づいて、予め設定された撮像シーンの複数の類型の夫々について、前記撮像画像のシーンとして該当する該当確率を出力するシーン類型推定手段と、
前記撮像シーンの前記複数の類型への該当確率を含むように記述されたルールを用いるルールベース推論により、前記撮像画像についての前記複数の類型の前記該当確率の少なくとも一部に基づいて、前記露出制御機構に適用可能な露出パラメータの算出の基となる露出補正係数であって、前記撮像画像に対して適用される露出補正係数を決定するルールベース推論手段と、
を備える電子機器。
【請求項2】
前記特徴量計算手段が計算した前記該当確率をファジー化によりファジー化該当確率とするファジー化手段と、前記ルールベース推論手段が決定したファジー露出補正係数を、前記露出補正係数に非ファジー化するデファジー手段と、
を更に備え、
前記ルールベース推論手段は、前記ファジー化手段がファジー化した前記ファジー化該当確率に基づいて前記ルールベース推論としてファジー推論を行い、前記ファジー露出補正係数を決定する、
請求項１に記載された電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器に関する。
【背景技術】
【0002】
従来より、様々な画面に対応した詳細な条件設定を行うことなく、ファジー推論を用いることで、予め実験的に決定された少数のルールに基づいた推論で画面の評価を行い、最適な優先度の決定が為される自動露出調整機構（例えば特許文献１参照）が提案されていた。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平０８－００９２４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、画像分割領域の優先度のみならず、多種多様のパラメータに基づいて自動露出調整をチューニングすることが要求されているが、上述の特許文献１を含め従来の技術を単に適用しただけでは、このような要求に十分に応えることができない状況である。
【課題を解決するための手段】
【0005】
本発明は、このような状況に鑑みてなされたものであり、自動露出調整コアアルゴリズムを理解不要で、原則として既存パラメータとの競合を考慮する必要が無く、インターフェースを統一できる自動露出補正のチューニング手段の提供を目的とする。
【0006】
上記目的を達成するため、本発明の一態様の電子機器は、
露出制御機構に適用可能な露出パラメータの算出の基となる特徴量を計算する特徴量計算手段を備え、
前記特徴量に基づいてルールベース推論により、前記露出制御機構に適用可能な露出パラメータの算出の基となる露出補正係数を決定するルールベース推論手段、
を有する。
露出制御機構に適用可能な露出パラメータの算出の基となる特徴量を計算する特徴量計算手段を備え、
前記特徴量に基づいてルールベース推論により、前記露出制御機構に適用可能な露出パラメータの算出の基となる露出補正係数を決定するルールベース推論手段、
を有する。
【発明の効果】
【0007】
本発明によれば、自動露出調整コアアルゴリズムを理解不要で、原則として既存パラメータとの競合を考慮する必要が無く、インターフェースを統一できる自動露出補正のチューニング手段を提供することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を用いて具体的に説明する。
図１は、本発明の一実施形態に係る電子機器の機能的構成の一例を示す図である。
図１は、本発明の一実施形態に係る電子機器の機能的構成の一例を示す図である。
【0010】
電子機器１は、レンズＬと、絞りＡと、画像センサＳと、黒レベル補正部１１と、欠陥ピクセル補正部１２と、レンズ陰影補正部１３と、ノイズ除去部１４と、ホワイトバランス調整部１５と、デモザイク処理部１６と、色補正部１７と、ガンマ補正部１８と、色空間変換部１９と、境界強調部２０と、エンコード部２１と、ブロック統計部３１と、自動露出制御部３２と、自動ホワイトバランス部３３と、ドライバＤと、アクチュエータＭとを備える。
【0011】
レンズＬは、被写体を撮像するために、光を集光して画像センサＳに入射させる。
レンズＬは、フォーカスレンズ、ズームレンズを含み、撮像に用いられる任意のものであって良い。
レンズＬは１枚に限られず、複数枚のレンズの組合せであって良い。
レンズＬは、フォーカスレンズ、ズームレンズを含み、撮像に用いられる任意のものであって良い。
レンズＬは１枚に限られず、複数枚のレンズの組合せであって良い。
【0012】
絞りＡは、大きさの調整が可能な孔を有しており、当該孔の大きさが調整されることで、レンズＬから画像センサＳに入射される光の量を調整する。
絞りＡは、任意の動力により、制御される。具体的には、絞りＡは、後述するドライバＤの制御にしたがって、アクチュエータＭにより駆動されて、孔の大きさを調整する
絞りＡは、任意の動力により、制御される。具体的には、絞りＡは、後述するドライバＤの制御にしたがって、アクチュエータＭにより駆動されて、孔の大きさを調整する
【0013】
画像センサＳは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、レンズＬから絞りＡを介して被写体像を結像する光が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、出力信号として出力される。
画像センサＳは、受光面にベイヤ配列のカラーフィルタが設けられており、ＡＦＥは、ゲイン調整後の撮像信号をデジタル信号、つまりカラーフィルタのベイヤ配列に応じたＲ画素（赤色情報を示す画素データ）、Ｇ画素（緑色情報を示す画素データ）、Ｂ画素（青色情報を示す画素データ）の各画素データであるベイヤデータに変換する。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、レンズＬから絞りＡを介して被写体像を結像する光が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、出力信号として出力される。
画像センサＳは、受光面にベイヤ配列のカラーフィルタが設けられており、ＡＦＥは、ゲイン調整後の撮像信号をデジタル信号、つまりカラーフィルタのベイヤ配列に応じたＲ画素（赤色情報を示す画素データ）、Ｇ画素（緑色情報を示す画素データ）、Ｂ画素（青色情報を示す画素データ）の各画素データであるベイヤデータに変換する。
【0014】
黒レベル補正部１１は、ベイヤデータを黒レベル補正する。
欠陥ピクセル補正部１２は、黒レベル補正後のベイヤデータに対して、欠陥画素値の情報を補正する。
欠陥ピクセル補正部１２は、黒レベル補正後のベイヤデータに対して、欠陥画素値の情報を補正する。
【0015】
レンズ陰影補正部１３は、欠陥画素値の情報の補正後のベイヤデータに対して、レンズ陰影補正を実行する。
ノイズ除去部１４は、レンズ陰影補正後のベイヤデータに対して、ノイズ除去を実行する。
ノイズ除去部１４は、レンズ陰影補正後のベイヤデータに対して、ノイズ除去を実行する。
【0016】
ブロック統計部３１は、ノイズ除去後のベイヤデータに対して、一のセルとその近傍のセルからなるブロックに属するセルについて、ベイヤ配列のＲ、Ｇｒ、Ｇｂ、Ｂの各カラープレーンの統計及び輝度値の統計を計算し、自動露出制御部３２に出力する。
また、ブロック統計部３１は、ノイズ除去後のベイヤデータを基に、ヒストグラムＨＧを生成して、自動露出制御部３２に出力する。
また、ブロック統計部３１は、ノイズ除去後のベイヤデータを基に、ヒストグラムＨＧを生成して、自動露出制御部３２に出力する。
【0017】
自動露出制御部３２は、ブロック統計部３１が計算した統計等に基づいて、絞りＡを制御する信号である絞り開度値Ａｖ等を、ドライバＤ、画像センサＳに送信する。
自動露出制御部３２の詳細については、図２を用いて後述する。
自動露出制御部３２の詳細については、図２を用いて後述する。
【0018】
ドライバＤは、自動露出制御部３２が送信したメカシャッターの場合のシャッター速度値Ｔｖ及び絞り開度値Ａｖの信号に基づいて、アクチュエータＭを作動させることにより、絞りＡの開度を制御する。
【0019】
自動ホワイトバランス部３３は、ブロック統計部３１が計算した統計に基づいて、ホワイトバランス利得を算出し、ホワイトバランス調整部１５及び自動露出制御部３２に出力する。
また、自動ホワイトバランス部３３は、ブロック統計部３１が計算した統計に基づいて、色温度を算出し、自動露出制御部３２に出力する。
更に、自動ホワイトバランス部３３は、ブロック統計部３１が計算した統計に基づいて、色補正マトリクス情報を生成し、ホワイトバランス調整部１５に出力する。
また、自動ホワイトバランス部３３は、ブロック統計部３１が計算した統計に基づいて、色温度を算出し、自動露出制御部３２に出力する。
更に、自動ホワイトバランス部３３は、ブロック統計部３１が計算した統計に基づいて、色補正マトリクス情報を生成し、ホワイトバランス調整部１５に出力する。
【0020】
ホワイトバランス調整部１５は、自動ホワイトバランス部３３が算出したホワイトバランスについての利得に基づいて、ノイズ除去後のベイヤデータに対するＲ，Ｇ，Ｂ毎のゲイン調整を行い白バランスの調整を実行する。
【0021】
デモザイク処理部１６は、ホワイトバランス調整部１５がホワイトバランス処理した撮像データに対してデモザイク処理を行い、ＲＧＢデータを生成する。
【0022】
色補正部１７は、デモザイク処理部１６がデモザイク処理したＲＧＢデータに対して、自動ホワイトバランス部３３が生成した色補正マトリクス情報に基づいて、色補正処理を行う。
【0023】
ガンマ補正部１８は、色補正部１７が色補正処理したＲＧＢデータに対するガンマ特性（階調特性）の補正を行う。
【0024】
色空間変換部１９は、ガンマ補正部１８がガンマ補正処理したＲＧＢデータに対して、色空間変換処理を行い、ＹＣＣ（ＹＣｒＣｂ）データを生成する。
【0025】
境界強調部２０は、色空間変換部１９が色空間変換処理したＹＣＣデータに対して、境界強調処理を行う。
【0026】
エンコード部２１は、境界強調部２０が境界強調処理したＹＣＣデータに対して、エンコード処理を行う。
この様にすることにより、自動露出補正の結果を、撮像装置等に適用することができる。
この様にすることにより、自動露出補正の結果を、撮像装置等に適用することができる。
【0027】
【0028】
自動露出制御部３２においては、特徴量計算部４１と、測光コア４２と、加算器４３と、ルールベース補正部４４と、加算器４５と、露光計算部４６と、ローパスフィルタ４７と、露光ダイアグラム生成部４８とが機能する。
測光コア４２においては、全体補正部４０１と、局所補正部４０２と、適応重みマップ生成部４０３と、重み生成部４０４と、乗算器４０５とが機能する。
自動露出制御部３２の入力データは、自動ホワイトバランス部３３が算出したホワイトバランス利得並びに色温度、ブロック統計部３１が計算したヒストグラムＨＧ、ＲＧＢ統計並びに輝度信号統計、及びタッチ領域情報、顔認識領域情報並びにデジタルズーム倍率の各情報である。
特徴量計算部４１は、露出制御機構に適用可能な露出パラメータの算出の基となる特徴量を計算する。
即ち、特徴量計算部４１は、入力データのうち、ホワイトバランス利得、色温度、ヒストグラムＨＧ、ＲＧＢ統計及び輝度信号統計に基づいて特徴量計算をする。
特徴量計算部４１は、特徴量計算の結果の一つとして、ＡＰＥＸ輝度（Ａｄｄｉｔｉｖｅ ｓｙｓｔｅｍ ｏｆ Ｐｈｏｔｏｇｒａｐｈｉｃ ＥＸｐｏｓｕｒｅ ｂｒｉｇｈｔｎｅｓｓ ｖａｌｕｅ）を出力する。
ＡＰＥＸ輝度は被写体の絶対的な明るさを示す値であり、オートホワイトバランス、オートフォーカスその他のカメラ制御に利用されて良い。
測光コア４２においては、全体補正部４０１と、局所補正部４０２と、適応重みマップ生成部４０３と、重み生成部４０４と、乗算器４０５とが機能する。
自動露出制御部３２の入力データは、自動ホワイトバランス部３３が算出したホワイトバランス利得並びに色温度、ブロック統計部３１が計算したヒストグラムＨＧ、ＲＧＢ統計並びに輝度信号統計、及びタッチ領域情報、顔認識領域情報並びにデジタルズーム倍率の各情報である。
特徴量計算部４１は、露出制御機構に適用可能な露出パラメータの算出の基となる特徴量を計算する。
即ち、特徴量計算部４１は、入力データのうち、ホワイトバランス利得、色温度、ヒストグラムＨＧ、ＲＧＢ統計及び輝度信号統計に基づいて特徴量計算をする。
特徴量計算部４１は、特徴量計算の結果の一つとして、ＡＰＥＸ輝度（Ａｄｄｉｔｉｖｅ ｓｙｓｔｅｍ ｏｆ Ｐｈｏｔｏｇｒａｐｈｉｃ ＥＸｐｏｓｕｒｅ ｂｒｉｇｈｔｎｅｓｓ ｖａｌｕｅ）を出力する。
ＡＰＥＸ輝度は被写体の絶対的な明るさを示す値であり、オートホワイトバランス、オートフォーカスその他のカメラ制御に利用されて良い。
【0029】
また、全体補正部４０１は、例えばヒストグラムＨＧなどの画像全体の統計情報を参照して、より適切な露出となるように、画像全体の露出補正値を算出し、特徴量計算の結果を全体補正する。
また、局所補正部４０２は、例えば各統計における各ブロックの色分布に応じて各統計のブロックごとに補正値を計算し、特徴量計算の結果を局所補正する。
加算器４３は、全体補正後の特徴量と、局所補正後の特徴量との和を取り、補正後特徴量を生成する。
また、局所補正部４０２は、例えば各統計における各ブロックの色分布に応じて各統計のブロックごとに補正値を計算し、特徴量計算の結果を局所補正する。
加算器４３は、全体補正後の特徴量と、局所補正後の特徴量との和を取り、補正後特徴量を生成する。
【0030】
適応重みマップ生成部４０３は、自動露出制御部３２の入力データと、特徴量計算の結果とに基づいて、これらに応じた統計の重みを計算して、適応重みマップを生成する。
【0031】
重み生成部４０４は、分割測光要素を集合させて構成した多分割測光重み表を算出する。
即ち、重み生成部４０４は、タッチ領域情報、顔認識領域情報、デジタルズーム倍率等の情報と、適応重みマップとに基づいて、多分割重みＭＷを生成する。
ここで、タッチ領域情報は、電子機器１がタッチＡＥ機能を備える場合において、ユーザが画面でタッチした領域に露出を合わせる為の、領域情報である。
また、顔認識領域情報は、電子機器１が顔認識機能を備える場合において、図示せぬ顔認識部が、被写体の顔であると認識した、画像中の領域についての領域情報である。
また、デジタルズーム倍率は、統計に入る全領域に占める、デジタルズームによる拡大表示に使用する中心部分領域の割合である。
乗算器４０５は、輝度信号統計と、多分割重みＭＷとの積を生成する。
即ち、重み生成部４０４は、タッチ領域情報、顔認識領域情報、デジタルズーム倍率等の情報と、適応重みマップとに基づいて、多分割重みＭＷを生成する。
ここで、タッチ領域情報は、電子機器１がタッチＡＥ機能を備える場合において、ユーザが画面でタッチした領域に露出を合わせる為の、領域情報である。
また、顔認識領域情報は、電子機器１が顔認識機能を備える場合において、図示せぬ顔認識部が、被写体の顔であると認識した、画像中の領域についての領域情報である。
また、デジタルズーム倍率は、統計に入る全領域に占める、デジタルズームによる拡大表示に使用する中心部分領域の割合である。
乗算器４０５は、輝度信号統計と、多分割重みＭＷとの積を生成する。
【0032】
ルールベース補正部４４は、輝度信号統計と、特徴量計算部４１による特徴量計算の結果と、重み生成部４０４から出力された多分割重みＭＷとに基づいて、ルールベース補正を行い、露出補正係数を算出して、加算器４５に供給する（露出補正係数は、加算器４５に供給される）。
【0033】
露光計算部４６は、露出補正係数に基づいて露光計算をする。
また、露光計算部４６は、空間重みにより得られる重み表と多分割測光重み表とを混合して得た空間重み表と、輝度重みを各分割測光要素に適用して算出した輝度重み表とを混合して得た重み表を決定する。
即ち、露光計算部４６は、輝度信号統計と多分割における重み付けとの積と、補正後特徴量と露出補正係数との和と、参照輝度レベルとに基づいて、露光計算を行う。
また、露光計算部４６は、空間重みにより得られる重み表と多分割測光重み表とを混合して得た空間重み表と、輝度重みを各分割測光要素に適用して算出した輝度重み表とを混合して得た重み表を決定する。
即ち、露光計算部４６は、輝度信号統計と多分割における重み付けとの積と、補正後特徴量と露出補正係数との和と、参照輝度レベルとに基づいて、露光計算を行う。
【0034】
露光ダイアグラム生成部４８は、ローパスフィルタ４７を通過した露光計算の結果に基づいて露光ダイアグラムを生成し、シャッター速度値Ｔｖ、センサ利得値Ｓｖ、絞り開度値Ａｖを出力する。
この様にすることにより、既存の自動露出補正処理後に、ルールベースでのチューニングを、容易に追加することができる。
その結果、自動露出補正のチューニング手段が、自動露出調整コアアルゴリズムを理解不要で、原則として既存パラメータとの競合を考慮する必要が無く、インターフェースを統一できることとなる。
この様にすることにより、既存の自動露出補正処理後に、ルールベースでのチューニングを、容易に追加することができる。
その結果、自動露出補正のチューニング手段が、自動露出調整コアアルゴリズムを理解不要で、原則として既存パラメータとの競合を考慮する必要が無く、インターフェースを統一できることとなる。
【0035】
図３は、自動露出制御部３２の第一の構成を示す図である。
ルールベース補正部４４においては、ファジー化部６１と、推論部６２と、デファジー部６３とが機能する。
ルールベース補正部４４においては、ファジー化部６１と、推論部６２と、デファジー部６３とが機能する。
【0036】
ファジー化部６１は、特徴量計算部４１が計算した特徴量をファジー化によりファジー化特徴量とする。
即ちファジー化部６１は、入力メンバーシップ関数６４に基づいて、特徴量計算部４１が計算した特徴量を、ファジー化によりファジー化特徴量とする。
入力メンバーシップ関数６４は、入力値のファジー化変換後の値とその度数との関係をチューニングパラメータにより定義された関数である。
入力メンバーシップ関数６４は、線形補完により連続関数とされて良い。この様にすることにより、数個の数値だけで定義することができる。
入力メンバーシップ関数６４の入力値には、特徴量計算の結果が含まれる。
チューニングパラメータについては、詳しくは後述する。
即ちファジー化部６１は、入力メンバーシップ関数６４に基づいて、特徴量計算部４１が計算した特徴量を、ファジー化によりファジー化特徴量とする。
入力メンバーシップ関数６４は、入力値のファジー化変換後の値とその度数との関係をチューニングパラメータにより定義された関数である。
入力メンバーシップ関数６４は、線形補完により連続関数とされて良い。この様にすることにより、数個の数値だけで定義することができる。
入力メンバーシップ関数６４の入力値には、特徴量計算の結果が含まれる。
チューニングパラメータについては、詳しくは後述する。
【0037】
推論部６２は、特徴量に基づいてルールベース推論により、露出制御機構に適用可能な露出パラメータの算出の基となる露出補正係数を決定する。
即ち、推論部６２は、ルールリスト６５のルールに従って、入力された特徴量からルールベース推論により、露出制御機構に適用可能な露出パラメータの算出の基となる露出補正係数を決定する。
本実施例においては、ファジー化部６１がファジー化したファジー化特徴量に基づいて、ルールベース推論としてファジー推論を行い、ファジー露出補正係数を決定する。
即ち、推論部６２は、ルールリスト６５のルールに従って、入力された特徴量からルールベース推論により、露出制御機構に適用可能な露出パラメータの算出の基となる露出補正係数を決定する。
本実施例においては、ファジー化部６１がファジー化したファジー化特徴量に基づいて、ルールベース推論としてファジー推論を行い、ファジー露出補正係数を決定する。
【0038】
デファジー部６３は、推論部６２が決定したファジー露出補正係数を、露出補正係数に非ファジー化する。
即ち、デファジー部６３は、出力メンバーシップ関数６６に基づいて推論の結果を例えば重心法等のデファジー手法により、露出補正係数としての３つの具体的な数値を決定する。
出力メンバーシップ関数６６は、デファジー変換後の値をチューニングパラメータにより定義された関数である。出力メンバーシップ関数６６の出力値は、露出補正係数（絶対露出の調整値、空間の重み調整値及び輝度の重み調整値）である。
チューニングパラメータについては、詳しくは後述する。
この様にすることにより、特徴量の表現がファジー化により人間が理解し易いものとなるので、自動露出補正のルールベースでのチューニングを、より直感的なものとすることができる。
即ち、デファジー部６３は、出力メンバーシップ関数６６に基づいて推論の結果を例えば重心法等のデファジー手法により、露出補正係数としての３つの具体的な数値を決定する。
出力メンバーシップ関数６６は、デファジー変換後の値をチューニングパラメータにより定義された関数である。出力メンバーシップ関数６６の出力値は、露出補正係数（絶対露出の調整値、空間の重み調整値及び輝度の重み調整値）である。
チューニングパラメータについては、詳しくは後述する。
この様にすることにより、特徴量の表現がファジー化により人間が理解し易いものとなるので、自動露出補正のルールベースでのチューニングを、より直感的なものとすることができる。
【0039】
図４は、ルールリスト６５におけるルールの具体的記述例を示す図である。
「ｒｕｌｅ」は、以降にルールを定義する旨の、宣言子である。
「ｒｕｌｅ」に続く「Ｓｋｙ＿ＺＯ」等は、任意かつ一意に命名可能なルール名である。
「：」は、これ以前のルール名と、これ以降の実体定義部を区切る文字である。
「ｒｕｌｅ」は、以降にルールを定義する旨の、宣言子である。
「ｒｕｌｅ」に続く「Ｓｋｙ＿ＺＯ」等は、任意かつ一意に命名可能なルール名である。
「：」は、これ以前のルール名と、これ以降の実体定義部を区切る文字である。
【0040】
「ｉｆ」及び「ｔｈｅｎ」は、ルールの定義において同時に記述される。
「ｉｆ」の後ろには続いてルールの前件部の定義として、「［Ｓｋｙ ｉｓ Ｓｍａｌｌ］ ｏｒ ［Ｓｋｙ ｉｓ Ｍｅｄｉｕｍ Ｓｍａｌｌ］」等を記述することができる。
「ｔｈｅｎ」の後ろには続いて、ルールの後件部の定義として、「［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＺＯ］」等を記述することができる。
ルールの前件部の定義においては、「ｏｒ」、「ａｎｄ」等のファジー論理演算子が使用出来て良い。
前件部の定義における「ｏｒ」は、いずれか大きい値を取るファジー論理演算子であって良く、「ａｎｄ」は、いずれか小さい値を取るファジー論理演算子であって良い。
「ｉｆ」の後ろには続いてルールの前件部の定義として、「［Ｓｋｙ ｉｓ Ｓｍａｌｌ］ ｏｒ ［Ｓｋｙ ｉｓ Ｍｅｄｉｕｍ Ｓｍａｌｌ］」等を記述することができる。
「ｔｈｅｎ」の後ろには続いて、ルールの後件部の定義として、「［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＺＯ］」等を記述することができる。
ルールの前件部の定義においては、「ｏｒ」、「ａｎｄ」等のファジー論理演算子が使用出来て良い。
前件部の定義における「ｏｒ」は、いずれか大きい値を取るファジー論理演算子であって良く、「ａｎｄ」は、いずれか小さい値を取るファジー論理演算子であって良い。
【0041】
ルールの前件部の定義の、「ｉｓ」は、前段部分と後段部分とを区切り、前段部分の入力パラメータの後段部分の入力メンバーシップ関数におけるファジィ論理値（所定のファジー集合に対する適合度）を、ルールの前件部の値とすることを意味する記述子である。
ルールの前件部の定義の前段部分の、「Ｓｋｙ」、「Ｂａｃｋｌｉｇｈｔ」等は、入力メンバーシップ関数の入力値とする特徴量計算部４１が算出した特徴量の一つである。
特徴量「Ｓｋｙ」は、空画像としての適合値である。
特徴量「Ｂａｃｋｌｉｇｈｔ」は、逆光撮像画像としての適合値である。
ルールの前件部の定義の前段部分の、「Ｓｋｙ」、「Ｂａｃｋｌｉｇｈｔ」等は、入力メンバーシップ関数の入力値とする特徴量計算部４１が算出した特徴量の一つである。
特徴量「Ｓｋｙ」は、空画像としての適合値である。
特徴量「Ｂａｃｋｌｉｇｈｔ」は、逆光撮像画像としての適合値である。
【0042】
特徴量にはその他に、例えば、Ｂｖ値（ブライトネスバリュー値）を示す「Ｂｖ」、輝度統計の最大値を８ｂｉｔで正規化した値を示す「ＭａｘＹ」、色相を示す「ｈｕｅ」、彩度を示す「ｓａｔｕｒａｔｉｏｎ」、色温度を示す「ｃｔｅｍｐ」、輝度勾配の積算値を示す「ｇｒａｄｉｅｎｔＹ」、ヒストグラムＨＧの低輝度域の割合を示す「ｌｏｗ」、ヒストグラムＨＧの中輝度域の割合を示す「ｍｉｄｄｌｅ」、ヒストグラムＨＧの高輝度域の割合を示す「ｈｉｇｈ」、ヒストグラムＨＧの高輝度域の空き具合を示す「ｈｉｇｈｌｉｇｈｔ」、ヒストグラムＨＧのｂｉｎ０の頻度を最大頻度で除した値（黒潰れの指標値）を示す「ｕｎｄｅｒｅｘｐ」、ヒストグラムＨＧのｂｉｎ２５５の頻度を最大頻度で除した値（白飛びの指標値）を示す「ｏｖｅｒｅｘｐ」、分離度を示す「ｓｅｐａｒａｂｉｌｉｔｙ」、コントラスト値を示す「ｃｏｎｔｒａｓｔ」等が含まれて良い。
【0043】
ルールの前件部の定義の後段部分には、各入力メンバーシップ関数の一部を構成するファジー集合として、例えば「Ｓｍａｌｌ」、「Ｍｅｄｉｕｍ Ｓｍａｌｌ」、「Ｍｅｄｉｕｍ」、「Ｍｅｄｉｕｍ Ｌａｒｇｅ」、「Ｌａｒｇｅ」及び「ＭＳ」等を、記述することができ、夫々、小さい（範囲）、やや小さい（範囲）、中程度、やや大きい（範囲）、大きい（範囲）及びやや小さい（範囲）を意味して良い。
【0044】
ルールの後件部の定義の、「［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＺＯ］」等は、順に夫々、絶対露出の調整値についてのファジー集合、空間の重み調整値についてのファジー集合及び輝度の重み調整値についてのファジー集合を記述する。
絶対露出の調整値は、例えば、－３程度を下限とする露出補正係数の直接的な値として良い。
絶対露出の調整値「Ｂ＿ＺＯ」は、例えば、最頻値をゼロとするファジー集合であって良い。
絶対露出の調整値「Ｂ＿ＮＭ」は、最頻値を絶対値中のマイナス値とするファジー集合であって良い。当該最頻値は、例えば－２であって良い。
空間の重み調整値及び輝度の重み調整値は、例えば－１以上１以下の範囲の値として良い。
空間の重み調整値「Ｓ＿ＺＯ」は、例えば、最頻値をゼロとするファジー集合であって良い。
輝度の重み調整値「Ｒ＿ＺＯ」は、例えば、最頻値をゼロとするファジー集合であって良い。
輝度の重み調整値「Ｒ＿ＮＳ」は、最頻値を絶対値小のマイナス値とするファジー集合であって良い。当該最頻値は、例えば－０．３であって良い。
輝度の重み調整値「Ｒ＿ＮＭ」は、最頻値を絶対値中のマイナス値とするファジー集合であって良い。当該最頻値は、例えば－０．６であって良い。
輝度の重み調整値「Ｒ＿ＮＬ」は、最頻値を絶対値大のマイナス値とするファジー集合であって良い。当該最頻値は、例えば－１であって良い。
絶対露出の調整値は、例えば、－３程度を下限とする露出補正係数の直接的な値として良い。
絶対露出の調整値「Ｂ＿ＺＯ」は、例えば、最頻値をゼロとするファジー集合であって良い。
絶対露出の調整値「Ｂ＿ＮＭ」は、最頻値を絶対値中のマイナス値とするファジー集合であって良い。当該最頻値は、例えば－２であって良い。
空間の重み調整値及び輝度の重み調整値は、例えば－１以上１以下の範囲の値として良い。
空間の重み調整値「Ｓ＿ＺＯ」は、例えば、最頻値をゼロとするファジー集合であって良い。
輝度の重み調整値「Ｒ＿ＺＯ」は、例えば、最頻値をゼロとするファジー集合であって良い。
輝度の重み調整値「Ｒ＿ＮＳ」は、最頻値を絶対値小のマイナス値とするファジー集合であって良い。当該最頻値は、例えば－０．３であって良い。
輝度の重み調整値「Ｒ＿ＮＭ」は、最頻値を絶対値中のマイナス値とするファジー集合であって良い。当該最頻値は、例えば－０．６であって良い。
輝度の重み調整値「Ｒ＿ＮＬ」は、最頻値を絶対値大のマイナス値とするファジー集合であって良い。当該最頻値は、例えば－１であって良い。
【0045】
即ち、「ｒｕｌｅ Ｓｋｙ＿ＺＯ： ｉｆ ［Ｓｋｙ ｉｓ Ｓｍａｌｌ］ ｏｒ ［Ｓｋｙ ｉｓ Ｍｅｄｉｕｍ Ｓｍａｌｌ］ ｔｈｅｎ ［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＺＯ］」の場合は、「Ｓｋｙ＿ＺＯ」のルール名で、空画像としての適合値が小さい又はやや小さい場合についての度数を、最頻値をゼロとする絶対露出の調整値のファジー集合、最頻値をゼロとする空間の重み調整値のファジー集合及び最頻値をゼロとする輝度の重み調整値のファジー集合にそれぞれ適用することが記述されている。
また、「ｒｕｌｅ Ｓｋｙ＿ＮＳ： ｉｆ ［Ｓｋｙ ｉｓ Ｍｅｄｉｕｍ］ ｔｈｅｎ ［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＮＳ］」の場合は、「Ｓｋｙ＿ＮＳ」のルール名で、空画像としての適合値が中程度の場合についての度数を、最頻値をゼロとする絶対露出の調整値のファジー集合、最頻値をゼロとする空間の重み調整値のファジー集合及び最頻値を絶対値小のマイナス値とする輝度の重み調整値のファジー集合にそれぞれ適用することが記述されている。
また、「ｒｕｌｅ Ｓｋｙ＿ＮＭ： ｉｆ ［Ｓｋｙ ｉｓ Ｍｅｄｉｕｍ Ｌａｒｇｅ］ ｏｒ ［Ｓｋｙ ｉｓ Ｌａｒｇｅ］ ｔｈｅｎ ［Ｂ＿ＮＭ， Ｓ＿ＺＯ， Ｒ＿ＺＯ］」の場合は、「Ｓｋｙ＿ＮＭ」のルール名で、空画像としての適合値がやや大きい又は大きい場合についての度数を、最頻値を絶対値中のマイナス値とする絶対露出の調整値のファジー集合、最頻値をゼロとする空間の重み調整値のファジー集合及び最頻値をゼロとする輝度の重み調整値のファジー集合にそれぞれ適用することが記述されている。
また、「ｒｕｌｅ Ｂａｃｋｌｉｇｈｔ＿ＺＯ： ｉｆ ［Ｂａｃｋｌｉｇｈｔ ｉｓ Ｓｍａｌｌ］ ｔｈｅｎ ［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＺＯ］」の場合は、「Ｂａｃｋｌｉｇｈｔ＿ＺＯ」のルール名で、逆光撮像画像としての適合値が小さい場合についての度数を、最頻値をゼロとする絶対露出の調整値のファジー集合、最頻値をゼロとする空間の重み調整値のファジー集合及び最頻値をゼロとする輝度の重み調整値のファジー集合にそれぞれ適用することが記述されている。
また、「ｒｕｌｅ Ｂａｃｋｌｉｇｈｔ＿ＮＳ： ｉｆ ［Ｂａｃｋｌｉｇｈｔ ｉｓ Ｍｅｄｉｕｍ］ ｏｒ ［Ｂａｃｋｌｉｇｈｔ ｉｓ ＭＳ］ ｔｈｅｎ ［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＮＳ］」の場合は、「Ｂａｃｋｌｉｇｈｔ＿ＮＳ」のルール名で、逆光撮像画像としての適合値が、中程度又はやや小さい場合についての度数を、最頻値をゼロとする絶対露出の調整値のファジー集合、最頻値をゼロとする空間の重み調整値のファジー集合及び最頻値を絶対値小のマイナス値とする輝度の重み調整値のファジー集合にそれぞれ適用することが記述されている。
また、「 ｒｕｌｅ Ｂａｃｋｌｉｇｈｔ＿ＮＭ： ｉｆ ［Ｂａｃｋｌｉｇｈｔ ｉｓＭｅｄｉｕｍ Ｌａｒｇｅ］ ｔｈｅｎ ［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＮＭ］」の場合は、「Ｂａｃｋｌｉｇｈｔ＿ＮＭ」のルール名で、逆光撮像画像としての適合値が、やや大きい場合についての度数を、最頻値をゼロとする絶対露出の調整値のファジー集合、最頻値をゼロとする空間の重み調整値のファジー集合及び最頻値を絶対値中のマイナス値とする輝度の重み調整値のファジー集合にそれぞれ適用することが記述されている。
また、「 ｒｕｌｅ Ｂａｃｋｌｉｇｈｔ＿ＮＬ： ｉｆ ［Ｂａｃｋｌｉｇｈｔ ｉｓ Ｌａｒｇｅ］ ｔｈｅｎ ［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＮＬ］」の場合は、「Ｂａｃｋｌｉｇｈｔ＿ＮＬ」のルール名で、逆光撮像画像としての適合値が、大きい場合についての度数を、最頻値をゼロとする絶対露出の調整値のファジー集合、最頻値をゼロとする空間の重み調整値のファジー集合及び最頻値を絶対値大のマイナス値とする輝度の重み調整値のファジー集合にそれぞれ適用することが記述されている。
また、「ｒｕｌｅ Ｓｋｙ＿ＮＳ： ｉｆ ［Ｓｋｙ ｉｓ Ｍｅｄｉｕｍ］ ｔｈｅｎ ［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＮＳ］」の場合は、「Ｓｋｙ＿ＮＳ」のルール名で、空画像としての適合値が中程度の場合についての度数を、最頻値をゼロとする絶対露出の調整値のファジー集合、最頻値をゼロとする空間の重み調整値のファジー集合及び最頻値を絶対値小のマイナス値とする輝度の重み調整値のファジー集合にそれぞれ適用することが記述されている。
また、「ｒｕｌｅ Ｓｋｙ＿ＮＭ： ｉｆ ［Ｓｋｙ ｉｓ Ｍｅｄｉｕｍ Ｌａｒｇｅ］ ｏｒ ［Ｓｋｙ ｉｓ Ｌａｒｇｅ］ ｔｈｅｎ ［Ｂ＿ＮＭ， Ｓ＿ＺＯ， Ｒ＿ＺＯ］」の場合は、「Ｓｋｙ＿ＮＭ」のルール名で、空画像としての適合値がやや大きい又は大きい場合についての度数を、最頻値を絶対値中のマイナス値とする絶対露出の調整値のファジー集合、最頻値をゼロとする空間の重み調整値のファジー集合及び最頻値をゼロとする輝度の重み調整値のファジー集合にそれぞれ適用することが記述されている。
また、「ｒｕｌｅ Ｂａｃｋｌｉｇｈｔ＿ＺＯ： ｉｆ ［Ｂａｃｋｌｉｇｈｔ ｉｓ Ｓｍａｌｌ］ ｔｈｅｎ ［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＺＯ］」の場合は、「Ｂａｃｋｌｉｇｈｔ＿ＺＯ」のルール名で、逆光撮像画像としての適合値が小さい場合についての度数を、最頻値をゼロとする絶対露出の調整値のファジー集合、最頻値をゼロとする空間の重み調整値のファジー集合及び最頻値をゼロとする輝度の重み調整値のファジー集合にそれぞれ適用することが記述されている。
また、「ｒｕｌｅ Ｂａｃｋｌｉｇｈｔ＿ＮＳ： ｉｆ ［Ｂａｃｋｌｉｇｈｔ ｉｓ Ｍｅｄｉｕｍ］ ｏｒ ［Ｂａｃｋｌｉｇｈｔ ｉｓ ＭＳ］ ｔｈｅｎ ［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＮＳ］」の場合は、「Ｂａｃｋｌｉｇｈｔ＿ＮＳ」のルール名で、逆光撮像画像としての適合値が、中程度又はやや小さい場合についての度数を、最頻値をゼロとする絶対露出の調整値のファジー集合、最頻値をゼロとする空間の重み調整値のファジー集合及び最頻値を絶対値小のマイナス値とする輝度の重み調整値のファジー集合にそれぞれ適用することが記述されている。
また、「 ｒｕｌｅ Ｂａｃｋｌｉｇｈｔ＿ＮＭ： ｉｆ ［Ｂａｃｋｌｉｇｈｔ ｉｓＭｅｄｉｕｍ Ｌａｒｇｅ］ ｔｈｅｎ ［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＮＭ］」の場合は、「Ｂａｃｋｌｉｇｈｔ＿ＮＭ」のルール名で、逆光撮像画像としての適合値が、やや大きい場合についての度数を、最頻値をゼロとする絶対露出の調整値のファジー集合、最頻値をゼロとする空間の重み調整値のファジー集合及び最頻値を絶対値中のマイナス値とする輝度の重み調整値のファジー集合にそれぞれ適用することが記述されている。
また、「 ｒｕｌｅ Ｂａｃｋｌｉｇｈｔ＿ＮＬ： ｉｆ ［Ｂａｃｋｌｉｇｈｔ ｉｓ Ｌａｒｇｅ］ ｔｈｅｎ ［Ｂ＿ＺＯ， Ｓ＿ＺＯ， Ｒ＿ＮＬ］」の場合は、「Ｂａｃｋｌｉｇｈｔ＿ＮＬ」のルール名で、逆光撮像画像としての適合値が、大きい場合についての度数を、最頻値をゼロとする絶対露出の調整値のファジー集合、最頻値をゼロとする空間の重み調整値のファジー集合及び最頻値を絶対値大のマイナス値とする輝度の重み調整値のファジー集合にそれぞれ適用することが記述されている。
【0046】
ルールリスト６５には、この様にルールを複数記載することができるが、デファジー部６３が実行するデファジー処理においては、絶対露出の調整値、空間の重み調整値及び輝度の重み調整値の夫々について、例えば、前件部で求めた度数で頭切りした各ファジー集合の領域の和に基づいて、夫々の調整値について具体的数値が決定されて良い。
この様にすることにより、ルール同士の順序、競合、干渉を気にすることなく、自由にルールを追加、削除又は変更することができることとなる。
この様にすることにより、ルール同士の順序、競合、干渉を気にすることなく、自由にルールを追加、削除又は変更することができることとなる。
【0047】
図５は、３軸の自由度による調整の概略を示すイメージ図である。
ルールベース推論ＲＩは、特徴量計算部４１が生成した特徴量ＦＭに基づいて３軸の自由度で調整をする３調整軸の出力を行う。
かかる、３調整軸の各軸は、絶対露出の調整、空間の重み調整及び輝度の重み調整である。
ルールベース推論ＲＩは、特徴量計算部４１が生成した特徴量ＦＭに基づいて３軸の自由度で調整をする３調整軸の出力を行う。
かかる、３調整軸の各軸は、絶対露出の調整、空間の重み調整及び輝度の重み調整である。
【0048】
絶対露出の調整は、平均測光での露出のバイアスである。
シーンによって目標輝度を変えたい場合などに、この調整軸を使用する。
即ち、絶対露出調整値の値が大きくなるほど、画面全体を一様に明るくする様に、露出が補正されるのである。
例えば、晴天時の順光での雪景色の撮像シーンでは、既存の自動露出補正では、露出アンダーとなりがちであるので、かかる事態を想定して絶対露出調整値の値を大きくするチューニングを追加するといったことが可能である。
シーンによって目標輝度を変えたい場合などに、この調整軸を使用する。
即ち、絶対露出調整値の値が大きくなるほど、画面全体を一様に明るくする様に、露出が補正されるのである。
例えば、晴天時の順光での雪景色の撮像シーンでは、既存の自動露出補正では、露出アンダーとなりがちであるので、かかる事態を想定して絶対露出調整値の値を大きくするチューニングを追加するといったことが可能である。
【0049】
空間の重み調整は、スポット測光についての重みである。
空間重み調整値は、負の方向に値が大きくなるほど画像領域間の重みを平均測光に近づけ、正の方向に値が大きくなるほど画像領域間の重みをスポット測光に近づける調整が可能である。
即ち、正の方向に値を大きくするほど、画像周辺部を無視又は軽視して、画像中央部でより適合するように、露出が補正されるのである。
例えば、逆光シーン等の画面の中央部が暗く、周辺部が明るいシーンの画面の明るさを調整するといったことが可能である。
空間重み調整値は、負の方向に値が大きくなるほど画像領域間の重みを平均測光に近づけ、正の方向に値が大きくなるほど画像領域間の重みをスポット測光に近づける調整が可能である。
即ち、正の方向に値を大きくするほど、画像周辺部を無視又は軽視して、画像中央部でより適合するように、露出が補正されるのである。
例えば、逆光シーン等の画面の中央部が暗く、周辺部が明るいシーンの画面の明るさを調整するといったことが可能である。
【0050】
輝度の重み調整は、輝度についての重みである。
輝度重み調整値は、負の方向に値が大きくなるほど暗部の重みを上げ、正の方向に値が大きくなるほど明部の重みを上げる調整が可能である。
即ち、負の方向に値が大きくなるほど黒潰れを抑制して白飛びを容認する様に露出が補正され、正の方向に値を大きくするほど黒潰れを容認して白飛びを抑制する様に露出が補正されるのである。
例えば、晴天時の順光での空と建物の撮像シーンでは、既存の自動露出補正では、建物での反射による白飛びが生じがちであるので、かかる事態を想定して輝度重み調整値の値を正の方向に値を大きくするチューニングを追加するといったことが可能である。
輝度重み調整値は、負の方向に値が大きくなるほど暗部の重みを上げ、正の方向に値が大きくなるほど明部の重みを上げる調整が可能である。
即ち、負の方向に値が大きくなるほど黒潰れを抑制して白飛びを容認する様に露出が補正され、正の方向に値を大きくするほど黒潰れを容認して白飛びを抑制する様に露出が補正されるのである。
例えば、晴天時の順光での空と建物の撮像シーンでは、既存の自動露出補正では、建物での反射による白飛びが生じがちであるので、かかる事態を想定して輝度重み調整値の値を正の方向に値を大きくするチューニングを追加するといったことが可能である。
【0051】
ルールベース推論ＲＩは、３調整軸の各出力と、ブロック統計部３１が生成したヒストグラムＨＧ等との積から露出補正係数を出力する。
露光計算部４６は、露出補正係数と、重み生成部４０４が生成した多分割重みＭＷ等とに基づいて露光補正値を求める。
この様にすることにより、ルールの簡単な記述による複雑な露出調整が可能となる。
露光計算部４６は、露出補正係数と、重み生成部４０４が生成した多分割重みＭＷ等とに基づいて露光補正値を求める。
この様にすることにより、ルールの簡単な記述による複雑な露出調整が可能となる。
【0052】
図６は、図３のメンバーシップ関数の調整の概略を示すイメージ図である。
入力メンバーシップ関数６４については、入力メンバーシップ関数μ（Ｈｕｅ）６４Ｈを例に説明するが、特に断らない限り、他の特徴量又はシーンについての入力メンバーシップ関数についても同様である。
なお、入力メンバーシップ関数６４としては「μ（Ｓｋｙ）」、「μ（Ｂａｃｋｌｉｇｈｔ）」、「μ（Ｓａｔｕｒａｔｉｏｎ）」を他に図示しているが、これには限られず、全ての特徴量及びシーンについて入力メンバーシップ関数６４が提供されて良い。
入力メンバーシップ関数６４については、入力メンバーシップ関数μ（Ｈｕｅ）６４Ｈを例に説明するが、特に断らない限り、他の特徴量又はシーンについての入力メンバーシップ関数についても同様である。
なお、入力メンバーシップ関数６４としては「μ（Ｓｋｙ）」、「μ（Ｂａｃｋｌｉｇｈｔ）」、「μ（Ｓａｔｕｒａｔｉｏｎ）」を他に図示しているが、これには限られず、全ての特徴量及びシーンについて入力メンバーシップ関数６４が提供されて良い。
【0053】
メンバーシップ関数μ（Ｈｕｅ）６４Ｈは、横軸には特徴量「Ｈｕｅ」を、縦軸には度数を取る平面空間上に、各ファジー集合が取る値がプロットされる。
メンバーシップ関数６４Ｈにおいては、「ＲｅｄＳ」、「ＲｅｄＬ」、「Ｍａｇｅｎｔａ」、「Ｂｌｕｅ」、「Ｃｙａｎ」、「Ｇｒｅｅｎ」、「Ｙｅｌｌｏｗ」の６つのファジー集合が各１本の線として示されている。
メンバーシップ関数６４Ｈにおいては、「ＲｅｄＳ」、「ＲｅｄＬ」、「Ｍａｇｅｎｔａ」、「Ｂｌｕｅ」、「Ｃｙａｎ」、「Ｇｒｅｅｎ」、「Ｙｅｌｌｏｗ」の６つのファジー集合が各１本の線として示されている。
【0054】
ここで縦軸には度数を取る為、横軸上の如何なる位置においても、全てのファジー集合の縦軸の合計は「１」に保たれる。
即ち、或るファジー集合の縦軸が１である横軸上の位置では、他のファジー集合の縦軸の値は、全てゼロとなるし、どのファジー集合の縦軸も１に満たない横軸上の位置では、縦軸の値がゼロではないファジー集合は、必ず２以上存在する。
即ち、或るファジー集合の縦軸が１である横軸上の位置では、他のファジー集合の縦軸の値は、全てゼロとなるし、どのファジー集合の縦軸も１に満たない横軸上の位置では、縦軸の値がゼロではないファジー集合は、必ず２以上存在する。
【0055】
特徴量「Ｈｕｅ」については、色相についての値である為、ゼロ以上３６０未満の値を取るが、実際にはゼロと３６０は同値であり、３６０Ｈｕｅ以上については３６０Ｈｕｅ周期で無限に同じ値を繰り返すという他の特徴量には無い特殊性が存在する。
メンバーシップ関数μ（Ｈｕｅ）６４Ｈの例では、６つのファジー集合が１つずつ６０Ｈｕｅ間隔で度数１を取り、前後する２つのファジー集合が６０Ｈｕｅを掛けて、１次関数的な勾配で度数を入れ替えることを繰り返す例となっている。
メンバーシップ関数μ（Ｈｕｅ）６４Ｈの例では、６つのファジー集合が１つずつ６０Ｈｕｅ間隔で度数１を取り、前後する２つのファジー集合が６０Ｈｕｅを掛けて、１次関数的な勾配で度数を入れ替えることを繰り返す例となっている。
【0056】
チューニングパラメータは各変化点での値を示す数値の集合である。
メンバーシップ関数μ（Ｈｕｅ）６４Ｈの例においては、６個のファジー集合のチューニングパラメータは、６０Ｈｕｅ間隔で度数「１、０、０、０、０、０」、度数「０、１、０、０、０、０」、度数「０、０、１、０、０、０」の様に取れば良い。
変化点の間の区間は線形補完される。
この様にすることにより、入力メンバーシップ関数６４は数個程度の数値での定義でも連続関数として定義することができる。
メンバーシップ関数μ（Ｈｕｅ）６４Ｈの例においては、６個のファジー集合のチューニングパラメータは、６０Ｈｕｅ間隔で度数「１、０、０、０、０、０」、度数「０、１、０、０、０、０」、度数「０、０、１、０、０、０」の様に取れば良い。
変化点の間の区間は線形補完される。
この様にすることにより、入力メンバーシップ関数６４は数個程度の数値での定義でも連続関数として定義することができる。
【0057】
出力メンバーシップ関数６６については、出力メンバーシップ関数μ（ＷｅｉｇｈｔＲ）６６Ｒを例に説明するが、特に断らない限り、他の露出補正係数についての出力メンバーシップ関数についても同様である。
即ち、出力メンバーシップ関数６６は、絶対露出の調整値ＢｉａｓＰｖ、空間の重み調整値ＷｅｉｇｈｔＳ及び輝度の重み調整値ＷｅｉｇｈｔＲの３つについてそれぞれ定義される。
即ち、出力メンバーシップ関数６６は、絶対露出の調整値ＢｉａｓＰｖ、空間の重み調整値ＷｅｉｇｈｔＳ及び輝度の重み調整値ＷｅｉｇｈｔＲの３つについてそれぞれ定義される。
【0058】
出力メンバーシップ関数μ（ＷｅｉｇｈｔＲ）６６Ｒは、横軸には露出補正係数「ＷｅｉｇｈｔＲ」を、縦軸には度数を取る平面空間上に、各ファジー集合が取る値がプロットされる。
出力メンバーシップ関数６６Ｒにおいては、「Ｓ＿ＮＬ」、「Ｓ＿ＮＭ」、「Ｓ＿ＮＳ」、「Ｓ＿ＺＯ」、「Ｓ＿ＰＳ」、「Ｓ＿ＰＭ」、「Ｓ＿ＰＬ」の７つのファジー集合が各１本の線として示されている。
出力メンバーシップ関数６６Ｒにおいては、「Ｓ＿ＮＬ」、「Ｓ＿ＮＭ」、「Ｓ＿ＮＳ」、「Ｓ＿ＺＯ」、「Ｓ＿ＰＳ」、「Ｓ＿ＰＭ」、「Ｓ＿ＰＬ」の７つのファジー集合が各１本の線として示されている。
【0059】
即ち、或るファジー集合の縦軸が１である横軸上の位置では、他のファジー集合の縦軸の値は、全てゼロとなるし、どのファジー集合の縦軸も１に満たない横軸上の位置では、縦軸の値がゼロではないファジー集合は、必ず２以上存在する点は、入力メンバーシップ関数６４の場合と同様である。
【0060】
露出補正係数「ＷｅｉｇｈｔＲ」については、輝度方向についての重み値であって、－１以上１以下の値を取る。
出力メンバーシップ関数μ（ＷｅｉｇｈｔＲ）６６Ｒの例では、７個のファジー集合が１つずつ０．２ＷｅｉｇｈｔＲ間隔で度数１を取り、前後する２つのファジー集合が０．２ＷｅｉｇｈｔＲを掛けて、１次関数的な勾配で度数を入れ替えることを繰り返す例となっている。
出力メンバーシップ関数μ（ＷｅｉｇｈｔＲ）６６Ｒの例では、７個のファジー集合が１つずつ０．２ＷｅｉｇｈｔＲ間隔で度数１を取り、前後する２つのファジー集合が０．２ＷｅｉｇｈｔＲを掛けて、１次関数的な勾配で度数を入れ替えることを繰り返す例となっている。
【0061】
チューニングパラメータは各変化点での値を示す数値の集合である。
出力メンバーシップ関数μ（ＷｅｉｇｈｔＲ）６６Ｒの例においては、６個のファジー集合のチューニングパラメータは、０．２ＷｅｉｇｈｔＲ間隔で度数「０、１、０、０、０、０、０、０、０、０、０」、度数「０、０、１、０、０、０、０、０、０、０」、度数「０、０、０、１、０、０、０、０、０、０」の様に取れば良い。
変化点の間の区間は線形補完される。
この様にすることにより、出力メンバーシップ関数６６は数個程度の数値での定義でも連続関数として定義することができる。
この様にすることにより、ファジー化、デファジー化を容易に調整することができ、更には特徴量の表現がファジー化により人間が理解し易いものとなるので、自動露出補正のルールベースでのチューニングを、より直感的なものとすることができる。
出力メンバーシップ関数μ（ＷｅｉｇｈｔＲ）６６Ｒの例においては、６個のファジー集合のチューニングパラメータは、０．２ＷｅｉｇｈｔＲ間隔で度数「０、１、０、０、０、０、０、０、０、０、０」、度数「０、０、１、０、０、０、０、０、０、０」、度数「０、０、０、１、０、０、０、０、０、０」の様に取れば良い。
変化点の間の区間は線形補完される。
この様にすることにより、出力メンバーシップ関数６６は数個程度の数値での定義でも連続関数として定義することができる。
この様にすることにより、ファジー化、デファジー化を容易に調整することができ、更には特徴量の表現がファジー化により人間が理解し易いものとなるので、自動露出補正のルールベースでのチューニングを、より直感的なものとすることができる。
【0062】
【0063】
最初に、露光計算部４６は、空間の重み調整値ＳＷより、空間方向の重み表ＷＳを求める。
即ち、露光計算部４６は、多分割測光アルゴリズムによって生成された多分割重み表ベクトルＷＭに、空間の重み調整値ＳＷの値に応じて重みを混合して求める。
ここで、空間の重み調整値ＳＷが負の値又は等しい場合は、露光計算部４６は、平均測光の重み表と混合する。
或いは、空間の重み調整値ＳＷが正の値の場合は、露光計算部４６は、スポット測光の重み表と混合する。
即ち、露光計算部４６は、多分割測光アルゴリズムによって生成された多分割重み表ベクトルＷＭに、空間の重み調整値ＳＷの値に応じて重みを混合して求める。
ここで、空間の重み調整値ＳＷが負の値又は等しい場合は、露光計算部４６は、平均測光の重み表と混合する。
或いは、空間の重み調整値ＳＷが正の値の場合は、露光計算部４６は、スポット測光の重み表と混合する。
【0064】
＜＜輝度の重み調整値＞＞
次に、露光計算部４６は、輝度の重み調整値ＲＷより、輝度方向の重み表ベクトルＷＲを求める。
まず、露光計算部４６は、リファレンスとなる重み表算出のための係数ｋを統計の全ブロック毎に求め、次に、算出された係数ｋを元にして比率Ｒにより重み表を求める。
次に、露光計算部４６は、輝度の重み調整値ＲＷより、輝度方向の重み表ベクトルＷＲを求める。
まず、露光計算部４６は、リファレンスとなる重み表算出のための係数ｋを統計の全ブロック毎に求め、次に、算出された係数ｋを元にして比率Ｒにより重み表を求める。
【0065】
＜＜ｗｅｉｇｈｔＲ：ｋ＞＞
先ず、露光計算部４６は、輝度の重み調整値ＲＷが正の値の場合は高輝度になるほど重みが高くなるように係数ｋを設定し、輝度の重み調整値ＲＷが負の値の場合は低輝度になるほど重みが高くなるように係数ｋを設定する。ここで、高輝度領域、低輝度領域の閾値は、現在の統計平均輝度を基準とする。
次に、露光計算部４６は、多分割重み表ベクトルＷＭの各要素をｋ倍することで、ベースとなる重み表ベクトルＷｋを得る。多分割重みを基にする理由は、重みの急変化によるハンチングを防ぐためである。具体的には、ベースとなる重み表ベクトルＷｋの各多分割要素Ｗｋｉは、次の式（１）により表される。
Ｗｋｉ＝ｍｉｎ（（ＷＭｉ＋１）◇ｋｉ，重み上限値） ・・・（１）
ここで、ｉは統計のブロック要素を示すインデックスである。ここで演算子◇は、ベクトル同士の各多分割要素ｉについての乗算を意味するものとする。ＷＭ＝０のときに補正重みの効果が出ないことを防ぐために＋１として良い。
ここで、図７においては省いて表記しているが、（ＷＭｉ＋１）◇ｋｉが重み上限値を超える場合は、重み上限値でクリップする。
先ず、露光計算部４６は、輝度の重み調整値ＲＷが正の値の場合は高輝度になるほど重みが高くなるように係数ｋを設定し、輝度の重み調整値ＲＷが負の値の場合は低輝度になるほど重みが高くなるように係数ｋを設定する。ここで、高輝度領域、低輝度領域の閾値は、現在の統計平均輝度を基準とする。
次に、露光計算部４６は、多分割重み表ベクトルＷＭの各要素をｋ倍することで、ベースとなる重み表ベクトルＷｋを得る。多分割重みを基にする理由は、重みの急変化によるハンチングを防ぐためである。具体的には、ベースとなる重み表ベクトルＷｋの各多分割要素Ｗｋｉは、次の式（１）により表される。
Ｗｋｉ＝ｍｉｎ（（ＷＭｉ＋１）◇ｋｉ，重み上限値） ・・・（１）
ここで、ｉは統計のブロック要素を示すインデックスである。ここで演算子◇は、ベクトル同士の各多分割要素ｉについての乗算を意味するものとする。ＷＭ＝０のときに補正重みの効果が出ないことを防ぐために＋１として良い。
ここで、図７においては省いて表記しているが、（ＷＭｉ＋１）◇ｋｉが重み上限値を超える場合は、重み上限値でクリップする。
【0066】
＜＜輝度重み表ベクトルＷＲ＞＞
求められた重み表Ｗｋは、輝度の重み調整値を考慮していないため、最後に輝度の重み調整値の絶対値に応じて多分割重み表ベクトルＷＭと混合することにより、露光計算部４６は、輝度重み表ベクトルＷＲを求める。具体的には、輝度重み表ベクトルＷＲは、次の式（２）により表される。
ＷＲ＝Ｗｋ×｜輝度の重み調整値ＲＷ｜＋ＷＭ×（ｉ－｜輝度の重み調整値ＲＷ｜）
・・・（２）
求められた重み表Ｗｋは、輝度の重み調整値を考慮していないため、最後に輝度の重み調整値の絶対値に応じて多分割重み表ベクトルＷＭと混合することにより、露光計算部４６は、輝度重み表ベクトルＷＲを求める。具体的には、輝度重み表ベクトルＷＲは、次の式（２）により表される。
ＷＲ＝Ｗｋ×｜輝度の重み調整値ＲＷ｜＋ＷＭ×（ｉ－｜輝度の重み調整値ＲＷ｜）
・・・（２）
【0067】
＜＜混合＞＞
最後に、露光計算部４６は、空間方向の重み表ベクトルＷＳと、輝度方向の重み表ベクトルＷＲとを、それぞれ半分ずつの割合で混合して最終的な補正重み表ベクトルＷを得る。具体的には、補正重み表ベクトルＷは、次の式（３）により表される。
Ｗ＝（ＷＳ＋ＷＲ）／２ ・・・（３）
露光計算部４６は、この補正重み表ベクトルＷを使って、空間重み及び輝度重みによる露出補正値ｄｅｌｔａＰｖＷを求める。
最後に、露光計算部４６は、空間方向の重み表ベクトルＷＳと、輝度方向の重み表ベクトルＷＲとを、それぞれ半分ずつの割合で混合して最終的な補正重み表ベクトルＷを得る。具体的には、補正重み表ベクトルＷは、次の式（３）により表される。
Ｗ＝（ＷＳ＋ＷＲ）／２ ・・・（３）
露光計算部４６は、この補正重み表ベクトルＷを使って、空間重み及び輝度重みによる露出補正値ｄｅｌｔａＰｖＷを求める。
【0068】
＜＜ルールベース推論による最終露出補正値算出＞＞
ルールベース推論は所定の多分割の露出補正演算後に実行されるので、露光計算部４６は、所定の多分割の露出補正演算により算出された露出補正値をｄｅｌｔａＰｖＭｕｌｔｉとし、ルールベース推論によって算出された直接的な露出補正値ｄｅｌｔａＰｖと共に、最終的なルールベース推論による露出補正値ｄｅｌｔａＰｖＲＢＲを以下の式（４）により求める。
ｄｅｌｔａＰｖＲＢＲ＝ｂｉａｓＰｖ－（ｄｅｌｔａＰｖＷ－ｄｅｌｔａＰｖＭｕｌｔｉ） ・・・（４）
ここで、ｗｅｉｇｈｔＳ＝ｗｅｉｇｈｔＲ＝０のときにｄｅｌｔａＰｖＷ＝ｄｅｌｔａＰｖＭｕｌｔｉとなるものとする。
この様にすることにより、空間重みと輝度重みとに基づく最終的な露出補正値を算出することができるので、ルールの後件部を絶対露出と、空間重みと、輝度重みとを独立して定義すれば良いこととなり、簡易に直観的にルールリストを作成することができる。
ルールベース推論は所定の多分割の露出補正演算後に実行されるので、露光計算部４６は、所定の多分割の露出補正演算により算出された露出補正値をｄｅｌｔａＰｖＭｕｌｔｉとし、ルールベース推論によって算出された直接的な露出補正値ｄｅｌｔａＰｖと共に、最終的なルールベース推論による露出補正値ｄｅｌｔａＰｖＲＢＲを以下の式（４）により求める。
ｄｅｌｔａＰｖＲＢＲ＝ｂｉａｓＰｖ－（ｄｅｌｔａＰｖＷ－ｄｅｌｔａＰｖＭｕｌｔｉ） ・・・（４）
ここで、ｗｅｉｇｈｔＳ＝ｗｅｉｇｈｔＲ＝０のときにｄｅｌｔａＰｖＷ＝ｄｅｌｔａＰｖＭｕｌｔｉとなるものとする。
この様にすることにより、空間重みと輝度重みとに基づく最終的な露出補正値を算出することができるので、ルールの後件部を絶対露出と、空間重みと、輝度重みとを独立して定義すれば良いこととなり、簡易に直観的にルールリストを作成することができる。
【0069】
図８は、図２の自動露出制御部３２の第二の構成を示す図である。
自動露出制御部３２においては、シーン推定部６７とルールベース補正部４４とが機能する。
ルールベース補正部４４においては、ファジー化部６１と、推論部６２と、デファジー部６３とが機能する。
自動露出制御部３２においては、シーン推定部６７とルールベース補正部４４とが機能する。
ルールベース補正部４４においては、ファジー化部６１と、推論部６２と、デファジー部６３とが機能する。
【0070】
シーン推定部６７は、特徴量計算手段が計算した特徴量に基づいて、撮像シーンの各類型を推定し、類型毎の該当確率を出力する。
即ち、シーン推定部６７は、特徴量計算部４１が算出した入力特徴量に基づいて、撮像シーンの各類型を推定し、類型毎の該当確率を出力する。
撮像シーンの類型は、例えば、逆光シーン、花シーン、空シーン、屋内シーン等である。
即ち、シーン推定部６７は、特徴量計算部４１が算出した入力特徴量に基づいて、撮像シーンの各類型を推定し、類型毎の該当確率を出力する。
撮像シーンの類型は、例えば、逆光シーン、花シーン、空シーン、屋内シーン等である。
【0071】
これを実現する為に、ユーザは、事前に機械学習（例えばランダムフォレスト）により、入力特徴量から多数のクラスのシーンを確率的に推定するモデルを生成して、シーン推定部６７に適用して良い。
特徴量はカメラのハードウェア構成によって異なるため、シーン推定値を効率的に導くために、統計的手法（機械学習）を利用する。
この様にすることにより、ユーザは自力でモデルを生成する必要が無い為、労力を削減することができる。
これにより撮像実行時に各シーン類型の該当確率を得ることが可能となるので、ルールリスト６５におけるルールの具体的記述においては、入力特徴量に加えて、シーン確率が使えるようになり、より直観的なルールの記述が可能となる。
ルールの具体的記述においては、シーン確率と特徴量は併用できて良い。特徴量をそのまま使った方が、ルールの記述において良い場合があるからである。
特徴量はカメラのハードウェア構成によって異なるため、シーン推定値を効率的に導くために、統計的手法（機械学習）を利用する。
この様にすることにより、ユーザは自力でモデルを生成する必要が無い為、労力を削減することができる。
これにより撮像実行時に各シーン類型の該当確率を得ることが可能となるので、ルールリスト６５におけるルールの具体的記述においては、入力特徴量に加えて、シーン確率が使えるようになり、より直観的なルールの記述が可能となる。
ルールの具体的記述においては、シーン確率と特徴量は併用できて良い。特徴量をそのまま使った方が、ルールの記述において良い場合があるからである。
【0072】
本実施例におけるファジー化部６１は、更に、シーン推定部６７が出力した各シーン類型の該当確率についてもファジー化を行う点を除いては、上述した、自動露出制御部３２の第一の構成の場合の実施例と同様である。
推論部６２は、特徴量に基づいてルールベース推論により、露出制御機構に適用可能な露出パラメータの算出の基となる露出補正係数を決定する。
また、推論部６２は、シーン推定部６７が出力した各類型の該当確率にも基づいて露出補正係数又はファジー露出補正係数を決定する。
即ち、推論部６２は、入力された特徴量に加えてシーン推定部６７が出力した各類型の該当確率にも基づいてルールリスト６５のルールに従って露出補正係数又はファジー露出補正係数を決定する。
本実施例においては、ファジー化部６１がファジー化したファジー化特徴量及びシーン推定部６７が出力した各類型の該当確率に基づいて、ルールベース推論としてファジー推論を行い、ファジー露出補正係数を決定する。
推論部６２は、特徴量に基づいてルールベース推論により、露出制御機構に適用可能な露出パラメータの算出の基となる露出補正係数を決定する。
また、推論部６２は、シーン推定部６７が出力した各類型の該当確率にも基づいて露出補正係数又はファジー露出補正係数を決定する。
即ち、推論部６２は、入力された特徴量に加えてシーン推定部６７が出力した各類型の該当確率にも基づいてルールリスト６５のルールに従って露出補正係数又はファジー露出補正係数を決定する。
本実施例においては、ファジー化部６１がファジー化したファジー化特徴量及びシーン推定部６７が出力した各類型の該当確率に基づいて、ルールベース推論としてファジー推論を行い、ファジー露出補正係数を決定する。
【0073】
本実施例における入力メンバーシップ関数６４は、入力値に各シーン類型の該当確率が含まれる点及び出力値にシーン類型のファジー化した該当確率が含まれる点を除いては、上述した、自動露出制御部３２の第一の構成の場合の例と同様である。
【0074】
なお、本実施例におけるデファジー部６３及び出力メンバーシップ関数６６の働きについては、上述した、自動露出制御部３２の第一の構成の場合の例と同様であって良い。
ルールベースのみでチューニングをする場合、入力特徴量が多くなりがちで特徴量の意味付けも困難であり、人間によるルール記述には相当な訓練が必要であるが、この様にすることにより、機械学習をルールベース推論の入力変数の前処理として利用することができるので、チューニングを省力化することができ、かつ、容易とすることができる。
ルールベースのみでチューニングをする場合、入力特徴量が多くなりがちで特徴量の意味付けも困難であり、人間によるルール記述には相当な訓練が必要であるが、この様にすることにより、機械学習をルールベース推論の入力変数の前処理として利用することができるので、チューニングを省力化することができ、かつ、容易とすることができる。
【0075】
図９は、シーン推定部６７に適用する推定モデルにおける各シーン分類についての各平均特徴量の具体的一例を示す図である。
上述した様に、撮像シーンの各シーン類型への該当確率を使ってルールを記述することを可能にする為、シーン推定部６７においては、入力特徴量に基づいて、撮像シーンの各類型（人間にとって意味のあるシーンクラス）を確率的に推定し、それシーンクラス毎の該当確率を出力させる。
この為に、シーン推定部６７においては、特徴量を入力パラメータとする、各シーン類型への該当確率を推定する為の推定モデルであるシーン確率推定モデルが適用される。
上述した様に、撮像シーンの各シーン類型への該当確率を使ってルールを記述することを可能にする為、シーン推定部６７においては、入力特徴量に基づいて、撮像シーンの各類型（人間にとって意味のあるシーンクラス）を確率的に推定し、それシーンクラス毎の該当確率を出力させる。
この為に、シーン推定部６７においては、特徴量を入力パラメータとする、各シーン類型への該当確率を推定する為の推定モデルであるシーン確率推定モデルが適用される。
【0076】
シーン確率の推定の為には、入力パラメータである特徴量の数が、シーンクラス数に対して多い程、精度の良いシーン確率推定が容易となる。
図９に示す例では、８のシーン類型に対する１７の特徴量の各平均値が示されている。
図９に示す例では、８のシーン類型に対する１７の特徴量の各平均値が示されている。
【0077】
この例においては、例えばシーンクラス「ＢｒｉｃｋＷａｌｌ」であれば特徴量「ＩＮ＿ｈｕｅ」、特徴量「ＩＮ＿ｓｋｙ」，特徴量「ＩＮ＿ｌｏｗ」及び特徴量「ＩＮ＿ｃｏｎｔｒａｓｔ」が他のシーンクラスと比較して低く、特徴量「ＩＮ＿ｍｉｄｄｌｅ」は他のシーンクラスと比較して高い為、その様な傾向に合致するパラメータであるかによって、シーンクラス「ＢｒｉｃｋＷａｌｌ」に該当する確率を高く推定する。
この様にすることにより、既存の特徴量からでもシーンクラスを十分に推定することができるので、人間にとって意味付けの困難な特徴量を採用する必要が無く、ルールの記述に熟練を要しないこととなる。
この様にすることにより、既存の特徴量からでもシーンクラスを十分に推定することができるので、人間にとって意味付けの困難な特徴量を採用する必要が無く、ルールの記述に熟練を要しないこととなる。
【0078】
図１０は、図９の推定モデルを適用したクラス確率推定の例を示す図である。
図９の推定モデルでは、シーンクラス数は８であったので、その夫々の確率は８個存在し、これを合計すると、その和は１となる。
図１０（Ａ）は、シーンクラス「ＦｌｏｗｅｒＳｏｉｌ」に該当する確率が高いと推定された画像の具体例である。
ただし、その該当確率は０．２２７と４分の１以下に留まっており、他のシーンクラスにもある程度該当するとされた例である。
図９の推定モデルでは、シーンクラス「ＦｌｏｗｅｒＳｏｉｌ」は、特徴量「ＩＮ＿ｇｒａｄｉｅｎｔＹ」，特徴量「ＩＮ＿ｇｒａｄｉｅｎｔＲＢ」が他のシーンクラスと比較して高い為、その様な傾向に合致するパラメータであるかによって、シーンクラス「ＦｌｏｗｅｒＳｏｉｌ」に該当する確率を高く推定する。
図９の推定モデルでは、シーンクラス数は８であったので、その夫々の確率は８個存在し、これを合計すると、その和は１となる。
図１０（Ａ）は、シーンクラス「ＦｌｏｗｅｒＳｏｉｌ」に該当する確率が高いと推定された画像の具体例である。
ただし、その該当確率は０．２２７と４分の１以下に留まっており、他のシーンクラスにもある程度該当するとされた例である。
図９の推定モデルでは、シーンクラス「ＦｌｏｗｅｒＳｏｉｌ」は、特徴量「ＩＮ＿ｇｒａｄｉｅｎｔＹ」，特徴量「ＩＮ＿ｇｒａｄｉｅｎｔＲＢ」が他のシーンクラスと比較して高い為、その様な傾向に合致するパラメータであるかによって、シーンクラス「ＦｌｏｗｅｒＳｏｉｌ」に該当する確率を高く推定する。
【0079】
図１０（Ｂ）は、シーンクラス「ＳｋｙＢｕｉｌｄｉｎｇ」に該当する確率が高いと推定された画像の具体例である。
その該当確率は０．４８２と５割に近い高さであるが、シーンクラス「ＳｋｙＢｕｉｌｄｉｎｇ＿Ｂａｃｋｌｉｇｈｔ」についても０．３０９と３割以上該当するとされた例である。
図９の推定モデルでは、シーンクラス「ＳｋｙＢｕｉｌｄｉｎｇ」及びシーンクラス「ＳｋｙＢｕｉｌｄｉｎｇ＿Ｂａｃｋｌｉｇｈｔ」は、特徴量「ＩＮ＿Ｓｋｙ」，特徴量「ＩＮ＿Ｂａｃｋｌｉｇｈｔ」が他のシーンクラスと比較して高く、特徴量「ＩＮ＿ｇｒａｄｉｅｎｔＲＢ」が他のシーンクラスと比較して低い為、その様な傾向に合致するパラメータであるかによって、シーンクラス「ＳｋｙＢｕｉｌｄｉｎｇ」及びシーンクラス「ＳｋｙＢｕｉｌｄｉｎｇ＿Ｂａｃｋｌｉｇｈｔ」に該当する確率を高く推定する。
その該当確率は０．４８２と５割に近い高さであるが、シーンクラス「ＳｋｙＢｕｉｌｄｉｎｇ＿Ｂａｃｋｌｉｇｈｔ」についても０．３０９と３割以上該当するとされた例である。
図９の推定モデルでは、シーンクラス「ＳｋｙＢｕｉｌｄｉｎｇ」及びシーンクラス「ＳｋｙＢｕｉｌｄｉｎｇ＿Ｂａｃｋｌｉｇｈｔ」は、特徴量「ＩＮ＿Ｓｋｙ」，特徴量「ＩＮ＿Ｂａｃｋｌｉｇｈｔ」が他のシーンクラスと比較して高く、特徴量「ＩＮ＿ｇｒａｄｉｅｎｔＲＢ」が他のシーンクラスと比較して低い為、その様な傾向に合致するパラメータであるかによって、シーンクラス「ＳｋｙＢｕｉｌｄｉｎｇ」及びシーンクラス「ＳｋｙＢｕｉｌｄｉｎｇ＿Ｂａｃｋｌｉｇｈｔ」に該当する確率を高く推定する。
【0080】
図１０（Ｃ）は、シーンクラス「Ｇｒｅｅｎ」に該当する確率が高いと推定された画像の具体例である。
その該当確率は０．３８０と４割に近い高さとされた例である。
図９の推定モデルでは、シーンクラス「Ｇｒｅｅｎ」は、特徴量「ＩＮ＿ＭａｘＹ」，特徴量「ＩＮ＿Ｂａｃｋｌｉｇｈｔ」，特徴量「ＩＮ＿ｏｖｅｒｅｘｐ」，特徴量「ＩＮ＿ｈｉｇｈ」，特徴量「ＩＮ＿ｓｅｐａｒａｂｉｌｉｔｙ」が他のシーンクラスと比較して低く、特徴量「ＩＮ＿ｓａｔｕｒａｔｉｏｎ」が他のシーンクラスと比較して高い為、その様な傾向に合致するパラメータであるかによって、シーンクラス「Ｇｒｅｅｎ」に該当する確率を高く推定する。
この様にすることにより、シーンクラスを連続値で確率的に推定することができるので、スムースな露出制御が可能となる。
その該当確率は０．３８０と４割に近い高さとされた例である。
図９の推定モデルでは、シーンクラス「Ｇｒｅｅｎ」は、特徴量「ＩＮ＿ＭａｘＹ」，特徴量「ＩＮ＿Ｂａｃｋｌｉｇｈｔ」，特徴量「ＩＮ＿ｏｖｅｒｅｘｐ」，特徴量「ＩＮ＿ｈｉｇｈ」，特徴量「ＩＮ＿ｓｅｐａｒａｂｉｌｉｔｙ」が他のシーンクラスと比較して低く、特徴量「ＩＮ＿ｓａｔｕｒａｔｉｏｎ」が他のシーンクラスと比較して高い為、その様な傾向に合致するパラメータであるかによって、シーンクラス「Ｇｒｅｅｎ」に該当する確率を高く推定する。
この様にすることにより、シーンクラスを連続値で確率的に推定することができるので、スムースな露出制御が可能となる。
【0081】
以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0082】
例えば、推論部６２が行うルールベース推論は、上述したファジー推論に限られず、様々なルールベース推論の手法を採用することができる。
また、露光計算部４６が、露光計算に用いる参照輝度レベルは、撮像に際して外部から取得して良く、事前に取得又は設定して記憶させたもので良く、撮像に際して生成したもので良い。
また、露光計算部４６が、露光計算に用いる参照輝度レベルは、撮像に際して外部から取得して良く、事前に取得又は設定して記憶させたもので良く、撮像に際して生成したもので良い。
【0083】
また、入力メンバーシップ関数６４及び出力メンバーシップ関数６６は、線形補完により変化点から連続関数に変換しているが、２次関数やより高次の関数での補完であって良い。
また、デファジー部６３が行うデファジー手法は、上述した重心法に限られず、具体的な露出補正係数を決定可能な、様々なデファジー手法を採用することができる。
また、デファジー部６３が行うデファジー手法は、上述した重心法に限られず、具体的な露出補正係数を決定可能な、様々なデファジー手法を採用することができる。
【0084】
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足りる。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足りる。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0085】
また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0086】
また例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
【0087】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0088】
以上を換言すると、本発明が適用される電子機器は、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される電子機器は、
露出制御機構（例えば、図１のドライバＤ、画像センサＳ）に適用可能な露出パラメータ（例えば、図２のシャッター速度値Ｔｖ、センサ利得値Ｓｖ、絞り開度値Ａｖ）の算出の基となる特徴量（例えば、図９の特徴量ＦＭ）を計算する特徴量計算手段（例えば、図２の特徴量計算部４１）を備える電子機器において、
前記特徴量に基づいてルールベース推論（例えば、図５のルールベース推論ＲＩ）により、前記露出制御機構に適用可能な露出パラメータの算出の基となる露出補正係数を決定するルールベース推論手段（例えば、図３の推論部６２）、
を備える電子機器であれば足りる。
即ち、本発明が適用される電子機器は、
露出制御機構（例えば、図１のドライバＤ、画像センサＳ）に適用可能な露出パラメータ（例えば、図２のシャッター速度値Ｔｖ、センサ利得値Ｓｖ、絞り開度値Ａｖ）の算出の基となる特徴量（例えば、図９の特徴量ＦＭ）を計算する特徴量計算手段（例えば、図２の特徴量計算部４１）を備える電子機器において、
前記特徴量に基づいてルールベース推論（例えば、図５のルールベース推論ＲＩ）により、前記露出制御機構に適用可能な露出パラメータの算出の基となる露出補正係数を決定するルールベース推論手段（例えば、図３の推論部６２）、
を備える電子機器であれば足りる。
【0089】
ここで、前記電子機器は、
前記特徴量計算手段が計算した前記特徴量をファジー化によりファジー化特徴量とするファジー化手段（例えば、図３のファジー化部６１）と、
前記ルールベース推論手段が決定したファジー露出補正係数を、前記露出補正係数に非デファジー化するデファジー手段（例えば、図３のデファジー部６３）と、
を更に備え
前記ルールベース推論手段は、前記ファジー化手段がファジー化した前記ファジー化特徴量に基づいて前記ルールベース推論としてファジー推論を行い、前記ファジー露出補正係数を決定する。
前記特徴量計算手段が計算した前記特徴量をファジー化によりファジー化特徴量とするファジー化手段（例えば、図３のファジー化部６１）と、
前記ルールベース推論手段が決定したファジー露出補正係数を、前記露出補正係数に非デファジー化するデファジー手段（例えば、図３のデファジー部６３）と、
を更に備え
前記ルールベース推論手段は、前記ファジー化手段がファジー化した前記ファジー化特徴量に基づいて前記ルールベース推論としてファジー推論を行い、前記ファジー露出補正係数を決定する。
【0090】
ここで、前記電子機器は、
前記ルールベース推論手段は、前記露出補正係数又は前記ファジー露出補正係数として全体露出値（例えば、図５のＧＢ）、空間重み値（例えば、図５のＳＷ）及び輝度重み値（例えば、図５のＲＷ）を決定し、
前記露出補正係数に基づいて露光計算をする露光計算手段（例えば、図２の露光計算部４６）を更に備える。
前記ルールベース推論手段は、前記露出補正係数又は前記ファジー露出補正係数として全体露出値（例えば、図５のＧＢ）、空間重み値（例えば、図５のＳＷ）及び輝度重み値（例えば、図５のＲＷ）を決定し、
前記露出補正係数に基づいて露光計算をする露光計算手段（例えば、図２の露光計算部４６）を更に備える。
【0091】
ここで、前記電子機器は、
分割測光要素を集合させて構成した多分割測光重み表（例えば、図５の多分割重みＭＷ）を算出する多分割測光重み表算出手段（例えば、図２の重み生成部４０４）を更に備え、
前記露光計算手段は、前記空間重みにより得られる重み表と前記多分割測光重み表とを混合して得た空間重み表（例えば、図７の空間方向の重み表ベクトルＷＳ）と、前記輝度重みを各前記分割測光要素に適用して算出した輝度重み表（例えば、図７の輝度方向の重み表ベクトルＷＲ）とを混合して得た重み表（例えば、図７の補正重み表ベクトルＷ）を決定する。
分割測光要素を集合させて構成した多分割測光重み表（例えば、図５の多分割重みＭＷ）を算出する多分割測光重み表算出手段（例えば、図２の重み生成部４０４）を更に備え、
前記露光計算手段は、前記空間重みにより得られる重み表と前記多分割測光重み表とを混合して得た空間重み表（例えば、図７の空間方向の重み表ベクトルＷＳ）と、前記輝度重みを各前記分割測光要素に適用して算出した輝度重み表（例えば、図７の輝度方向の重み表ベクトルＷＲ）とを混合して得た重み表（例えば、図７の補正重み表ベクトルＷ）を決定する。
【0092】
ここで、前記電子機器は、
前記特徴量計算手段が計算した前記特徴量に基づいて、撮像シーンの各類型（例えば、図９のシーンクラスＳＣ）を推定し、類型毎の該当確率を出力するシーン類型推定手段（例えば、図８のシーン推定部６７）、
を更に備え、
前記ルールベース推論手段は、前記シーン類型推定手段が出力した前記各類型の前記該当確率にも基づいて前記露出補正係数又は前記ファジー露出補正係数を決定する。
前記特徴量計算手段が計算した前記特徴量に基づいて、撮像シーンの各類型（例えば、図９のシーンクラスＳＣ）を推定し、類型毎の該当確率を出力するシーン類型推定手段（例えば、図８のシーン推定部６７）、
を更に備え、
前記ルールベース推論手段は、前記シーン類型推定手段が出力した前記各類型の前記該当確率にも基づいて前記露出補正係数又は前記ファジー露出補正係数を決定する。
【0093】
これにより、直感的かつ、ＡＥコアアルゴリズムを理解不要で、原則として既存パラメータとの競合を考慮する必要が無く、インターフェースを統一できる自動露出補正のチューニングを実現することができる。
【符号の説明】
【0094】
１・・・電子機器、１１・・・黒レベル補正部、１２・・・欠陥ピクセル補正部、１３・・・レンズ陰影補正部、１４・・・ノイズ除去部、１５・・・ホワイトバランス調整部、１６・・・デモザイク処理部、１７・・・色補正部、１８・・・ガンマ補正部、１９・・・色空間変換部、２０・・・境界強調部、２１・・・エンコード部、３１・・・ブロック統計部、３２・・・自動露出制御部、３３・・・自動ホワイトバランス部、４１・・・特徴量計算部、４２・・・測光コア、４３・・・加算器、４４・・・ルールベース補正部、４５・・・加算器、４６・・・露光計算部、４７・・・ローパスフィルタ、４８・・・露光ダイアグラム生成部、４９・・・シーン推定部、６１・・・ファジー化部、６２・・・推論部、６３・・・デファジー部、６４・・・入力メンバーシップ関数、入力メンバーシップ関数μ（Ｈｕｅ）・・・６４Ｈ、６５・・・ルールリスト、６６・・・出力メンバーシップ関数、６６Ｒ・・・出力メンバーシップ関数μ（ＷｅｉｇｈｔＲ）、６７・・・シーン推定部、４０１・・・全体補正部、４０２・・・局所補正部、４０３・・・適応重みマップ生成部、４０４・・・重み生成部、４０５・・・乗算器、Ａ・・・絞り、Ａｖ・・・絞り開度値、Ｄ・・・ドライバ、ＨＧ・・・ヒストグラム、Ｌ・・・レンズ、Ｍ・・・アクチュエータ、ＭＷ・・・多分割重み、ＲＩ・・・ルールベース推論、Ｓ・・・画像センサ、Ｓｖ・・・センサ利得値、Ｔｖ・・・シャッター速度値、Ｗ・・・補正重み表ベクトル、ＷＭ・・・多分割重みベクトル、ＷＳ・・・空間方向の重み表、ＷＲ・・・輝度方向の重み表ベクトル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
