知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-04
(45)【発行日】2024-01-15
(54)【発明の名称】画像処理装置、画像処理方法およびプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240105BHJP
H04N 23/70 20230101ALI20240105BHJP
G06T 3/00 20240101ALI20240105BHJP
G06T 5/92 20240101ALI20240105BHJP
【ＦＩ】
H04N23/60 500
H04N23/70
G06T3/00
G06T5/00 740
【請求項の数】
13
(21)【出願番号】P 2019145945
(22)【出願日】2019-08-08
(65)【公開番号】P2021027535
(43)【公開日】2021-02-22
【審査請求日】2022-07-12
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100109380
【弁理士】
【氏名又は名称】小西 恵
(74)【代理人】
【識別番号】100109036
【弁理士】
【氏名又は名称】永岡 重幸
(72)【発明者】
【氏名】金子 成悟
【審査官】高野 美帆子
(56)【参考文献】
【文献】国際公開第２０１８／１５４９６５（ＷＯ，Ａ１）
【文献】特開２０１４－１３５６２７（ＪＰ，Ａ）
【文献】特開２００８－２７６０１７（ＪＰ，Ａ）
【文献】特開２０１７－０１１６３４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ２３／７０
Ｇ０６Ｔ ３／００
Ｇ０６Ｔ ５／００
(57)【特許請求の範囲】
【請求項1】
可視光による像を撮像した第１の画像と非可視光による像を撮像した第２の画像とを取得する取得手段と、前記第１の画像の輝度に基づいて、前記第２の画像の輝度を、前記第１の画像の輝度と前記第２の画像の輝度との輝度差が低減されるように補正する補正手段と、
前記補正手段により輝度が補正された前記第２の画像と、前記第１の画像の色情報とを合成して合成画像を生成する生成手段とを備え、
前記生成手段は、前記第２の画像のコントラストが前記第１の画像のコントラストよりも高い場合に、前記補正手段による前記第２の画像の輝度補正を適用せずに前記合成画像を生成することを特徴とする画像処理装置。
【請求項2】
前記第１の画像の輝度差に基づいて、前記第１の画像および前記第２の画像から複数の領域を検出し、前記第１の画像の輝度および前記第２の画像の輝度を前記複数の領域毎に算出する算出手段をさらに備え、前記補正手段は、前記第１の画像の輝度と前記第２の画像の輝度との輝度差が低減されるように前記第２の画像の輝度を前記複数の領域毎に補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記算出手段は、前記第１の画像と前記第２の画像との輝度の比に基づいて、前記複数の領域毎に補正値を算出し、前記補正手段は、前記補正値に基づいて前記第２の画像の輝度を前記複数の領域毎に補正する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項4】
前記補正手段は、前記第２の画像の平均輝度を前記第１の画像の平均輝度に近付けるように、前記第２の画像の輝度を補正することを特徴とする請求項２に記載の画像処理装置。
【請求項5】
前記補正手段は、前記第２の画像の所定の領域の輝度が、前記第１の画像における所定の領域に対応する領域の輝度に近づくように、前記第２の画像を露出調整し、露出調整された前記第２の画像の輝度を前記複数の領域毎に補正することを特徴とする請求項２に記載の画像処理装置。
【請求項6】
前記補正手段は、前記複数の領域のうち、最もサイズの大きい領域を前記所定の領域に設定することを特徴とする請求項５に記載の画像処理装置。
【請求項7】
前記補正手段は、前記複数の領域のうち、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）の評価枠が設定された領域を前記所定の領域に設定することを特徴とする請求項５に記載の画像処理装置。
【請求項8】
前記複数の領域のうち、前記第２の画像のコントラストが前記第１の画像のコントラストを超えない領域を、前記第２の画像中で前記輝度を補正すべき領域として選択する選択手段をさらに備えることを特徴とする請求項２から７のいずれか１項に記載の画像処理装置。
【請求項9】
前記複数の領域のうち、前記第１の画像と前記第２の画像との双方で検出された領域を、前記第２の画像中で前記輝度を補正すべき領域として選択する選択手段をさらに備えることを特徴とする請求項２から７のいずれか１項に記載の画像処理装置。
【請求項10】
前記複数の領域のうち、前記第１の画像中で平均輝度が所定の閾値内にある領域に対応する前記第２の画像の領域を、前記第２の画像中で前記輝度を補正すべき領域として選択する選択手段をさらに備えることを特徴とする請求項２から７のいずれか１項に記載の画像処理装置。
【請求項11】
前記生成手段により生成された前記合成画像と、前記補正手段により輝度補正される前の前記第２の画像の少なくとも一部とを、表示装置上に並列表示させる表示制御手段をさらに備えることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項12】
可視光による像を撮像した第１の画像と非可視光による像を撮像した第２の画像とを取得するステップと、前記第１の画像の輝度に基づいて、前記第２の画像の輝度を、前記第２の画像の輝度差が前記第１の画像の輝度差に近づくように補正するステップと、
輝度が補正された前記第２の画像と、前記第１の画像の色情報とを合成して合成画像を生成するステップとを含み、
前記生成するステップにおいては、前記第２の画像のコントラストが前記第１の画像のコントラストよりも高い場合に、前記補正するステップによる前記第２の画像の輝度補正を適用せずに前記合成画像が生成されることを特徴とする画像処理装置の制御方法。
【請求項13】
コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、波長帯域の異なる複数の撮像画像を合成可能な画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
被写体を可視光および赤外光によりそれぞれ撮像して得られる画像を合成して出力する撮像装置がある。この種の撮像装置は、例えば、低照度の下等で、より高感度なカラー画像を取得するために利用されている。
特許文献１は、可視光帯域の波長成分のみからなるカラー画像データと、可視光帯域の波長成分を含まず可視光帯域以外の波長成分のみからなるモノクロ画像データとを合成して合成画像データを生成する画像処理装置を開示する。
具体的には、特許文献１の画像処理装置は、カラー画像データから色情報を抽出するとともにモノクロ画像データから輝度情報を抽出し、カラー画像データの色情報とモノクロ画像データの輝度情報とを合成することにより、合成画像データを生成する。
特許文献１は、可視光帯域の波長成分のみからなるカラー画像データと、可視光帯域の波長成分を含まず可視光帯域以外の波長成分のみからなるモノクロ画像データとを合成して合成画像データを生成する画像処理装置を開示する。
具体的には、特許文献１の画像処理装置は、カラー画像データから色情報を抽出するとともにモノクロ画像データから輝度情報を抽出し、カラー画像データの色情報とモノクロ画像データの輝度情報とを合成することにより、合成画像データを生成する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１１－２３９２５９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、合成されるべきカラー画像データとモノクロ画像データとでは、撮像する光の波長帯域が異なる。このため、照明や被写体の反射率の分光特性等に起因して、カラー画像データとモノクロ画像データとの間で、画像内の輝度情報に乖離が発生する場合があった。例えば、カラー画像では明るく撮像できている画像内のある領域が、モノクロ画像では暗く撮像されてしまい、当該領域において、カラー画像とモノクロ画像とで輝度情報が乖離してしまうという現象があった。
【0005】
ここで、特許文献１の画像処理装置が生成する合成画像では、上記のとおり、カラー画像データの色情報と合成されるのは、可視光帯域以外の波長成分と持つモノクロ画像データの輝度情報である。このため、合成画像においては、カラー画像の輝度情報とは乖離した輝度情報を持つ領域が発生しかねない。
このように、合成画像がカラー画像の輝度情報と乖離した輝度情報を持つ領域を含むことにより、当該領域では、人の視覚領域に近い可視画像であるカラー画像の輝度情報とは異なる輝度情報で画像が合成されてしまう。したがって、合成画像における色の再現性が低下し、合成画像を見るユーザに違和感を与えるおそれがあった。
このように、合成画像がカラー画像の輝度情報と乖離した輝度情報を持つ領域を含むことにより、当該領域では、人の視覚領域に近い可視画像であるカラー画像の輝度情報とは異なる輝度情報で画像が合成されてしまう。したがって、合成画像における色の再現性が低下し、合成画像を見るユーザに違和感を与えるおそれがあった。
【0006】
本発明は上記課題を解決するためになされたものであり、その目的は、可視光画像と非可視光画像とを合成する際に、色の再現性の低下を抑制することが可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明に係る画像処理装置は、可視光による像を撮像した第１の画像と非可視光による像を撮像した第２の画像とを取得する取得手段と、前記第１の画像の輝度に基づいて、前記第２の画像の輝度を、前記第１の画像の輝度と前記第２の画像の輝度との輝度差が低減されるように補正する補正手段と、前記補正手段により輝度が補正された前記第２の画像と、前記第１の画像の色情報とを合成して合成画像を生成する生成手段とを備える。
【発明の効果】
【0008】
本発明によれば、可視光画像と非可視光画像とを合成する際に、色の再現性の低下を抑制することができる。
【図面の簡単な説明】
【0009】
【図1】実施形態１に係る撮像装置のハードウエアおよび機能構成の一例を示すブロック図。
【図2】赤外画像と可視画像とのそれぞれの輝度の一例を示す図。
【図4】実施形態１に係る撮像装置が実行する領域別輝度補正および画像合成の処理手順の一例を示すフローチャート。
【図5】実施形態１における輝度補正後の赤外画像の輝度の一例を示す図。
【図7】実施形態２に係る撮像装置が実行する領域別輝度補正および画像合成の処理手順の一例を示すフローチャート。
【図8】領域Ｃに赤外特有の情報を有する赤外画像および対応する可視画像のそれぞれの輝度の一例を示す図。
【図9】実施形態３に係る撮像装置が実行する領域別輝度補正および画像合成の処理手順の一例を示すフローチャート。
【図11】領域Ｂに赤外特有の情報を有する赤外画像および対応する可視画像のそれぞれの輝度の一例を示す図。
【図12】実施形態４に係る撮像装置が実行する領域別輝度補正および画像合成の処理手順の一例を示すフローチャート。
【図14】実施形態５に係る撮像装置が出力する合成画像および輝度補正前の赤外画像の並列表示の一例を示す図。
【図15】実施形態５に係る撮像装置が出力する合成画像および輝度補正前の切り出し赤外画像の並列表示の一例を示す図。
【図16】実施形態５に係る撮像装置が出力する合成モード選択表示の一例を示す図。
【図17】各実施形態に係る画像処理装置のハードウエア構成の一例を示すブロック図。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【0011】
以下、本実施形態に係る画像処理装置が撮像装置に実装される例を説明するが、本実施形態はこれに限定されない。例えば、画像処理装置は、１つ以上の撮像装置により撮像された画像を取得して、合成画像を生成してもよい。
また、以下、画像処理機能を備える撮像装置が、可視光で撮像されたカラー画像データ（以下、「可視画像」ともいう）と赤外光で撮像されたモノクロ画像データ（以下、「赤外画像」ともいう）とを合成して合成画像を生成する例を説明する。しかしながら、本実施形態における撮像画像の波長帯域や帯域幅は特に限定されない。
また、以下、画像処理機能を備える撮像装置が、可視光で撮像されたカラー画像データ（以下、「可視画像」ともいう）と赤外光で撮像されたモノクロ画像データ（以下、「赤外画像」ともいう）とを合成して合成画像を生成する例を説明する。しかしながら、本実施形態における撮像画像の波長帯域や帯域幅は特に限定されない。
【0012】
（実施形態１）
＜本実施形態のハードウエアおよび機能構成＞
図１は、本実施形態に係る撮像装置のハードウエアおよび機能構成の一例を示す図である。
図１に示す撮像装置１は、少なくとも２つの異なる波長帯域による像を撮像することができる。以下、第１の波長帯域を可視光帯域、第２の波長帯域を赤外光帯域として説明する。
図１の撮像装置１は、レンズ１１、ビームスプリッタ１２、可視光用イメージセンサ１３、赤外光用イメージセンサ１４、色空間変換部１５、領域別輝度算出部１６、輝度補正部１７、および映像信号合成部１８を備える。
＜本実施形態のハードウエアおよび機能構成＞
図１は、本実施形態に係る撮像装置のハードウエアおよび機能構成の一例を示す図である。
図１に示す撮像装置１は、少なくとも２つの異なる波長帯域による像を撮像することができる。以下、第１の波長帯域を可視光帯域、第２の波長帯域を赤外光帯域として説明する。
図１の撮像装置１は、レンズ１１、ビームスプリッタ１２、可視光用イメージセンサ１３、赤外光用イメージセンサ１４、色空間変換部１５、領域別輝度算出部１６、輝度補正部１７、および映像信号合成部１８を備える。
【0013】
レンズ１１は、可視光および赤外光を含む外光を透過させ、ビームスプリッタ１２を介して、後段のイメージセンサへ入射させる。
ビームスプリッタ１２は、可視光を透過させるとともに赤外光を垂直方向に反射させることで可視光と赤外光を分離し、可視光を可視光用イメージセンサ１３に、赤外光を赤外光用イメージセンサ１４へ、それぞれ入射させる。
ビームスプリッタ１２は、可視光を透過させるとともに赤外光を垂直方向に反射させることで可視光と赤外光を分離し、可視光を可視光用イメージセンサ１３に、赤外光を赤外光用イメージセンサ１４へ、それぞれ入射させる。
【0014】
可視光イメージセンサ１３は、可視光成分（波長４００ｎｍ～７５０ｎｍ）に、赤外光イメージセンサ１４は、赤外光成分（波長７５０ｎｍ～１０００ｎｍ）に、それぞれ感度を有している。可視光成分と赤外光成分との映像信号処理につき、以下それぞれ説明する。
【0015】
可視光イメージセンサ１３は、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルタを有し、ビームスプリッタ１２を透過した可視光にこれらのカラーフィルタを透過させることにより、各波長成分（Ｒ，Ｇ，Ｂ）の可視映像信号を出力する。
色空間変換部１５は、可視光イメージセンサ１３から入射する可視光を、可視光の輝度情報（以下、「可視輝度情報」という）Ｙｖｒおよび色差情報Ｃｖｒに変換する色空間変換処理を実行する。色空間変換部１５は、可視輝度情報Ｙｖｒを領域別輝度算出部１６へ供給するとともに、色差情報Ｃｖｒを映像信号合成部１８へ供給する。
色空間変換部１５は、可視光イメージセンサ１３から入射する可視光を、可視光の輝度情報（以下、「可視輝度情報」という）Ｙｖｒおよび色差情報Ｃｖｒに変換する色空間変換処理を実行する。色空間変換部１５は、可視輝度情報Ｙｖｒを領域別輝度算出部１６へ供給するとともに、色差情報Ｃｖｒを映像信号合成部１８へ供給する。
【0016】
領域別輝度算出部１６は、色空間変換部１５から供給される可視輝度情報Ｙｖｒに基づいて、赤外光用イメージセンサ１４から供給される赤外光の輝度情報（以下、「赤外輝度情報」という）Ｙｉｒを補正する補正値Ｘを画像の領域ごとに算出する。算出された補正値Xは、輝度補正部１７へ供給される。
輝度補正部１７は、領域別輝度算出部１６から供給される領域別の輝度補正値Ｘに基づいて、赤外光用イメージセンサ１４から供給される赤外輝度情報Ｙｉｒを補正し、補正後の赤外輝度情報Ｙｉｒｃを映像信号合成部１８へ供給する。
映像信号合成部１８は、色空間変換部１５から供給される色差情報Ｃｖｒと、輝度補正部１７から供給される補正後の赤外輝度情報Ｙｉｒｃとを合成して、合成画像を出力する。上記の赤外光（赤外画像）の輝度情報の補正処理の詳細は、図２～図４を参照して後述する。
輝度補正部１７は、領域別輝度算出部１６から供給される領域別の輝度補正値Ｘに基づいて、赤外光用イメージセンサ１４から供給される赤外輝度情報Ｙｉｒを補正し、補正後の赤外輝度情報Ｙｉｒｃを映像信号合成部１８へ供給する。
映像信号合成部１８は、色空間変換部１５から供給される色差情報Ｃｖｒと、輝度補正部１７から供給される補正後の赤外輝度情報Ｙｉｒｃとを合成して、合成画像を出力する。上記の赤外光（赤外画像）の輝度情報の補正処理の詳細は、図２～図４を参照して後述する。
【0017】
一方、赤外光用イメージセンサ１４は、色差情報を取得する必要がないため、カラーフィルタを備えなくてよい。このため、ここでは、赤外光用イメージセンサ１４がカラーフィルタを備えず、隣接する画素間で分光特性の差異がない場合を例として説明する。
赤外光用イメージセンサ１４は、ビームスプリッタ１２で反射された赤外光を入射させ、赤外映像信号ＩＲを出力する。ここで出力される赤外映像信号ＩＲは、輝度情報を持つが色差情報を持たないため、赤外輝度情報Ｙｉｒとして出力される。
赤外光用イメージセンサ１４は、赤外輝度情報Ｙｉｒを、領域別輝度算出部１６および輝度補正部１７へ供給する。
赤外光用イメージセンサ１４は、ビームスプリッタ１２で反射された赤外光を入射させ、赤外映像信号ＩＲを出力する。ここで出力される赤外映像信号ＩＲは、輝度情報を持つが色差情報を持たないため、赤外輝度情報Ｙｉｒとして出力される。
赤外光用イメージセンサ１４は、赤外輝度情報Ｙｉｒを、領域別輝度算出部１６および輝度補正部１７へ供給する。
【0018】
輝度補正部１７において、上記のとおり、赤外輝度情報Ｙｉｒは、領域別輝度算出部１６で算出された領域別輝度補正値Ｘに基づいて、画像の領域ごとにその輝度情報を補正され、補正された赤外輝度情報Ｙｉｒｃとして映像信号合成部１８に供給される。
映像信号合成部１８において、色空間変換部１５から供給される色差情報Ｃｖｒと、輝度補正部１７から供給される補正後の赤外輝度情報Ｙｉｒｃとが合成されることにより、合成画像が生成される。
映像信号合成部１８において、色空間変換部１５から供給される色差情報Ｃｖｒと、輝度補正部１７から供給される補正後の赤外輝度情報Ｙｉｒｃとが合成されることにより、合成画像が生成される。
【0019】
なお、図１に示す色空間変換部１５、領域別輝度算出部１６、輝度補正部１７、および映像信号合成部１８の各機能部は、１つ以上のＣＰＵが、記憶部に格納されたプログラムを実行することにより実現され得る。すなわち、後述する各フローチャートは、１つ以上のＣＰＵが、記憶部に格納されたプログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現され得る。ただし、図１に示す各機能部の一部またはすべてが専用のハードウェアにより実現されてもよい。
【0020】
なお、図１は、可視画像および赤外画像をそれぞれ取得するため、ビームスプリッタ１２により可視光と赤外光とを分離する例を示すが、本実施形態で可視光と赤外光を分離する光学素子はビームスプリッタ１２に限定されない。例えば、ビームスプリッタ１２は、ダイクロイックミラー又はダイクロイックプリズム等に置き換えてもよい。
また、撮像装置１は、可視光用イメージセンサ１３および赤外線用イメージセンサ１４に替えて、可視光帯域及び赤外光帯域の両方に感度を有する１つのイメージセンサを備えるようにしてもよい。この１つのイメージセンサにレンズ１１からの光を入射させ、当該イメージセンサの直前に配置されたフィルタの透過特性によって、イメージセンサの受光面において可視画像および赤外画像を分離して取得してもよい。あるいは、光路上にバンドパスフィルタ、ショートパスフィルタ、ロングパスフィルタ等を挿抜することにより可視画像および赤外画像を分離して取得するようにしてもよい。この場合、ビームスプリッタ１２を設ける必要がない。
このようなイメージセンサにおいては、Ｒ，Ｇ，Ｂのベイヤ（Ｂａｙｅｒ）配列構成による三色分離のカラーフィルタに替えて、Ｒ，Ｇ，Ｂ，ＩＲのベイヤ配列構成による三色＋赤外のカラーフィルタを使用する。ここで、ＩＲとは赤外光に感度を有するカラーフィルタを示す。
このように、１枚のイメージセンサであっても、Ｒ，Ｇ，Ｂ，ＩＲのベイヤ構成によるカラーフィルタを使用することで、ＲＧＢから可視映像信号、ＩＲから赤外映像信号を取得することができる。
また、撮像装置１は、可視光用イメージセンサ１３および赤外線用イメージセンサ１４に替えて、可視光帯域及び赤外光帯域の両方に感度を有する１つのイメージセンサを備えるようにしてもよい。この１つのイメージセンサにレンズ１１からの光を入射させ、当該イメージセンサの直前に配置されたフィルタの透過特性によって、イメージセンサの受光面において可視画像および赤外画像を分離して取得してもよい。あるいは、光路上にバンドパスフィルタ、ショートパスフィルタ、ロングパスフィルタ等を挿抜することにより可視画像および赤外画像を分離して取得するようにしてもよい。この場合、ビームスプリッタ１２を設ける必要がない。
このようなイメージセンサにおいては、Ｒ，Ｇ，Ｂのベイヤ（Ｂａｙｅｒ）配列構成による三色分離のカラーフィルタに替えて、Ｒ，Ｇ，Ｂ，ＩＲのベイヤ配列構成による三色＋赤外のカラーフィルタを使用する。ここで、ＩＲとは赤外光に感度を有するカラーフィルタを示す。
このように、１枚のイメージセンサであっても、Ｒ，Ｇ，Ｂ，ＩＲのベイヤ構成によるカラーフィルタを使用することで、ＲＧＢから可視映像信号、ＩＲから赤外映像信号を取得することができる。
【0021】
また、上記では、撮像装置１の赤外光用イメージセンサ１４がカラーフィルタを用いない例を説明したが、本実施形態はこれに限定されない。
赤外光用イメージセンサ１４は、赤外光に感度を有していれば足りるため、可視光帯域だけでなく赤外光帯域にも感度があるＲＧＢのカラーフィルタを用いてもよい。
また、上記では、可視画像と赤外画像を合成する例について説明したが、可視画像と合成すべき画像は赤外画像に限らず、変形が可能である。例えば、図１のイメージセンサは、他の非可視光帯域（例えば紫外光領域）や、可視光帯域内の狭帯域領域等に感度を有してもよい。このように波長帯域の区分や波長帯域の帯域幅に限定されずに変形が可能である。
赤外光用イメージセンサ１４は、赤外光に感度を有していれば足りるため、可視光帯域だけでなく赤外光帯域にも感度があるＲＧＢのカラーフィルタを用いてもよい。
また、上記では、可視画像と赤外画像を合成する例について説明したが、可視画像と合成すべき画像は赤外画像に限らず、変形が可能である。例えば、図１のイメージセンサは、他の非可視光帯域（例えば紫外光領域）や、可視光帯域内の狭帯域領域等に感度を有してもよい。このように波長帯域の区分や波長帯域の帯域幅に限定されずに変形が可能である。
【0022】
＜領域別輝度補正＞
図２～図４を参照して、本実施形態における撮像装置１の領域別輝度算出部１６および輝度補正部１７が実行する画像の領域別輝度補正処理の詳細を説明する。
図２（ａ）は、赤外輝度情報Ｙｉｒによって生成される赤外画像、図２（ｂ）は、可視輝度情報Ｙｖｒによって生成される可視画像の一例をそれぞれ示す。
なお、図２（ａ）および図２（ｂ）の画像は同一画角であり、領域Ａおよび領域Ｂを撮像装置１の画角内に収めているものとする。
図２（ａ）において、赤外画像の領域Ａの平均輝度をＹｉｒ＿ａ＿ａｖ、赤外画像の領域Ｂの平均輝度をＹｉｒ＿ｂ＿ａｖとする。図２（ｂ）において、可視画像の領域Ａの平均輝度をＹｖｒ＿ａ＿ａｖ、可視画像の領域Ｂの平均輝度をＹｖｒ＿ｂ＿ａｖとする。
図２～図４を参照して、本実施形態における撮像装置１の領域別輝度算出部１６および輝度補正部１７が実行する画像の領域別輝度補正処理の詳細を説明する。
図２（ａ）は、赤外輝度情報Ｙｉｒによって生成される赤外画像、図２（ｂ）は、可視輝度情報Ｙｖｒによって生成される可視画像の一例をそれぞれ示す。
なお、図２（ａ）および図２（ｂ）の画像は同一画角であり、領域Ａおよび領域Ｂを撮像装置１の画角内に収めているものとする。
図２（ａ）において、赤外画像の領域Ａの平均輝度をＹｉｒ＿ａ＿ａｖ、赤外画像の領域Ｂの平均輝度をＹｉｒ＿ｂ＿ａｖとする。図２（ｂ）において、可視画像の領域Ａの平均輝度をＹｖｒ＿ａ＿ａｖ、可視画像の領域Ｂの平均輝度をＹｖｒ＿ｂ＿ａｖとする。
【0023】
ここでは、説明を簡単にするため、各領域の平均輝度（Ｙｉｒ＿ａ＿ａｖ， Ｙｉｒ＿ｂ＿ａｖ， Ｙｖｒ＿ａ＿ａｖ， Ｙｖｒ＿ｂ＿ａｖ）は全て異なるものとして説明する。また、図２（ａ）の赤外画像および図２（ｂ）の可視画像の画像内における領域Ａおよび領域Ｂの間のそれぞれの輝度差は、図２（ａ）の赤外画像および図２（ｂ）の可視画像の画像間で異なるものとする。なお、このように撮像する光の波長帯域で輝度情報に差が発生する主な要因の１つに、被写体の反射率の分光特性（波長依存性）が挙げられる。
ただし、図２（ａ）の赤外画像および図２（ｂ）の可視画像の画像間で、必ずしもすべての領域の平均輝度が異なる必要はなく、平均輝度が一致している領域があってもよい。
ただし、図２（ａ）の赤外画像および図２（ｂ）の可視画像の画像間で、必ずしもすべての領域の平均輝度が異なる必要はなく、平均輝度が一致している領域があってもよい。
【0024】
図３は、図２の画像の視覚的把握を容易にするため、画像の領域ごとヒストグラムに変換したものを示す。図３（ａ）は、図２（ａ）の赤外画像の輝度情報のヒストグラム、図３（ｂ）は、図２（ｂ）の可視画像の輝度情報のヒストグラムをそれぞれ示す。
本実施形態では、図３（ａ）に示す赤外画像の各領域における平均輝度（Ｙｉｒ＿ａ_ａｖ，Ｙｉｒ＿ｂ＿ａｖ）を、図３（ｂ）に示す可視画像の各領域における平均輝度（Ｙｖｒ＿ａ＿ａｖ，Ｙｖｒ＿ｂ＿ａｖ）に揃える。これにより、本実施形態では、赤外画像の輝度情報を基に合成される合成画像の領域ごとの輝度を、可視画像に近づけることになる。
本実施形態では、図３（ａ）に示す赤外画像の各領域における平均輝度（Ｙｉｒ＿ａ_ａｖ，Ｙｉｒ＿ｂ＿ａｖ）を、図３（ｂ）に示す可視画像の各領域における平均輝度（Ｙｖｒ＿ａ＿ａｖ，Ｙｖｒ＿ｂ＿ａｖ）に揃える。これにより、本実施形態では、赤外画像の輝度情報を基に合成される合成画像の領域ごとの輝度を、可視画像に近づけることになる。
【0025】
＜領域別輝度補正および画像合成処理＞
図４は、本実施形態に係る撮像装置１が実行する領域別輝度補正および画像合成処理の処理手順の一例を示すフローチャートである。
なお、図４の各ステップは、撮像装置１の記憶部に記憶されたプログラムをＣＰＵが読み出し、実行することで実現される。また、図１に示すフローチャートの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。
図４は、本実施形態に係る撮像装置１が実行する領域別輝度補正および画像合成処理の処理手順の一例を示すフローチャートである。
なお、図４の各ステップは、撮像装置１の記憶部に記憶されたプログラムをＣＰＵが読み出し、実行することで実現される。また、図１に示すフローチャートの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。
【0026】
Ｓ１で、撮像装置１の領域別輝度算出部１６は、撮像画像中の領域を検出する。
本実施形態では、撮像装置１の領域別輝度算出部１６は、色空間変換部１５から出力される可視輝度情報Ｙｖｒに基づいて、画像から領域を検出する。具体的には、領域別輝度算出部１６は、画像の画素ごとの輝度情報から輝度差の大きい段差（輪郭）を検出することにより、画像中の領域を切り分ける。これにより、図２および図３に示すように、可視画像および赤外画像の間で輝度差が異なり、それぞれ異なる平均輝度値を有する領域Ａおよび領域Ｂをそれぞれ切り分けることができる。
本実施形態では、撮像装置１の領域別輝度算出部１６は、色空間変換部１５から出力される可視輝度情報Ｙｖｒに基づいて、画像から領域を検出する。具体的には、領域別輝度算出部１６は、画像の画素ごとの輝度情報から輝度差の大きい段差（輪郭）を検出することにより、画像中の領域を切り分ける。これにより、図２および図３に示すように、可視画像および赤外画像の間で輝度差が異なり、それぞれ異なる平均輝度値を有する領域Ａおよび領域Ｂをそれぞれ切り分けることができる。
【0027】
Ｓ２で、撮像装置１の領域別輝度算出部１６は、Ｓ１で検出された画像の領域別に、輝度を算出する。具体的には、領域別輝度算出部１６は、可視輝度情報Ｙｖｒおよび赤外輝度情報Ｙｉｒから、領域別に平均輝度を算出する（Ｙｉｒ＿ａ＿ａｖ，Ｙｉｒ＿ｂ＿ａｖ，Ｙｖｒ＿ａ＿ａｖ，Ｙｖｒ＿ｂ＿ａｖ）。なお、ここでは説明を簡単にするため、輝度の下限値および上限値は、赤外画像および可視画像でそれぞれ同一であるものとする。
ただし、輝度の下限値および上限値は、赤外画像および可視画像でそれぞれ同一でなくともよい。この場合、赤外画像と可視画像との間で、下限値から上限値の輝度幅を、デジタルゲイン処理によって揃えればよい。
ただし、輝度の下限値および上限値は、赤外画像および可視画像でそれぞれ同一でなくともよい。この場合、赤外画像と可視画像との間で、下限値から上限値の輝度幅を、デジタルゲイン処理によって揃えればよい。
【0028】
Ｓ３で、撮像装置１の領域別輝度算出部１６は、Ｓ１で検出された領域別に輝度補正値を算出する。具体的には、領域別輝度算出部１６は、Ｓ２で算出された領域別の平均輝度に基づいて、領域ごとの輝度補正値Ｘを算出する。
輝度補正値Ｘは、赤外画像および可視画像の平均輝度の比によって算出することができる。ここで、輝度補正値は領域ごとに異なるため、領域Ａの輝度補正値をＸａ、領域Ｂの輝度補正値をＸｂとすると、それぞれの輝度補正値は、以下の式１および式２でそれぞれ示される。
輝度補正値Ｘは、赤外画像および可視画像の平均輝度の比によって算出することができる。ここで、輝度補正値は領域ごとに異なるため、領域Ａの輝度補正値をＸａ、領域Ｂの輝度補正値をＸｂとすると、それぞれの輝度補正値は、以下の式１および式２でそれぞれ示される。
【0029】
Ｘａ＝Ｙｖｒ＿ａ＿ａｖ／Ｙｉｒ＿ａ＿ａｖ （式１）
Ｘｂ＝Ｙｖｒ＿ｂ＿ａｖ／Ｙｉｒ＿ｂ＿ａｖ （式２）
Ｘｂ＝Ｙｖｒ＿ｂ＿ａｖ／Ｙｉｒ＿ｂ＿ａｖ （式２）
【0030】
Ｓ４で、撮像装置１の輝度補正部１７は、赤外光用イメージセンサ１４から出力される赤外輝度情報Ｙｉｒに対して、輝度補正を適用する。具体的には、輝度補正部１７は、領域別輝度算出部１６で算出された領域別の輝度補正値Ｘを、赤外輝度情報Ｙｉｒに対して掛け合わせる。
ここで、輝度補正値Ｘは領域別に異なり、かつ赤外輝度情報Ｙｉｒは画素ごとに異なる。輝度補正後の赤外輝度情報Ｙｉｒｃは、領域Ａおよび領域Ｂのそれぞれについて、以下の式３および式４でそれぞれ示される。式１および式２に示されるように、領域Ａの輝度補正値をＸａ、領域Ｂの輝度補正値をＸｂとする。式３は、領域Ａにおける輝度補正後の赤外輝度情報Ｙｉｒｃ＿ａを、式４は、領域Ｂにおける輝度補正後の赤外輝度情報Ｙｉｒｃ＿ｂを示す。
ここで、輝度補正値Ｘは領域別に異なり、かつ赤外輝度情報Ｙｉｒは画素ごとに異なる。輝度補正後の赤外輝度情報Ｙｉｒｃは、領域Ａおよび領域Ｂのそれぞれについて、以下の式３および式４でそれぞれ示される。式１および式２に示されるように、領域Ａの輝度補正値をＸａ、領域Ｂの輝度補正値をＸｂとする。式３は、領域Ａにおける輝度補正後の赤外輝度情報Ｙｉｒｃ＿ａを、式４は、領域Ｂにおける輝度補正後の赤外輝度情報Ｙｉｒｃ＿ｂを示す。
【0031】
Ｙｉｒｃ＿ａ＝Ｙｉｒ＊Ｘａ （式３）
Ｙｉｒｃ＿ｂ＝Ｙｉｒ＊Ｘｂ （式４）
Ｙｉｒｃ＿ｂ＝Ｙｉｒ＊Ｘｂ （式４）
【0032】
上記のように、赤外輝度情報Ｙｉｒに対して、領域別輝度補正値Ｘに基づいて輝度補正を適用することで、各領域の赤外画像の平均輝度を、可視画像の平均輝度に合わせることができる。なお、領域別に補正値を求めるのではなく、画素単位あるいは画素ブロック単位で補正値を求めてもよい。
本実施形態では、このように補正された赤外輝度情報Ｙｉｒｃと可視画像の色差情報Ｃｖｒとを合成することにより、赤外の輝度情報を基にしつつも、領域別の平均輝度が可視画像に合った、色再現性の高いカラー合成画像を得ることができる。
Ｓ５で、撮像装置１の映像信号合成部１８は、画像合成処理を実行する。本実施形態では、映像信号合成部１８が、赤外画像の補正後の輝度情報Ｙｉｒｃと可視画像の色差情報Ｃｖｒとを合成することで、領域ごとの輝度が可視画像に近いカラー合成画像を出力することができる。なお、赤外画像の補正後の輝度情報Ｙｉｒｃと可視画像の輝度情報Ｙｖｒと可視画像の色差情報Ｃｖｒの３つを合成することにより合成画像を出力するようにしてもよい。
本実施形態では、このように補正された赤外輝度情報Ｙｉｒｃと可視画像の色差情報Ｃｖｒとを合成することにより、赤外の輝度情報を基にしつつも、領域別の平均輝度が可視画像に合った、色再現性の高いカラー合成画像を得ることができる。
Ｓ５で、撮像装置１の映像信号合成部１８は、画像合成処理を実行する。本実施形態では、映像信号合成部１８が、赤外画像の補正後の輝度情報Ｙｉｒｃと可視画像の色差情報Ｃｖｒとを合成することで、領域ごとの輝度が可視画像に近いカラー合成画像を出力することができる。なお、赤外画像の補正後の輝度情報Ｙｉｒｃと可視画像の輝度情報Ｙｖｒと可視画像の色差情報Ｃｖｒの３つを合成することにより合成画像を出力するようにしてもよい。
【0033】
なお、上記では可視画像と赤外画像とを合成する例を説明したが、可視画像と合成すべき画像は赤外画像に限定されない。例えば、可視画像と合成すべき画像は、紫外光領域で撮像される画像であってもよく、あるいは、可視光帯域内の狭帯域領域で撮像される画像であってもよい。この場合、必要な波長帯域の光に感度を有するイメージセンサを撮像装置１が備えればよい。
【0034】
また、図４のＳ１では、輝度情報を基に輝度の段差から輪郭（エッジ）を検出することにより、画像の領域を検出する例を説明したが、本実施形態はこれに限定されない。
例えば、輝度情報のヒストグラム上、輝度が分かれている領域を検出してもよい。あるいは、動体に着目するのであれば、輝度に変化がある動体を検出し、動体領域を切り分けてもよい。あるいは、輝度補正を適用したい領域が予め分かっている状態であれば、ユーザが領域を指定してもよい。
あるいはまた、画像認識を利用して、領域を切り分けてもよい。例えば、顔認識を利用して、顔とそれ以外の領域等、特定の領域とそれ以外の領域とを別の領域として切り分けてもよい。
例えば、輝度情報のヒストグラム上、輝度が分かれている領域を検出してもよい。あるいは、動体に着目するのであれば、輝度に変化がある動体を検出し、動体領域を切り分けてもよい。あるいは、輝度補正を適用したい領域が予め分かっている状態であれば、ユーザが領域を指定してもよい。
あるいはまた、画像認識を利用して、領域を切り分けてもよい。例えば、顔認識を利用して、顔とそれ以外の領域等、特定の領域とそれ以外の領域とを別の領域として切り分けてもよい。
【0035】
また、上記の説明では、可視画像の輝度値から領域を検出したが、これに替えて、赤外画像の輝度値から、または可視画像および赤外画像の２つの画像の輝度値から、領域を検出してもよい。
また、図２、図３、図５、および図６では、領域が２つの場合の例を説明したが、領域が３つ以上の場合にも本実施形態は同様に適用することができる。なお、領域の最小サイズは設計者またはユーザが任意に設定すればよい。この場合、例えば、水平５０画素×垂直５０画素以上のように画素数で指定してもよい。
また、図２、図３、図５、および図６では、領域が２つの場合の例を説明したが、領域が３つ以上の場合にも本実施形態は同様に適用することができる。なお、領域の最小サイズは設計者またはユーザが任意に設定すればよい。この場合、例えば、水平５０画素×垂直５０画素以上のように画素数で指定してもよい。
【0036】
図５は、輝度補正後の赤外輝度情報Ｙｉｒｃを画像化した一例を示す。
図６は、図５の輝度補正後の赤外輝度情報Ｙｉｒｃのヒストグラムの一例を示す。図５および図６において、Ｙｉｒｃ＿ａ＿ａｖは、領域Ａにおける輝度補正後の赤外輝度情報の平均輝度を示し、同様にＹｉｒｃ＿ｂ＿ａｖは、領域Ｂにおける輝度補正後の赤外輝度情報の平均輝度を示す。
図５および図６に示す領域別の平均輝度Ｙｉｒｃ＿ａ＿ａｖおよびＹｉｒｃ＿ｂ＿ａｖは、式１から式４の算出結果から、図２（ｂ）および図３（ｂ）に示す可視画像の領域別の平均輝度Ｙｖｒ＿ａ＿ａｖおよびＹｖｒ＿ｂ＿ａｖとそれぞれ一致する。したがって、領域別の平均輝度の観点から、図２（ａ）および図３（ａ）に示す赤外画像の輝度情報Ｙｉｒ_ａ_ａｖおよびＹｉｒ＿ｂ＿ａｖが、可視画像の輝度情報Ｙｖｒ＿ａ＿ａｖおよびＹｖｒ＿ｂ＿ａｖに近づいた（図５および図６では一致した）ことが分かる。
図６は、図５の輝度補正後の赤外輝度情報Ｙｉｒｃのヒストグラムの一例を示す。図５および図６において、Ｙｉｒｃ＿ａ＿ａｖは、領域Ａにおける輝度補正後の赤外輝度情報の平均輝度を示し、同様にＹｉｒｃ＿ｂ＿ａｖは、領域Ｂにおける輝度補正後の赤外輝度情報の平均輝度を示す。
図５および図６に示す領域別の平均輝度Ｙｉｒｃ＿ａ＿ａｖおよびＹｉｒｃ＿ｂ＿ａｖは、式１から式４の算出結果から、図２（ｂ）および図３（ｂ）に示す可視画像の領域別の平均輝度Ｙｖｒ＿ａ＿ａｖおよびＹｖｒ＿ｂ＿ａｖとそれぞれ一致する。したがって、領域別の平均輝度の観点から、図２（ａ）および図３（ａ）に示す赤外画像の輝度情報Ｙｉｒ_ａ_ａｖおよびＹｉｒ＿ｂ＿ａｖが、可視画像の輝度情報Ｙｖｒ＿ａ＿ａｖおよびＹｖｒ＿ｂ＿ａｖに近づいた（図５および図６では一致した）ことが分かる。
【0037】
なお、上記では、赤外画像のすべての領域に対して輝度補正値を算出して輝度補正を適用する例を説明したが、本実施形態はこれに限定されない。例えば、図４のＳ１で画像から領域を検出した段階で領域数が多い場合等には、輝度補正処理の負荷を軽減するため、輝度補正を適用する領域を選択してもよく、この場合、例えば、サイズが小さい領域に対して輝度補正を適用しないようにしてもよい。
また、上記では、画像の各領域の基準を、当該領域中の画素の輝度の平均値として説明したが、本実施形態はこれに限定されない。例えば、画像の領域内における輝度の最小値と最大値との中間の値や、輝度のヒストグラムの最大頻度の値を基準としてもよい。
また、上記では、画像の各領域の基準を、当該領域中の画素の輝度の平均値として説明したが、本実施形態はこれに限定されない。例えば、画像の領域内における輝度の最小値と最大値との中間の値や、輝度のヒストグラムの最大頻度の値を基準としてもよい。
【0038】
さらに、映像信号合成部１８が合成する合成画像は、可視画像と赤外画像を合成するため、可視画像に近い画像として視認されることとなる。このため、合成画像であることをユーザに識別させるために、当該合成画像データに特定のデータを埋め込む、または対応付けてよい。合成画像データに埋め込まれる特定のデータは、例えば、画像上でユーザが視認可能な「合成画像」等の文字列や「０１」等の数字であってよく、あるいは、画像上は視認できないようにデータ内に暗号化して埋め込まれてもよい。
【0039】
以上説明したように、本実施形態によれば、撮像装置は、撮像画像の領域ごとに、赤外画像の輝度情報を、可視画像の輝度情報に基づいて補正する。そして、撮像装置は、可視画像の輝度情報に基づいて補正された赤外画像の輝度情報と、可視画像の色差情報とを合成して合成画像を生成する。
これにより、赤外画像について、可視画像との間の領域ごとの輝度差が低減され、合成画像の輝度分布を可視画像に近づけることができる。このため、合成画像における色の再現性を高め、合成画像がユーザに与える違和感を低減することができる。
さらに、赤外画像の輝度情報を使用しているため、赤外画像が持つ高いＳ／Ｎ比を維持することができ、また、赤外画像の領域内で同一の輝度補正が適用されるため、赤外画像で得られた当該領域内の濃淡が損なわれず、高解像度感を維持することもできる。
これにより、赤外画像について、可視画像との間の領域ごとの輝度差が低減され、合成画像の輝度分布を可視画像に近づけることができる。このため、合成画像における色の再現性を高め、合成画像がユーザに与える違和感を低減することができる。
さらに、赤外画像の輝度情報を使用しているため、赤外画像が持つ高いＳ／Ｎ比を維持することができ、また、赤外画像の領域内で同一の輝度補正が適用されるため、赤外画像で得られた当該領域内の濃淡が損なわれず、高解像度感を維持することもできる。
【0040】
（実施形態２）
以下、図７を参照して、実施形態２を、実施形態１と異なる点についてのみ詳細に説明する。
実施形態１では、撮像装置１は、画像を領域ごとに分割して、赤外画像の各領域における平均輝度を可視画像に近づけるよう輝度補正した。これに対して本実施形態では、撮像装置１は、輝度補正を適用する前に、赤外画像と可視画像との間で露出調整を実行して、画像の領域を検出する際に輝度補正すべき領域を選択する。
以下、図７を参照して、実施形態２を、実施形態１と異なる点についてのみ詳細に説明する。
実施形態１では、撮像装置１は、画像を領域ごとに分割して、赤外画像の各領域における平均輝度を可視画像に近づけるよう輝度補正した。これに対して本実施形態では、撮像装置１は、輝度補正を適用する前に、赤外画像と可視画像との間で露出調整を実行して、画像の領域を検出する際に輝度補正すべき領域を選択する。
【0041】
画像の各領域に対してそれぞれ輝度補正を適用すると、輝度補正の処理負荷が増大してしまう可能性がある。そこで本実施形態では、赤外画像と可視画像とを比較し、輝度差が大きい領域のみについて輝度補正を適用する。そして、赤外画像と可視画像の双方の輝度値を直接比較するため、本実施形態では、輝度補正を適用する前に赤外画像と可視画像との間で露出調整を実行する。
実施形態２に係る撮像装置１のハードウエアおよび機能構成は、図１を参照して説明した実施形態１に係る撮像装置１とそれぞれ同様であるため、その説明を省略する。
実施形態２に係る撮像装置１のハードウエアおよび機能構成は、図１を参照して説明した実施形態１に係る撮像装置１とそれぞれ同様であるため、その説明を省略する。
【0042】
図７は、実施形態２に係る撮像装置１が実行する領域別輝度補正処理および画像合成処理の処理手順の一例を示すフローチャートである。図４に示す実施形態１の処理と比較して、赤外画像と可視画像との間の露出調整処理、および輝度補正を適用すべき領域の選択処理が追加されている。
図７のＳ１およびＳ２は、図４に示す実施形態１のＳ１およびＳ２と同様であり、画像から領域を検出し、領域別に平均輝度値を算出する。
図７のＳ１およびＳ２は、図４に示す実施形態１のＳ１およびＳ２と同様であり、画像から領域を検出し、領域別に平均輝度値を算出する。
【0043】
図７のＳ２に続き、Ｓ７１で、撮像装置１の領域別輝度算出部１６は、赤外画像と可視画像との間で露出調整を実行する。具体的には、領域別輝度算出部１６は、赤外画像のある領域の平均輝度が可視画像の対応する領域の平均輝度と一致するように、赤外画像全体にデジタルゲインを掛けることにより、露出調整を実行する。
図２（ａ）の赤外画像および図２（ｂ）の可視画像を参照して、図２（ａ）および図２（ｂ）において、ともに領域Ａおよび領域Ｂが検出されているものとする。ここで、露出調整の基準となる領域は、画像全体に占める割合が大きい領域が好ましい。そこで、領域別輝度算出部１６は、赤外画像と可視画像のそれぞれの領域Ａの平均輝度が一致するように、図２（ａ）の赤外画像全体に対して露出調整を適用する。
図２（ａ）の赤外画像および図２（ｂ）の可視画像を参照して、図２（ａ）および図２（ｂ）において、ともに領域Ａおよび領域Ｂが検出されているものとする。ここで、露出調整の基準となる領域は、画像全体に占める割合が大きい領域が好ましい。そこで、領域別輝度算出部１６は、赤外画像と可視画像のそれぞれの領域Ａの平均輝度が一致するように、図２（ａ）の赤外画像全体に対して露出調整を適用する。
【0044】
露出調整の調整値Ｚｅは、上記式１と同様であり、以下の式５で表すことができる。以下、露出調整の基準となる領域を基準領域と称する。以下では、画像中で最もサイズの大きい領域Ａを基準領域としている。
Ｚｅ＝Ｙｖｒ＿ａ＿ａｖ／Ｙｉｒ＿ａ＿ａｖ （式５）
Ｚｅ＝Ｙｖｒ＿ａ＿ａｖ／Ｙｉｒ＿ａ＿ａｖ （式５）
【0045】
上記式５の露出調整の調整値Ｚｅに基づいて、図２（ａ）の赤外画像全体にデジタルゲインを掛けることにより補正する。補正後の輝度値Ｙｉｒｅは、以下の式６で表すことができる。
Ｙｉｒｅ＝Ｙｉｒ＊Ｚｅ （式６）
Ｙｉｒｅ＝Ｙｉｒ＊Ｚｅ （式６）
【0046】
このとき、Ｓ２で算出された赤外画像の領域別の平均輝度も調整値Ｚｅ倍されるため、領域Ａの平均輝度Ｙｉｒ＿ａ＿ａｖおよび領域Ｂの平均輝度Ｙｉｒ＿ｂ＿ａｖは、それぞれ以下の式７および式８のとおりとなる。
Ｙｉｒｅ＿ａ＿ａｖ＝Ｙｉｒ＿ａ＿ａｖ＊Ｚｅ （式７）
Ｙｉｒｅ＿ｂ＿ａｖ＝Ｙｉｒ＿ｂ＿ａｖ＊Ｚｅ （式８）
Ｙｉｒｅ＿ａ＿ａｖ＝Ｙｉｒ＿ａ＿ａｖ＊Ｚｅ （式７）
Ｙｉｒｅ＿ｂ＿ａｖ＝Ｙｉｒ＿ｂ＿ａｖ＊Ｚｅ （式８）
【0047】
図７に戻り、Ｓ７１に続き、Ｓ７２で、領域別輝度算出部１６は、Ｓ１で検出された領域のうち、輝度補正を適用すべき領域を選択する。具体的には、領域別輝度算出部１６は、基準領域である領域Ａを基準として、露出調整された赤外画像および可視画像の各領域における平均輝度を比較する。
領域Ｂにおいて、Ｙｉｒｅ＿ｂ＿ａｖおよびＹｖｒ＿ｂ＿ａｖの差が小さい場合、すなわち赤外画像および可視画像の間で輝度差が小さい領域の場合、輝度補正を適用しても可視画像の輝度に近づける効果が薄いため、輝度補正を適用する必要がない。一方、Ｙｉｒｅ＿ｂ＿ａｖおよびＹｖｒ＿ｂ＿ａｖの差が大きい場合、すなわち赤外画像および可視画像の間で輝度差が大きい領域の場合、輝度補正を適用することが好ましい。このように、各領域の輝度差を比較することで、輝度補正を適用すべき領域を選択することができる。輝度差が大きいまたは輝度差が小さいと決定するための閾値は、設計者もしくはユーザが任意に設定できてよい。
領域Ｂにおいて、Ｙｉｒｅ＿ｂ＿ａｖおよびＹｖｒ＿ｂ＿ａｖの差が小さい場合、すなわち赤外画像および可視画像の間で輝度差が小さい領域の場合、輝度補正を適用しても可視画像の輝度に近づける効果が薄いため、輝度補正を適用する必要がない。一方、Ｙｉｒｅ＿ｂ＿ａｖおよびＹｖｒ＿ｂ＿ａｖの差が大きい場合、すなわち赤外画像および可視画像の間で輝度差が大きい領域の場合、輝度補正を適用することが好ましい。このように、各領域の輝度差を比較することで、輝度補正を適用すべき領域を選択することができる。輝度差が大きいまたは輝度差が小さいと決定するための閾値は、設計者もしくはユーザが任意に設定できてよい。
【0048】
なお、可視画像の輝度分布（見た目）に近づけるためには、輝度差が大きい全ての領域に対して輝度補正を適用することが好ましい。しかしながら、赤外特有の情報を重視したい場合には、赤外画像および可視画像の輝度差の大小関係によって輝度補正の有無を切り替えてもよい。
例えば、赤外画像の輝度差が大きく、可視画像の輝度差が小さい場合には、赤外特有の情報が多いものと判定して、輝度補正を適用せずに赤外輝度情報をそのまま出力してよい。一方、赤外画像の輝度差が小さく、可視画像の輝度差が大きい場合には、赤外の情報量が少ないものと判定して、輝度補正を適用して輝度補正された赤外輝度情報を出力してよい。上記のように、輝度補正を適用すべき領域を選択することができる。
例えば、赤外画像の輝度差が大きく、可視画像の輝度差が小さい場合には、赤外特有の情報が多いものと判定して、輝度補正を適用せずに赤外輝度情報をそのまま出力してよい。一方、赤外画像の輝度差が小さく、可視画像の輝度差が大きい場合には、赤外の情報量が少ないものと判定して、輝度補正を適用して輝度補正された赤外輝度情報を出力してよい。上記のように、輝度補正を適用すべき領域を選択することができる。
【0049】
Ｓ７２に続き、Ｓ３で、領域別輝度算出部１６は、領域別輝度補正値Ｘｅを算出する。本実施形態において、露出調整を適用した領域Ａについては、赤外画像と可視画像の間で露出が一致しているため、輝度補正を適用する必要がない。そのため、Ｓ３では、領域Ｂに対する領域別輝度補正値Ｘｅｂを算出すればよい。
【0050】
領域Ｂに対する領域別輝度補正値Ｘｅｂは、図４のＳ３、式１および式と同様に、以下の式９のとおり表すことができる。
Ｘｅｂ＝Ｙｖｒ＿ｂ＿ａｖ／Ｙｉｒｅ＿ｂ＿ａｖ （式９）
Ｘｅｂ＝Ｙｖｒ＿ｂ＿ａｖ／Ｙｉｒｅ＿ｂ＿ａｖ （式９）
【0051】
Ｓ４で、輝度補正部１７は、領域別輝度補正を行う。ここで、露出調整を適用した領域は赤外画像と可視画像との間で露出が一致しているため、輝度補正を適用する必要がない。このため、式９では、領域Ｂに対する領域別輝度補正の値が示されている。以下の式１０は、輝度補正を適用した補正後の赤外画像の赤外輝度情報を示す。
Ｙｉｒｃ＝Ｙｉｒｅ＊Ｘｅｂ （式１０）
Ｙｉｒｃ＝Ｙｉｒｅ＊Ｘｅｂ （式１０）
【0052】
上記式１０を変形すると、下記式１１のように表すことができる。露出調整を適用した式１１は、露出調整を適用しない上記式４と結果が一致している。このことから、露出調整を適用した場合でも、領域Ｂに対して輝度補正が適用されていることがわかる。
Ｙｉｒｃ＝Ｙｉｒｅ＊Ｙｖｒ＿ｂ＿ａｖ／Ｙｉｒｅ＿ｂ＿ａｖ
＝Ｙｉｒ＊Ｚｅ＊Ｙｖｒ＿ｂ＿ａｖ／（Ｙｉｒ＿ｂ＿ａｖ＊Ｚｅ）
＝Ｙｉｒ＊Ｙｖｒ＿ｂ＿ａｖ／Ｙｉｒ＿ｂ＿ａｖ （式１１）
Ｙｉｒｃ＝Ｙｉｒｅ＊Ｙｖｒ＿ｂ＿ａｖ／Ｙｉｒｅ＿ｂ＿ａｖ
＝Ｙｉｒ＊Ｚｅ＊Ｙｖｒ＿ｂ＿ａｖ／（Ｙｉｒ＿ｂ＿ａｖ＊Ｚｅ）
＝Ｙｉｒ＊Ｙｖｒ＿ｂ＿ａｖ／Ｙｉｒ＿ｂ＿ａｖ （式１１）
【0053】
なお、上記では、露出調整を適用するべき基準領域として、サイズが最も大きい領域を選択したが、本実施形態はこれに限定されない。例えば、中間輝度の領域を選択する等、当該領域の輝度で判断してもよいし、可視画像と赤外画像との間で平均輝度が最も近い領域を選択してもよい。また、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）の評価枠を基準領域に予め合わせておけば、撮影した段階で露出が赤外画像と可視画像との間で一致するため、図７のＳ７１の露出調整のステップをスキップすることができる。
【0054】
また、上記では、輝度補正を適用すべき領域を判定する際に、赤外画像と可視画像との間で平均輝度の輝度差を判定したが、本実施形態はこれに限定されない。例えば、領域内のコントラストを比較することで判定してもよい。例えば、赤外画像のコントラストが可視画像のコントラストよりも高い領域については、赤外画像の情報量が多いと判断し、輝度補正を適用せずに画像合成処理を実行してもよい。すなわち、赤外画像のコントラストが可視画像のコントラストを超えない領域についてのみ、輝度補正を適用して画像合成処理を実行してもよい。なお、このようなコントラストによる輝度補正を適用すべき領域の判定は、後述する実施形態３および実施形態４においても適用可能である。
【0055】
以上説明したように、本実施形態によれば、撮像装置は、赤外画像に対する輝度補正を適用する前に、赤外画像と可視画像との間で露出調整を実行する。そして、撮像装置は、例えば、輝度差が大きい赤外画像の領域のみについて輝度補正を適用すべく、赤外画像の領域中で輝度補正すべき領域を選択する。
これにより、実施形態１と同様、合成画像における色の再現性を高め、合成画像がユーザに与える違和感を低減しつつ、さらに、輝度補正の処理負荷を低減することができる。
これにより、実施形態１と同様、合成画像における色の再現性を高め、合成画像がユーザに与える違和感を低減しつつ、さらに、輝度補正の処理負荷を低減することができる。
【0056】
（実施形態３）
以下、図８ないし図１０を参照して、実施形態３を、上記各実施形態と異なる点についてのみ詳細に説明する。
実施形態１では、撮像装置１は、画像を領域ごとに分割して、赤外画像の各領域における平均輝度を可視画像に近づけるよう輝度補正した。これに対して本実施形態では、撮像装置１は、画像の領域を検出する際に、赤外光帯域特有の情報が取得されたか否かに基づいて、画像の領域を検出する際に輝度補正すべき領域を選択する。
以下、図８ないし図１０を参照して、実施形態３を、上記各実施形態と異なる点についてのみ詳細に説明する。
実施形態１では、撮像装置１は、画像を領域ごとに分割して、赤外画像の各領域における平均輝度を可視画像に近づけるよう輝度補正した。これに対して本実施形態では、撮像装置１は、画像の領域を検出する際に、赤外光帯域特有の情報が取得されたか否かに基づいて、画像の領域を検出する際に輝度補正すべき領域を選択する。
【0057】
可視光と赤外光のように波長帯域が異なる場合、可視画像と赤外画像との間で取得される画像に差が生じることがある。ここでは画像がサングラスを含む例を説明する。サングラスの中には、可視光帯域の透過率が低く赤外光帯域の透過率が高いものがある。このような波長依存性を持つサングラスをそれぞれの波長帯域で撮像すると、可視光帯域では可視光がサングラスを透過しないため、サングラスのガラス面が撮像される。一方、赤外光帯域ではサングラスを赤外光がサングラスを透過するためサングラス越しの目を撮像することができる。
【0058】
この場合、赤外輝度情報に対して輝度補正を同様に適用すると、赤外光帯域で得られたサングラス越しの目の赤外輝度情報が、可視光帯域で得られたサングラスのガラス面の平均輝度で補正されてしまう。この例のように、撮像されている対象物が異なるもの同士で輝度補正をしてしまうと、赤外光帯域特有の情報が減殺されてしまい、適切な合成画像を生成することができない。さらに、サングラス面の可視光帯域の輝度が極端に低い場合には、輝度補正後の赤外画像が黒潰れしてしまい、赤外光帯域特有の情報が失われてしまう。そのため、サングラス越しの目のような赤外光帯域特有の情報を重視したい場合には、輝度補正を適用せずに合成画像を生成することが好ましい。
実施形態３に係る撮像装置１のハードウエアおよび機能構成は、図１を参照して説明した実施形態１に係る撮像装置１とそれぞれ同様であるため、その説明を省略する。
実施形態３に係る撮像装置１のハードウエアおよび機能構成は、図１を参照して説明した実施形態１に係る撮像装置１とそれぞれ同様であるため、その説明を省略する。
【0059】
図８は、領域Ａ、領域Ｂ、領域Ｃを捉えた画像の一例を示す。図８（ａ）は赤外画像の例であり、領域Ａ、領域Ｂ、領域Ｃのすべてで平均輝度が明確に異なるものとする。一方、図８（ｂ）は可視画像の例であり、領域Ｂおよび領域Ｃの平均輝度に差がなく、領域Ａは領域Ｂおよび領域Ｃと平均輝度に明確な差があるものとする。
図９は、実施形態３に係る撮像装置が実行する領域別輝度補正処理および画像合成処理の処理手順の一例を示すフローチャートである。図４に示す実施形態１の処理と比較して、輝度補正を適用すべき領域の選択処理が追加されている。
図９は、実施形態３に係る撮像装置が実行する領域別輝度補正処理および画像合成処理の処理手順の一例を示すフローチャートである。図４に示す実施形態１の処理と比較して、輝度補正を適用すべき領域の選択処理が追加されている。
【0060】
図９のＳ１は、図４に示す実施形態１のＳ１と同様であり、撮像装置１の領域別輝度算出部１６は、画像から領域を検出する。ただし、本実施形態では、後続するＳ９１で、赤外画像と可視画像とで検出された領域を比較するため、赤外画像および可視画像のそれぞれについて領域を検出する。ここでの領域の検出は、画像内の輝度の段差を検出することで実行する。こうして、図８（ａ）の赤外画像では、隣接領域と輝度に差がある領域Ａ、領域Ｂ、領域Ｃが検出される。一方、図８（ｂ）の可視画像では、他の隣接領域であると輝度に差がある領域Ａは検出されるが、領域Ｂと領域Ｃを切り分けることができない。ここでは可視画像の領域Ｃが領域Ｂに内包されているものとして、領域Ｂおよび領域Ｃを領域Ｂとして扱う。すなわち、図８（ｂ）の可視画像では、領域Ａおよび領域Ｂが検出される。
【0061】
Ｓ１に続き、Ｓ９１で、領域別輝度算出部１６は、輝度補正を適用すべき領域を選択する。本実施形態では、図９のＳ１で検出された領域のうち、赤外画像の領域の方が可視画像の領域よりも細かく区分された領域を、輝度補正を適用しない領域として決定してよい。すなわち、赤外画像と可視画像との双方で検出された領域のみにつき、輝度補正を適用する。
図８を参照して、領域Ａは、領域の大きさおよび形状が赤外画像と可視画像との間で同一であるため、輝度補正を適用すべき領域となる。領域Ｂは、図８（ａ）の赤外画像では内側が領域Ｃによってくり抜かれた形状であるのに対して、図８（ｂ）の可視画像では領域Ｃとの切り分けができないためくり抜きのない形状である。さらに領域Ｃは、図８（ａ）の赤外画像では領域Ｂと切り分けができているのに対して、図８（ｂ）の可視画像では領域Ｂに埋もれてしまって切り分けができない。
図８を参照して、領域Ａは、領域の大きさおよび形状が赤外画像と可視画像との間で同一であるため、輝度補正を適用すべき領域となる。領域Ｂは、図８（ａ）の赤外画像では内側が領域Ｃによってくり抜かれた形状であるのに対して、図８（ｂ）の可視画像では領域Ｃとの切り分けができないためくり抜きのない形状である。さらに領域Ｃは、図８（ａ）の赤外画像では領域Ｂと切り分けができているのに対して、図８（ｂ）の可視画像では領域Ｂに埋もれてしまって切り分けができない。
【0062】
したがって、図８（ａ）の赤外画像では、領域Ｂおよび領域Ｃが、赤外画像の領域の方が可視画像の領域よりも細かく区分された領域となるため、輝度補正を適用しない領域として決定される。一方、領域Ａは、赤外画像の領域の方が可視画像の領域よりも細かく区分されない領域であるため、輝度補正を適用すべき領域として選択される。
図９に戻り、Ｓ２で、領域別輝度算出部１６は、領域別に平均輝度を算出するが、Ｓ９１で選択された領域Ａについてのみ平均輝度を算出すればよく、輝度補正を適用しない領域（図８の領域Ｂ、領域Ｃ）に対しては、平均輝度を算出する必要はない。
図９のＳ３で、領域別輝度算出部１６は、Ｓ９１で選択された領域Ａにつき、図４のＳ３と同様、輝度補正値を算出する。
Ｓ４で、輝度補正部１７は、Ｓ９１で選択された領域Ａにつき、図４のＳ４と同様、輝度補正を適用する。
Ｓ５で、映像信号合成部１８は、図４のＳ５と同様、赤外画像の補正された赤外輝度情報Ｙｉｒｃと可視画像の色差情報Ｃｖｒとを合成して、合成画像を生成する。
図９に戻り、Ｓ２で、領域別輝度算出部１６は、領域別に平均輝度を算出するが、Ｓ９１で選択された領域Ａについてのみ平均輝度を算出すればよく、輝度補正を適用しない領域（図８の領域Ｂ、領域Ｃ）に対しては、平均輝度を算出する必要はない。
図９のＳ３で、領域別輝度算出部１６は、Ｓ９１で選択された領域Ａにつき、図４のＳ３と同様、輝度補正値を算出する。
Ｓ４で、輝度補正部１７は、Ｓ９１で選択された領域Ａにつき、図４のＳ４と同様、輝度補正を適用する。
Ｓ５で、映像信号合成部１８は、図４のＳ５と同様、赤外画像の補正された赤外輝度情報Ｙｉｒｃと可視画像の色差情報Ｃｖｒとを合成して、合成画像を生成する。
【0063】
図１０は、本実施形態において、図８（ａ）の赤外画像中で輝度補正を適用すべき領域を選択し、選択された領域に対して輝度補正を実行して得られる画像の一例を示す。
図１０の領域Ａは、輝度補正が適用されているため、領域Ａの平均輝度は図８（ｂ）の可視画像の平均輝度と一致する。一方、図１０の領域Ｂおよび領域Ｃは輝度補正が適用されていないため、領域Ｂおよび領域Ｃの平均輝度は変化せず、図８（ａ）の赤外画像の平均輝度と一致する。
図１０の領域Ａは、輝度補正が適用されているため、領域Ａの平均輝度は図８（ｂ）の可視画像の平均輝度と一致する。一方、図１０の領域Ｂおよび領域Ｃは輝度補正が適用されていないため、領域Ｂおよび領域Ｃの平均輝度は変化せず、図８（ａ）の赤外画像の平均輝度と一致する。
【0064】
以上説明したように、本実施形態によれば、撮像装置は、画像の領域を検出する際に、赤外光帯域特有の情報が取得されたか否かに基づいて、赤外画像の領域中で輝度補正すべき領域を選択する。
これにより、実施形態１と同様、合成画像における色の再現性を高め、合成画像がユーザに与える違和感を低減しつつ、さらに、赤外光帯域特有の情報を残したまま、輝度補正を適用して合成画像を生成することができる。
これにより、実施形態１と同様、合成画像における色の再現性を高め、合成画像がユーザに与える違和感を低減しつつ、さらに、赤外光帯域特有の情報を残したまま、輝度補正を適用して合成画像を生成することができる。
【0065】
（実施形態４）
以下、図１１ないし図１３を参照して、実施形態４を、上記各実施形態と異なる点についてのみ詳細に説明する。
実施形態３では、撮像装置１は、画像の領域を検出する際に、赤外光帯域特有の情報が取得されたか否かに基づいて、画像の領域を検出する際に輝度補正すべき領域を選択した。これに対して、本実施形態は、領域ごとに輝度平均値を算出する際に、領域別に算出された輝度値に基づいて、輝度補正すべき領域を選択する。
以下、図１１ないし図１３を参照して、実施形態４を、上記各実施形態と異なる点についてのみ詳細に説明する。
実施形態３では、撮像装置１は、画像の領域を検出する際に、赤外光帯域特有の情報が取得されたか否かに基づいて、画像の領域を検出する際に輝度補正すべき領域を選択した。これに対して、本実施形態は、領域ごとに輝度平均値を算出する際に、領域別に算出された輝度値に基づいて、輝度補正すべき領域を選択する。
【0066】
可視画像の輝度が小さく黒潰れしている領域や、可視画像の輝度が大きく白飛びしている領域がある場合等に当該領域に対して輝度補正を適用すると、補正後の赤外輝度情報もまた黒潰れや白飛びしてしまう。このように赤外輝度情報が失われてしまう場合には、当該領域を輝度補正しないことが好ましい。そこで本実施形態では、領域別平均輝度算出時に、領域別に算出された輝度値に基づいて、輝度補正すべき領域を選択する。
実施形態４に係る撮像装置１のハードウエアおよび機能構成は、図１を参照して説明した実施形態１に係る撮像装置１とそれぞれ同様であるため、その説明を省略する。
実施形態４に係る撮像装置１のハードウエアおよび機能構成は、図１を参照して説明した実施形態１に係る撮像装置１とそれぞれ同様であるため、その説明を省略する。
【0067】
図１１は、図２と同様、領域Ａおよび領域Ｂを捉えた画像の一例を示す。図１１（ａ）は赤外画像の例であり、領域Ａおよび領域Ｂはいずれも黒潰れも白飛びもしていないものとする。一方、図１１（ｂ）は可視画像の例であり、領域Ａは黒潰れも白飛びもしていないが、領域Ｂは黒潰れしているものとする。
図１２は、実施形態４に係る撮像装置が実行する領域別輝度補正値の算出処理および領域別輝度補正処理の処理手順の一例を示すフローチャートである。図４に示す実施形態１の処理と比較して、領域別に輝度補正値を算出した後に輝度補正を適用すべき領域の選択処理が追加されている。
図１２は、実施形態４に係る撮像装置が実行する領域別輝度補正値の算出処理および領域別輝度補正処理の処理手順の一例を示すフローチャートである。図４に示す実施形態１の処理と比較して、領域別に輝度補正値を算出した後に輝度補正を適用すべき領域の選択処理が追加されている。
【0068】
図１２のＳ１からＳ３は、実施形態１における図４のＳ１からＳ３の処理と同様である。
Ｓ３で画像の領域別に平均輝度値を算出した後、Ｓ１２１で、Ｓ３で算出された領域別の平均輝度値に基づいて、輝度補正部１７は、輝度補正を適用すべき領域を選択する。
例えば、Ｓ３で算出された可視画像の領域別の輝度値が極端に低い場合や極端に高い場合には、当該領域が黒潰れや白飛びしていると推測することができる。この場合、赤外画像における同一領域が可視画像とは異なり黒潰れや白飛びをしていない場合には、可視画像の輝度情報で赤外画像の輝度情報を補正すると、赤外光帯域特有の情報が失われてしまう。このため、赤外光帯域特有の情報を合成画像に反映するためには、そのような領域は輝度補正を適用しないことが好ましい。すなわち、輝度補正部１７は、可視画像中で、平均輝度値が所定の上限値および下限値の閾値内にある領域に対応する赤外画像の領域についてのみ、輝度補正を適用する。
Ｓ３で画像の領域別に平均輝度値を算出した後、Ｓ１２１で、Ｓ３で算出された領域別の平均輝度値に基づいて、輝度補正部１７は、輝度補正を適用すべき領域を選択する。
例えば、Ｓ３で算出された可視画像の領域別の輝度値が極端に低い場合や極端に高い場合には、当該領域が黒潰れや白飛びしていると推測することができる。この場合、赤外画像における同一領域が可視画像とは異なり黒潰れや白飛びをしていない場合には、可視画像の輝度情報で赤外画像の輝度情報を補正すると、赤外光帯域特有の情報が失われてしまう。このため、赤外光帯域特有の情報を合成画像に反映するためには、そのような領域は輝度補正を適用しないことが好ましい。すなわち、輝度補正部１７は、可視画像中で、平均輝度値が所定の上限値および下限値の閾値内にある領域に対応する赤外画像の領域についてのみ、輝度補正を適用する。
【0069】
図１１を参照して、領域Ａでは、図１１（ａ）の赤外画像および図１１（ｂ）の可視画像でともに黒潰れも白飛びをしていないため、輝度補正することが好ましい。一方、領域Ｂでは、図１１（ａ）の赤外画像では黒潰れも白飛びもしていないが、図１１（ｂ）の可視画像では黒潰れしているため、輝度補正を適用しないことが好ましい。図１２のＳ１２１では、このように、黒潰れや白飛びが発生している領域の可視画像の輝度情報が合成画像に反映されないよう、輝度補正すべき領域を選択する。
【0070】
図１２のＳ１２１に続き、輝度補正部１７は、Ｓ１２１で選択された領域Ａにつき、図４のＳ４と同様、輝度補正を適用する。
Ｓ５で、映像信号合成部１８は、図４のＳ５と同様、赤外画像の補正された赤外輝度情報Ｙｉｒｃと可視画像の色差情報Ｃｖｒとを合成して、合成画像を生成する。
Ｓ５で、映像信号合成部１８は、図４のＳ５と同様、赤外画像の補正された赤外輝度情報Ｙｉｒｃと可視画像の色差情報Ｃｖｒとを合成して、合成画像を生成する。
【0071】
図１３は、本実施形態において、図１１（ａ）の赤外画像中で輝度補正を適用すべき領域を選択し、選択された領域に対して輝度補正を適用して得られる画像の一例を示す。
図１３の領域Ａは、輝度補正が適用されているため、領域Ａの平均輝度は図１１（ｂ）の可視画像の平均輝度と一致する。一方、図１３の領域Ｂは輝度補正を適用すべき領域として選択されず輝度補正が適用されていないため、輝度平均は変化せず、図１１（ａ）の赤外画像の平均輝度と一致する。
図１３の領域Ａは、輝度補正が適用されているため、領域Ａの平均輝度は図１１（ｂ）の可視画像の平均輝度と一致する。一方、図１３の領域Ｂは輝度補正を適用すべき領域として選択されず輝度補正が適用されていないため、輝度平均は変化せず、図１１（ａ）の赤外画像の平均輝度と一致する。
【0072】
なお、黒潰れおよび白飛びの判定基準は設計者もしくはユーザが任意に設定してよい。例えば、輝度の下限値を０％、輝度の上限値を１００％として、１０％以下を黒潰れ、９０％以上を白飛びと見做すよう閾値を設定すればよい。
また、赤外画像が黒潰れして、可視画像が白飛びしている領域については、輝度補正を適用することが好ましい。同様に赤外画像が白飛びして、可視画像が黒潰れしている領域も輝度補正を適用することが好ましい。また、輝度補正を適用すべき領域の選択は、可視画像が黒潰れもしくは白飛びしているか否かのみで判定してもよい。
また、赤外画像が黒潰れして、可視画像が白飛びしている領域については、輝度補正を適用することが好ましい。同様に赤外画像が白飛びして、可視画像が黒潰れしている領域も輝度補正を適用することが好ましい。また、輝度補正を適用すべき領域の選択は、可視画像が黒潰れもしくは白飛びしているか否かのみで判定してもよい。
【0073】
以上説明したように、本実施形態によれば、撮像装置は、輝度平均値を算出する際に、領域ごと算出された輝度平均値に基づいて、赤外画像の領域中で輝度補正すべき領域を選択する。
これにより、実施形態１と同様、合成画像における色の再現性を高め、合成画像がユーザに与える違和感を低減しつつ、さらに、可視画像の輝度の黒潰れや白飛び等が合成画像に反映されるのを有効に防止することができる。
これにより、実施形態１と同様、合成画像における色の再現性を高め、合成画像がユーザに与える違和感を低減しつつ、さらに、可視画像の輝度の黒潰れや白飛び等が合成画像に反映されるのを有効に防止することができる。
【0074】
（実施形態５）
以下、図１４ないし図１６を参照して、実施形態５を、上記各実施形態と異なる点についてのみ詳細に説明する。
実施形態３および実施形態４では、撮像装置１は、赤外光帯域特有の情報を有する赤外画像の領域に対して、輝度補正を適用しなかった。これに対して、本実施形態は、赤外画像が赤外光帯域特有の情報を含む場合に、輝度補正される前の赤外画像と、輝度補正された後の合成画像との２つの画像を表示装置上に並列表示するユーザインタフェースを提供する。
以下、図１４ないし図１６を参照して、実施形態５を、上記各実施形態と異なる点についてのみ詳細に説明する。
実施形態３および実施形態４では、撮像装置１は、赤外光帯域特有の情報を有する赤外画像の領域に対して、輝度補正を適用しなかった。これに対して、本実施形態は、赤外画像が赤外光帯域特有の情報を含む場合に、輝度補正される前の赤外画像と、輝度補正された後の合成画像との２つの画像を表示装置上に並列表示するユーザインタフェースを提供する。
【0075】
実施形態３および実施形態４と同様の構成で、輝度補正すべき領域を検出する際に、可視画像と赤外画像との比較を実行することで、赤外光帯域特有の情報を含む領域であるか否かを判定することができる。本実施形態では、この比較結果に依らず輝度補正は適用するが、赤外光帯域特有の情報を含む領域であると判定された場合、輝度補正前の赤外画像を、輝度補正適用後の赤外画像から合成された合成画像と並列して表示する。
図１４は、領域Ｂに赤外光帯域特有の情報を含む図１１の画像に基づいて、ディスプレイ５上で、合成された合成画像および輝度補正前の赤外画像を並列表示した例を示す。図１４に示すように、映像信号合成部１８は、同一のディスプレイ５上に輝度補正された合成画像５１および輝度補正前の赤外画像５２を並列表示するよう表示制御する。なお、画像のサイズは同じである必要はなく、どちらかを大きくまたは小さく表示してもよい。
図１４は、領域Ｂに赤外光帯域特有の情報を含む図１１の画像に基づいて、ディスプレイ５上で、合成された合成画像および輝度補正前の赤外画像を並列表示した例を示す。図１４に示すように、映像信号合成部１８は、同一のディスプレイ５上に輝度補正された合成画像５１および輝度補正前の赤外画像５２を並列表示するよう表示制御する。なお、画像のサイズは同じである必要はなく、どちらかを大きくまたは小さく表示してもよい。
【0076】
また、赤外光帯域特有の情報を含む領域は既知であるため、画像全体ではなく、赤外光帯域特有の情報だけを切り出して表示してもよい。
図１５は、このように、赤外光帯域特有の情報を切り出した輝度補正前の赤外画像を示す。図１５は、領域Ｂに赤外光帯域特有の情報を含む図１１の画像に基づいて、ディスプレイ５上で合成画像５１と、赤外光帯域特有の情報を切り出した輝度補正前の赤外画像５３とを並列表示した例を示す。図１５のように並列表示し、また合成画像５１側に切り出し枠を表示するよう表示制御することで、画像中どこに赤外光帯域特有の情報があるのかを容易に視認することができる。
図１５は、このように、赤外光帯域特有の情報を切り出した輝度補正前の赤外画像を示す。図１５は、領域Ｂに赤外光帯域特有の情報を含む図１１の画像に基づいて、ディスプレイ５上で合成画像５１と、赤外光帯域特有の情報を切り出した輝度補正前の赤外画像５３とを並列表示した例を示す。図１５のように並列表示し、また合成画像５１側に切り出し枠を表示するよう表示制御することで、画像中どこに赤外光帯域特有の情報があるのかを容易に視認することができる。
【0077】
あるいは、ユーザが赤外光帯域特有の情報を使用した合成画像を所望するのか、あるいは可視画像に近い合成画像を所望するのかを、ユーザに選択させてもよい。ユーザの選択に応じて、上記実施形態における輝度補正すべき領域の選択を実行すべきか否かを変更すればよい。赤外光帯域特有の情報を所望する場合には、赤外光帯域特有の情報を含む領域が輝度補正されないよう、領域の選択を実行すべきであり、一方、可視画像に近い画像を所望する場合には、領域の選択を実行すべきでない。
【0078】
図１６は、赤外特有の情報を重視するモード（赤外優先合成モード）と、可視画像を重視するモード（可視優先合成モード）とをユーザに選択的に指示入力させるユーザインタフェース５４の例を示す。図１６に示すように、映像信号合成部１８は、赤外優先合成モードと可視優先合成モードのいずれかをユーザに選択入力させるよう入力制御する。
図１６で、赤外優先合成モードが選択された場合、輝度補正すべき領域の選択を実行し、実施形態２ないし実施形態４のいずれかの輝度補正を適用する。一方、可視優先合成モードが選択された場合、輝度補正すべき領域の選択を実行せず、実施形態１の輝度補正を適用する。ただし、図１６のモード表示は一例であり、適宜変更が可能である。また、図１４、図１５、および図１６の表示例は適宜組み合わせてもよい。
図１６で、赤外優先合成モードが選択された場合、輝度補正すべき領域の選択を実行し、実施形態２ないし実施形態４のいずれかの輝度補正を適用する。一方、可視優先合成モードが選択された場合、輝度補正すべき領域の選択を実行せず、実施形態１の輝度補正を適用する。ただし、図１６のモード表示は一例であり、適宜変更が可能である。また、図１４、図１５、および図１６の表示例は適宜組み合わせてもよい。
【0079】
以上説明したように、本実施形態によれば、撮像装置１は、輝度補正前の赤外画像と合成画像とを並列表示し、あるいは合成モードを選択させるユーザインタフェースを提供するので、ユーザが所望する用途に応じた適切な合成画像を生成することができる。
【0080】
図１７は、上記各実施形態における画像処理を、撮像装置、または外部から入力される画像を処理する情報処理装置に実装する場合のハードウエア構成の一例を示す図である。
図１７に示す情報処理装置２は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、外部メモリ２４と、入力部２５と、表示部２６と、通信Ｉ／Ｆ２７と、システムバス２８とを備える。ＣＰＵ２１は、情報処理装置２における動作を統括的に制御するものであり、システムバス２８を介して、各構成部（２１～２７）を制御する。ＲＯＭ２２は、ＣＰＵ２１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ２４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ２３は、ＣＰＵ２１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２１は、処理の実行に際してＲＯＭ２２から必要なプログラム等をＲＡＭ２３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
外部メモリ２４は、例えば、ＣＰＵ２１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ２４には、例えば、ＣＰＵ２１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。入力部２５は、キーボードやマウス等のポインティングデバイスにより構成される。表示部２６は、液晶ディスプレイ（ＬＣＤ）等のモニタにより構成される。通信Ｉ／Ｆ２７は、管理者端末装置２とネットワークカメラ１、サーバ３、ＮＡＳ４、およびクラウドサーバ８との通信を制御するインタフェースである。
図１７に示す情報処理装置２は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、外部メモリ２４と、入力部２５と、表示部２６と、通信Ｉ／Ｆ２７と、システムバス２８とを備える。ＣＰＵ２１は、情報処理装置２における動作を統括的に制御するものであり、システムバス２８を介して、各構成部（２１～２７）を制御する。ＲＯＭ２２は、ＣＰＵ２１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ２４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ２３は、ＣＰＵ２１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２１は、処理の実行に際してＲＯＭ２２から必要なプログラム等をＲＡＭ２３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
外部メモリ２４は、例えば、ＣＰＵ２１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ２４には、例えば、ＣＰＵ２１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。入力部２５は、キーボードやマウス等のポインティングデバイスにより構成される。表示部２６は、液晶ディスプレイ（ＬＣＤ）等のモニタにより構成される。通信Ｉ／Ｆ２７は、管理者端末装置２とネットワークカメラ１、サーバ３、ＮＡＳ４、およびクラウドサーバ８との通信を制御するインタフェースである。
【0081】
（他の実施形態）
本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、Ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
また、本発明は、上述の実施形態の一部または１以上の機能を実現するプログラムによっても実現可能である。すなわち、そのプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）における１つ以上のプロセッサがプログラムを読出し実行する処理により実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
また、コンピュータが読みだしたプログラムを実行することにより、実施形態の機能が実現されるものに限定されない。例えば、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。
本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、Ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
また、本発明は、上述の実施形態の一部または１以上の機能を実現するプログラムによっても実現可能である。すなわち、そのプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）における１つ以上のプロセッサがプログラムを読出し実行する処理により実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
また、コンピュータが読みだしたプログラムを実行することにより、実施形態の機能が実現されるものに限定されない。例えば、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。
【符号の説明】
【0082】
１…撮像装置、５…ディスプレイ、１１…レンズ、１２…ビームスプリッタ、１３…可視光用イメージセンサ、１４…赤外光用イメージセンサ、１５…色空間変換部、１６…領域別輝度算出部、１７…輝度補正部、１８…映像信号合成部、５１…合成画像、５２…輝度補正前の赤外画像、５３…輝度補正前の赤外画像の切り出し画像、５４…モード選択ユーザインタフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】