特許 7465076 画像処理装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-02

(45)【発行日】2024-04-10

(54)【発明の名称】画像処理装置およびその制御方法

(51)【国際特許分類】

   H04N 23/70 20230101AFI20240403BHJP

   H04N 1/387 20060101ALI20240403BHJP

   H04N 23/45 20230101ALI20240403BHJP

   H04N 23/71 20230101ALI20240403BHJP

【ＦＩ】

H04N23/70

H04N1/387 110

H04N23/45

H04N23/71

【請求項の数】 11

(21)【出願番号】P 2019209005

(22)【出願日】2019-11-19

(65)【公開番号】P2020102839

(43)【公開日】2020-07-02

【審査請求日】2022-11-09

(31)【優先権主張番号】P 2018238650

(32)【優先日】2018-12-20

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】山本 直宏

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１８－１９５０８５（ＪＰ，Ａ）

【文献】特開２０１４－１３５６２７（ＪＰ，Ａ）

【文献】特開２０１７－１５７９０２（ＪＰ，Ａ）

【文献】特開２００６－２２７８７６（ＪＰ，Ａ）

【文献】国際公開第２０１７／０９９１５０（ＷＯ，Ａ１）

【文献】特開２００７－０８９０９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７０

Ｈ０４Ｎ １／３８７

Ｈ０４Ｎ ２３／４５

Ｈ０４Ｎ ２３／７１

(57)【特許請求の範囲】

【請求項1】

可視画像と赤外画像とを取得する画像取得手段と、
前記可視画像の輝度を取得する輝度取得手段と、
前記輝度取得手段により取得された輝度に基づいて、前記赤外画像と前記可視画像とを合成した合成画像を生成するための前記赤外画像と前記可視画像との合成比率を決定する決定手段と、
前記決定手段により決定された合成比率に基づいて前記赤外画像と前記可視画像とを合成する合成手段と、
前記合成比率の変化量が閾値を超えた場合に、前記合成比率の変化量が前記閾値を超えないように前記合成比率を補正する補正手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記補正手段は、前記輝度の変化率が閾値を超えた場合に、前記輝度の変化率が閾値を超えないように前記輝度を補正し、
前記決定手段は、前記補正手段により補正された輝度に基づいて、前記合成比率を決定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記決定手段は、相対的に低い輝度における変化量が、相対的に高い輝度における変化量よりも小さくなるよう前記合成比率を決定する
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記決定手段は、前記輝度が大きいほど、前記合成画像における前記赤外画像の割合が小さくなるように前記合成比率を決定する
ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。

【請求項5】

前記輝度取得手段は、取得される時間がそれぞれ異なる第１の輝度、第２の輝度および第３の輝度を順次取得し、
前記決定手段は、前記第１の輝度と前記第２の輝度との間の時間方向の第１の輝度変化率を算出するとともに、前記第２の輝度と前記第３の輝度との間の時間方向の第２の輝度変化率を算出し、
前記補正手段は、第１の輝度変化率と前記第２の輝度変化率とに基づいて前記第２の輝度を補正する
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。

【請求項6】

前記決定手段は、前記第１の輝度と前記第３の輝度との間の第３の輝度変化率を算出し、
前記補正手段は、前記第３の輝度変化率が前記第１の輝度変化率より小さくかつ前記第２の輝度変化率より小さい場合に、前記第２の輝度を補正する
ことを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記画像処理装置の周辺の輝度情報を生成する輝度センサを更に有し、
前記輝度取得手段は、前記輝度センサにより生成された輝度情報に基づいて前記輝度を取得する
ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。

【請求項8】

可視画像と赤外画像とを合成する画像処理装置の制御方法であって、可視画像と赤外画像とを取得する画像取得工程と、
前記可視画像の輝度を取得する輝度取得工程と、
前記輝度取得工程により取得された輝度に基づいて、前記赤外画像と前記可視画像とを合成した合成画像を生成するための前記赤外画像と前記可視画像との合成比率を決定する決定工程と、
前記決定工程により決定された合成比率に基づいて前記赤外画像と前記可視画像とを合成する合成工程と、
前記合成比率の変化量が閾値を超えた場合に、前記合成比率の変化量が前記閾値を超えないように前記合成比率を補正する補正工程と、
を含むことを特徴とする画像処理装置の制御方法。

【請求項9】

前記補正工程では、前記輝度の変化率が閾値を超えた場合に、前記輝度の変化率が閾値を超えないように前記輝度を補正し、
前記決定工程では、前記補正工程により補正された輝度に基づいて、前記合成比率を決定する、
ことを特徴とする請求項８に記載の画像処理装置の制御方法。

【請求項10】

前記決定工程では、相対的に低い輝度における変化量が、相対的に高い輝度における変化量よりも小さくなるよう前記合成比率を決定する
ことを特徴とする請求項８又は９に記載の画像処理装置の制御方法。

【請求項11】

コンピュータを、請求項１に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、可視画像と赤外画像とを合成する技術に関するものである。

【背景技術】

【0002】

ネットワークカメラのシステムは、例えば、公共の建物や場所、銀行、スーパー等の店舗、ダム、基地、飛行場等の立入り禁止区域等への侵入者あるいは侵入物体を監視する目的で数多く用いられている。例えば、ネットワークカメラで撮像された画像データはネットワークを介してサーバーに保存され、保存された画像データに基づいてサーバーは侵入物体が存在するか否かの解析を行う。また、暗い場所でも鮮明に撮像するために、可視光の光源だけでなく赤外光の光源も持つ撮像装置も出ている。この場合、可視光での撮像と赤外光での撮像をあらかじめ決められた条件に従って切り替える操作をしている。例えば、撮像された画像データの輝度情報をもとに、特定の輝度値以上であれば可視光の光源を用いて撮像を行い、特定の輝度値以下であれば赤外光の光源を用いて撮像を行う。一般に、可視光の光源で撮像された可視画像はカラー画像として取得され、赤外光の光源で撮像された赤外画像はモノクロ画像として取得される。

【0003】

さらに、可視画像と赤外画像とを合成して合成画像を生成する手法もある。例えば、可視画像と赤外画像とを合成して疑似カラー画像である合成画像（以下、ＭＩＸ画像と呼ぶ）を生成する手法が知られている。また、特許文献１では、可視画像と赤外画像とを合成することにより、霧が発生している状況における画像の画質を向上させる技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１５７９０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、輝度閾値に基づいて合成画像を生成する際の可視画像と赤外画像との合成比率を切り替える場合、当該切り替えの前後で出力される合成画像における輝度値が大きく変化することがある。そのため、被写体の輝度が輝度閾値周辺で変動する場合においては、輝度変化が小さい場合であっても合成比率が変化し合成画像における輝度値が大きく変化することがある。その結果、合成画像に基づいて認識処理を行う場合には、このような輝度値の変化に起因して被写体の状態を誤認識することになる。また、合成画像をユーザーが目視する場合においては、このような輝度値の変化は当該ユーザーに違和感を抱かせることになる。

【0006】

本発明は、このような問題に鑑みてなされたものであり、より好適な合成画像を生成可能とする技術を提供することを目的としている。

【課題を解決するための手段】

【0007】

上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
可視画像と赤外画像とを取得する画像取得手段と、
前記可視画像の輝度を取得する輝度取得手段と、
前記輝度取得手段により取得された輝度に基づいて、前記赤外画像と前記可視画像とを合成した合成画像を生成するための前記赤外画像と前記可視画像との合成比率を決定する決定手段と、
前記決定手段により決定された合成比率に基づいて前記赤外画像と前記可視画像とを合成する合成手段と、
前記合成比率の変化量が閾値を超えた場合に、前記合成比率の変化量が前記閾値を超えないように前記合成比率を補正する補正手段と、
を有する。

【発明の効果】

【0008】

本発明によれば、より好適な合成画像を生成可能とする技術を提供することができる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態におけるカメラ装置の構成を示す図である。

【図2】カメラ装置の設置形態を説明する図である。

【図3】輝度値と合成比率の関係を示す図である。

【図4】カメラ装置の全体動作を示すフローチャートである。

【図5】合成比率の更新処理を示す詳細フローチャートである。

【図6】時間に対する輝度値の閾値の関係を示す図である。

【図7】時間に対する輝度値変化の一例を示す図である。

【図8】図７に示す輝度値変化の補正結果の例を示す図である。

【図9】第１実施形態における合成比率の補正処理を示す詳細フローチャートである。

【図10】時間に対する輝度値変化の他の例を示す図である。

【図11】図１０に示す輝度値変化の補正結果の例を示す図である。

【図12】第２実施形態における合成比率の補正処理を示す詳細フローチャートである。

【発明を実施するための形態】

【0010】

以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

【0011】

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、可視光領域及び赤外光領域で同一の被写体の撮像を行い、撮像により得られた可視画像および赤外画像を合成して得られる合成画像をネットワーク配信するカメラ装置を例に挙げて以下に説明する。なお、以下の説明では、所定のフレームレートで可視動画像および赤外動画像を取得し、同じタイミングで取得された可視フレーム画像および赤外フレーム画像の画像ペアを合成し配信することを想定する。また、以下の説明では、合成画像として疑似カラー画像（ＭＩＸ画像）を生成する形態について説明するが、モノクロ画像を生成する形態にも適用可能である。

【0012】

＜装置構成＞
図１は、第１実施形態におけるカメラ装置の構成を示す図である。また、図２は、カメラ装置の設置形態を説明する図である。

【0013】

カメラ装置１００は、ネットワーク１２１を介してユーザーインターフェース（ＵＩ）部１２０と通信可能に接続されている。カメラ装置１００で撮像された可視画像、赤外画像、もしくはこれらの画像に基づき生成された合成画像であるＭＩＸ画像はネットワーク１２１を介してＵＩ部１２０に送られる。

【0014】

カメラ装置１００は、可視撮像用のズームレンズ１０１、撮像素子１０２、Ａ／Ｄ変換処理部１０３、現像処理部１０４と、赤外撮像用のズームレンズ１１１、撮像素子１１２、Ａ／Ｄ変換処理部１１３、現像処理部１１４と、を有する。また、カメラ装置１００は、画像合成部１０５、配信部１０６、輝度センサ１０７、輝度判定部１０８、合成比率算出部１０９を有する。

【0015】

カメラ装置１００は、ズームレンズ１０１、１１１によるズーム制御に加え、パン・チルト制御が可能に構成されている。なお、ズーム制御及びパン・チルト制御は、駆動モーター等を制御することにより撮像範囲や撮像方向を物理的に制御するものであってもよいし、画像処理により撮像範囲や撮像方向を論理的に制御するものであってもよい。ＵＩ部１２０は、ユーザーからの指示に基づいて、カメラ装置１００にパン・チルト・ズームなどの制御コマンドを送信する。カメラ装置１００は、受信した制御コマンドに従って、ズームレンズ１０１、１１１及び不図示の架台の駆動モーターを駆動する。例えば、制御コマンドがズーム指示である場合には、当該ズーム指示が示す撮影範囲（撮影画角）となるようズームレンズ１０１、１１１の駆動モーターを駆動する。

【0016】

ズームレンズ１０１は可視光の領域を透過する光学レンズで構成され、撮像素子１０２は、可視光の領域に感度がある素子で構成される。また、ズームレンズ１１１は赤外光の領域を透過する光学レンズで構成され、撮像素子１１２は、赤外光の領域に感度がある素子で構成される。撮像素子１０２、１１２は、受光強度に応じた電気信号を出力する素子であり、ＣＣＤセンサやＣＭＯＳセンサが利用可能である。なお、ここでは、所定のフレームレートで順次撮像を行うことを想定する。

【0017】

撮像素子１０２、１１２が出力したアナログ信号は、Ａ／Ｄ変換処理部１０３、１１３にてデジタル信号に変換され、デジタルデータであるＲＡＷ画像データが生成される。現像処理部１０４、１１４は、受信したＲＡＷ画像データを現像し画像データを生成する。ここでは、現像処理部１０４はカラー画像データを生成し、現像処理部１１４はモノクロ画像データを生成することを想定する。例えば０．１～３０フレーム／秒の範囲で設定され得るが、この範囲に限定されるものではない。

【0018】

画像合成部１０５は、後述する手法により決定された合成比率に従って、現像処理部１０４から画像取得した可視画像と現像処理部１１４から画像取得した赤外画像とを合成し、ＭＩＸ画像を生成する。配信部１０６は、画像合成部１０５で生成されたＭＩＸ画像を、ネットワーク１２１に配信する。なお、配信部１０６は、ＵＩ部１２０からの指示に応じてＭＩＸ画像を圧縮処理した圧縮画像を配信してもよい。

【0019】

輝度センサ１０７は、カメラ装置１００の設置された場所周辺での可視光の輝度情報を生成するセンサである。なお、輝度センサ１０７を設置する替わりに、撮像素子１０２により得られた情報に基づき可視画像の輝度の情報生成をするよう構成してもよい。輝度判定部１０８は、輝度センサ１０７で生成された輝度情報を取得（輝度取得）し、合成比率の決定に利用されることになる輝度値を算出する。合成比率算出部１０９は、輝度判定部１０８で算出された輝度値に基づいて合成比率を算出する。

【0020】

図３は、輝度値と合成比率の関係（特性グラフ）を示す図である。横軸は画像合成における合成比率（合成画像における赤外画像の割合）であり、縦軸は可視画像の輝度値である。可視画像の輝度値が高いほど被写体（撮影範囲）は明るいと考えられるため、可視画像の比率が高い（合成比率の値が低い）画像合成となる。そして、輝度値の変化に応じて合成比率が連続的に変化するような関係となっている。合成比率算出部１０９は、輝度判定部１０８で判定された輝度値に対して、図３の特性グラフに基づいて合成比率の値を決定する。画像合成部１０５は、決定された合成比率の値に基づいて、可視画像と赤外画像とを合成してＭＩＸ画像を生成する。

【0021】

なお、可視画像配信から合成画像配信への切り替え（あるいはその逆）においても連続的な変化となるように、当該切り替えを行う輝度値での合成画像における赤外画像の合成比率を０（ゼロ）％（すなわち、可視画像１００％）とするとよい。また、赤外画像配信から合成画像配信への切り替え（あるいはその逆）においても連続的な変化となるように、当該切り替えを行う輝度値での合成画像における赤外画像の合成比率を１００％（すなわち、可視画像０％）とするとよい。更に、相対的に低い輝度（図３の右側）における合成比率の変化率が、相対的に高い輝度（図３の左側）における合成比率の変化率よりも小さくなるよう設定するとよい。

【0022】

＜装置の動作＞
図４は、カメラ装置の全体動作を示すフローチャートである。具体的には、可視画像、赤外画像を取得し、ＭＩＸ画像を配信するまでのカメラ装置１００の動作を示している。なお、以下の説明では、あるタイミングでの注目フレーム画像（可視画像および赤外画像のペア）について記載しているが、撮像素子１０２、１１２により撮像された各フレーム画像について実行される。

【0023】

Ｓ１０１では、画像合成部１０５は、可視光での画像データの取得し、Ｓ１０２では、赤外光での画像データの取得を行う。Ｓ１０３では、輝度判定部１０８は、輝度センサ１０７からのデータを取得し輝度値を取得する。

【0024】

Ｓ１０４では、画像合成部１０５は、ＵＩ部１２０によって予め指定された配信画像の種類に応じて合成画像を配信するか否かを判断する。合成画像を配信すると判断した場合はＳ１０５に進み、合成画像を配信しない（すなわち、赤外画像または可視画像を配信する）と判断した場合はＳ１１０に進む。

【0025】

Ｓ１１０では、画像合成部１０５は、赤外画像を配信するか否かを判断する。赤外画像を配信すると判断した場合はＳ１１１に進み、赤外画像を配信しない（すなわち、可視画像を配信する）と判断した場合はＳ１１２に進む。Ｓ１１１では、画像合成部１０５は、赤外画像を選択し配信部１０６へ出力する。一方、Ｓ１１２では、画像合成部１０５は、可視画像を選択し配信部１０６へ出力する。

【0026】

Ｓ１０５では、輝度判定部１０８は、輝度値の時間的な変化（輝度値変動）が発生したかを判断する。輝度値変動がある場合にはＳ１０６に進み、輝度値変動がない場合はＳ１０７に進む。Ｓ１０６では、合成比率算出部１０９は、合成比率の更新を行う。合成比率の更新の詳細については、図５を参照して後述する。Ｓ１０７では、画像合成部１０５は、決定された合成比率に従って赤外画像と可視画像とを合成し、合成画像であるＭＩＸ画像を生成する。Ｓ１０８では、画像合成部１０５は、生成した合成画像を選択し配信部１０６へ出力する。

【0027】

Ｓ１０９では、配信部１０６は、Ｓ１０８、Ｓ１１１、Ｓ１１２の何れかで選択され、画像合成部１０５から受信した画像をネットワーク１２１へ配信する。

【0028】

図５は、合成比率の更新処理（Ｓ１０６）を示す詳細フローチャートである。具体的には、合成比率算出部１０９が実行する、ＭＩＸ画像生成に使用する合成比率の更新（算出）処理である。なお、この更新処理は、図４に示す全体動作と同期して実行するよう構成してもよいし、図４の全体動作とは独立して実行するよう構成してもよい。

【0029】

Ｓ２０１では、輝度判定部１０８は、輝度値を算出する。Ｓ２０２では、合成比率算出部１０９は、輝度値と合成比率の関係を示す特性情報（例えば、図３に示す特性グラフ）を取得する。特性情報は、カメラ装置１００内の記憶部に予め格納しておくよう構成してもよいし、ＵＩ部１２０又は他の装置から取得するよう構成してもよい。

【0030】

Ｓ２０３では、合成比率算出部１０９は、Ｓ２０２で読み出した特性情報に基づいて、輝度値に対する合成比率の値を決定する。Ｓ２０４では、合成比率算出部１０９は、Ｓ２０３で決定した合成比率の値を画像合成部１０５へ出力する。

【0031】

Ｓ２０５では、輝度判定部１０８は、輝度センサ１０７での輝度情報に更新通知があったかを判断する。更新があればＳ２０１に移行し処理を繰り返す。更新がなければ処理を終了する。

【0032】

上述のように、カメラ装置１００の設置された場所周辺での輝度に応じて連続的に合成比率を変化させることにより、輝度変化が小さい場合であっても合成画像における輝度値が大きく変化するといった動作を防ぐことが可能となる。すなわち、適切なＭＩＸ画像を生成し出力することが可能となる。

【0033】

ところで、輝度値の急激な変化が生じた場合には、合成比率も併せて急変する可能性がある。そこで、更に、注目フレーム画像（注目画像ペア）に対する合成比率を、当該注目フレーム画像を取得したタイミングでの輝度値の変化率に応じて補正する。具体的には、輝度値変化が生じた場合に、当該輝度値変化に対応する時間に応じて輝度値変動に閾値を設け、合成比率の急変を防止する。

【0034】

図６は、時間に対する輝度値の閾値の関係を示す図である。輝度判定部１０８は、図６に示す輝度値の閾値以上の輝度変化が発生した場合、閾値で示される輝度値に補正する。

【0035】

図７は、時間に対する輝度値変化の一例を示す図である。具体的には、輝度センサ１０７で検知した輝度値の時間推移の一例をプロットしたものである。マーカ２００、２０１、２０２、２０３、２０４は、連続する５つのタイミングでの輝度値を丸印としてプロットしたものである。５つのマーカの中で、マーカ２０２の時間的変化が、閾値を超えて下回っている。この場合、輝度判定部１０８はマーカ２０２を閾値の傾き情報に従って補正を行う。

【0036】

図８は、図７に示す輝度値変化の補正結果の例を示す図である。図７のマーカ２０２の補正を行った結果が図８のマーカ２０５になる。また、マーカ２０２の位置がマーカ２０５の位置に補正されたことで、補正後のマーカ２０２に対するマーカ２０３の時間的変化が閾値を超えて下回ることになる。そのため、マーカ２０３の位置も図８のマーカ２０６の位置に補正される。

【0037】

図９は、第１実施形態における合成比率の補正処理を示す詳細フローチャートである。具体的には、輝度判定部１０８及び合成比率算出部１０９が実行する、輝度変化に応じた合成比率を補正（算出）する処理である。なお、この補正処理は、所定の時間間隔で実行することを想定する。また、図５に示す更新処理と同期して実行するよう構成してもよいし、図５の更新処理とは独立して実行するよう構成してもよい。

【0038】

Ｓ３０１では、輝度判定部１０８は、注目画像ペアに先行する画像ペアに対応する前回読み出した輝度値を読み出す。なお、前回読み出した輝度値は記録媒体に記録されており、輝度判定部１０８は、その記録媒体から前回の輝度値を読み出す。Ｓ３０２では、輝度判定部１０８は、輝度センサ１０７から今回の輝度値を取得し、Ｓ３０１で読み出した前回の輝度値との差分を算出する。Ｓ３０３では、輝度判定部１０８は、輝度センサ１０７から輝度値を取得する時間間隔を算出する。

【0039】

Ｓ３０４では、輝度判定部１０８は、Ｓ３０２で算出した輝度値の差分とＳ３０３で算出した時間間隔の値とから、時間に対する輝度値の変化量である傾き（変化率）の値を算出する。Ｓ３０５では、合成比率算出部１０９は、Ｓ３０４で算出した傾きの値に対して、例えば図３で示した特性グラフに基づいて合成比率の変化量を算出する。

【0040】

Ｓ３０６では、合成比率算出部１０９は、Ｓ３０５で算出された合成比率の変化量と合成比率の特性グラフとを比較し、変化量が特性グラフにより規定される閾値を超過するか否かを判定する。変化量が特性グラフにより規定される閾値を超過する場合はＳ３０７に進み、変化量が特性グラフにより規定される閾値を超過しない場合は、Ｓ３０８に進む。

【0041】

Ｓ３０７では、急激な合成比率の変動であると判断し、合成比率の補正を行う。すなわち、図７及び図８に示したように、緩やかな合成比率の変動となるように補正する。一方、Ｓ３０８では、緩やかな合成比率の変動であると判断し、特性グラフに応じた合成比率を算出する。

【0042】

Ｓ３０９では、輝度判定部１０８は、輝度センサ１０７での輝度情報に更新通知があったかを判断し、更新があればＳ３０１へ移行し処理を繰り返す。

【0043】

以上の処理により、輝度値の急激な変化が生じた場合における合成比率の急激な変動を抑制することが可能となる。

【0044】

以上説明したとおり第１実施形態によれば、赤外光と可視光の２つの光源を持つ撮像装置で撮像した映像の合成画像の合成比率を輝度値に応じて制御する。これにより、撮影中に輝度変動が生じた際にも、被写体の状態の誤認識やユーザーの違和感が軽減された合成画像を出力することが可能となる。

【0045】

（第２実施形態）
第２実施形態では、急な輝度変化に対する合成比率の算出処理の他の形態について説明する。装置構成及び全体動作については第１実施形態と同様であるため説明は省略する。以下では、第１実施形態（図７～図９）と異なる部分について主に説明を行う。

【0046】

＜装置の動作＞
図１０は、時間に対する輝度値変化の他の例を示す図である。具体的には、輝度センサ１０７で検知した輝度値の時間推移の一例をプロットしたものである。マーカ３００、３０１、３０２、３０３、３０４は、連続する５つのタイミングでの輝度値を丸印としてプロットしたものである。５つのマーカの中で、マーカ３０２の時間的変化が、閾値を超えて下回っている。特に、マーカ３０２の前後のマーカ３０１、３０３の輝度値はほぼ同じであり、マーカ３０２の輝度値のみが急激に落ち込んでいる。この場合、輝度判定部１０８はマーカ３０２を閾値の傾き情報に従って補正を行う。

【0047】

図１１は、図１０に示す輝度値変化の補正結果の例を示す図である。図１０のマーカ３０２の補正を行った結果が図１１のマーカ３０５になる。ここでは、マーカ３０２は、そのタイミングだけの急激な変化と判断され、マーカ３０２の前後のマーカ３０１、３０３の輝度値に従ってマーカ３０５の輝度値に補正される。

【0048】

図１２は、第２実施形態における合成比率の補正処理を示す詳細フローチャートである。具体的には、輝度判定部１０８及び合成比率算出部１０９が実行する、輝度変化に応じた合成比率を補正（算出）する処理である。

【0049】

Ｓ４０１では、輝度判定部１０８は、評価対象である注目画像ペアに対応する輝度値と当該注目画像ペアの前後（先行及び後続の画像ペア）に対応する輝度値を読み出す（順次取得する）。例えば、評価対象がマーカ３０２の輝度値である場合、マーカ３０１～マーカ３０３の３点のタイミングでの輝度値を読み出す。

【0050】

Ｓ４０２では、輝度判定部１０８は、Ｓ４０１で読み出した評価対象の輝度値と当該輝度値の前後のタイミングで取得した輝度値それぞれとの差分を算出する。Ｓ４０３では、輝度判定部１０８は、Ｓ４０１で読み出した輝度値の時間間隔を算出する。例えば、図１０に示す例では、マーカ３０１、３０２、３０３の輝度値を取得した時間間隔に相当する。

【0051】

Ｓ４０４では、輝度判定部１０８は、Ｓ４０２で算出した輝度差分とＳ４０３で算出した時間間隔とから、評価対象の輝度値の前後における輝度値の時間に対する変化量（傾き、変化率）を算出する。これにより、３点の輝度値のうち中間のマーカ３０２の輝度値の変化の状態を判定することが出来る。特に、中間に位置するマーカ３０２の周囲に対する急激な一時的変化をしているか否かを判定することができる。

【0052】

Ｓ４０５では、輝度判定部１０８は、中間に位置する輝度値の変化率（輝度変化量）が閾値以上か否かを判断する。図１０に示す例では、マーカ３０１とマーカ３０２との間の第１の輝度変化率、マーカ３０２とマーカ３０３との間の第２の輝度変化率、マーカ３０１とマーカ３０３との間の第３の輝度変化率、を算出する。そして、マーカ３０２の輝度値が閾値以上か否かを判断する。例えば、第３の輝度変化率が第１の輝度変化率より小さくかつ第３の輝度変化率が第２の輝度変化率より小さい場合に、中間に位置するマーカ３０２の輝度が急激な一時的変化であると判定しＳ４０６に進み、閾値未満と判断された場合はＳ４０７に進む。

【0053】

Ｓ４０６では、輝度判定部１０８は、中間に位置する輝度値を閾値に従って補正を行う。例えば、図１０のマーカ３０２を図１１のマーカ３０５の位置に補正する。すなわち、第１の輝度変化率と第２の輝度変化率の双方が閾値未満となるようにマーカ３０２の輝度値を補正する。一方、Ｓ４０７では、輝度判定部１０８は、中間に位置する輝度値を補正しない。Ｓ４０８では、合成比率算出部１０９は、Ｓ４０６及びＳ４０７で決定した輝度値をもとに、特性グラフに応じた合成比率を算出する。

【0054】

Ｓ４０９では、輝度判定部１０８は、輝度センサ１０７での輝度情報に更新通知があったかを判断し、更新があればＳ４０１へ移行し処理を繰り返す。

【0055】

以上の処理により、輝度値の急激な一時的変化が生じた場合における合成比率の急激な変動を抑制することが可能となる。

【0056】

以上説明したとおり第２実施形態によれば、赤外光と可視光の２つの光源を持つ撮像装置で撮像した映像の合成画像の合成比率を輝度値に応じて制御する。これにより、撮影中に一時的な輝度変動が生じた際にも、被写体の状態の誤認識やユーザーの違和感が軽減された合成画像を出力することが可能となる。

【0057】

（変形例）
上述の実施形態において、合成画像の合成比率を輝度値に応じて間接的に制御する例を説明したが、合成比率を直接的に制御することも可能である。例えば、合成比率が急激に変化した場合に、その変化が一時的なものであれば、その急激な変化が生じる前の合成比率の経時変化のデータに基づいて、急激な変化が生じた後の合成比率を補正する。具体的には、急激な変化が生じる前の合成比率の経時変化のデータから急激な変化が生じた後の合成比率の予測データを外挿補完し、この予測データに近づけるように合成比率を補正する。ここで、合成比率の変化が急激なものである否かは、合成比率の変化量が所定値（閾値）以上か否かにより判定する。また、合成比率の変化が一時的なものであるか否かは、合成比率の変化量が所定値（閾値）以上の状態が所定時間未満であるか否かにより判定する。以上の処理により、輝度値の急激な一時的変化が生じた場合における合成比率の急激な変動を抑制することが可能となる。

【0058】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0059】

１００ カメラ装置； １０１ ズームレンズ； １０２ 撮像素子； １０３ Ａ／Ｄ変換処理部； １０４ 現像処理部； １０５ 画像合成部； １０６ 配信部； １０７ 輝度センサ； １０８ 輝度判定部； １０９ 合成比率算出部； １１１ ズームレンズ； １１２ 撮像素子； １１３ Ａ／Ｄ変換処理部； １１４ 現像処理部； １２０ ユーザーインターフェース部； １２１ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】