7790899 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-12-15

(45)【発行日】2025-12-23

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   H04N 25/10 20230101AFI20251216BHJP

   H04N 23/88 20230101ALI20251216BHJP

【ＦＩ】

H04N25/10

H04N23/88

【請求項の数】 5

(21)【出願番号】P 2021146786

(22)【出願日】2021-09-09

(65)【公開番号】P2023039589

(43)【公開日】2023-03-22

【審査請求日】2024-09-05

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】西尾 太介

(72)【発明者】

【氏名】千野 俊介

【審査官】塚本 丈二

(56)【参考文献】

【文献】特開２０１２－０２３６０６（ＪＰ，Ａ）

【文献】特開２０１０－１６１４６０（ＪＰ，Ａ）

【文献】特開２０１４－００７６９２（ＪＰ，Ａ）

【文献】特開２０１０－１０９８７５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０２５１５６１（ＵＳ，Ａ１）

【文献】中国特許出願公開第１６１２６１６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／１０

Ｈ０４Ｎ ２３／８８

(57)【特許請求の範囲】

【請求項1】

赤外光カットフィルタの挿抜を検知する検知手段と、
入力画像に基づいてホワイトバランス制御値を算出する算出手段と、
前記算出手段によってホワイトバランス制御値の算出されたタイミングからの経過時間を計測する計測手段と、
前記算出手段による前記ホワイトバランス制御値を算出するタイミングを決定する制御手段と、を備え、
前記制御手段は、前記検知手段により前記赤外光カットフィルタの抜去が検知された第１のタイミングと、前記第１のタイミングの後の前記計測手段による経過時間に基づく複数の第２のタイミングと、において前記算出手段により前記ホワイトバランス制御値が算出されるように決定し、
前記制御手段は、ホワイトバランス制御値が算出されたタイミングからの経過時間が、ホワイトバランス制御値が算出される度に長くなるように前記第２のタイミングを決定する
ことを特徴とする画像処理装置。

【請求項2】

前記制御手段は、前記第１のタイミングから所定以上の時間が経過したタイミングを最初の前記第２のタイミングとする、ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記算出手段は、前記入力画像に基づいて算出した前記ホワイトバランス制御値が所定の範囲内である場合に、前記入力画像に基づいて算出した前記ホワイトバランス制御値を出力し、前記入力画像に基づいて算出した前記ホワイトバランス制御値が所定の範囲内でない場合には、過去に出力したホワイトバランス制御値をそのまま出力し、前記ホワイトバランス制御値を算出する度に前記所定の範囲を小さくする、ことを特徴とする請求項１または請求項２に記載の画像処理装置。

【請求項4】

画像処理装置が実行する画像処理方法であって、
赤外光カットフィルタの挿抜を検知する検知ステップと、
入力画像に基づいてホワイトバランス制御値を算出する算出ステップと、
前記算出ステップにおいてホワイトバランス制御値の算出されたタイミングからの経過時間を計測する計測ステップと、
前記算出ステップによる前記ホワイトバランス制御値を算出するタイミングを決定する制御ステップと、を含み、
前記制御ステップでは、前記検知ステップにより前記赤外光カットフィルタの抜去が検知された第１のタイミングと、前記第１のタイミングの後の前記計測ステップによる経過時間に基づく複数の第２のタイミングと、において前記算出ステップにより前記ホワイトバランス制御値が算出されるように決定し、
前記制御ステップでは、ホワイトバランス制御値が算出されたタイミングからの経過時間が、ホワイトバランス制御値が算出される度に長くなるように前記第２のタイミングを決定する
ことを特徴とする画像処理方法。

【請求項5】

コンピュータを、請求項１から請求項３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置によって撮像された画像の処理技術に関する。

【背景技術】

【0002】

従来、撮像センサが赤外光を取り込んだ状態でホワイトバランス（Ｗｈｉｔｅ Ｂａｌａｎｃｅ、以下適宜、ＷＢとする）制御を行い、カラー画像を出力する撮像装置が知られている。

【0003】

カラー画像の色は通常、可視光のみ取り込んだ状態、即ち、赤外光を取り込まないように赤外光カットフィルタ（Ｉｎｆｒａ－Ｒｅｄ Ｃｕｔ－оｆｆ Ｆｉｌｔｅｒ、以下、ＩＲＣＦとする）を光軸上に挿入した状態を想定して設計されている。一方で、低照度環境での撮影時などに、ＩＲＣＦを光軸上から抜去して赤外光を取り込むことで撮像センサの感度を向上させるモードを備えた撮像装置がある。ただし、前述した通り、撮像装置の色は赤外光を取り込まない状態で設計されているため、赤外光を取り込むことでカラー画像の色は崩れてしまう。具体的には、赤外光を取り込まない状態と比べて、撮像画像の色が赤みを帯びたりしてしまう。即ち、撮像装置の色再現性が低下してしまう。

【0004】

それに対して、特許文献１では、ＩＲＣＦの位置に応じて、ホワイトバランス制御の方式を切り替える技術が開示されている。特許文献１によれば、ＩＲＣＦの位置に応じて、画面全体のＲＧＢ（赤緑青）成分の各々の積分値の比が、予め記憶された比になるようにホワイトバランス制御を行うか、１：１：１になるようにホワイトバランス制御を行うかを切り替える。これにより、撮像装置の色再現性を向上させている。

【0005】

また、近年の撮像素子の高感度化に伴い、ＩＲＣＦ抜去時に赤外光を取り込んだ分だけ露出を下げても可視光成分を取り込めるようになり、ＩＲＣＦ抜去時に被写体の色情報が失われにくくなっている。換言すると、撮像素子の高感度化によって可視光成分と赤外光成分とが混合された撮像画像を得やすくなっている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００５－１３０３１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、上述の特許文献に開示された従来技術では、赤外光カットフィルタ（ＩＲＣＦ）抜去時において、被写体や光源の変化があった場合にホワイトバランスが変化しやすい。そのため、連続的な撮影を行っている期間内にホワイトバランスが大きく変化してしまい、画質上の妨害間を生じる虞がある。とりわけ、監視カメラのような特定の条件下で特定の被写体を長時間撮影し続けるようなユースケースにおいて、ホワイトバランスが大きく変化してしまうと、同一被写体の色が撮影タイミングによって大きく異なり、違和感を生じる虞がある。

【0008】

そこで、本発明の目的は、ＩＲＣＦ抜去時においても適切なホワイトバランスに制御することを可能にした画像処理装置を提供することである。

【課題を解決するための手段】

【0009】

本開示の画像処理装置は、赤外光カットフィルタの挿抜を検知する検知手段と、入力画像に基づいてホワイトバランス制御値を算出する算出手段と、前記算出手段によってホワイトバランス制御値の算出されたタイミングからの経過時間を計測する計測手段と、前記算出手段による前記ホワイトバランス制御値を算出するタイミングを決定する制御手段と、を備え、前記制御手段は、前記検知手段により前記赤外光カットフィルタの抜去が検知された第１のタイミングと、前記第１のタイミングの後の前記計測手段による経過時間に基づく複数の第２のタイミングと、において前記算出手段により前記ホワイトバランス制御値が算出されるように決定し、前記制御手段は、ホワイトバランス制御値が算出されたタイミングからの経過時間が、ホワイトバランス制御値が算出される度に長くなるように前記第２のタイミングを決定することを特徴とする。

【発明の効果】

【0010】

本発明によれば、ＩＲＣＦ抜去時においても適切なホワイトバランスに制御することを可能にした撮像装置を提供することができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態の画像処理装置の構成図である。

【図2】本発明の処理フローの一部を表すフローチャートである。

【図3】第１の実施形態におけるホワイトバランスゲイン制御の一例を表す図である。

【図4】第２の実施形態の画像処理装置の構成図である。

【図5】第２の実施形態におけるホワイトバランスゲイン制御の一例を表す図である。

【図6】第２の実施形態におけるホワイトバランスゲイン制御の一例を表す図である。

【図7】第３の実施形態におけるホワイトバランスゲイン制御の一例を表す図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を参照して説明する。

【0013】

以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成については同じ符号を付して説明する。

【0014】

＜第１の実施形態＞
図１は第１の実施形態の画像処理装置の構成例を示したブロック図である。

【0015】

以下、図１を参照して、第１の実施形態による画像処理装置について説明する。本実施形態の画像処理装置は、デジタルカメラや監視カメラ等の撮像装置に内蔵もしくは接続される装置であるとする。

【0016】

入力画像は不図示のレンズおよび撮像センサからなる撮像ユニットで撮像された画像である。入力画像は、複数の画素からなる画像データ（または画像信号）であり、複数の色の情報を含む。複数の色は、例えば赤（Ｒｅｄ：Ｒ）、緑（Ｇｒｅｅｎ：Ｇ）、青（Ｂｌｕｅ：Ｂ）の各色であり、画像データは、不図示の撮像センサ上に設けられた各色に対応するカラーフィルタを透過して、撮像センサで電気信号に変換された光量に相当するデータである。カラーフィルタは、赤色、緑色、青色に相当する可視光だけでなく、一部の赤外光（非可視光）も透過する。そのため、一般的な撮像装置では、赤外光カットフィルタ（Ｉｎｆｒａ－Ｒｅｄ Ｃｕｔ－оｆｆ Ｆｉｌｔｅｒ：ＩＲＣＦ）を設けて、赤外光成分を除去することにより、人間の視覚に近い画像が得られるようにしている。撮像センサは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子からなる。

【0017】

出力画像は、入力画像の画素値に対し、後述するようにして求められる最終的なホワイトバランス制御値であるホワイトバランスゲインを乗じることによって、ホワイトバランスが適切に補正された画像である。以降の説明では、ホワイトバランス（Ｗｈｉｔｅ Ｂａｌａｎｃｅ）を適宜、ＷＢと記す。詳細は後述するが、本実施形態の画像処理装置は、入力画像が、撮像センサで取り込んだ赤外光の影響を受けているか否かに応じたホワイトバランス制御（ＷＢ制御）を行うことによって、ホワイトバランスが適切に補正された出力画像を得るものである。

【0018】

特徴量取得部１０１は、入力画像の色に関する特徴量を取得し、その特徴量をゲイン算出部１０２に出力する。より具体的には、特徴量取得部１０１は、入力画像を複数の矩形領域に分割した場合の各矩形領域内に含まれる画像データによって決定される矩形領域毎の色情報を取得する。色情報は例えば矩形領域毎の色差信号の代表値であり、代表値は例えば平均値や最頻値などである。

【0019】

ゲイン算出部１０２は、指示されたタイミングにおいて、入力画像の特徴量に応じてホワイトバランス制御値を算出する。例えば、ゲイン算出部１０２は、特徴量取得部１０１から領域毎の色情報を取得して、入力画像の色情報の代表値を算出する。そしてゲイン算出部１０２は、タイミング制御部１０５から指示されたタイミングにおいて、ホワイトバランス制御値として、出力画像の色情報の代表値が所定の目標値となるようなホワイトバランスゲイン（以下、ＷＢゲインとする）を算出する。本実施形態において、ホワイトバランス制御に使用されるＷＢゲインは、例えば、画像の赤みを調整する赤ゲイン（以下、Ｒｅｄゲインとする）、および画像の青みを調整する青ゲイン（以下、Ｂｌｕｅゲインとする）であるとする。ゲイン算出部１０２にて算出されたＷＢゲインの情報は、ゲイン乗算部１０６に送られる。また、タイミング制御部１０５から指示されたタイミング以外のタイミングにおいては、過去に、タイミング制御部１０５から指示されたタイミングにおいて算出したＷＢゲインをゲイン乗算部１０６に送る。

【0020】

赤外光検知部１０３は、入力画像の色に対する赤外光の影響を検知する。即ち、赤外光検知部１０３は、入力画像の色が、撮像センサで取り込んだ赤外光の影響を受けているか否かを検知し、その検知結果をタイミング制部１０５に出力する。例えば、赤外光検知部１０３は、不図示のＩＲＣＦが撮像ユニットのレンズの光軸上に挿入されている場合に、入力画像の色は赤外光の影響を受けていないことを検知する。一方、赤外光検知部１０３は、ＩＲＣＦが撮像ユニットのレンズの光軸上に挿入されていない（光軸上から抜去されている）場合に、入力画像の色は赤外光の影響を受けていることを検知する。

【0021】

照度変化検知部１０４は、入力画像が撮影された環境の照度変化を検知する。即ち、照度変化検知部１０４は、現在の照度情報を取得し、現在の照度情報と赤外光検知部１０３が入力画像の色に対する赤外光の影響を検知したタイミングの照度情報との差分が所定以上となった場合に照度変化を検知する。そして、その検知結果をタイミング制部１０５に出力する。照度情報は、入力画像の明るさに基づいて算出したり、露出条件に基づいて算出したり、あるいは、不図示の照度センサを設けてその読み取り値に基づいて算出したりすればよい。また、入力画像の領域毎の色情報の分布に基づいて、色情報の分布の偏りの大きさを照度情報としてもよい。照度が低いほど被写体の色成分が少なくなるため、色情報の分布は特定の色領域に偏るためである。

【0022】

タイミング制御部１０５は、ゲイン算出部１０２にＷＢゲインを算出するタイミングを指示する。即ち、タイミング制御部１０５は、照度変化の検知結果、および、赤外光の影響の検知結果に基づいて、ＷＢゲインを算出するタイミングを決定し、そのタイミングをゲイン算出部１０２に出力する。タイミング制御部１０５は、赤外光の影響の有無が切り替わったタイミング、および、赤外光の影響があることを検知し、かつ、照度変化があることを検知したタイミングを、ＷＢゲインを算出するタイミングとして、ゲイン算出部１０２に出力する。

【0023】

ゲイン乗算部１０６は、ゲイン算出部１０５からＷＢゲインを取得し、そのＷＢゲインを入力画像に乗じることでホワイトバランス制御がなされた出力画像を生成して、出力する。

【0024】

図２は、本実施形態の画像処理装置で実行される画像処理の主要部の流れの一例を示すフローチャートである。以下、図２のフローチャートを参照しながら、本実施形態に係る画像処理の一例について説明する。なお、以降のフローチャートの説明では、処理ステップを、符号の「Ｓ」を用いて表している。

【0025】

ステップＳ０１では、特徴量取得部１０１が、入力画像の色に関する特徴量を取得する。

【0026】

ステップＳ０２では、赤外光検知部１０３が、入力画像の色が撮像センサで取り込んだ赤外光の影響を受けているか否かを検知する。

【0027】

ステップＳ０３では、照度変化検知部１０４が、入力画像が撮影された環境の照度変化を検知する。

【0028】

ステップＳ０４では、タイミング制御部１０５が、入力画像の色に対する赤外光の影響に変化があったか否かを判定する。変化があったと判定された場合はステップＳ０７に進む。変化がないと判定された場合はＳ０５に進む。

【0029】

ステップＳ０５では、タイミング制御部１０５が、赤外光検知部１０３が入力画像の色に対する赤外光の影響を検知している場合に処理をステップＳ０６に進める。一方、タイミング制御部１０５は、赤外光検知部１０３が入力画像の色に対する赤外光の影響を検知していない場合に処理を終端へと進める。

【0030】

ステップＳ０６では、タイミング制御部１０５が、照度変化検知部１０４が照度変化を検知している場合に処理をステップＳ０７に進める。一方、タイミング制御部１０５は、照度変化検知部１０４が照度変化を検知していない場合に処理を終端へと進める。

【0031】

ステップＳ０７では、ＷＢゲイン算出部１０２が、ステップＳ０１で取得した特徴量に基づいてホワイトバランスゲイン（ＷＢゲイン）を算出し、処理を終了する。

【0032】

以下、本実施形態におけるホワイトバランスゲイン制御とその効果について説明する。

【0033】

図３は、本実施形態におけるホワイトバランスゲイン制御の一例であるＷＢ制御例を表した図である。

【0034】

図３は昼から夜へと移り変わる日没前後の照明環境における、照度変化、撮像画像の色に対する赤外光の影響の変化、および、それらに対応する本実施形態のＷＢゲイン制御の一例を表している。

【0035】

図３に示すように、夕暮れから日没後しばらくの間は照度が下がっていき、日没後十分時間が経過すると照度は下がりきって安定する。その間、照度が所定の値Ｌ１より小さくなった時点で撮像センサの感度不足を補うためにＩＲＣＦが抜去される。本実施形態のＷＢゲイン制御では、照度が所定の値Ｌ１より小さくなり、ＩＲＣＦが抜去されたタイミングにおいて第１の白設定処理（白設定処理１）を行う。白設定処理は、実行されたタイミングにおける撮像画像に基づいてＷＢゲインを算出し、算出されたＷＢゲインに固定する処理である。従って、図３に示したように、ＩＲＣＦが抜去される前はＡｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ（ＡＷＢ）処理により、撮像画像に応じてＷＢゲインが逐次変更されていたとしても、ＩＲＣＦが抜去された後はＷＢゲインをＷＢ１に固定する。ＷＢ１はＩＲＣＦが抜去されたタイミングにおいて算出された、即ち、照度が所定の値Ｌ１より小さくなったタイミングで算出されたＷＢゲインである。さらに、本実施形態のＷＢゲイン制御では、照度が所定の値Ｌ２より小さくなったタイミングにおいて、第２の白設定処理（白設定処理２）を行う。即ち、照度が所定の値Ｌ２より小さくなった後は、照度が所定の値Ｌ２より小さくなったタイミングで算出されたＷＢゲインであるＷＢ２に固定する。

【0036】

ＩＲＣＦが抜去され、撮像画像に対する赤外光の影響の大きさが変化すると、撮像画像の色味は大きく変化するため、適切なホワイトバランスも大きく変化する。本実施形態の画像処理装置は、ＩＲＣＦが抜去されたタイミングにおいて白設定処理を行うことで、撮像画像の色味の大きな変化に追従して適切なホワイトバランスに制御するＷＢゲインを適用する。また、ＷＢゲインを固定するため、色の偏った被写体を撮像したとしても、被写体の色に依存することなく安定したホワイトバランス制御を行うことができる。また、ＩＲＣＦが抜去された後で撮影環境の照度が変化すると、可視光と赤外光とのバランスが崩れてしまうため最適なホワイトバランスが変化する。このとき、ＷＢゲインを固定していると、環境の変化に追従できずホワイトバランスが崩れてしまう。本実施形態の画像処理装置は、ＩＲＣＦが抜去された後で撮影環境の照度が変化したことを検知したタイミングにおいて、再度、白設定処理を行う。このように実施することにより、ＩＲＣＦが抜去された後の撮影環境の照度変化に追従して適切なホワイトバランスを維持できるとともに、被写体の色に依存することなく安定したホワイトバランス制御を行うことができる。

【0037】

なお、照度変化検知部１０４は、赤外光検知部１０３が入力画像の色に対する赤外光の影響を検知したタイミング以降の照度の時間的な変化を逐次算出（計測）する。そして、照度が一定値（略一定の値）に安定したことを検知し、その検知結果をタイミング制部１０５に出力してもよい。照度が一定値に安定した場合、適切なホワイトバランスも一定となるので、照度が一定値に安定したタイミングで白設定処理を行い、ＷＢゲインを固定することで、適切なホワイトバランス制御ができる。

【0038】

＜第２の実施形態＞
以下、第２の実施形態の画像処理装置について説明する。すでに説明した実施形態では、赤外光の影響の有無、および、照度変化の有無に基づいて白設定処理を行うタイミングを制御する。

【0039】

それに対して第２の実施形態は、赤外光の影響の有無、および、直前の白設定処理を実行したタイミングからの経過時間に基づいて白設定処理を行うタイミングを制御する。従って、第２の実施形態においては、照明環境の変化の速さに応じて適切なホワイトバランス制御を行うことができる。

【0040】

図４は、第２の実施形態に係る画像処理装置の機能構成の一例を示す構成図である。なお、第１の実施形態と同じ機能部には同じ符号を付し、それらの説明は省略する。

【0041】

タイミング制御部２０５は、ゲイン算出部１０２にＷＢゲインを算出するタイミングを指示する。即ち、タイミング制御部１０５は、赤外光の影響の検知結果、および、直前のＷＢゲインを算出したタイミングからの経過時間に基づいて、ＷＢゲインを算出するタイミングを決定し、そのタイミングをゲイン算出部１０２に出力する。タイミング制御部１０５は、赤外光の影響の有無が切り替わったタイミング、および、直前のＷＢゲインを算出したタイミングから所定時間経過したタイミングを、ＷＢゲインを算出するタイミングとして、ゲイン算出部１０２に出力する。

【0042】

時間経過算出部２０７は、直前のＷＢゲインを算出したタイミングからの経過時間を算出する。即ち、時間経過算出部２０７は、タイミング制御部２０５からＷＢゲインを算出したタイミングを取得し、そのタイミングからの経過時間を算出し、経過時間が所定以上となった場合に、所定時間経過したことをタイミング制御部２０５に通知する。

【0043】

本実施形態におけるホワイトバランス制御について図５を用いて説明する。図５に示すように、本実施形態のＷＢゲイン制御では、ＩＲＣＦが抜去されたタイミングにおいて第１の白設定処理（白設定処理１）を行う。白設定処理は、実行されたタイミングにおける撮像画像に基づいてＷＢゲインを算出し、算出されたＷＢゲインに固定する処理である。従って、図５に示したように、ＩＲＣＦが抜去された後はＷＢゲインをＷＢ１に固定される。さらに、本実施形態のＷＢゲイン制御では、第１の白設定処理の実行時から時間Ｔが経過したタイミングにおいて、第２の白設定処理（白設定処理２）を行う。即ち、第１の白設定処理の実行時から時間Ｔが経過したタイミングで算出されたＷＢゲインであるＷＢ２に固定する。

【0044】

本実施形態の効果について説明する。図５に示したように、ＩＲＣＦ抜去後に短期的な照度変化があり、その短期的な照度変化に応じてホワイトバランスを制御すると、ＷＢゲインが短期的に変化することでホワイトバランスが不安定になり、画質上の違和感を与える虞がある。

【0045】

そこで、本実施形態においては、ＩＲＣＦが抜去されたタイミングにおいて第１の白設定処理を行い、第１の白設定処理の実行時から時間Ｔが経過したタイミングにおいて、第２の白設定処理を行う。このように実施することで、短期的な照度変化に応じてホワイトバランスを制御することを防止し、安定したホワイトバランスに制御することができる。

【0046】

なお、時間経過算出部２０７は、撮影環境の照度情報を取得し、直前のＷＢゲインを算出したタイミングから連続的な照度変化が継続した時間を算出し、連続的な照度変化が所定時間以上継続したタイミングをタイミング制御部２０５に通知してもよい。あるいは、不連続な照度変化を検知して、不連続な照度変化を検知している間は経過時間の積算を中止し、不連続な照度変化を検知しなくなってから経過時間の積算を再開するようにしてもよい。そのように実施することで、より安定したホワイトバランスに制御することができる。

【0047】

なお、タイミング制御部２０５は、ＩＲＣＦ抜去時にＷＢゲインを算出して以降、複数回のタイミングにおいて、ＷＢゲインを算出するタイミングをゲイン算出部１０２に出力してもよい。また、そのようにＩＲＣＦ抜去状態の複数回のタイミングにおいてＷＢゲインを算出する場合に、時間経過算出部２０７が通知する、直前のＷＢゲインを算出したタイミングからの経過時間を、ＷＢゲインを算出する毎に変えてもよい。

【0048】

このようにタイミング制御した場合のホワイトバランス制御について図６を用いて説明する。図６に示すように、本実施形態のＷＢゲイン制御では、ＩＲＣＦが抜去されたタイミングにおいて第１の白設定処理（白設定処理１）を行う。白設定処理は、実行されたタイミングにおける撮像画像に基づいてＷＢゲインを算出し、算出されたＷＢゲインに固定する処理である。従って、図６に示したように、ＩＲＣＦが抜去された後はＷＢゲインをＷＢ１に固定される。そして、本実施形態のＷＢゲイン制御では、第１の白設定処理の実行時から時間Ｔ１が経過したタイミングにおいて、第２の白設定処理（白設定処理２）を行う。即ち、第１の白設定処理の実行時から時間Ｔ１が経過したタイミングで算出されたＷＢゲインであるＷＢ２に固定する。さらに、本実施形態のＷＢゲイン制御では、第２の白設定処理の実行時から時間Ｔ２が経過したタイミングにおいて、第３の白設定処理（白設定処理３）を行う。即ち、第２の白設定処理の実行時から時間Ｔ２が経過したタイミングで算出されたＷＢゲインであるＷＢ３に固定する。ここで、Ｔ２はＴ１より長い時間に設定する。即ち、ＩＲＣＦ抜去時から起算して、白設定処理の繰り返し回数が増えていくほど、白設定処理を行う時間間隔が大きくなるように制御する。

【0049】

このように実施することで、ＩＲＣＦ抜去直後、即ち日没前後の照度変化が速い時間帯では比較的短い時間間隔で白設定処理を行うことにより、速い照度変化に追従したホワイトバランス制御を行う。一方、日没から時間が経過し、照度変化が遅い時間帯では比較的長い時間間隔で白設定処理を行うことにより、安定したホワイトバランス制御を行うことができる。

【0050】

＜第３の実施形態＞
次に、図７を参照して、第３の実施形態の画像処理装置について説明する。第３の実施形態のホワイトバランス制御では、ＷＢゲイン算出（白設定処理）を繰り返すごとにＷＢゲインのとりうる範囲をせまくするように制御する。即ち、ＷＢゲイン算出（白設定処理）を繰り返すごとに、ＷＢゲインが変化しにくくなるように制御する。

【0051】

なお、本実施形態に係る画像処理装置の機能構成は第１および第２の実施形態と同じであるためその図示は省略する。また、第１および第２の実施形態と同じ機能部については説明を省略し、第１および第２の実施形態とは異なる機能を有する機能部についてのみ以下に説明する。

【0052】

ゲイン算出部３０２は、ＩＲＣＦ抜去時から起算して、タイミング制御部１０５／２０５から指示されたタイミングにゲイン算出（白設定処理）を繰り返すたびに、とりうるＷＢゲインの範囲（ＷＢゲインの有効範囲）が小さくなるように制御する。ゲイン算出部１０２は、算出されたＷＢゲインが有効範囲内である場合、算出されたＷＢゲインをゲイン乗算部１０６に送る。一方、ゲイン算出部１０２は、算出されたＷＢゲインが有効範囲内でない場合、算出されたＷＢゲインをゲイン乗算部１０６に送らず、過去に算出されたＷＢゲインをゲイン乗算部１０６に出力することで、ＷＢゲインを維持する。

【0053】

本実施形態におけるホワイトバランス制御について図７を用いて説明する。図７に示したように、ＩＲＣＦ挿入状態においてはＷＢゲインの有効範囲Ａ１に含まれるＷＢゲイン（例えばＰ１）を適用する。次に、ＩＲＣＦ抜去時の第１の白設定処理においては、Ａ１よりも狭いＷＢゲインの有効範囲Ａ２に含まれるＷＢゲイン（例えばＰ２）を適用する。これにより、ＩＲＣＦを抜去し取り込んだ赤外光の光量に適したホワイトバランスを適用しやすくなる。そして、第１の白設定処理の後で実行される第２の白設定処理においては、ＷＢゲインＰ２を含み、Ａ２よりも狭いＷＢゲインの有効範囲Ａ３に含まれるＷＢゲインを適用する。即ち、第２の白設定処理においてＷＢゲインの有効範囲Ａ３に含まれないＷＢゲイン（例えばＰ３）が算出された場合はＰ３を適用せず、ＷＢゲインＰ２を維持する。

【0054】

このように実施することで、ＩＲＣＦ抜去直後、即ち日没前後の照度変化が大きい時間帯では比較的広いＷＢゲインの有効範囲で白設定処理を行うことにより、大きな照度変化に追従したホワイトバランス制御を行う。一方、日没から時間が経過し、照度変化が小さい時間帯では比較的狭いＷＢゲインの有効範囲で白設定処理を行うことにより、ＷＢゲインの変動を抑制し、安定したホワイトバランス制御を行うことができる。

【0055】

前述した実施形態の画像処理装置は、撮像装置に適用される例を挙げたが、撮像装置に接続等されたパーソナルコンピュータやスマートフォン等の情報処理装置（コンピュータ）によって画像処理装置が実現されてもよい。この場合、撮像装置は撮像ユニットにて撮像された生データと、露光時間やフレームレートや露出値等を示す撮影パラメータとともに、ＩＲＣＦの使用の有無を示す情報、即ち入力画像の色に対する赤外光の影響の有無を示す情報をもコンピュータへ出力する。なお、赤外光の影響の有無を示す情報は、ユーザにより入力されてもよい。そして、コンピュータにおいて前述の実施形態で説明したのと同様の画像処理が行われる。この例におけるコンピュータは、本実施形態の画像処理を実現するソフトウェアのプログラムコードを実行する。ハードウェア構成の図示は省略するが、本実施形態の画像処理装置を実現するコンピュータは、ＣＰＵ、ＲＯＭ、ＲＡＭ（ランダムアクセスメモリ）、補助記憶装置、表示部、操作部、通信Ｉ／Ｆ、及びバス等を有して構成される。ＣＰＵは、ＲＯＭやＲＡＭに格納されているコンピュータプログラムやデータを用いて、当該コンピュータの全体を制御するとともに、前述したホワイトバランス制御等を実行する。また本実施形態の画像処理装置は、ＣＰＵとは異なる１又は複数の専用のハードウェアを有していて、ＣＰＵによる処理の少なくとも一部を専用のハードウェアが実行する構成であっても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭは、変更を必要としないプログラムなどを格納する。ＲＡＭは、補助記憶装置から供給されるプログラムやデータ、及び通信Ｉ／Ｆを介して外部から供給されるデータなどを一時記憶する。補助記憶装置は、ＨＤＤ等で構成され、画像データ、撮影パラメータ、赤外光の影響の有無を示す情報などの種々のデータを記憶する。表示部は、例えば液晶ディスプレイやＬＥＤディスプレイ等で構成され、ユーザが画像処理装置を操作するためのＧＵＩなどを表示する。操作部は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵに入力する。またＣＰＵは、表示部を制御する表示制御部、及び操作部を制御する操作制御部としても動作する。通信Ｉ／Ｆは、画像処理装置の外部の装置との通信に用いられる。例えば、画像処理装置がさらに外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆに接続される。画像処理装置が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆはアンテナを備える。バスは、画像処理装置の各部をつないで情報を伝達する。なお本実施形態の場合、画像処理装置と接続される外部の装置は、前述した撮像装置や他の情報処理装置等である。また表示部と操作部が画像処理装置の内部に存在するものとしたが、表示部と操作部との少なくとも一方が画像処理装置の外部に別の装置として存在していても良い。また、画像処理装置は、表示部や操作部を必ずしも備えていなくても良い。

【0056】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0057】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えばＡＳＩＣ）によっても実現可能である。

【0058】

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0059】

１０１ 特徴量取得部
１０２ ゲイン算出部
１０３ 赤外光検知部
１０４ 照度変化検知部
１０５ タイミング制御部
１０６ ゲイン乗算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】