(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-14
(45)【発行日】2023-12-22
(54)【発明の名称】画像処理システム、画像処理方法、及びプログラム
(51)【国際特許分類】
H04N 23/20 20230101AFI20231215BHJP
H04N 25/42 20230101ALI20231215BHJP
H04N 5/33 20230101ALI20231215BHJP
H04N 23/45 20230101ALI20231215BHJP
H04N 23/60 20230101ALI20231215BHJP
【FI】
H04N23/20
H04N25/42
H04N5/33
H04N23/45
H04N23/60
(21)【出願番号】P 2019108226
(22)【出願日】2019-06-10
【審査請求日】2022-05-30
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】伊勢 保章
【審査官】三沢 岳志
(56)【参考文献】
【文献】特開2017-005484(JP,A)
【文献】米国特許出願公開第2010/0309315(US,A1)
【文献】欧州特許出願公開第02658245(EP,A1)
【文献】特開2016-201722(JP,A)
【文献】特開2016-052115(JP,A)
【文献】特開2017-011633(JP,A)
【文献】特開2017-063362(JP,A)
【文献】特開2017-097645(JP,A)
【文献】特開2018-160024(JP,A)
【文献】特開2018-195085(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/20
H04N 25/42
H04N 5/33
H04N 23/45
H04N 23/60
(57)【特許請求の範囲】
【請求項1】
撮像領域の可視光画像及び非可視光画像を取得する取得手段と、
前記撮像領域の明るさを評価する第1の評価手段と、
前記可視光画像における被写体のノイズを評価する第2の評価手段と、
前記可視光画像と前記非可視光画像とを合成して合成画像を生成する合成手段と、
前記可視光画像を出力する動作中に前記明るさが第1の閾値を下回った場合に、
前記ノイズの少なさを示すノイズ評価値が第2の閾値以上であるか否かを判定し、
前記ノイズ評価値が前記第2の閾値以上である場合、前記可視光画像を出力しないで、前記合成画像を出力し、
前記ノイズ評価値が前記第2の閾値未満である場合、前記可視光画像を出力しないで、前記非可視光画像を出力する、出力手段と、
前記出力手段が出力した画像に対する被写体検出処理を行う処理手段と、
を備えることを特徴とする、画像処理
システム。
【請求項2】
前記出力手段は、前記明るさが第1の閾値以上である場合、前記ノイズの評価結果に応じて前記可視光画像又は前記非可視光画像を選択して出力することを特徴とする、請求項1に記載の画像処理
システム。
【請求項3】
前記出力手段は、前記明るさが第1の閾値以上である場合、
前記ノイズの少なさを示すノイズ評価値が第3の閾値以上であるか否かを判定し、
前記ノイズ評価値が前記第3の閾値以上である場合、前記可視光画像を出力し、
前記ノイズ評価値が前記第3の閾値未満である場合、前記非可視光画像を出力する
ことを特徴とする、請求項2に記載の画像処理
システム。
【請求項4】
前記第3の閾値が、前記被写体の種類に応じて定められることを特徴とする、請求項3に記載の画像処理
システム。
【請求項5】
前記第2の評価手段は、撮像された前記被写体の像の大きさ、又は撮像された前記被写体の像の空間周波数を考慮して、前記被写体のノイズを評価することを特徴とする、請求項1から4のいずれか1項に記載の画像処理
システム。
【請求項6】
前記第2の評価手段は、前記被写体を指定する情報を受け付けることを特徴とする、請求項1から5のいずれか1項に記載の画像処理
システム。
【請求項7】
前記第1の評価手段は、前記可視光画像又は前記合成画像を用いて前記明るさを評価し、前記第2の評価手段は、前記可視光画像又は前記合成画像を用いて前記ノイズを評価することを特徴とする、請求項1から6のいずれか1項に記載の画像処理
システム。
【請求項8】
前記合成手段は、前記明るさと前記ノイズとの少なくとも一方に応じて前記合成画像の生成を開始又は終了することを特徴とする、請求項1から7のいずれか1項に記載の画像処理
システム。
【請求項9】
前記撮像領域の前記可視光画像及び前記非可視光画像を撮像する撮像手段をさらに備えることを特徴とする、請求項1から8のいずれか1項に記載の画像処理
システム。
【請求項10】
前記撮像手段は、前記明るさと前記ノイズとの少なくとも一方に応じて前記非可視光画像の撮像を開始又は終了することを特徴とする、請求項9に記載の画像処理
システム。
【請求項11】
前記撮像手段は、非可視光を照射する照射手段を備え、前記明るさと前記ノイズとの少なくとも一方に応じて前記非可視光の照射を制御することを特徴とする、請求項9又は10に記載の画像処理
システム。
【請求項12】
画像処理
システムが行う画像処理方法であって、
撮像領域の可視光画像及び非可視光画像を取得する工程と、
前記撮像領域の明るさを評価する工程と、
前記撮像領域中の被写体のノイズを評価する工程と、
前記可視光画像と前記非可視光画像とを合成して合成画像を生成する工程と、
前記可視光画像、前記非可視光画像、又は前記合成画像を出力する
出力工程であって、前記可視光画像を出力する動作中に前記明るさが第1の閾値を下回った場合に、
前記ノイズの少なさを示すノイズ評価値が第2の閾値以上であるか否かを判定し、
前記ノイズ評価値が前記第2の閾値以上である場合、前記可視光画像を出力しないで、前記合成画像を出力し、
前記ノイズ評価値が前記第2の閾値未満である場合、前記可視光画像を出力しないで、前記非可視光画像を出力する工程と、
前記出力工程で出力された画像に対する被写体検出処理を行う工程と、
を含むことを特徴とする画像処理方法。
【請求項13】
コンピュータを、請求項1から8のいずれか1項に記載の画像処理
システムの各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に可視光及び非可視光を用いた撮像技術に関する。
【背景技術】
【0002】
可視光画像及び非可視光画像を撮影し、これらを合成することにより、低照度環境においてもカラー画像を撮影する撮像装置が知られている。特に、監視用途で撮像装置を用いる場合、一般には低照度環境において被写体の色を再現することが望まれている。例えば特許文献1は、可視光画像の輝度信号に応じて、色信号に対して増幅処理及びノイズ除去処理を行ってから、非可視光画像と合成することにより、カラー合成画像を生成する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方で、特許文献1のように可視光画像と非可視光画像とを合成することにより得られた合成画像は、可視光画像のノイズの影響を強く受ける。このため、特に低照度の環境においては、カラーの合成画像は得られるものの、合成画像のノイズが多くなってしまう。ノイズが多い画像を出力すると、画像中の被写体の認識性が低下するという課題が生じる。
【0005】
本発明は、可視光画像と非可視光画像とを用いて合成画像を生成可能な構成において、出力される画像における被写体の認識性を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の目的を達成するために、例えば、本発明の画像処理システムは以下の構成を備える。すなわち、
撮像領域の可視光画像及び非可視光画像を取得する取得手段と、
前記撮像領域の明るさを評価する第1の評価手段と、
前記可視光画像における被写体のノイズを評価する第2の評価手段と、
前記可視光画像と前記非可視光画像とを合成して合成画像を生成する合成手段と、
前記可視光画像を出力する動作中に前記明るさが第1の閾値を下回った場合に、
前記ノイズの少なさを示すノイズ評価値が第2の閾値以上であるか否かを判定し、
前記ノイズ評価値が前記第2の閾値以上である場合、前記可視光画像を出力しないで、前記合成画像を出力し、
前記ノイズ評価値が前記第2の閾値未満である場合、前記可視光画像を出力しないで、前記非可視光画像を出力する、出力手段と、
前記出力手段が出力した画像に対する被写体検出処理を行う処理手段と、
を備える。
【発明の効果】
【0007】
可視光画像と非可視光画像とを用いて合成画像を生成可能な構成において、出力される画像における被写体の認識性を向上させることができる。
【図面の簡単な説明】
【0008】
【
図2】動作モードの変更処理の一例を示すフローチャート。
【
図4】動作モードの変更処理の一例を示すフローチャート。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0010】
本発明の一実施形態に係る画像処理装置について
図1を参照して説明する。
図1(A)は、本発明の一実施形態に係る画像処理装置である撮像装置100の機能構成を、クライアント装置190とともに示す概略図である。撮像装置100は、可視光画像及び非可視光画像を取得するための光学部110及び2つの撮像素子121,122を有している。一方で、画像処理装置が、画像を撮像するための構成を有することは必須ではない。本発明の別の実施形態に係る画像処理装置は、撮像領域の可視光画像及び非可視光画像を取得することができる。そして、このような画像処理装置は、後述する制御部130及び画像処理部140を用いて、合成画像を生成し、及び可視光画像、非可視光画像、又は合成画像を出力することができる。また、本発明の一実施形態に係る画像処理装置は、例えばネットワークを介して接続された複数の情報処理装置によって構成されていてもよい。
【0011】
撮像装置100は、撮像対象である撮像領域の可視光画像を撮像するための撮像素子121と、撮像領域の非可視光画像を取得するための撮像素子122とを有している。撮像素子121は、例えば、可視光を受光し、可視光画像の画像信号を生成することができる。また、撮像素子121は、例えば、赤外光のような非可視光を受光し、非可視光画像の画像信号を生成することができる。撮像素子121,122は、例えばCMOSセンサであってもよく、撮像面に結像した被写体像を電気信号に変換して出力することができる。撮像素子121,122から出力された電気信号である画像信号は、画像処理部140に入力される。
【0012】
光学部110は、撮像領域からの光を撮像素子121,122に導く。光学部110は、光学機構111,112を備えることができる。光学機構111は、例えば、ズーム、フォーカス、絞り、及び手振れ補正などのための制御機構と、レンズ群とを有することができる。光学機構112は、撮像素子121へと入射する光と撮像素子122へと入射する光とを分離する。光学機構112は、例えば波長分離用のプリズム又はダイクロイックミラーであってもよい。一実施形態において光学機構112はダイクロイックミラーであり、可視光を透過し赤外光を反射するように構成されている。ダイクロイックミラーを透過した可視光成分は、ダイクロイックミラーの後方に配置された撮像素子121により受光される。また、ダイクロイックミラーにより反射された赤外光成分は、撮像素子122により受光される。
【0013】
撮像素子121,122のそれぞれは、制御部130及び画像処理部140に接続されている。撮像素子121,122は、例えば制御部130により制御されることで、互いに同期して撮像を行うことができる。
【0014】
制御部130は、撮像装置100の全体の動作を制御する。また、制御部130は、画像データを圧縮して圧縮画像データを生成してもよい。例えば、制御部130は、可視光画像、非可視光画像、又は合成画像を圧縮することができる。制御部130は、静止画圧縮又は動画像圧縮を行うことができる。画像圧縮方式としては、例えば、H.264、H.265、MPEG、又はJPEGなどの規格が挙げられる。また、制御部130は、mp4又はavi形式などを含む任意の形式の画像データを生成してもよい。
【0015】
制御部130は、画像データ、又は上記のような圧縮画像データを、出力することができる。すなわち、制御部130は、可視光画像、非可視光画像、若しくは合成画像、又はこれらの圧縮画像を出力することができる。例えば制御部130は、画像データを出力することにより、画像データを、撮像装置100内の又は撮像装置100外の記憶媒体に格納することができる。具体例として、制御部130は、(圧縮)画像データを、撮像装置100に装着されたメモリ150又は記録媒体(不図示)などに記録することができる。また、制御部130は、(圧縮)画像データを、通信部170及びネットワーク180を介して、撮像装置100の外部にある情報処理装置であるクライアント装置190へと送信することにより、(圧縮)画像データを配信することができる。
【0016】
画像処理部140は、撮像素子121,122により撮像された可視光画像と非可視光画像に対する画像処理を行うことができる。例えば、画像処理部140は、撮像素子121,122から得られた画像信号に対して、画素補間処理又は色変換処理等の画像処理を行うことにより、可視光画像及び非可視光画像を生成する。画像処理部140は、画素欠陥補正若しくはレンズ補正などの補正処理、又は、黒レベル、フォーカス、若しくは露出などの調整を行うための検波処理を行ってもよい。画像処理部140は、デモザイク処理、ホワイトバランス処理、ホワイトバランス処理、ガンマ補正処理、エッジ強調処理、又はノイズ抑制処理などを行ってもよい。以下の例において、非可視光画像は撮像素子122が赤外光成分を受光することによって生成された赤外光画像であるが、非可視光画像は赤外光画像には限定されない。画像処理部140は、このような画像処理後の可視光画像及び非可視光画像をメモリ150に保存することができる。
【0017】
また、画像処理部140は、可視光画像と非可視光画像とを合成して合成画像を生成する。すなわち、画像処理部140は、撮像素子121,122により同期して撮像された可視光画像と非可視光画像とを用いて、1フレームの合成画像を生成することができる。本明細書において、「1フレーム」とは、このように同期して撮像された1フレームの可視光画像又は非可視光画像、又はこれらの画像から得られた合成画像のことを指す。
【0018】
メモリ150はプログラム又はデータを格納することができる。メモリ150は、不揮発性メモリ及びRAMを有していてもよい。不揮発性メモリは、制御部130による処理手順を規定する制御プログラム、又は制御部130が処理のために用いる各種のパラメタを記憶することができる。RAMは、制御部130のためのワークエリアとして使用されることができ、画像処理部140が画像処理を行うための記憶領域としても使用されることもできる。
【0019】
照明部160は、非可視光を撮像領域に照射することができる。照明部160は、例えば、赤外光を発するLED光源のような非可視光ライトを有していてもよい。照明部160が非可視光を照射することにより、十分な輝度を有する可視光画像が得られない低照度環境においても、大きい輝度を有する赤外光画像を得ることができる。
【0020】
通信部170はネットワーク処理回路である。通信部170は、例えば、(圧縮)画像データを、通信プロトコルに準拠した通信信号に変換し、ネットワーク180へと送信することができる。
【0021】
クライアント装置190は、ネットワーク180を介して撮像装置100と接続されており、撮像装置100と通信することができる。クライアント装置190は、例えばパーソナルコンピュータなどの情報処理装置であってもよい。クライアント装置190は、制御部191、表示部192、操作部193、及び通信部194を有している。
【0022】
制御部191は、撮像装置100から合成画像データを受信し、必要に応じて伸長処理を行うことができる。また、制御部191は、撮像装置100をコントロールするための制御情報を、通信部194を介して撮像装置100へと送信することにより、撮像装置100の動作を制御することができる。表示部192は、撮像装置100が配信する画像データ(例えば可視光画像、非可視光画像、又は合成画像)を、通信部194を介して受信することができる。また、表示部192は、クライアント装置190のユーザへとユーザインターフェース(UI)又は撮像装置100から受信した画像などを表示することができる。操作部193は、ユーザからの操作入力を受け付ける。表示部192に表示されたアイコン等のユーザインターフェース(UI)に従ってユーザがマウス又はキーボードなどを操作することにより、ユーザは撮像装置100又はクライアント装置190を制御するための入力を行うことができる。通信部194はネットワーク処理回路であり、ネットワーク180を介して撮像装置100と通信を行うことができる。
【0023】
撮像装置100及びクライアント装置190が有する各部は、専用のハードウェアにより構成されていてもよいし、ソフトウェアにより実現されてもよい。以下に説明する実施形態において、制御部130、画像処理部140、及び制御部191はソフトウェアにより実現される。例えば、CPUのようなプロセッサが、メモリ150のような記憶媒体に格納されているプログラムを実行することにより、制御部130、画像処理部140、及び制御部191の機能が実現される。
【0024】
図1(B)は、撮像装置100及びクライアント装置190が有する、制御部130、画像処理部140、及び制御部191などの機能を実現するためのハードウェア構成の一例を示すブロック図である。プロセッサであるCPU210は、ハードディスク装置(HD)215に格納されているオペレーティングシステム(OS)、制御プログラム、又は処理プログラムなどを実行することで、本実施形態に対応する処理を実現する。また、CPU210は、インタフェース(I/F)218を介した外部の装置とのデータ送受信を制御することができる。
【0025】
ROM211は、基本I/Oプログラム、及び所定の処理を実行するアプリケーションプログラムなどの、各種データを記憶する。RAM212は、各種データを一時記憶し、CPU210のための主メモリ又はワークエリアなどとして機能することができる。ドライブ213は、メディア(記録媒体)214にアクセスすることができ、例えば、メディアに記憶されたプログラムなどを
図1(B)に示すシステム内にロードすることができる。HD215は大容量メモリであり、例えばハードディスクである。HD215は、アプリケーションプログラム、OS、制御プログラム、又は関連プログラムなどを格納することができる。
図1(B)に示すシステムは、HD215の代わりに、フラッシュメモリなどの不揮発性記憶装置を有していてもよい。これらのROM211、RAM212、及びHD215などは、
図1(A)に示すメモリ150として機能することができる。
【0026】
入力装置216は、撮像装置100又はクライアント装置190へのユーザの入力を取得する。入力装置216は、例えばキーボード、ポインティングデバイス(マウスなど)、又はタッチパネルなどであってもよく、
図1(A)に示す操作部193に対応する。出力装置217は、入力装置216から入力されたコマンド、及びこのコマンドに対する撮像装置100又はクライアント装置190からの応答などを出力することができる。出力装置217は、例えば、ディスプレイ、スピーカ、又はヘッドフォン端子などであってもよく、
図1(A)に示す表示部192に対応する。
【0027】
インタフェース(I/F)218は、撮像装置100又はクライアント装置190と、外部装置とのデータのやり取りを仲介する。例えば、I/F218は、無線通信モジュールを含むことができる。この無線通信モジュールは、アンテナシステム、RF送受信器、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュールカード、又はメモリなどを含む、周知の回路を含むことができる。また、I/F218は、有線接続のための有線通信モジュールを含むことができる。この有線通信モジュールは、1つ以上の外部ポートを介して、撮像装置100又はクライアント装置190と、他のデバイスとの通信を可能にすることができる。この外部ポートは、イーサネット(登録商標)、USB、IEEE1394などの規格に従って、直接、又はネットワークを介して間接的に、他のデバイスと結合している。さらに、I/F218は、データを処理する様々なソフトウェアコンポーネントを含むことができる。なお、上記と同等の機能を実現するソフトウェアを用いて、I/F218を実現することもできる。I/F218は、
図1(A)に示す通信部170又は通信部194として機能することができる。システムバス219は、
図1(B)に示すシステム内のデータの流れを司る。
【0028】
上述の通り、画像処理部140は可視光画像及び非可視光画像を構成することにより合成画像を生成する。例えば、画像処理部140は、非可視光画像の各画素の輝度情報と、可視光画像の各画素の色情報とを組み合わせることにより、合成画像を生成することができる。合成画像の生成方法は特に限定されないが、以下に一例を示す。下記の画像合成処理は、画像処理部140が有する画像合成部(不図示)が行うことができる。
【0029】
画像処理部140は、撮像素子121から出力された可視光画像の画像信号に対して色空間変換処理を行うことにより、輝度色差信号(YCbCr)を有する可視光画像の画像データを生成し、この画像データをメモリ150に保存する。また、画像処理部140は、撮像素子122から出力された赤外光画像の画像信号を用いて、輝度信号(Yir)のみを有するグレースケールの非可視光画像の画像データを生成し、この画像データをメモリ150に保存する。
【0030】
そして、画像処理部140は、可視光画像及び非可視光画像を結合して合成画像を生成する。画像処理部140は、例えば、下式(1)に従って可視光画像と非可視光画像とを合成することができる。式(1)において、Ys及びCbs/Crsは、それぞれ合成画像の輝度信号及び色差信号である。また、Y及びCb/Crはそれぞれ可視光画像の輝度信号及び色差信号であり、Yirは非可視光画像の輝度信号であり、α及びβは係数である。
Ys = αY + βYir
Cbs = αCb ・・・(1)
Crs = αCr
【0031】
画像処理部140は、フレームごとに、メモリ150に保存された可視光画像及び非可視光画像を順次合成することができる。また、画像処理部140は、生成された合成画像を再びメモリ150に保存することができる。式(1)を用いる例において画像処理部140は、合成パラメタに基づいて、可視光画像及び非可視光画像における同一被写体の位置が一致するように各画像に対する画像処理を行ってから、合成を行うことができる。この合成パラメタは、各画像データの拡大、縮小、若しくは歪曲補正などの変形処理を行うためのパラメタ、又は、各画像データからの切り出し処理を行うためのパラメタを含むことができる。合成パラメタは、光学部110と撮像素子121,122の配置関係に基づいて予め算出され、メモリ150に億能されていてもよい。また、光学部110と撮像素子121,122の配置を制御することにより、被写体の位置合わせを必要としない撮像装置100を実現してもよい。
【0032】
続いて、可視光画像、非可視光画像、又は合成画像を出力する制御部130の動作について説明する。本実施形態においては、撮像領域の明るさと撮像領域中の被写体のノイズに応じて、出力される画像が切り替えられる。具体的には、可視光画像を出力する動作中に明るさが第1の閾値を下回った場合に、可視光画像を出力しないで、ノイズの評価結果に応じて合成画像又は非可視光画像を出力するように、制御が行われる。例えば、制御部130は、可視光画像を出力する動作中に明るさが第1の閾値を下回ったことに応じて、可視光画像を出力する動作が、ノイズの評価結果に応じて合成画像又は非可視光画像を選択して出力する動作へと移行するように、制御を行うことができる。
【0033】
例えば、周辺環境の照度が十分に高い場合、撮像装置100は可視光画像を撮像して出力する(例えばクライアント装置190へ配信する)ことができる。一方で、周辺環境の照度が下がると、可視光画像のS/N比(信号対雑音比)が低下するため、可視光画像の認識性が低下する。このような低照度環境において、撮像装置100は、非可視光画像を撮像し、非可視光画像を画像出力のために用いることができる。すなわち、制御部130は、可視光画像と非可視光画像とを合成することにより、色情報を含む合成画像を生成して出力することができる。
【0034】
しかしながら、このようにS/N比が低下している可視光画像から色情報を得ることは容易ではない。そして、このようにS/N比が低下している可視光画像を非可視光画像に合成すると、色情報を含む合成画像を出力できるものの、可視光画像のノイズの影響により、合成画像の認識性が低下する可能性がある。例えば、クライアント装置190は出力された合成画像に対する解析処理を行ってもよい。このとき、カラー画像を用いるよりも、ノイズ量が少ない画像を用いる方が、解析精度が向上するかもしれない。例えば、画像から被写体を検出する処理を用いる場合、ノイズ量が少ない画像に対して検出処理を行うことにより、検出精度が向上する可能性がある。このような場合、可視光画像が合成されていない非可視光画像に対する解析処理を行って得られる解析結果の精度は、可視光画像が合成されている合成画像に対する解析処理を行って得られる解析結果の精度よりも高いかもしれない。
【0035】
このため、本実施形態において制御部130は、低照度環境においては、ノイズの評価結果に応じて合成画像又は非可視光画像を選択して出力する。すなわち、制御部130は、出力される画像の認識性を向上させるために、合成画像の代わりに非可視光画像を出力することができる。例えば、制御部130は、ユーザの選択した被写体のノイズ量に応じて、合成画像を出力するか非可視光画像を出力するかを制御することができる。
【0036】
本実施形態においては、可視光画像を出力する動作と、合成画像を出力する動作と、非可視光画像を出力する動作と、が切り替えられる。以下では、制御部130が可視光画像を出力する動作を行うモードを可視モードと呼ぶ。また、制御部130が合成画像を出力する動作を行うモードを合成モード、制御部130が非可視光画像を出力する動作を行うモードを非可視モード、とそれぞれ呼ぶ。このように、可視光画像、非可視光画像、又は合成画像のいずれかを出力することにより、これらの画像のうち2以上を同時に出力する場合と比較して、画像を格納するために必要な記憶容量、又は画像を配信するために必要な帯域を減らすことができる。もっとも、さらなる動作モードが用いられてもよい。
【0037】
続いて、
図2,3を参照して、本実施形態におけるモードの変更方法について説明する。本実施形態においては、可視モード中に撮像領域の明るさが第1の閾値を下回った場合に、制御部130は、可視モードから、合成モード又は非可視モードへと移行する。特に以下の例においては、被写体のノイズ評価値が第2の閾値以上である場合、撮像装置100は可視光画像を出力しないで合成画像を出力する。すなわち、撮像装置100は可視モードから合成モードへと移行することができる。また、被写体のノイズ評価値が第2の閾値未満である場合、撮像装置100は可視光画像を出力しないで非可視光画像を出力する。すなわち、撮像装置100は可視モードから非可視モードへと移行することができる。
【0038】
図2は、本実施形態におけるモードの変更方法を示すフローチャートである。ステップS201において撮像装置100は可視モードで起動する。ステップS202において撮像装置100は可視光画像及び非可視光画像の撮像を開始する。
【0039】
ステップS203で制御部130は、撮像領域の明るさを評価する。この処理は、制御部130が有する第1の評価部(不図示)が行ってもよい。明るさの評価方法は特に限定されない。制御部130は、可視光画像に基づいて撮像領域の明るさを評価してもよく、例えば、可視光画像の輝度値に基づいて撮像領域の明るさを評価することができる。一例として、制御部130は、評価測光方式を用いて撮像領域の明るさを評価することができる。例えば、制御部130は、可視光画像内に設けられた複数の評価測光枠における輝度値の重み付け加重平均を、可視光画像の輝度値として算出することができる。また、制御部130は、被写体環境の照度に基づいて撮像領域の明るさを評価してもよい。一例として、制御部130は、可視光画像の明るさの評価値と、撮像装置100が用いているゲイン設定又は絞り値などの撮像情報に基づいて、被写体環境の照度を判定することができる。一方で、制御部130は、撮像領域の明るさを測定するセンサ(不図示)から得られた情報に基づいて、撮像領域の明るさを評価してもよい。
【0040】
そして、制御部130は、撮像領域の明るさが第1の閾値を下回っているかどうかを判定する。明るさが第1の閾値を下回っていないと判定された場合、処理はステップS201へ戻り、撮像装置100は可視モードでの動作を継続する。明るさが第1の閾値を下回っていると判定された場合、処理はステップS204に進む。なお、第1の閾値の決定方法は特に限定されない。例えば、第1の閾値は予め設定されていてもよい。
【0041】
ステップS204において制御部130は、撮像領域中の被写体のノイズを評価する。制御部130は、可視光画像に基づいて撮像領域中の被写体のノイズを評価してもよい。この処理は、制御部130が有する第2の評価部(不図示)が行ってもよい。例えば、制御部130は、被写体のノイズの少なさを示すノイズ評価値を算出することができる。ノイズ評価値は、撮影画像のS/N比と同様に、輝度値(信号量)に対してノイズ量が増えると小さくなる。ノイズ評価値の種類は特に限定されないが、例えば、可視光画像における被写体領域のS/N比をノイズ評価値として用いることができる。なお、制御部130は、ノイズ評価値を可視光画像の複数のフレームに基づいて算出してもよい。また、被写体が明るいほど一般にノイズは少なくなるため、被写体の明るさをノイズ評価値として用いることもできる。さらに、光学部110を通る光量が少なくなると、一般に被写体のノイズは大きくなる。このため、制御部130は、光学部110の絞り値、又は絞り値に影響を与える光学部110のズーム設定などの、撮像装置100の撮像設定に基づいて、被写体のノイズを評価してもよい。
【0042】
制御部130は、ステップS204においてノイズが評価される被写体を指定する情報を受け付けることができる。例えば、ノイズが評価される被写体は、クライアント装置190を介してユーザが選択してもよい。また、撮像装置100の処理部(不図示)又はクライアント装置190は、ノイズが評価される被写体を、可視光画像に基づく被写体検出処理により自動的に検出してもよい。例えば、制御部130は、顔又は自動車などの特定の種類の被写体を、機械学習技術などを用いて自動的に検出することができる。なお、ステップS230において明るさが評価される撮像領域を、画像全体の中からユーザが選択してもよいし、制御部130又はクライアント装置190が自動的に設定してもよい。
【0043】
そして、制御部130は、ノイズ評価値が第2の閾値以上であるか否かを判定する。ノイズ評価値が第2の閾値以上である場合、処理はステップS205に進み、撮像装置は可視モードから非可視モードへ移行する。また、ノイズ評価値が第2の閾値未満である場合、処理はステップS206に進み、撮像装置は可視モードから合成モードへ移行する。なお、第2の閾値の決定方法は特に限定されない。例えば、第2の閾値は予め設定されていてもよい。第2の閾値は、被写体の種類にかかわらず一定であってもよいし、被写体に応じて定められていてもよい。例えば、第2の閾値が、選択された被写体の種類に応じて定められてもよい。このような第2の閾値は、予めメモリ150に格納されていてもよい。
【0044】
上記の例においては、動作モードにかかわらず、撮像素子121,122による同期した可視光画像及び非可視光画像の撮像が継続される。しかしながら、一実施形態において、撮像素子122は、撮像領域の明るさと被写体のノイズとの少なくとも一方に応じて非可視光画像の撮像を開始又は終了してもよい。例えば、出力のために非可視光画像が用いられない可視モードにおいては、撮像素子122は非可視光画像の撮像を停止し、撮像装置100が非可視モード又は合成モードに移行した際に、撮像素子122は非可視光画像の撮像を開始してもよい。また、撮像素子122が非可視光画像の撮像を開始する際に、照明部160は非可視光の発光を開始してもよく、撮像素子122が非可視光画像の撮像を停止する際に、照明部160は非可視光の発光を終了してもよい。このような構成によれば、可視モードにおける消費電力を低減することができる。
【0045】
また、画像処理部140は、撮像領域の明るさと被写体のノイズとの少なくとも一方に応じて合成画像の生成を開始又は終了してもよい。例えば、可視モード又は非可視モードにおいては、画像処理部140は合成画像の生成を停止し、撮像装置100が合成モードに移行した際に、画像処理部140は合成画像の生成を開始してもよい。このような構成によれば、撮像装置100の処理負荷を軽減することができる。
【0046】
上述のとおり、撮像領域の明るさ及び被写体のノイズは、可視光画像に基づいて評価することができる。ここで、制御部130は、撮像領域の明るさ及び被写体のノイズを、可視光画像を用いて評価してもよいし、可視光画像に基づいて生成された合成画像を用いて評価してもよい。すなわち、制御部130は、可視光画像又は合成画像を用いて撮像領域の明るさを評価してもよい。また、制御部130は、可視光画像又は合成画像を用いて被写体のノイズを評価してもよい。
【0047】
続いて、
図3を参照して、撮像領域の明るさと、被写体のノイズと、動作モードと、の関係について説明する。
図3(A)は、撮影環境及び撮影環境における照度変化を示す。
図3(A)に示されるように、撮像装置100は、被写体301,303が存在する撮像領域を撮像しており、可視光画像302には被写体301,303が映っている。ここで、被写体301はノイズの評価対象としてユーザにより選択されており、被写体303はユーザにより選択されていない。
【0048】
図3(B)(C)は、それぞれ別の例について、明るさの評価値312と、被写体ごとのノイズ評価値との関係を示す。
図3(B)(C)において、縦軸は、明るさの評価値又はノイズ評価値を示し、横軸は時刻を示す。曲線311は被写体301のノイズ評価値であり、曲線313は被写体303のノイズ評価値である。また、
図3(B)(C)には、動作モードの変更タイミングを示す時刻342,343が示されている。
【0049】
例えば昼から夜へ撮影時間が経過するにつれて、明るさの評価値312は小さくなっていく。時刻342において、明るさの評価値312は第1の閾値322を下回る。
図3(B)の例においては、時刻342において、ユーザが選択した被写体301のノイズ評価値は第2の閾値321を下回っている。このため、撮像装置100の動作モード331は可視モードから非可視モードへ移行する。また、
図3(C)の例においては、時刻343において、ユーザが選択した被写体301のノイズ評価値が第2の閾値321を下回っていない。このため、撮像装置100の動作モード332は可視モードから合成モードへ移行する。
【0050】
以上のように、本実施形態においてはノイズ評価値に基づいて動作モードが変更される。例えば、選択された被写体のノイズ評価値が小さい場合、撮像装置100は、合成モードには移行せず、可視モードから非可視モードへと移行する。このような構成により、非可視モードを含む複数の動作モードから、適切な動作モードを簡単に選択及び設定することができ、出力される画像における被写体の認識性を向上させることができる。
【0051】
(変形例1)
動作モードの変更方法は上述の方法に限られない。例えば、撮像領域の明るさが第1の閾値以上である場合、制御部130は、被写体のノイズに応じて可視光画像又は非可視光画像を選択して出力してもよい。このような変形例について、
図4~6を参照して説明する。
図4は、この変形例におけるモードの変更方法を説明するフローチャートである。
図4に従う方法は、ステップS403が追加されたことを除き、
図3に従う方法と同様である。すなわち、ステップS401~S402はステップS201~S202と同様であり、ステップS404~S407はステップS203~S206と同様である。以下では、
図3に従う方法と同様のステップの説明を省略する。
【0052】
S403で制御部130は、ステップS204と同様に、可視光画像に基づいて撮像領域中の被写体のノイズを評価する。そして、制御部130は、被写体のノイズの少なさを示すノイズ評価値が第3の閾値以上であるか否かを判定する。ノイズ評価値が第3の閾値未満である場合、制御部130は非可視光画像を出力する。すなわち、撮像装置100は可視モードから非可視モードへと移行する。一方、ノイズ評価値が第3の閾値以上である場合、処理はステップS404へと移行する。
【0053】
このような変形例においては、撮像領域の明るさが第1の閾値以上である場合、ノイズ評価値が第3の閾値を下回るなら(S403でYes)非可視モードが用いられ、ノイズ評価値が第3の閾値を上回るなら(S404でNo)可視モードが用いられる。撮像領域の明るさが第1の閾値を下回る場合には、
図3に示す処理と同様に、ノイズ評価値が閾値(第2の閾値又は第3の閾値)を下回るなら非可視モードが用いられ、そうでなければ可視モードが用いられる。
【0054】
なお、第3の閾値の決定方法は特に限定されず、例えば、第2の閾値と同様に設定されていてもよい。すなわち、第3の閾値は、選択された被写体に応じて定められてもよく、例えば選択された被写体の種類に応じて定められてもよい。また、第3の閾値は、第2の閾値と同じであってもよいし、異なっていてもよい。例えば、第3の閾値が第2の閾値より低くてもよい。さらに、第2の閾値が被写体の種類にかかわらず一定である一方で、第3の閾値が被写体の種類ごとに設定されていてもよい。
【0055】
続いて、
図5を参照して、上記の変形例における、撮像領域の明るさと、被写体のノイズと、動作モードと、の関係について説明する。
図5(A)(C)は撮影環境及びその変化を示し、
図5(B)(D)は明るさの評価値とノイズ評価値との関係を示す。
図5(B)(D)において、縦軸は、明るさの評価値又はノイズ評価値を示し、横軸は時刻を示す。曲線512は可視光画像502の明るさの評価値であり、曲線514は可視光画像513の明るさの評価値であり、閾値522は第1の閾値である。
図5は、明るさの評価値が第1の閾値522よりも高い状態を示している。
【0056】
図5(A)は、ユーザが選択した被写体501が、明るい領域503から暗い領域504へ移動する状況を示している。
図5(B)において、曲線511は、
図5(A)に示す状況における被写体501のノイズ評価値の変化を示す。被写体501のノイズ評価値は、被写体501が暗い領域504に移動すると低下し、時刻541において第3の閾値521を下回る。このため、撮像装置100の動作モード530は時刻541において可視モードから非可視モードへ移行する。このように、撮像領域の明るさが大きく低下しない場合であっても、変形例によれば、撮像領域の一部である被写体501のノイズの増加に応じて、撮像装置100はノイズが少ない非可視光画像を出力することができる。
【0057】
図5(C)は、ユーザが、種類の異なる被写体506,507の一方を、ノイズの評価対象として選択した状況を示している。被写体506は人物の顔であり、被写体507は建物である。画像中の人物又は顔などの被写体を識別する場合、被写体のS/N比が高い方が識別が容易であるかもしれず、画像中の車又は建物などの被写体を識別する場合、被写体の色を参照する方が識別が容易であるかもしれない。時間とともに撮影環境の照度は低下するが、照明が点灯したために、可視光画像513の明るさの低下は小さい。一方で、選択された被写体506,507の照度は、時間経過とともに大きく低下している。
【0058】
図5(D)は、
図5(C)の状況における、被写体506,507のノイズ評価値の変化を示す。曲線516は被写体506のノイズ評価値を示し、曲線517は被写体507のノイズ評価値を示す。この例では、被写体506に対しては第3の閾値526が設定されており、被写体507に対しては第3の閾値526よりも小さい第3の閾値527が設定されている。このように、被写体506,507に対しては、被写体に応じた異なる第3の閾値526,527が設定されている。
【0059】
ユーザが被写体506を選択した場合、時刻542において被写体506のノイズ評価値が第3の閾値526を下回るため、時刻542において撮像装置100の動作モード536は可視モードから非可視モードへ移行する。一方でユーザが被写体507を選択した場合、時刻543において被写体507のノイズ評価値が第3の閾値527を下回るため、時刻543において撮像装置100の動作モード537は可視モードから非可視モードへ移行する。すなわち、
図5(C)の状況では、被写体506が選択されるとより早く非可視モードが用いられ、被写体507が選択されるとより遅く非可視モードが用いられる。このような変形例においては、被写体に応じて異なる第3の閾値が設定されるため、選択される被写体に応じて非可視モードへ移行するタイミングを変更することが可能となる。
【0060】
(変形例2)
被写体のノイズの評価方法は上述の方法に限定されない。例えば、制御部130は、撮像された被写体の像の大きさを考慮して、被写体のノイズを評価することができる。そして、制御部130は、こうして評価された被写体のノイズを考慮して、合成画像又は非可視光画像を選択して出力することができる。また、制御部130は、こうして評価された被写体のノイズを考慮して、可視光画像又は非可視光画像を選択して出力することができる。言い換えれば、制御部130は、撮像された被写体の像の大きさを考慮して、合成画像若しくは非可視光画像を選択して出力し、又は、可視光画像若しくは非可視光画像を選択して出力することができる。
【0061】
具体例として、制御部130は、画像上での被写体508の大きさを考慮して、被写体508のノイズ評価値を算出することができる。例えば、制御部130は、被写体508が小さくなるほど算出されるノイズ評価値が小さくなるように、ノイズ評価値を算出してもよい。例えば、制御部130は、算出した被写体508のノイズ評価値にさらに被写体の大きさ情報に従う係数を乗算することができる。また、制御部130は、被写体508が小さくなるほど、第2の閾値又は第3の閾値を大きくしてもよい。
【0062】
図6(A)は、撮影環境の照度はほとんど変化せず、可視光画像上での被写体領域の大きさが変化する場合を示す。
図6(B)は、
図5(B)と同様に明るさの評価値とノイズ評価値との関係を示す。曲線515は可視光画像509の明るさの評価値であり、第1の閾値522よりも高い状態を示している。
図6(A)に示すように、ユーザによって選択された被写体508は人物の顔であり、撮像装置100から離れて移動するために可視光画像509上でのサイズが小さくなっている。
【0063】
図6(B)において、曲線518は被写体508のノイズ評価値を示す。このように、制御部130は、被写体508が撮像装置100から離れるに従ってノイズ評価値が低下するように、ノイズ評価値を算出することができる。時刻544において被写体508のノイズ評価値が第3の閾値528を下回るため、撮像装置100は、時刻544において可視モードから非可視モードへ移行する。
【0064】
さらに別の例として、制御部130は、撮像された被写体の像の空間周波数を考慮して、被写体のノイズを評価することができる。制御部130は、こうして評価された被写体のノイズを考慮して、合成画像若しくは非可視光画像を選択して出力し、又は、可視光画像若しくは非可視光画像を選択して出力することができる。言い換えれば、制御部130は、撮像された被写体の像の空間周波数を考慮して、合成画像若しくは非可視光画像を選択して出力し、又は、可視光画像若しくは非可視光画像を選択して出力することができる。例えば、制御部130は、選択された被写体の空間周波数が高いほど、被写体のノイズ評価値が小さくなるように、ノイズ評価値を算出することができる。また、制御部130は、被写体が小さくなるほど、第2の閾値又は第3の閾値を大きくしてもよい。
【0065】
このような構成によれば、被写体が小さい又は高い空間周波数を有する場合には可視モードから非可視モードへの移行が早くなる。一般に、小さな被写体又は高い空間周波数を有する被写体の画像の細部は、低照度時のランダムノイズの影響で潰れやすい。上記の構成によれば、被写体の大きさ又は空間周波数に応じて非可視モードへの切り替えタイミングを早め、被写体の識別がより容易なS/N比の高い非可視画像を出力することができる。
【0066】
なお、制御部130は、選択された被写体の種類に応じて、被写体の大きさ又は空間周波数の考慮方法を変更してもよい。例えば、制御部130は、人物又は顔などの被写体が選択されている場合には被写体の大きさ又は空間周波数を考慮し、車又は建物などの被写体が選択されている場合には被写体の大きさ又は空間周波数を考慮しなくてもよい。
【0067】
(変形例3)
制御部130は、非可視光画像に基づいて第3の閾値を設定してもよい。
図6(C)は、
図5(A)に示す状況における明るさの評価値とノイズ評価値との関係を、
図5(B)と同様に示す。また、
図6(C)において、曲線612は、非可視光画像上での被写体501のノイズ評価値を示す。被写体501は暗い領域504に移動するため、曲線511に示される可視光画像上での被写体501のノイズ評価値が低下している。一方、赤外光の照射が行われているため、可視光画像上での被写体501のノイズ評価値の変化と比較すると、曲線612に示される非可視光画像上での被写体501のノイズ評価値の変化は小さい。
【0068】
この変形例において、撮像装置100は、常に可視光画像及び非可視光画像の撮像を行う。また、制御部130は、可視光画像と非可視光画像のそれぞれについて、被写体501のノイズ評価値を算出する。そして、制御部130は、選択された被写体501の、非可視光画像上でのノイズ評価値を、第3の閾値として設定する。
図6(C)の例では、時刻641において可視光画像のノイズ評価値が非可視光画像のノイズ評価値を下回っている。このため、撮像装置100は、時刻641において、可視モードから非可視モードへと移行する。
【0069】
なお、上述のように、制御部130は、合成画像上での被写体501のノイズ評価値を判定してもよい。合成画像は可視光画像及び非可視光画像から得られるため、合成画像のノイズ評価値は可視光画像のノイズの影響を強く受ける。例えば、
図6(C)の例において、合成画像のノイズ評価値は、可視光画像のノイズ評価値と同様に、非可視光画像のノイズ評価値よりも大きく低下する。この場合、撮像装置100は、選択した被写体501の合成画像上でのノイズ評価値が第3の閾値である非可視光画像上でのノイズ評価値を下回った場合に、可視モードから非可視モードへ移行することができる。この例において、撮像装置100は、常に可視光画像及び非可視光画像の撮像を行い、合成画像を生成することができる。
【0070】
また、制御部130は、同様の方法により、第2の閾値を設定してもよい。例えば、制御部130は、第2の閾値として、非可視光画像上での被写体501のノイズ評価値を用いてもよい。そして、可視モードにおいて撮像領域の明るさが第1の閾値を下回り、可視光画像上又は合成画像上での被写体501のノイズ評価値が非可視光画像上での被写体501のノイズ評価値未満である場合、撮像装置100は非可視モードに移行することができる。
【0071】
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0072】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0073】
100:撮像装置、121,122:撮像素子、130:制御部、140:画像処理部