特許第6439763号(P6439763)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ自動車株式会社の特許一覧
<>
  • 特許6439763-画像処理装置 図000002
  • 特許6439763-画像処理装置 図000003
  • 特許6439763-画像処理装置 図000004
  • 特許6439763-画像処理装置 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6439763
(24)【登録日】2018年11月30日
(45)【発行日】2018年12月19日
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
   H04N 9/09 20060101AFI20181210BHJP
   H04N 9/77 20060101ALI20181210BHJP
【FI】
   H04N9/09
   H04N9/77
【請求項の数】7
【全頁数】18
(21)【出願番号】特願2016-163080(P2016-163080)
(22)【出願日】2016年8月23日
(65)【公開番号】特開2018-32952(P2018-32952A)
(43)【公開日】2018年3月1日
【審査請求日】2017年9月26日
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】二宮 芳樹
【審査官】 大室 秀明
(56)【参考文献】
【文献】 特開2010−166363(JP,A)
【文献】 特開2007−208346(JP,A)
【文献】 特開2013−255144(JP,A)
【文献】 米国特許出願公開第2005/0040333(US,A1)
【文献】 特開2007−187618(JP,A)
【文献】 特表2010−522663(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222−5/257
H04N 7/18
H04N 9/04−9/11
H04N 9/44−9/78
(57)【特許請求の範囲】
【請求項1】
可視光が照射された被写体によって反射された第1反射光から得られる可視光画像を取得する第1撮像部と、
前記可視光画像の各画素の第1画素値が第1下限閾値から第1上限閾値までの第1範囲内にあるかどうかを判定する第1判定部と、
前記第1判定部によって前記第1画素値が前記第1範囲内にあると判断される場合に、前記第1画素値が前記第1範囲内にないと判断される場合よりも大きな第1重みを前記第1画素値に付ける第1重み付け部と、
近赤外線を前記被写体に照射する近赤外線照射部と、
前記被写体で反射された近赤外線から近赤外線画像を取得する第2撮像部と、
前記近赤外線画像の各画素の第2画素値が第2下限閾値から第2上限閾値までの第2範囲内にあるかどうかを判定する第2判定部と、
前記第2判定部によって前記第2画素値が前記第2範囲内にあると判断される場合に、前記第2画素値が前記第2範囲内にないと判断される場合よりも大きな第2重みを前記第2画素値に付ける第2重み付け部と、
前記各画素について、前記第1画素値に前記第1重みが付けられた第3画素値と、前記第2画素値に前記第2重みが付けられた第4画素値とに基づいて、前記各画素の画素値を求める、画素値算出部と、
前記画素値算出部によって求められた前記各画素の画素値を有する画像を表す画像信号を出力する画像出力部と
を含む、画像処理装置。
【請求項2】
前記近赤外線照射部は、所定の変調方式で変調した近赤外線を前記被写体に照射し、
前記第2撮像部は、前記被写体で反射された近赤外線を検波し、検波した近赤外線から前記近赤外線画像を取得する、請求項1記載の画像処理装置。
【請求項3】
前記第1判定部によって前記第1画素値が前記第1範囲内にあると判断される場合に、前記第1画素値が前記第1範囲内にないと判断される場合よりも大きな第3重みを、前記可視光画像の各画素の色を表す第1色信号に付ける第3重み付け部をさらに含み、
前記画像出力部は、前記第1色信号に前記第3重みが付けられた第2色信号が表す色を前記各画素に付与した画像を表す画像信号を出力する、請求項1又は2記載の画像処理装置。
【請求項4】
前記第1撮像部によって取得される可視光画像を所定数の空間周波数の帯域毎に分割する第1分割部と、
前記第2撮像部によって取得される近赤外線画像を前記所定数の空間周波数の帯域毎に分割する第2分割部と
をさらに含み、
前記第1判定部、前記第1重み付け部、前記第2判定部、前記第2重み付け部、及び前記画素値算出部は、前記所定数だけ設けられており、
前記所定数の前記第1判定部は、それぞれ、前記帯域毎に分割された可視光画像について、前記各画素の第1画素値が第1下限閾値から第1上限閾値までの第1範囲内にあるかどうかを判定し、
前記所定数の前記第1重み付け部は、それぞれ、前記所定数の前記第1判定部によって各帯域における前記各画素の前記第1画素値が前記第1範囲内にあると判断される場合に、前記各画素の前記第1画素値が前記第1範囲内にないと判断される場合よりも大きな第1重みを前記第1画素値に付け、
前記所定数の前記第2判定部は、それぞれ、前記帯域毎に分割された近赤外線画像について、前記各画素の第2画素値が第2下限閾値から第2上限閾値までの第2範囲内にあるかどうかを判定し、
前記所定数の前記第2重み付け部は、それぞれ、前記所定数の前記第2判定部によって各帯域における前記各画素の前記第2画素値が前記第2範囲内にあると判断される場合に、前記各画素の前記第2画素値が前記第2範囲内にないと判断される場合よりも大きな第2重みを前記第2画素値に付け、
前記所定数の前記画素値算出部は、それぞれ、各帯域における前記各画素について、前記第1画素値に前記第1重みが付けられた第3画素値と、前記第2画素値に前記第2重みが付けられた第4画素値とに基づいて、各帯域における前記各画素の画素値を求め、
前記画像出力部は、前記所定数の前記画素値算出部によって求められた各帯域における前記各画素の画素値を有する画像を表す各帯域の画像信号を合成した画像信号を出力する、請求項1乃至3のいずれか一項記載の画像処理装置。
【請求項5】
前記所定数の前記第1判定部によって、前記帯域毎に分割された可視光画像について、前記第1画素値が前記第1範囲内にあると判断される場合に、それぞれ、前記第1画素値が前記第1範囲内にないと判断される場合よりも大きな第3重みを、前記可視光画像の各画素の色を表す第1色信号に付ける前記所定数の第3重み付け部をさらに含み、
前記画像出力部は、前記第1色信号に前記第3重みが付けられた第2色信号が表す色を前記各帯域における前記各画素に付与した画像を表す画像信号を出力する、請求項4記載の画像処理装置。
【請求項6】
前記所定数の前記画素値算出部によって求められる各帯域における前記各画素の画素値に対して、帯域毎に重みを付ける第4重み付け部をさらに含み、
前記画像出力部は、前記所定数の前記画素値算出部によって求められ、さらに、前記第4重み付け部によって重み付けられた各帯域における前記各画素の画素値を有する画像を表す各帯域の画像信号を合成した画像信号を出力する、請求項4又は5記載の画像処理装置。
【請求項7】
前記画素値算出部は、前記第3画素値と、前記第4画素値との和を、前記第1重みと前記第2重みとの和で除算して、前記各画素の画素値を求める、請求項1乃至6のいずれか一項記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置に関する。
【背景技術】
【0002】
従来より、オリジナルの赤外光画像データと、メモリに登録された被写体の輝度情報とを用いてパターンマッチングして、予め輝度情報が記憶された被写体が赤外光画像データに存在するか否かを判定し、被写体が存在する場合に、赤外光画像データからその被写体に対応する赤外光画像データを抽出し、被写体に対応する赤外光画像データを可視光画像データにおける対応する被写体の画像データと置換するように合成処理する画像入力装置がある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2012−067028号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、従来の装置では、被写体に対応する赤外光画像データの抽出は、オリジナルの赤外光画像データと、メモリに登録された被写体の輝度情報とのパターンマッチングで行うため、パターンマッチングが成功しない場合には、被写体に対応する赤外光画像データを抽出することができない。また、赤外光画像データを抽出できない場合には、可視光画像データに白飛び(画像が真っ白に表示されること)や、黒潰れ(輝度がなく真っ黒に表示されること)が生じる画素が含まれる可能性が高いため、クリアな画像を生成することができない。
【0005】
このように、従来の装置は、赤外光画像データを可視光画像データの対応する被写体の画像データと置換するように合成処理を行った画像を生成できないことがあり、クリアな画像が得られないおそれがある。
【0006】
そこで、白飛びや黒潰れを含まず、クリアな画像を提供できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の形態の画像処理装置は、
可視光が照射された被写体によって反射された第1反射光から得られる可視光画像を取得する第1撮像部と、
前記可視光画像の各画素の第1画素値が第1下限閾値から第1上限閾値までの第1範囲内にあるかどうかを判定する第1判定部と、
前記第1判定部によって前記第1画素値が前記第1範囲内にあると判断される場合に、前記第1画素値が前記第1範囲内にないと判断される場合よりも大きな第1重みを前記第1画素値に付ける第1重み付け部と、
近赤外線を前記被写体に照射する近赤外線照射部と、
前記被写体で反射された近赤外線から近赤外線画像を取得する第2撮像部と、
前記近赤外線画像の各画素の第2画素値が第2下限閾値から第2上限閾値までの第2範囲内にあるかどうかを判定する第2判定部と、
前記第2判定部によって前記第2画素値が前記第2範囲内にあると判断される場合に、前記第2画素値が前記第2範囲内にないと判断される場合よりも大きな第2重みを前記第2画素値に付ける第2重み付け部と、
前記各画素について、前記第1画素値に前記第1重みが付けられた第3画素値と、前記第2画素値に前記第2重みが付けられた第4画素値とに基づいて、前記各画素の画素値を求める、画素値算出部と、
前記画素値算出部によって求められた前記各画素の画素値を有する画像を表す画像信号を出力する画像出力部と
を含む。
【0008】
このように、第1下限閾値から第1上限閾値までの第1範囲内にある第1画素値に重みを付けた第3画素値と、第2下限閾値から第2上限閾値までの第2範囲内にある第2画素値に重みを付けた第4画素値とに基づいて、各画素の画素値を求めるので、白飛びや黒潰れの発生を抑制することができる。
【0009】
従って、クリアな画像を提供できる画像処理装置を提供することができる。
【0010】
本発明の第2の形態の画像処理装置では、
前記近赤外線照射部は、所定の変調方式で変調した近赤外線を前記被写体に照射し、
前記第2撮像部は、前記被写体で反射された近赤外線を検波し、検波した近赤外線から前記近赤外線画像を取得する。
【0011】
このため、第2撮像部は、近赤外線照射部によって変調された近赤外線の反射光のみから得られる近赤外線画像を取得することができ、近赤外線照射部によって変調された近赤外線以外の光による影響を排除でき、クリアな画像が得られる。
【0012】
本発明の第3の形態の画像処理装置は、
前記第1判定部によって前記第1画素値が前記第1範囲内にあると判断される場合に、前記第1画素値が前記第1範囲内にないと判断される場合よりも大きな第3重みを付ける第3重み付け部をさらに含み、
前記画像出力部は、前記可視光画像の各画素の色を表す第1色信号に前記第3重みが付けられた第2色信号が表す色を前記各画素に付与した画像を表す画像信号を出力する。
【0013】
このように、第3の形態の画像処理装置によれば、可視光画像の各画素の色を表す第1色信号に第3重みを乗じた第2色信号が表す色を各画素に付与するので、画像出力部が出力する画像信号によって、色を含む画像を表示することができる。
【0014】
本発明の第4の形態の画像処理装置は、
前記第1撮像部によって取得される可視光画像を所定数の空間周波数の帯域毎に分割する第1分割部と、
前記第2撮像部によって取得される近赤外線画像を前記所定数の空間周波数の帯域毎に分割する第2分割部と
をさらに含み、
前記第1判定部、前記第1重み付け部、前記第2判定部、前記第2重み付け部、及び前記画素値算出部は、前記所定数だけ設けられており、
前記所定数の前記第1判定部は、それぞれ、前記帯域毎に分割された可視光画像について、前記各画素の第1画素値が第1下限閾値から第1上限閾値までの第1範囲内にあるかどうかを判定し、
前記所定数の前記第1重み付け部は、それぞれ、前記所定数の前記第1判定部によって各帯域における前記各画素の前記第1画素値が前記第1範囲内にあると判断される場合に、前記各画素の前記第1画素値が前記第1範囲内にないと判断される場合よりも大きな第1重みを前記第1画素値に付け、
前記所定数の前記第2判定部は、それぞれ、前記帯域毎に分割された近赤外線画像について、前記各画素の第2画素値が第2下限閾値から第2上限閾値までの第2範囲内にあるかどうかを判定し、
前記所定数の前記第2重み付け部は、それぞれ、前記所定数の前記第2判定部によって各帯域における前記各画素の前記第2画素値が前記第2範囲内にあると判断される場合に、前記各画素の前記第2画素値が前記第2範囲内にないと判断される場合よりも大きな第2重みを前記第2画素値に付け、
前記所定数の前記画素値算出部は、それぞれ、各帯域における前記各画素について、前記第1画素値に前記第1重みが付けられた第3画素値と、前記第2画素値に前記第2重みが付けられた第4画素値とに基づいて、各帯域における前記各画素の画素値を求め、
前記画像出力部は、前記所定数の前記画素値算出部によって求められた各帯域における前記各画素の画素値を有する画像を表す各帯域の画像信号を合成した画像信号を出力する。
【0015】
このように、第4の形態の画像処理装置によれば、可視光画像と近赤外線画像を所定数の空間周波数の帯域に分けて重み付けを行い、各帯域における各画素の画素値を求め、各帯域の画像信号を合成した画像信号を出力する。空間周波数の帯域毎に重み付けを行うことで、より視認性の高い画像を生成することができる。
【0016】
本発明の第5の形態の画像処理装置は、
前記所定数の前記第1判定部によって、前記帯域毎に分割された可視光画像について、前記第1画素値が前記第1範囲内にあると判断される場合に、それぞれ、前記第1画素値が前記第1範囲内にないと判断される場合よりも大きな第3重みを、前記可視光画像の各画素の色を表す第1色信号に付ける前記所定数の第3重み付け部をさらに含み、
前記画像出力部は、前記第1色信号に前記第3重みが付けられた第2色信号が表す色を前記各帯域における前記各画素に付与した画像を表す画像信号を出力する。
【0017】
このように、第5の形態の画像処理装置によれば、可視光画像の各画素の色を表す第1色信号に第3重みを乗じた第2色信号が表す色を各画素に付与するので、空間周波数の各帯域における特徴を最終的に合成される画像に反映させた上で、画像出力部が出力する画像信号によって、色を含む画像を表示することができる。
【0018】
本発明の第6の形態の画像処理装置は、
前記所定数の前記画素値算出部によって求められる各帯域における前記各画素の画素値に対して、帯域毎に重みを付ける第4重み付け部をさらに含み、
前記画像出力部は、前記所定数の前記画素値算出部によって求められ、さらに、前記第4重み付け部によって重み付けられた各帯域における前記各画素の画素値を有する画像を表す各帯域の画像信号を合成した画像信号を出力する。
【0019】
このように、第6の形態の画像処理装置によれば、可視光画像と近赤外線画像を所定数の空間周波数の帯域に分けて重み付けを行い、各帯域における各画素の画素値を求め、各帯域の画像信号を合成した画像信号を出力する。空間周波数の帯域毎に重み付けを行うことで、空間周波数の各帯域における特徴を最終的に合成される画像に反映させることができ、ダイナミックレンジを圧縮しつつ、視認性の高い画像を生成することができ、モニタのダイナミックレンジが小さい場合にも、オーバーフロー/アンダーフローが生じることなく、視認性の高い画像を提供することができる。
【0020】
本発明の第7の形態の画像処理装置では、
前記画素値算出部は、前記第3画素値と、前記第4画素値との和を、前記第1重みと前記第2重みとの和で除算して、前記各画素の画素値を求める。
【0021】
このため、各画素の画素値は、第3画素値と第4画素値との和を第1重みと第2重みとの和で除算した値になり、第1重みと第2重みとの和の大きさに応じた値として求められる。
【発明の効果】
【0022】
白飛びや黒潰れを含まず、クリアな画像を提供できる画像処理装置を提供することができる。
【図面の簡単な説明】
【0023】
図1】実施の形態1の画像処理装置100の構成を示す図である。
図2】可視光画像と近赤外線画像から、画像出力部137によってモニタ50に出力される画像を生成する処理を説明する図である。
図3】実施の形態2の画像処理装置200の構成を示す図である。
図4】画像処理装置200が実行する処理を示すフローチャートである。
【発明を実施するための形態】
【0024】
以下、本発明の画像処理装置を適用した実施の形態について説明する。
【0025】
<実施の形態1>
図1は、実施の形態1の画像処理装置100の構成を示す図である。
【0026】
画像処理装置100は、撮像部110、近赤外線照射部120A、撮像部120B、及び信号処理部130を含む。画像処理装置100には、モニタ50が接続されている。
【0027】
以下では、一例として、画像処理装置100が夜間の車両の前方の視界確保を補助するナイトビュー装置(夜間暗視装置)に適用される形態について説明する。
【0028】
撮像部110は、車両の前方において可視光が照射された被写体によって反射された反射光から得られる可視光画像を取得する。撮像部110は、第1撮像部の一例である。撮像部110は、例えば、車両に前方を向けて取り付けられ、車両の前方の画像を取得できるCCD(Charge Coupled Device)カメラのようなデジタルカメラであればよい。なお、被写体は、車両の前方に存在する路面、区画線、標識、車両、人間、動物等である。
【0029】
近赤外線照射部120Aは、車両に前方を向けて取り付けられ、車両の前方の被写体に所定の変調方式で変調した近赤外線を照射する。近赤外線は、波長が約0.7μm〜2.5μmの電磁波であり、赤色の可視光に近い波長を有する。
【0030】
所定の変調方式としては、例えば、パルス波又は正弦波を搬送波として用いる変調方式がある。近赤外線照射部120Aは、例えば、数10kHz程度のパルス波又は正弦波を用いて近赤外線を変調し、変調した近赤外線を被写体に照射する。
【0031】
撮像部120Bは、近赤外線照射部120Aから照射されて被写体で反射された近赤外線(変調された近赤外線)を受光し、受光した近赤外線を同期検波(同期復調)して近赤外線画像を取得する。撮像部120Bは、近赤外線(変調された近赤外線)を同期検波(同期復調)する際に、近赤外線照射部120Aが近赤外線の変調に用いる搬送波(パルス波又は正弦波)と同一のパルス波又は正弦波を用いる。このため、撮像部120Bによって復調される近赤外線は、近赤外線照射部120Aから照射された近赤外線のみであり、近赤外線照射部120Aから照射された近赤外線以外は含まれない。撮像部120Bは、被写体で反射された近赤外線を受光して同期検波するので、近赤外線画像には白飛びが生じることはない。近赤外線の輝度は、可視光に比べると微弱だからである。
【0032】
撮像部120Bは、近赤外線照射部120Aが変調に用いた搬送波と位相が同期した搬送波を用いて、受光した近赤外線の同期検波を行う。このような近赤外線照射部120Aと撮像部120Bを用いることにより、変調された近赤外線を反射する被写体の反射率を得ることができ、反射率に基づいて、変調された近赤外線を反射する被写体の輝度を求めることができる。撮像部120Bが出力する近赤外線画像は、各画素の輝度を表す。撮像部120Bは、第2撮像部の一例である。
【0033】
信号処理部130は、有効性判定部131、重み付け部132、有効性判定部133、重み付け部134、重み付け部135、画素値算出部136、及び画像出力部137を有する。
【0034】
有効性判定部131は、撮像部120Bによって取得される近赤外線画像の輝度信号Yiに基づき、近赤外線画像の有効性を画素毎に判定する。有効性判定部131は、第2判定部の一例である。
【0035】
ここで、有効性とは、近赤外線画像の各画素に画像としての情報が含まれるかどうかを表す。例えば、白飛びのように輝度が極端に高い画素、又は、黒潰れのように輝度が極端に低い画素は、有効性を有しない画素である。極端に高い輝度と極端に低い輝度との間の所定の範囲内の輝度を有する画素は、有効性を有する画素である。
【0036】
有効性判定部131は、所定の上限閾値Imaxよりも輝度が高い画素と、所定の下限閾値Iminよりも輝度が低い画素とは、有効性を有しない画素であると判定する。また、有効性判定部131は、輝度が所定の上限閾値Imax以下で、かつ、所定の下限閾値Imin以上の画素は、有効性を有する画素であると判定する。なお、近赤外線画像は、色信号を含まず、輝度信号を含む画像である。輝度信号Yiが表す輝度は画素値と同義である。
【0037】
重み付け部132は、有効性判定部131の判定結果に応じて、撮像部120Bによって取得される近赤外線画像の各画素の輝度信号Yiに重みWiを付ける。重み付け部132は、近赤外線画像の各画素について、輝度信号Yiに重みWiを乗じた輝度信号WiIiを出力する。
【0038】
重み付け部132は、第2重み付け部の一例である。実施の形態1では、有効性判定部131によって有効性があると判定された画素に対して、重み付け部132が各画素の輝度信号Yiに付ける重みWiは1であり、有効性判定部131によって有効性がないと判定された画素に対して、重み付け部132が各画素の輝度信号Yiに付ける重みWiは0である。重み付け部132が重み付けに用いる重みWiは、第2重みの一例である。
【0039】
有効性判定部133は、撮像部110によって取得される可視光画像の各画素の輝度信号Yvに基づき、可視光画像の有効性を画素毎に判定する。有効性判定部133は、第1判定部の一例である。
【0040】
ここで、有効性とは、可視光画像の各画素に画像としての情報が含まれるかどうかを表す。有効性の意味は、有効性判定部131が判定する有効性と同様であり、白飛びや黒潰れが生じた画素は、有効性を有しない画素であり、所定の範囲内の輝度を有する画素は、有効性を有する画素である。また、輝度信号Yvが表す輝度は、撮像部110によって取得される可視光画像の画素値と同義である。
【0041】
有効性判定部133は、所定の上限閾値Imaxよりも輝度が高い画素と、所定の下限閾値Iminよりも輝度が低い画素とについては、有効性を有しない画素であると判定する。また、有効性判定部131は、輝度が所定の上限閾値Imax以下で、かつ、所定の下限閾値Imin以上の画素は、有効性を有する画素であると判定する。
【0042】
なお、ここでは、有効性判定部133が用いる上限閾値Imax及び下限閾値Iminと、有効性判定部131が用いる上限閾値Imax及び下限閾値Iminとが等しい形態について説明するが、有効性判定部133が用いる上限閾値Imax及び下限閾値Iminと、有効性判定部131が用いる上限閾値Imax及び下限閾値Iminとは、異なっていてもよい。
【0043】
重み付け部134は、有効性判定部133の判定結果に応じて、撮像部110によって取得される可視光画像の各画素の輝度信号Yvに重みWvを付ける。重み付け部134は、重み付け部132と同様に重み付けを行う。重み付け部134は、可視光画像の各画素について、輝度信号Yvに重みWvを乗じた輝度信号WvIvを出力する。重み付け部134は、第1重み付け部の一例である。
【0044】
有効性判定部133によって有効性があると判定された画素に対して、重み付け部134が可視光画像の各画素の輝度信号Yvに付ける重みWvは1であり、有効性判定部133によって有効性がないと判定された画素に対して、重み付け部134が可視光画像の各画素の輝度信号Yvに付ける重みWvは0である。重み付け部134が重み付けに用いる重みWvは、第1重みの一例である。
【0045】
重み付け部135は、重み付け部134から入力される重みWvを用いて、撮像部110によって取得される可視光画像の各画素の色信号Csに重み付けを行う。重み付け部135は、第3重み付け部の一例である。重み付け部135が重み付けに用いる重みWvは、第3重みの一例である。重み付け部135は、重み付けを行った色信号WvCsを画像出力部137に出力する。
【0046】
画素値算出部136は、重み付け部134によって可視光画像の各画素について求められる輝度信号WvIvと、重み付け部132によって近赤外線画像の各画素について求められる輝度信号WiIiとの和を、重み付け部134によって付けられる重みWvと重み付け部132によって付けられる重みWiとの和で除算して、各画素の画素値を表す輝度信号Yを求める。
【0047】
すなわち、画素値算出部136が各画素について求める輝度信号Yは、次式(1)によって表される。
Y=(Yv×Wv+Yi×Wi)/(Wv+Wi) (1)
【0048】
画像出力部137は、画素値算出部136がすべての画素について求める輝度信号Yと、重み付け部135によって重み付けられた色信号WvCsとを含む画像信号をモニタ50に出力する。
【0049】
モニタ50は、車両のダッシュボードやメータパネルに配置される液晶ディスプレイパネル又は有機EL(Electroluminescence)パネル、又は、ヘッドアップディスプレイ等である。
【0050】
図2は、可視光画像と近赤外線画像から、画像出力部137によってモニタ50に出力される画像を生成する処理を説明する図である。
【0051】
可視光画像は、輝度信号Yvを有する画像であり、片側1車線で対向2車線の道路において、左車線を画像の奥に向かって進む車両1のブレーキランプが光っており、ブレーキランプ及びその周辺を表す画素の輝度は、有効性判定部133が用いる上限閾値Imaxを上回っている。すなわち、白飛びが生じている。また、右車線を画像の手前に向かって進む車両2のヘッドライトが光っており、ヘッドライト及びその周辺を表す画素の輝度は、有効性判定部133が用いる上限閾値Imaxを上回っている。こちらも白飛びが生じている。
【0052】
また、可視光画像には、信号機3、標識4A、4Bの画像が含まれている。
【0053】
近赤外線画像には、輝度信号Yiを有する画像であり、車両1、2、及び信号機3に加えて、人間5の画像が含まれているが、標識4A、4Bの画像は含まれていない。標識4A、4Bの画像は含まれていないのは、近赤外線では近赤外線画像として表示される程度の十分な輝度が得られなかったためである。人間5は、可視光画像では、車両2のヘッドライトの照射光によって埋もれており、確認することができない。
【0054】
このような可視光画像に対して、有効性判定部133が上限閾値Imax及び下限閾値Iminを用いて可視光画像の有効性を画素毎に判定し、重み付け部134が有効性判定部133の判定結果に応じて各画素に重みWvを付ける。
【0055】
また、重み付け部135は、重み付け部134から入力される重みWvを用いて、可視光画像の各画素の色信号Csに重み付けを行う。
【0056】
また、近赤外線画像に対して、有効性判定部131が上限閾値Imax及び下限閾値Iminを用いて近赤外線画像の有効性を画素毎に判定し、重み付け部132が有効性判定部131の判定結果に応じて各画素に重みWiを付ける。
【0057】
そして、画素値算出部136が式(1)を用いて各画素について輝度信号Yを求め、すべての画素の輝度信号Yと色信号WvCsとを含む画像信号が、画像出力部137によってモニタ50に出力され、図2の右に示すように表示される。
【0058】
モニタ50に表示される画像では、車両1のブレーキランプと車両2のヘッドライトとその周辺との画素には、近赤外線画像の画像が表示される。有効性判定部133が用いる上限閾値Imaxを上回ると、重みWvが0に設定され、重みWiが1に設定されるため、車両1のブレーキランプと車両2のヘッドライトとその周辺との画素には、可視光画像の輝度は含まれず、近赤外線画像の輝度が表示されるからである。また、車両1のブレーキランプと車両2のヘッドライトとその周辺との画素については、重みWvが0に設定されるため、色信号Csの信号レベルはゼロになり、色は付けられない。
【0059】
この結果、車両1のブレーキランプと車両2のヘッドライトとその周辺との画素は、輝度のみによって白く表示される。
【0060】
また、車両1のブレーキランプと車両2のヘッドライトとその周辺以外の画素については、重みWv及び重みWiがともに1に設定されるため、可視光画像の輝度と、近赤外線画像の輝度とを50%ずつ含む画像が表示される。また、重みWvが1に設定されることにより、重み付けされた色信号Csの信号レベル(WvCs)はCsになり、可視光画像に含まれる色信号が反映される。すなわち、可視光画像と同じように色が付けられる。
【0061】
この結果、車両1のブレーキランプと車両2のヘッドライトとその周辺以外の画素については、可視光画像の輝度と近赤外線画像の輝度とを50%ずつ含み、可視光画像と同じように色が付けられた画像が表示される。図2に示すように、信号機3、標識4A、4B、及び人間5のすべてが表示される。
【0062】
以上のように、車両1のブレーキランプと、車両2のヘッドライトと、その周辺との画素に白飛びや黒潰れが生じている可視光画像と、同じ被写体についての近赤外線画像とを用いて、有効性判定部131及び133で近赤外線画像及び可視光画像の有効性を判定し、重み付け部132及び134で近赤外線画像及び可視光画像に重み付けを行い、さらに重み付け部135で色信号Csに重み付けを行うことにより、図2の右側に示すように、白飛びや黒潰れのない、クリヤな画像を得ることができる。
【0063】
そして、従来のように、車両や人の検知を行わないので、可視光画像と近赤外線画像とに基づいて、クリヤな画像を確実に取得することができる。
【0064】
従って、実施の形態1によれば、信頼性の高い画像処理装置100を提供することができる。
【0065】
また、撮像部120Bが受光する近赤外線には、近赤外線照射部120Aから照射されて被写体で反射された近赤外線以外は含まれないため、変調された近赤外線を反射する被写体の反射率を得ることができ、反射率に基づいて、変調された近赤外線を反射する被写体の輝度を求めることができる。
【0066】
従って、近赤外線照射部120Aが照射する近赤外線以外の影響を排除して、被写体の輝度を正確に捉えることができ、信頼性の高い画像処理装置100を提供することができる。特に、近赤外線(波長が約0.7μm〜2.5μm)は、赤外線の中でも逆光の影響を受けやすい遠赤外線(波長が約4μm〜1000μm)と異なり、逆光の影響を受けにくいので、被写体の輝度を正確に求めて、信頼性の高い画像を確実に取得することができる。
【0067】
また、以上では、画像処理装置100をナイトビュー装置(夜間暗視装置)に適用する形態について説明したが、画像処理装置100は、同期検波で求める近赤外線画像と可視光画像とを用いるため、日中において逆光等が眩しい状況においても、白飛びや黒潰れを抑制したクリアな画像を提供することができ、日中(日の出から日没までの日照時間帯)においても有用である。
【0068】
なお、以上では、近赤外線照射部120Aが、数10kHz程度のパルス波又は正弦波を用いて近赤外線を変調し、撮像部120Bは、近赤外線照射部120Aが変調に用いる搬送波(パルス波又は正弦波)と同一のパルス波又は正弦波を用いて、変調された近赤外線を復調する形態について説明したが、搬送波の波形や周波数は、ここに記載したものに限られず、他の波形(例えば、鋸波等)や周波数の信号を用いてもよい。
【0069】
また、以上では、近赤外線照射部120Aが所定の変調方式で変調した近赤外線を照射し、撮像部120Bが近赤外線照射部120Aによって変調された近赤外線を復調し、復調した近赤外線から近赤外線画像を取得する形態について説明したが、近赤外線照射部120Aが変調していない近赤外線を照射するとともに、撮像部120Bが近赤外線(変調されていない近赤外線)を受光し、受光した近赤外線から近赤外線画像を取得してもよい。
【0070】
また、以上では、画素値算出部136が、輝度信号WvIvと、輝度信号WiIiとの和を、重みWvと重みWiとの和で除算して、各画素の画素値を表す輝度信号Yを求める形態について説明したが、輝度信号Yの求め方は、この手法に限られない。例えば、輝度信号WvIvと、輝度信号WiIiとの和の平均値を輝度信号Yとして求めてもよいし、その他の手法で求めてもよい。
【0071】
<実施の形態2>
図3は、実施の形態2の画像処理装置200の構成を示す図である。
【0072】
画像処理装置200は、実施の形態1の画像処理装置100の可視光画像及び近赤外線画像をN(Nは2以上の整数)個の空間周波数の帯域に分割し、各帯域について、実施の形態1と同様の処理を行う点が実施の形態1の画像処理装置100と異なる。また、さらに、画像処理装置200は、各帯域について実施の形態1と同様の処理を行って得るN個の画像に重み付けを行って合成する点が実施の形態1の画像処理装置100と異なる。
【0073】
以下では、実施の形態1との相違点を中心に説明する。実施の形態1の画像処理装置100と同様の構成要素には同一符号を付し、その説明を省略する。
【0074】
画像処理装置200は、撮像部110、近赤外線照射部120A、撮像部120B、分割部240A、240B、信号処理部130−1〜130−N、重み付け部250A1〜250AN、250B1〜250BN、合成部260A、260B、及び画像出力部270を含む。画像処理装置200には、モニタ50が接続されている。
【0075】
分割部240Aは、撮像部110によって取得される可視光画像の各画素の輝度信号Yv及び色信号CsをN個の空間周波数の帯域に分割し、各帯域に分割したN個の輝度信号及び色信号をそれぞれ信号処理部130−1〜130−Nに出力する。分割部240Aは、例えば、FFT(Fourier Transform:フーリエ変換)、又は、Wavelet変換等を行うことにより、輝度信号Yv及び色信号CsをN個の空間周波数の帯域に分割すればよい。分割部240Aは、第1分割部の一例である。
【0076】
空間周波数のN個の帯域に分割されたN個の可視光画像の輝度信号は、信号処理部130−1〜130−Nの有効性判定部133及び重み付け部134に入力され、空間周波数のN個の帯域に分割したN個の色信号は、信号処理部130−1〜130−Nの重み付け部135に入力される。
【0077】
分割部240Bは、撮像部120Bによって取得される近赤外線画像の輝度信号YiをN個の空間周波数の帯域に分割し、各帯域に分割したN個の輝度信号をそれぞれ信号処理部130−1〜130−Nに出力する。空間周波数のN個の帯域に分割されたN個の近赤外線画像の輝度信号は、信号処理部130−1〜130−Nの有効性判定部131及び重み付け部132に入力される。分割部240Bは、第2分割部の一例である。
【0078】
分割部240Bは、例えば、FFT(フーリエ変換)、又は、Wavelet変換等を行うことにより、輝度信号YiをN個の空間周波数の帯域に分割すればよい。
【0079】
信号処理部130−1〜130−Nは、互いに同一の構成を有し、それぞれが、有効性判定部131、重み付け部132、有効性判定部133、重み付け部134、重み付け部135、及び画素値算出部136を有する。信号処理部130−1〜130−Nは、画像出力部137(図1参照)を含まない点が実施の形態1の信号処理部130と異なる。画像出力部137と同様の処理は、画像出力部270が行う。
【0080】
図3では、信号処理部130−1〜130−Nのすべての内部構成を示す代わりに、信号処理部130−2に含まれる有効性判定部131、重み付け部132、有効性判定部133、重み付け部134、重み付け部135、及び画素値算出部136を示す。
【0081】
信号処理部130−1〜130−Nは、それぞれ、空間周波数のN個の帯域に分割されたN個の可視光画像の輝度信号、空間周波数のN個の帯域に分割したN個の色信号、及び、空間周波数のN個の帯域に分割されたN個の近赤外線画像の輝度信号に基づき、実施の形態1の信号処理部130と同様の信号処理を行う。
【0082】
重み付け部250A1〜250ANは、それぞれ、信号処理部130−1〜130−Nの重み付け部135によって重み付けられた各帯域の色信号に重み付けを行って合成部260Aに出力する。重み付け部250A1〜250ANで付ける重みWf1〜WfNは、任意に設定することができ、例えば、ナイトビューの画像として人間に見えやすい色の帯域の重みを重く(値を大きく)設定し、ナイトビューの画像として人間に見えにくい色の帯域の重みを軽く(値を小さく)設定すればよい。また、各帯域の色信号のうち、振幅が大きい帯域の重みが大きくなるように、重みWf1〜WfNを設定してもよい。また、重み付け部250A1〜250ANで付ける重みWf1〜WfNは、重み付けを行った後のナイトビューの画像が人間にとって見え易くなるように、実験等で決めてもよい。
【0083】
重み付け部250B1〜250BNは、それぞれ、信号処理部130−1〜130−Nの重み付け部134によって重み付けられた各帯域の輝度信号に重み付けを行って合成部260Bに出力する。重み付け部250B1〜250BNで付ける重みWf1〜WfNは、任意に設定することができ、例えば、ナイトビューの画像として人間に見えやすい帯域の重みを重く(値を大きく)設定し、ナイトビューの画像として人間に見えにくい帯域の重みを軽く(値を小さく)設定すればよい。
【0084】
なお、ここでは、一例として重み付け部250B1〜250BNで付ける重みWf1〜WfNが重み付け部250A1〜250ANで付ける重みWf1〜WfNとそれぞれ等しい形態について説明するが、重み付け部250B1〜250BNで付ける重みWf1〜WfNと、重み付け部250A1〜250ANで付ける重みWf1〜WfNとは異なっていてもよい。
【0085】
合成部260Aは、重み付け部250A1〜250ANによって重み付けられた各帯域の色信号を合成して画像出力部270に出力する。
【0086】
合成部260Bは、重み付け部250B1〜250BNによって重み付けられた各帯域の輝度信号を合成して画像出力部270に出力する。
【0087】
画像出力部270は、合成部260Aから入力される色信号と、合成部260Bから入力される輝度信号とを含む画像信号をモニタ50に出力する。画像出力部270は、画像出力部137と同様の処理は、画像出力部270が行う。
【0088】
図4は、画像処理装置200が実行する処理を示すフローチャートである。
【0089】
処理を開始(スタート)すると、撮像部110で可視光画像を取得する(ステップS1A)とともに、近赤外線照射部120Aで近赤外線を照射し(ステップS1B1)、近赤外線画像を取得する(ステップS1B2)。
【0090】
分割部240Aは、撮像部110によって取得される可視光画像の各画素の輝度信号Yv及び色信号CsをN個の空間周波数の帯域の輝度信号Yvk及び色信号Cskに分割する(ステップS2A)。
【0091】
分割部240Bは、撮像部120Bによって取得される近赤外線画像の各画素の輝度信号YiをN個の空間周波数の帯域の輝度信号Yikに分割する(ステップS2B)。
【0092】
画像処理装置200は、kを0(k=0)に設定する(ステップS3A、S3B)。kの値は、分割部240A及び240Bによって分割される空間周波数の帯域の数(分割数)であり、1〜N(Nは2以上の整数)の値を取る。
【0093】
有効性判定部133は、各画素の輝度信号Yvkの有効性を判定する(ステップS4A)。有効性の判定は、輝度信号Yvkが下限閾値ThvL以上、上限閾値ThvH以下であるかどうか(ThvL≦Yvk≦ThvHが成立するかどうか)を判定することによって行う。
【0094】
有効性判定部131は、各画素の輝度信号Yikの有効性を判定する(ステップS4B)。有効性の判定は、輝度信号Yikが下限閾値ThiL以上、上限閾値ThiH以下であるかどうか(ThiL≦Yik≦ThiHが成立するかどうか)を判定することによって行う。
【0095】
ここで、まず、ステップS5A1〜S10Aについて説明する。
【0096】
重み付け部134は、ステップS4Aにおいて有効性判定部133が有効性がある(ThvL≦Yvk≦ThvHが成立する)と判定すると、重みWvkを重みWvkHに設定する(ステップS5A1)。すなわち、Wvk=WvkHとなる。重みWvkHは、後述する重みWvkLよりも重い値であり、例えば、1である。
【0097】
重み付け部134は、ステップS4Aにおいて有効性判定部133が有効性がない(ThvL≦Yv≦ThvHが成立しない)と判定すると、重みWvkを重みWvkLに設定する(ステップS5A2)。すなわち、Wvk=WvkLとなる。重みWvkLは、重みWvkHよりも軽い値であり、例えば、0である。
【0098】
重み付け部134は、ステップS5A1又はS5A2で設定した重みWvk(WvkH又はWvkL)で輝度信号Yvkに重み付けを行い、輝度信号Yvkwを求める(ステップS6A)。Yvkw=Yvk×Wvkである。
【0099】
重み付け部135は、重み付け部134が重み付けに用いる重みWvkを用いて、色信号Cskに重み付けを行い、色信号Cskwを求める(ステップS7A)。Cskw=Csk×Wvkである。
【0100】
重み付け部250Akは、重みWfkで色信号Cskwに重み付けを行い、色信号Cskwwを求める(ステップS8A)。Cskww=Cskw×Wfkである。
【0101】
合成部260Aは、色信号を合成し、色信号Csを求める(ステップS9A)。ステップS9Aの処理は、kが1からNになるまで、ステップS8Aで求められる色信号Cskwwを加算することによって、Csを求める処理であり、色信号Cs=Cs+Cskwwである。
【0102】
画像処理装置200は、k>Nであるかどうかを判定する(ステップS10A)。画像処理装置200は、k>Nが成立しなければ(S10A:NO)、フローをステップS11Aに進行させる。
【0103】
画像処理装置200は、kをインクリメントする(ステップS11A)。ステップS11Aの処理が終了すると、フローはステップS4Aにリターンする。この結果、ステップS10Aにおいてk>Nが成立するまでフローが繰り返し実行され、ステップS10Aでk>Nが成立すると、フローはステップS12に進行する。
【0104】
重み付け部132は、ステップS4Bにおいて有効性判定部131が有効性がある(ThiL≦Yik≦ThiHが成立する)と判定すると、重みWikを重みWikHに設定する(ステップS5B1)。すなわち、Wik=WikHとなる。重みWikHは、後述する重みWikLよりも重い値であり、例えば、1である。
【0105】
重み付け部132は、ステップS4Bにおいて有効性判定部131が有効性がない(ThiL≦Yi≦ThiHが成立しない)と判定すると、重みWikを重みWikLに設定する(ステップS5B2)。すなわち、Wik=WikLとなる。重みWikLは、重みWikHよりも軽い値であり、例えば、0である。
【0106】
重み付け部132は、ステップS5B1又はS5B2で設定した重みWik(WikH又はWikL)で輝度信号Yikに重み付けを行い、輝度信号Yikwを求める(ステップS6B)。Yikw=Yik×Wikである。
【0107】
画素値算出部136は、ステップS6Bで求められた輝度信号Yikwと、ステップS6Aで求められた輝度信号Yvkwとを加算して輝度信号Ykwを求める(ステップS7B)。Ykw=Yikw+Yvkwである。
【0108】
重み付け部250Akは、重みWfkで輝度信号Ykwに重み付けを行い、輝度信号Ykwwを求める(ステップS8B)。輝度信号Ykww=Ykw×Wfkである。
【0109】
合成部260Bは、輝度信号を合成し、輝度信号Yを求める(ステップS9B)。ステップS9Bの処理は、kが1からNになるまで、ステップS8Bで求められる輝度信号Ykwwを加算することによって、輝度信号Yを求める処理であり、Y=Y+Ykwwである。
【0110】
画像処理装置200は、k>Nであるかどうかを判定する(ステップS10B)。画像処理装置200は、k>Nが成立しなければ(S10B:NO)、フローをステップS11Bに進行させる。
【0111】
画像処理装置200は、kをインクリメントする(ステップS11B)。ステップS11Bの処理が終了すると、フローはステップS4Bにリターンする。この結果、ステップS10Bにおいてk>Nが成立するまでフローが繰り返し実行され、ステップS10Bでk>Nが成立すると、フローはステップS12に進行する。
【0112】
画像出力部270は、輝度信号Yと色信号Csとを含む画像信号をモニタ50に出力する(ステップS12)。
【0113】
以上の処理を行うことにより、分割部240AによってN個の空間周波数の帯域に分割された可視光画像の各画素の輝度信号Yvk及び色信号Cskと、分割部240BによってN個の空間周波数の帯域に分割された近赤外線画像の各画素の輝度信号Yikについて、信号処理部130−1〜130−Nを行い、さらに、各帯域について重み付け部250A1〜250ANで重み付けを行った後に、合成部260Aによって合成される色信号Csと、合成部260Bによって合成される輝度信号Yとを含む画像信号をモニタ50に出力することができる。
【0114】
従って、実施の形態2によれば、実施の形態1と同様に、信頼性の高い画像処理装置200を提供することができる。
【0115】
また、実施の形態2では、N個の空間周波数の帯域で得られる輝度信号Ykw(=Yikw+Yvkw)に別々に重み付けを行ってから合成するので、ダイナミックレンジを圧縮しつつ、視認性の高い画像を生成することができ、モニタ50のダイナミックレンジが小さい場合にも、オーバーフロー/アンダーフローが生じることなく、視認性の高い画像を提供することができる。
【0116】
なお、以上では、各帯域の色信号に重み付けを行う重み付け部250A1〜250ANと、各帯域の輝度信号に重み付けを行う重み付け部250B1〜250BNとを含む形態について説明した。
【0117】
しかしながら、重み付け部250A1〜250ANと、重み付け部250B1〜250BNとを含まずに、信号処理部130−1〜130−Nから出力される、空間周波数のN個の帯域に分割したN個の色信号を合成部260Aで合成するとともに、信号処理部130−1〜130−Nから出力される、空間周波数のN個の帯域に分割されたN個の可視光画像の輝度信号、及び、空間周波数のN個の帯域に分割されたN個の近赤外線画像の輝度信号を合成部260Bで合成して、画像出力部270からモニタ50に出力してもよい。
【0118】
以上、本発明の例示的な実施の形態の画像処理装置について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【0119】
100 画像処理装置
110 撮像部
120A 近赤外線照射部
120B 撮像部
130 信号処理部
131 有効性判定部
132 重み付け部
133 有効性判定部
134 重み付け部
135 重み付け部
136 画素値算出部
137 画像出力部
50 モニタ
200 画像処理装置
110 撮像部
120A 近赤外線照射部
120B 撮像部
240A、240B 分割部
130−1〜130−N 信号処理部
250A1〜250AN、250B1〜250BN 重み付け部
260A、260B 合成部
270 画像出力部
図1
図2
図3
図4