特開 2024-160450 画像処理装置及び撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024160450

(43)【公開日】2024-11-14

(54)【発明の名称】画像処理装置及び撮像方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241107BHJP

   G06T 1/00 20060101ALI20241107BHJP

   G08G 1/16 20060101ALI20241107BHJP

   B60R 1/24 20220101ALI20241107BHJP

   B60R 1/20 20220101ALI20241107BHJP

【ＦＩ】

H04N7/18 J

G06T1/00 330A

H04N7/18 N

G08G1/16 C

B60R1/24

B60R1/20 100

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023075441

(22)【出願日】2023-05-01

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】小林 侑太

【テーマコード（参考）】

5B057

5C054

5H181

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057BA08

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE08

5B057DA08

5B057DB02

5B057DB09

5B057DC22

5C054CA04

5C054CA05

5C054CC02

5C054FC12

5C054FE09

5C054FE13

5C054HA30

5H181AA01

5H181CC02

5H181CC04

5H181CC24

5H181FF32

5H181LL01

5H181LL11

(57)【要約】

【課題】車両が走行する道路の視認性を向上させることができる画像処理装置を提供する。
【解決手段】熱源領域抽出部３０６は、サーモカメラ２が車両の前方を撮影することによって生成した赤外線画像の各フレームに含まれている所定の温度以上の領域である熱源領域を抽出する。特定熱源領域判定部３０８は、熱源領域抽出部３０６によって抽出された熱源領域の移動速度が所定の速度未満である場合に、熱源領域を特定熱源領域と判定する。補助画像生成部３１０は、特定熱源領域であると判定された複数の熱源領域の各下端の位置から所定の距離だけ下方の位置を互いに連結する補助画像を生成する。補助画像重畳部３１１は、可視光カメラ１が車両の前方を撮影することによって生成した可視光画像の各フレームに補助画像を重畳する。
【選択図】図１

【特許請求の範囲】

【請求項1】

サーモカメラが車両の前方を撮影することによって生成した赤外線画像の各フレームに含まれている所定の温度以上の領域である熱源領域を抽出する熱源領域抽出部と、
前記熱源領域抽出部によって抽出された熱源領域の移動速度が所定の速度未満である場合に、前記熱源領域を特定熱源領域と判定する特定熱源領域判定部と、
前記赤外線画像の各フレームに含まれている熱源領域のうち、前記特定熱源領域判定部によって特定熱源領域であると判定された複数の熱源領域の各下端の位置から所定の距離だけ下方の位置を互いに連結する第１の補助画像を生成する補助画像生成部と、
可視光カメラが前記車両の前方を撮影することによって生成した可視光画像の各フレームに前記第１の補助画像を重畳する補助画像重畳部と、
を備える画像処理装置。

【請求項2】

前記補助画像生成部は、前記特定熱源領域であると判定された前記複数の熱源領域の各下端の位置から前記所定の距離だけ下方に伸びる第２の補助画像を生成し、
前記補助画像重畳部は、前記可視光画像の各フレームに前記第２の補助画像を重畳する
請求項１に記載の画像処理装置。

【請求項3】

前記補助画像生成部は、１フレーム内に前記特定熱源領域であると判定された熱源領域が所定の数以上あるとき、前記第１の補助画像で囲まれた領域を所定の色で塗りつぶした第３の補助画像を生成し、
前記補助画像重畳部は、前記特定熱源領域であると判定された熱源領域が前記所定の数以上ある前記可視光画像のフレームに前記第３の補助画像を重畳する
請求項１または２に記載の画像処理装置。

【請求項4】

前記特定熱源領域判定部は、前記熱源領域抽出部によって抽出された熱源領域が、特定形状を有すると判定した場合に、前記熱源領域を前記特定熱源領域と判定する請求項１または２に記載の画像処理装置。

【請求項5】

可視光カメラが車両の前方を撮影して可視光画像を生成し、
サーモカメラが前記車両の前方を撮影して赤外線画像を生成し、
画像処理部が、前記赤外線画像の各フレームに含まれている所定の温度以上の領域である熱源領域を抽出し、
前記画像処理部が、抽出された熱源領域の移動速度が所定の速度未満である場合に、前記熱源領域を特定熱源領域と判定し、
前記画像処理部が、前記赤外線画像の各フレームに含まれている熱源領域のうち、前記特定熱源領域であると判定された複数の熱源領域の各下端の位置から所定の距離だけ下方の位置を互いに連結する連結補助画像を生成し、
前記画像処理部が、前記可視光画像の各フレームに前記連結補助画像を重畳して重畳可視光画像を生成し、
表示部が前記重畳可視光画像を表示する
撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び撮像方法に関する。

【背景技術】

【0002】

特許文献１に記載のように、視界不良時の車両の運転を補助するため、可視光カメラが撮影した可視光画像と、赤外線カメラが撮影した赤外線画像とを合成して表示部に表示する画像処理装置が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１１－３０８６０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

夜間、または昼間でも霧の発生時または降雪時には、車両が走行する道路を認識することができないことがある。特許文献１に記載の画像処理装置によれば、赤外線画像における歩行者の領域を切り出して可視光画像に合成することができるものの、車両が走行する道路の視認性を向上させることはできない。

【0005】

本発明は、車両が走行する道路の視認性を向上させることができる画像処理装置及び撮像方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、サーモカメラが車両の前方を撮影することによって生成した赤外線画像の各フレームに含まれている所定の温度以上の領域である熱源領域を抽出する熱源領域抽出部と、前記熱源領域抽出部によって抽出された熱源領域の移動速度が所定の速度未満である場合に、前記熱源領域を特定熱源領域と判定する特定熱源領域判定部と、前記赤外線画像の各フレームに含まれている熱源領域のうち、前記特定熱源領域判定部によって特定熱源領域であると判定された複数の熱源領域の各下端の位置から所定の距離だけ下方の位置を互いに連結する第１の補助画像を生成する補助画像生成部と、可視光カメラが前記車両の前方を撮影することによって生成した可視光画像の各フレームに前記第１の補助画像を重畳する補助画像重畳部とを備える画像処理装置を提供する。

【0007】

本発明は、可視光カメラが車両の前方を撮影して可視光画像を生成し、サーモカメラが前記車両の前方を撮影して赤外線画像を生成し、画像処理部が、前記赤外線画像の各フレームに含まれている所定の温度以上の領域である熱源領域を抽出し、前記画像処理部が、抽出された熱源領域の移動速度が所定の速度未満である場合に、前記熱源領域を特定熱源領域と判定し、前記画像処理部が、前記赤外線画像の各フレームに含まれている熱源領域のうち、前記特定熱源領域であると判定された複数の熱源領域の各下端の位置から所定の距離だけ下方の位置を互いに連結する連結補助画像を生成し、前記画像処理部が、前記可視光画像の各フレームに前記連結補助画像を重畳して重畳可視光画像を生成し、表示部が前記重畳可視光画像を表示する撮像方法を提供する。

【発明の効果】

【0008】

本発明の画像処理装置及び撮像方法によれば、車両が走行する道路の視認性を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施形態に係る画像処理装置を示すブロック図である。

【図2】図２は、一実施形態に係る画像処理装置を備える車両用撮像装置の取り付け位置の一例を示す図である。

【図3】図３は、一実施形態に係る画像処理装置がキャリブレーションを実行するときに用いる熱源マーカの配置例を示す図である。

【図4】図４は、一実施形態に係る画像処理装置がキャリブレーションを実行するときに可視光カメラが生成する可視光画像を示す図である。

【図5】図５は、一実施形態に係る画像処理装置がキャリブレーションを実行するときにサーモカメラが生成する赤外線画像を示す図である。

【図6】図６は、図４に示す可視光画像と図５に示す赤外線画像とを合成した合成画像を示す図である。

【図7】図７は、赤外線画像を補正して可視光画像と赤外線画像との位置を一致させた状態を示す図である。

【図8】図８は、車両が走行する道路の実風景の一例を示す図である。

【図9】図９は、図８に示す実風景において吹雪となった状態を示す図である。

【図10】図１０は、車両が図９に示す状態の道路を走行しているときに可視光カメラが生成する可視光画像を示す図である。

【図11】図１１は、車両が図９に示す状態の道路を走行しているときにサーモカメラが生成する赤外線画像における所定の温度以上の熱源領域を抽出した状態を示す図である。

【図12】図１２は、図１１に示す熱源領域のうちの特定熱源領域の下端の位置を基準として生成した垂直補助画像及び連結補助画像を示す図である。

【図13】図１３は、図１０に示す可視光画像に図１２に示す垂直補助画像及び連結補助画像を重畳した重畳可視光画像を示す図である。

【図14】図１４は、フレーム内に６個の特定熱源領域が存在する場合に、各特定熱源領域の下端の位置を基準として生成した垂直補助画像及び連結補助画像を示す図である。

【図15】図１５は、図１４における連結補助画像で囲まれた領域を塗りつぶし補助画像で塗りつぶした状態を示す図である。

【図16】図１６は、フレーム内に４個の特定熱源領域が存在する場合に、各特定熱源領域の下端の位置を基準として生成した垂直補助画像及び連結補助画像を示す図である。

【図17】図１７は、図６４における連結補助画像で囲まれた領域を塗りつぶし補助画像で塗りつぶした状態を示す図である。

【図18A】図１８Ａは、一実施形態に係る画像処理装置の動作、及び一実施形態に係る撮像方法の処理を示す部分的なフローチャートである。

【図18B】図１８Ｂは、図１８Ａに続く、一実施形態に係る画像処理装置の動作、及び一実施形態に係る撮像方法の処理を示す部分的なフローチャートである。

【発明を実施するための形態】

【0010】

以下、一実施形態に係る画像処理装置及び撮像方法について、添付図面を参照して説明する。図１は、一実施形態に係る画像処理装置を備える車両用撮像装置１００の構成例を示している。図１において、車両用撮像装置１００は、可視光カメラ１、サーモカメラ２、画像処理部３、操作部４、表示部５を備える。画像処理部３は、一実施形態に係る画像処理装置を構成する。表示部５は、車両用撮像装置１００の外部の構成であってもよい。操作部４は、車両用撮像装置１００の筐体に設けられている操作ボタンであってもよいし、リモートコントローラであってもよい。

【0011】

図２に示すように、車両用撮像装置１００は、一例として、車両２００（図３参照）のフロントガラス２０ｗの内面の、ルームミラー２０ｍの近傍に装着されている。図２に示す車両用撮像装置１００は、筐体内に、可視光カメラ１、サーモカメラ２、及び画像処理部３（図２では図示せず）を備え、筐体の車内側の面に表示部５を備える構成を示している。可視光カメラ１及びサーモカメラ２は、筐体に対して外付けされていてもよい。表示部５は筐体に対して外付けされていてもよいし、外部の構成とされていてもよい。車両用撮像装置１００は、車両２００のフロントグリル内に装着されていてもよい。

【0012】

図１に戻り、画像処理部３は、制御部３０１、スイッチ３０２、熱源画像補正部３０３、補正量記憶部３０４、画像合成部３０５を備える。また、画像処理部３は、熱源領域抽出部３０６、熱源領域補正部３０７、特定熱源領域判定部３０８、特定形状記憶部３０９、補助画像生成部３１０、補助画像重畳部３１１、スイッチ３１２を備える。画像処理部３は、集積回路、ＰＬＣ（Programmable Logic Controller）、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、マイクロコンピュータのいずれで構成されていてもよい。

【0013】

制御部３０１は、運転者による操作部４の操作に応答して、画像処理部３をキャリブレーションモードと撮影モードとに選択的に設定することができる。運転者は、まず、操作部４を操作して、画像処理部３をキャリブレーションモードに設定する。

【0014】

キャリブレーションモード時の画像処理部３の動作を説明する。図３において、車両２００は、駐車場または空き地等の道路以外の場所に止められている。運転者は、地上の車両２００の前方に熱源マーカ６ａ～６ｇを配置する。熱源マーカ６は、例えば円柱状のケース内に所定の熱源を収納して発熱している。

【0015】

具体的には、運転者は、車両２００の先端の左右端部から距離Ｄ１だけ左右方向に離れ、前方に距離Ｄ２だけ離れた位置に熱源マーカ６ａ及び６ｅを配置する。運転者は、熱源マーカ６ａ及び６ｅから前方に距離Ｄ３だけ離れた位置にそれぞれ熱源マーカ６ｂ及び６ｆを配置する。運転者は、熱源マーカ６ｂ及び６ｆから前方に距離Ｄ３だけ離れた位置にそれぞれ熱源マーカ６ｃ及び６ｇを配置する。運転者は、熱源マーカ６ｂ及び６ｆの中央の位置に熱源マーカ６ｄを配置する。

【0016】

熱源マーカ６ａ、６ｂ、及び６ｃを結ぶ第１の線は一直線であり、熱源マーカ６ｅ、６ｆ、及び６ｇを結ぶ第２の線は一直線で第１の線と平行である。第１及び第２の線は、車両２００の前後方向と平行である。距離Ｄ２及びＤ３は、１０ｍから２０ｍ程度である。距離Ｄ２と距離Ｄ３は同じである必要はない。

【0017】

熱源マーカ６ａと熱源マーカ６ｂとの間、熱源マーカ６ｂと熱源マーカ６ｃとの間を、それぞれ、連結線７ａ及び７ｂで結ぶことが好ましい。熱源マーカ６ｅと熱源マーカ６ｆとの間、熱源マーカ６ｆと熱源マーカ６ｇとの間を、それぞれ、連結線７ｃ及び７ｄで結ぶことが好ましい。連結線７ａ～７ｄは、熱源マーカ６ａ～６ｃ、６ｅ～６ｇの発熱によって加熱されているか、熱源を有して発熱している。図３に示す熱源マーカの数及び配置の仕方は単なる一例である。熱源マーカの形状は円柱状に限定されない。

【0018】

図３に示す状態で、可視光カメラ１及びサーモカメラ２は車両２００の前方を撮影する。画像処理部３がキャリブレーションモードであるとき、スイッチ３０２及び３１２は、制御部３０１による制御に従って端子Ｔａへと接続される。可視光カメラ１が車両２００の前方を撮影することによって生成した図４に示すような可視光画像は、画像合成部３０５に供給される。

【0019】

図４は、可視光画像のフレームＦ１を示している。フレームＦ１は、車両２００の先端、熱源マーカ６ａ～６ｇ、連結線７ａ～７ｄを含む。なお、車両２００の先端が可視光カメラ１で撮影されず、フレームＦ１内に存在していなくてもよい。フレームＦ１の画像は時間が進行しても変化しないので、可視光画像のフレームが進行してもフレームＦ１と称することとする。

【0020】

サーモカメラ２が車両２００の前方を撮影することによって生成した図５に示すような赤外線画像（遠赤外線画像）は、スイッチ３０２を介して熱源画像補正部３０３に供給される。図５は、赤外線画像のフレームＦ２を示している。フレームＦ２において、破線で示す部分、または破線で囲んでハッチングを付している領域は、周囲より温度が高く熱源が存在する箇所（熱源領域）である。熱源画像補正部３０３は、入力された赤外線画像を画像合成部３０５に供給する。同様に、フレームＦ２の画像は時間が進行しても変化しないので、赤外線画像のフレームが進行してもフレームＦ２と称することとする。

【0021】

フレームＦ２は、車両２００の先端に相当する熱源領域２００ｉｒ、熱源マーカ６ａ～６ｇに相当する熱源領域６ａｉｒ～６ｇｉｒ、連結線７ａ～７ｄに相当する熱源領域７ａｉｒ～７ｄｉｒを含む。同様に、車両２００の先端がサーモカメラ２で撮影されず、フレームＦ２内に存在していなくてもよい。

【0022】

画像合成部３０５は、入力された可視光画像と赤外線画像とを合成した合成画像を、スイッチ３１２を介して表示部５に供給する。画像合成部３０５は、可視光画像と赤外線画像との同じタイミングのフレームを合成するよう、必要に応じて可視光画像のフレームを遅延させる。

【0023】

表示部５は入力された合成画像を表示する。図６は、可視光画像のフレームＦ１と赤外線画像のフレームＦ２とを合成したフレームＦ１２を示している。同様に、合成画像のフレームが進行してもフレームＦ１２と称することとする。可視光カメラ１が被写体を撮影するときの縮尺率と、サーモカメラ２が被写体を撮影するときの縮尺率とが同じではないことがあり、フレームＦ１２においては、可視光画像と赤外線画像とがずれている。

【0024】

運転者は、表示部５に表示されているフレームＦ１２の合成画像を見ながら、操作部４を操作してサーモカメラ２による赤外線画像を拡大または縮小するよう制御部３０１に指示する。制御部３０１は、赤外線画像を拡大または縮小するよう熱源画像補正部３０３を制御する。図６は、サーモカメラ２の縮尺率が可視光カメラ１の縮尺率より大きく、赤外線画像の方が小さく表示されている状態を示している。

【0025】

制御部３０１が赤外線画像を拡大するよう熱源画像補正部３０３を制御することによって、図７に示すように、車両２００の先端、熱源マーカ６ａ～６ｇ、連結線７ａ～７ｄと、熱源領域２００ｉｒ、６ａｉｒ～６ｇｉｒ、７ａｉｒ～７ｄｉｒとの互いに位置がほぼ一致する。

【0026】

可視光カメラ１が被写体を撮影するときの縮尺率とサーモカメラ２が被写体を撮影するときの縮尺率とが同じであっても、可視光画像と赤外線画像とが水平方向または垂直方向に位置がずれていることがある。この場合には、運転者は、表示部５に表示されているフレームＦ１２の合成画像を見ながら、操作部４を操作してサーモカメラ２による赤外線画像を水平方向または垂直方向にずらせばよい。

【0027】

補正量記憶部３０４は、熱源画像補正部３０３が可視光画像と赤外線画像との位置を一致させるように赤外線画像を補正した補正量を記憶する。補正量は、可視光カメラ１とサーモカメラ２の縮尺率が同じではない場合には、赤外線画像を拡大または縮小する拡大縮小率を含む。補正量は、可視光画像と赤外線画像とが水平方向または垂直方向に位置がずれている場合には、赤外線画像を水平方向または垂直方向にずらす変位量を含む。

【0028】

以上のようにして、補正量記憶部３０４に、熱源マーカ６ａ～６ｇ及び連結線７ａ～７ｄの位置と熱源領域６ａｉｒ～６ｇｉｒ及び７ａｉｒ～７ｄｉｒとの位置を一致させる補正量が記憶されると、画像処理部３のキャリブレーションが完了する。以上説明した可視光画像と赤外線画像との位置を一致させるキャリブレーションは単なる一例であり、他の公知の技術を用いてもよい。さらには、可視光カメラ１とサーモカメラ２の縮尺率が同じであり、可視光画像と赤外線画像とが水平方向または垂直方向に位置がずれていない場合には、キャリブレーションを省略してよい。

【0029】

必要に応じて実行されるキャリブレーションが完了すれば、運転者は、操作部４を操作して、画像処理部３を撮影モードに設定する。制御部３０１は、運転者による操作部４の操作に応答して、画像処理部３を撮影モードに設定する。画像処理部３が撮影モードに設定されると、スイッチ３０２及び３１２は、制御部３０１による制御に従って端子Ｔｂへと接続される。

【0030】

図８は、車両２００が走行する道路の実風景の一例を示している。図８に示す例において、車両２００は降雪地の道路１０の左側車線を走行している。車両２００の前方には、先行車両１１が走行している。道路１０の両側端には、矢羽根付きポール１２Ｐａ～１２Ｐｃが設置されている。矢羽根付きポールとは、固定式視線誘導柱を正式名称とする標識である。矢羽根付きポール１２Ｐａ～１２Ｐｃの先端には、それぞれ、下向き矢印の形状を有する矢羽根１２ａ～１２ｃが取り付けられている。

【0031】

矢羽根１２ａ～１２ｃの先端の道路１０と直交する方向の位置は、道路１０の端部に引かれている車道外側線（外側の白線）の位置を示している。図８においては、車道外側線は雪で覆われて見えていない。矢羽根１２ａ～１２ｃの先端は、地上から５メートルの位置にあるとする。

【0032】

矢羽根付きポール１２Ｐａ～１２Ｐｃのうちのいずれかを特定しない矢羽根付きポール、または矢羽根付きポール１２Ｐａ～１２Ｐｃ以外のその他の任意の矢羽根付きポールを矢羽根付きポール１２Ｐと称することとする。矢羽根１２ａ～１２ｃのうちのいずれかを特定しない矢羽根、または矢羽根１２ａ～１２ｃ以外のその他の任意の矢羽根を矢羽根１２と称することとする。矢羽根１２は、発光ダイオード等の光源を内蔵しており、熱源となる。

【0033】

図８に示す実風景において例えば吹雪となると、図９に示すように、視界不良となり、道路１０、先行車両１１、及び矢羽根１２ａ～１２ｃの視認性が大幅に悪化する。

【0034】

車両用撮像装置１００は、画像処理部３を備えることにより、図９に示すような視界不良の状態でも、運転者が道路１０をより安全に走行することを実現している。図１０は、車両２００が図９に示す状態の道路１０を走行しているときに可視光カメラ１が生成する可視光画像のフレームＦ１０を示している。車両２００の先端が可視光カメラ１で撮影されず、フレームＦ１０内に存在していなくてもよい。可視光カメラ１が生成する可視光画像は動画像であるので、可視光画像のフレームは順次変化する。図１０に示すフレームＦ１０は、順次変化するフレームのうちの１フレームを示している。

【0035】

サーモカメラ２が生成する赤外線画像は、スイッチ３０２を介して熱源領域抽出部３０６に供給される。熱源領域抽出部３０６は、赤外線画像の各フレームに含まれている所定の温度以上の領域である熱源領域を抽出する。図１１は、赤外線画像のフレームＦ２０において抽出された熱源領域を示している。同様に、図１１に示すフレームＦ２０は、順次変化するフレームのうちの１フレームを示している。フレームＦ１０とフレームＦ２０とは同じタイミングのフレームである。

【0036】

フレームＦ２０は、車両２００の先端に相当する熱源領域２００ｉｒ、先行車両１１に相当する熱源領域１１ｉｒ、矢羽根１２ａ～１２ｃに相当する熱源領域１２ａｉｒ～１２ｃｉｒを含む。車両２００の先端がサーモカメラ２で撮影されず、フレームＦ２０内に存在していなくてもよい。

【0037】

熱源領域抽出部３０６は、抽出した熱源領域を含む赤外線画像の各フレームを熱源領域補正部３０７に供給する。熱源領域補正部３０７は、補正量記憶部３０４に記憶されている補正量だけ赤外線画像の各フレームを補正する。熱源領域補正部３０７は、補正した各フレームを特定熱源領域判定部３０８及び補助画像生成部３１０に供給する。

【0038】

熱源領域補正部３０７が赤外線画像の各フレームを補正せず、熱源領域抽出部３０６より出力される赤外線画像の各フレームがそのまま特定熱源領域判定部３０８及び補助画像生成部３１０に供給されることがある。

【0039】

特定熱源領域判定部３０８には車両速度が入力される。車両速度は、車両２００の位置情報の変化に基づいて検出されてもよいし、ＥＣＵ（Electronic Control Unit）から取得されてもよい。前者の場合、図示していないＧＮＳＳ受信部は、全地球航法衛星システム（Global Navigation Satellite System: GNSS）用の３つ以上の衛星から送信されるＧＮＳＳ信号を受信する。図示していない位置算出部は、受信したＧＮＳＳ信号に基づいて車両２００の現在位置（位置情報）を算出する。図示していない車両速度検出部は、位置算出部より供給される位置情報の変化に基づいて車両速度を検出する。

【0040】

特定形状記憶部３０９には、車両２００が走行する道路１０を可視光画像上に示すために用いる道路１０上の設置物の形状である特定形状を示すデータが記憶されている。下向き矢印の矢羽根１２の形状が特定形状の一例である。特定熱源領域判定部３０８は、入力される車両速度に基づいて、抽出した熱源領域から移動体の熱源領域を除外し、特定形状記憶部３０９に記憶されている特定形状を示すデータに基づいて、特定熱源領域の有無を判定する。特定熱源領域とは、車両２００が走行する道路１０を可視光画像上に示すために用いる道路１０上の設置物の熱源領域である。

【0041】

矢羽根付きポール１２Ｐの先端に取り付けられている矢羽根１２は、車両２００が走行する道路１０を可視光画像上に示すために用いる道路１０上の設置物の好適な一例である。車両２００が走行する道路１０を可視光画像上に示すために用いる道路１０上の設置物は、矢羽根１２に限定されない。矢羽根１２の他、特定の形状を有する街灯を、道路１０を可視光画像上に示すために用いる道路１０上の設置物とすることができる。特定熱源領域判定部３０８は、図１１に示す赤外線画像のフレームＦ２０において、熱源領域１２ａｉｒ～１２ｃｉｒを特定熱源領域であると判定する。

【0042】

特定熱源領域判定部３０８は、補助画像生成部３１０に、熱源領域１２ａｉｒ～１２ｃｉｒが特定熱源領域であることを知らせる。一例として、特定熱源領域判定部３０８は、特定熱源領域である熱源領域１２ａｉｒ～１２ｃｉｒの画素位置を示す位置情報を補助画像生成部３１０に供給すればよい。

【0043】

補助画像生成部３１０は、熱源領域補正部３０７から供給される赤外線画像のフレームに基づいて、可視光画像に重畳すべき補助画像を生成する。熱源領域補正部３０７から供給される赤外線画像のフレームが図１１に示す赤外線画像のフレームＦ２０に含まれる熱源領域２００ｉｒ、１１ｉｒ、１２ａｉｒ～１２ｃｉｒのうち、熱源領域１２ａｉｒ～１２ｃｉｒが特定熱源領域である。

【0044】

そこで、補助画像生成部３１０は、図１２に示すように、熱源領域１２ａｉｒ～１２ｃｉｒの各下端の位置から垂直方向の下方に伸びる垂直補助画像１３ａ～１３ｃと、垂直補助画像１３ａ～１３ｃの下端を互いに連結する連結補助画像１４ａｂ、１４ａｃ、１４ｂｃとを含むフレームＦ１１を生成する。垂直補助画像１３ａ～１３ｃ及び連結補助画像１４ａｂ～１４ｂｃは、可視光画像よりなる。フレームＦ１１において、二点鎖線で示す熱源領域１２ａｉｒ～１２ｃｉｒは、図１１に示すフレームＦ２０における熱源領域１２ａｉｒ～１２ｃｉｒの位置を示すために記載しており、フレームＦ１１が熱源領域１２ａｉｒ～１２ｃｉｒを示す画像を含むものではない。

【0045】

垂直補助画像１３ａ～１３ｃのうちのいずれかを特定しない垂直補助画像または垂直補助画像１３ａ～１３ｃ以外のその他の任意の垂直補助画像を垂直補助画像１３と称することとする。連結補助画像１４ａｂ～１４ｂｃのうちのいずれかを特定しない連結補助画像または連結補助画像１４ａｂ～１４ｂｃ以外のその他の任意の連結補助画像を連結補助画像１４と称することとする。

【0046】

上記のように矢羽根１２の先端は、地上から５メートルの位置にあるから、補助画像生成部３１０は、フレームＦ１１内の熱源領域１２ａｉｒ～１２ｃｉｒの下端の各位置から５メートルに相当する垂直方向の画素数を有する垂直補助画像１３ａ～１３ｃを生成する。補助画像生成部３１０は、垂直補助画像１３ａ～１３ｃを生成せず、連結補助画像１４ａｂ～１４ｂｃのみを生成してもよい。この場合、補助画像生成部３１０は、フレームＦ１１内の熱源領域１２ａｉｒ～１２ｃｉｒの下端の各位置から５メートルに相当する垂直方向の画素数だけ下方の位置を互いに連結する連結補助画像１４ａｂ～１４ｂｃを生成すればよい。矢羽根１２の先端が地上から５メートル以外の位置にあれば、補助画像生成部３１０は、矢羽根１２の先端から地上までの距離に相当する垂直補助画像１３を生成すればよい。矢羽根１２の高さ方向の位置は任意である。

【0047】

連結補助画像１４ａｂ～１４ｂｃを第１の補助画像、垂直補助画像１３ａ～１３ｃを第２の補助画像とすれば、補助画像生成部３１０は、少なくとも第１の補助画像を生成し、第１の補助画像に加えて第２の補助画像を生成するのがよい。

【0048】

補助画像生成部３１０は、先行車両１１の熱源領域１１ｉｒのような移動体の熱源領域に基づいて補助画像を生成してもよい。補助画像生成部３１０は、移動体の熱源領域の輪郭線または移動体の熱源領域を塗りつぶした画像を補助画像とすればよい。可視光カメラ１及びサーモカメラ２によって歩行者が撮影されれば、補助画像生成部３１０は、歩行者熱源領域に基づいて補助画像を生成することができる。

【0049】

補助画像重畳部３１１は、可視光カメラ１から供給される可視光画像に、補助画像生成部３１０が生成する補助画像を重畳する。補助画像重畳部３１１は、図１０に示す可視光画像のフレームＦ１０に図１２に示すフレームＦ１１における垂直補助画像１３ａ～１３ｃ及び連結補助画像１４ａｂ～１４ｂｃを重畳する。補助画像重畳部３１１は、可視光画像のフレームに、可視光画像のフレームと同じタイミングの赤外線画像のフレームに含まれる特定熱源領域に基づく補助画像を重畳するよう、必要に応じて可視光画像のフレームを遅延させる。

【0050】

補助画像を重畳した可視光画像は、スイッチ３１２を介して表示部５に供給される。表示部５は、補助画像を重畳した可視光画像を表示する。可視光画像が図１０に示すフレームＦ１０であり、補助画像生成部３１０が生成する補助画像が図１２に示すフレームＦ１１であるとき、表示部５には図１３に示すようなフレームＦ１１１が表示される。

【0051】

図１３に示すように、吹雪による視界不良で、先行車両１１及び矢羽根１２ａ～１２ｃは可視光画像としてほとんど見えてない。運転者は、連結補助画像１４ａｂ～１４ｂｃで囲まれた領域を道路１０の路面であると認識することができる。運転者は、垂直補助画像１３ａ～１３ｃによって、道路１０の端部を認識することができる。可視光画像に垂直補助画像１３を重畳すれば、道路１０の端部が認識しやすくなるので、連結補助画像１４に加えて垂直補助画像１３を重畳することが好ましい。

【0052】

上記のように、補助画像生成部３１０が特定熱源領域以外の熱源領域に対応する補助画像を生成すれば、図１３に示す可視光画像のフレームＦ１１１には、特定熱源領域以外の熱源領域に対応する補助画像も重畳される。

【0053】

図１４は、道路１０の両側端に合計６個の矢羽根付きポール１２Ｐが設置されている場合に、各矢羽根１２に相当する熱源領域１２ｉｒの下端に垂直補助画像１３を付加し、各垂直補助画像１３の下端を連結補助画像１４で連結したフレームＦ１１を示している。図１４に示すように多くの連結補助画像１４が交差すると見づらくなる。

【0054】

そこで、補助画像生成部３１０は、図１５に示すように、第３の補助画像として、連結補助画像１４で囲まれた領域を例えば単色で塗りつぶした塗りつぶし補助画像１５としたフレームＦ１１’を生成するのがよい。運転者は、塗りつぶし補助画像１５を道路１０の路面であると認識することができる。塗りつぶし補助画像１５の色は、目立つ任意の色でよい。

【0055】

図１６は、道路１０の両側端に合計４個の矢羽根付きポール１２Ｐが設置されている場合に、各矢羽根１２に相当する熱源領域１２ｉｒの下端に垂直補助画像１３を付加し、各垂直補助画像１３の下端を連結補助画像１４で連結したフレームＦ１１を示している。図１７は、連結補助画像１４で囲まれた領域を例えば単色で塗りつぶした塗りつぶし補助画像１５としたフレームＦ１１’を示している。補助画像生成部３１０は、垂直補助画像１３が４本以上であるときに、連結補助画像１４で囲まれた領域を塗りつぶし補助画像１５とするのがよい。図１２に示す垂直補助画像１３が３本である場合に、連結補助画像１４で囲まれた領域を塗りつぶし補助画像１５としても構わない。

【0056】

補助画像生成部３１０は、垂直補助画像１３が所定の本数以上であるとき、即ち、１フレーム内に特定熱源領域であると判定された熱源領域が所定の数以上あるとき、連結補助画像１４で囲まれた領域を所定の色で塗りつぶした塗りつぶし補助画像１５を生成すればよい。所定の本数は任意の複数の本数である。補助画像重畳部３１１は、特定熱源領域であると判定された熱源領域が所定の数以上あるフレームに塗りつぶし補助画像１５を重畳する。

【0057】

図１８Ａ及び図１８Ｂに示すフローチャートを用いて、画像処理部３による撮影モードの動作である一実施形態に係る画像処理装置の動作、及び一実施形態に係る撮像方法を説明する。図１８Ａに示す処理が開始される前にキャリブレーションモードによる上述したキャリブレーションが完了している。

【0058】

図１８Ａにおいて、画像処理部３が撮影モードの処理を開始すると、熱源領域抽出部３０６は、ステップＳ１にて、赤外線画像のフレーム内に所定の温度以上の領域である熱源領域があるか否かを判定する。熱源領域がなければ（ＮＯ）、熱源領域抽出部３０６はステップＳ１の処理を繰り返す。

【0059】

ステップＳ１にて赤外線画像のフレーム内に熱源領域があれば（ＹＥＳ）、熱源領域抽出部３０６は、ステップＳ２にて、熱源領域のエッジを判断して熱源領域を抽出する。熱源領域抽出部３０６は、ステップＳ３にて、フレーム内の熱源領域の位置及び画素数を算出する。熱源領域補正部３０７は、ステップＳ４にて、熱源領域の位置及び画素数を補正する。ステップＳ４は省略されることがある。

【0060】

特定熱源領域判定部３０８は、ステップＳ５にて、熱源領域の実際の大きさを算出する。特定熱源領域判定部３０８は、ステップＳ６にて、タイマを開始して、ステップＳ７にて、所定時間が経過したか否かを判定する。所定時間が経過していなければ（ＮＯ）、制御部３０１はステップＳ７の処理を繰り返す。所定時間が経過していれば（ＹＥＳ）、特定熱源領域判定部３０８は、ステップＳ８にて、熱源領域の見かけ上の移動速度から車両速度を減算して、熱源領域の実際の移動速度を算出する。

【0061】

特定熱源領域判定部３０８は、ステップＳ９にて、熱源領域の移動速度が時速２ｋｍ未満であるか否かを判定する。熱源領域の移動速度が時速２ｋｍ未満であれば（ＹＥＳ）、特定熱源領域判定部３０８は、ステップＳ１０にて、熱源領域が特定形状を有するか否かを判定する。熱源領域の移動速度が時速２ｋｍ未満であれば、熱源領域は移動体ではなく、標識等の固定物であると想定される。熱源領域が特定形状を有すれば（ＹＥＳ）、特定熱源領域判定部３０８は、ステップＳ１１にて、熱源領域は特定熱源領域であると判定して、処理を図１８ＢのステップＳ１２に移行させる。

【0062】

図１８Ａにおいては、熱源領域の移動速度と形状とに基づいて特定熱源領域を判定しているが、熱源領域の移動速度のみに基づいて特定熱源領域を判定してもよいし、熱源領域の形状のみに基づいて特定熱源領域を判定してもよい。熱源領域の移動速度と形状とに基づいて特定熱源領域を判定することが好ましい。なお、熱源領域は移動体ではなく固定物であると判断するための移動速度が時速２ｋｍ未満であるか否かは一例であり、時速２ｋｍ未満に限定されない。

【0063】

また、図１８Ａにおいては、熱源領域の移動速度を判定した後に、熱源領域の形状を判定しているが、熱源領域の形状を判定した後に、熱源領域の移動速度を判定してもよい。より具体的には、特定熱源領域判定部３０８は、熱源領域が特定形状を有すれば（ＹＥＳ）、熱源領域の移動速度が時速２ｋｍ未満であるか否かを判定し、熱源領域が特定形状を有しなければ（ＮＯ）、処理を図１８ＢのステップＳ１９に移行させる。特定熱源領域判定部３０８は、熱源領域の移動速度が時速２ｋｍ未満であれば（ＹＥＳ）、熱源領域は特定熱源領域であると判定し、熱源領域の移動速度が時速２ｋｍ未満でなければ（ＮＯ）、熱源領域は特定熱源領域ではないと判定する。

【0064】

ステップＳ９にて熱源領域の移動速度が時速２ｋｍ未満でなければ（ＮＯ）、特定熱源領域判定部３０８は、ステップＳ２０にて、熱源領域は移動体であると判定して、処理を図１８ＢのステップＳ１９に移行させる。ステップＳ１０にて熱源領域が特定形状を有しなければ（ＮＯ）、特定熱源領域判定部３０８は、ステップＳ２１にて、熱源領域は特定熱源領域ではないと判定して、処理を図１８ＢのステップＳ１９に移行させる。

【0065】

図１８Ｂにおいて、補助画像生成部３１０は、ステップＳ１２にて、複数の特定熱源領域の各下端の位置から下方向に伸びる垂直補助画像１３を生成し、ステップＳ１３にて、垂直補助画像１３の各下端の位置を連結した連結補助画像１４を生成する。補助画像生成部３１０は、ステップＳ１４にて、垂直補助画像１３が４本以上であるか否かを判定する。垂直補助画像１３が４本以上でなければ（ＮＯ）、補助画像重畳部３１１は、ステップＳ１５にて、可視光画像に垂直補助画像１３及び連結補助画像１４を重畳して、重畳可視光画像を表示部５に供給する。

【0066】

ステップＳ１４にて垂直補助画像１３が４本以上であれば（ＹＥＳ）、補助画像生成部３１０は、ステップＳ１６にて、連結補助画像１４で囲まれた領域に塗りつぶし補助画像１５を生成する。補助画像重畳部３１１は、ステップＳ１７にて、可視光画像に垂直補助画像１３及び塗りつぶし補助画像１５を重畳して、重畳可視光画像を表示部５に供給する。

【0067】

ステップＳ１５またはＳ１７に続けて、表示部５は、ステップＳ１８にて、重畳可視光画像を表示して、処理をステップＳ１９に移行させる。制御部３０１は、ステップＳ１９にて、車両用撮像装置１００の電源オフ等によって動作を終了するか否かを判定する。動作を終了しなければ（ＮＯ）、画像処理部３は、処理を図１８ＡのステップＳ１に戻し、ステップＳ１以降の処理を繰り返す。動作を終了すれば（ＹＥＳ）、画像処理部３は処理を終了させる。

【0068】

以上のように、一実施形態に係る画像処理装置及び撮像方法によれば、夜間、または昼間でも霧の発生時または降雪時等で車両２００が走行する道路１０を認識しにくいときに、道路１０の視認性を向上させることができる。

【0069】

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

【符号の説明】

【0070】

１ 可視光カメラ
２ サーモカメラ
３ 画像処理部
４ 操作部
５ 表示部
１００ 車両用撮像装置
２００ 車両
３０１ 制御部
３０２，３１２ スイッチ
３０３ 熱源画像補正部
３０４ 補正量記憶部
３０５ 画像合成部
３０６ 熱源領域抽出部
３０７ 熱源領域補正部
３０８ 特定熱源領域判定部
３０９ 特定形状記憶部
３１０ 補助画像生成部
３１１ 補助画像重畳部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】