特許 7585909 警告装置及び警告方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】警告装置及び警告方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241112BHJP

   H04N 7/18 20060101ALI20241112BHJP

   H04N 23/45 20230101ALI20241112BHJP

   H04N 23/60 20230101ALI20241112BHJP

   H04N 23/63 20230101ALI20241112BHJP

   G06T 7/00 20170101ALI20241112BHJP

   B60R 1/20 20220101ALI20241112BHJP

【ＦＩ】

G08G1/16 C

H04N7/18 J

H04N23/45

H04N23/60 500

H04N23/63

G06T7/00 650B

B60R1/20

【請求項の数】 4

(21)【出願番号】P 2021045681

(22)【出願日】2021-03-19

(65)【公開番号】P2022144606

(43)【公開日】2022-10-03

【審査請求日】2023-12-28

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】酒井 康利

(72)【発明者】

【氏名】林 啓太

(72)【発明者】

【氏名】谷山 紘史

【審査官】▲高▼木 真顕

(56)【参考文献】

【文献】国際公開第２０１２／０７３７２２（ＷＯ，Ａ１）

【文献】特開２０１４－１９７７２７（ＪＰ，Ａ）

【文献】特開２０２０－０４３４００（ＪＰ，Ａ）

【文献】特開２０１２－１３１４９１（ＪＰ，Ａ）

【文献】特開平１０－２０６７８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｂ６０Ｗ ３０／００ － ６０／００

Ｂ６０Ｋ ３５／００

Ｂ６０Ｒ １／００ － １／０４

Ｂ６０Ｒ １／０８ － １／３１

Ｂ６０Ｒ ２１／００ － ２１／０１７

Ｂ６０Ｒ ９９／００

Ｈ０４Ｎ ５／２２２ － ５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ － ２３／７６

Ｈ０４Ｎ ２３／９０ － ２３／９５９

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

車両の進行方向を撮影する遠赤外線カメラが撮影した第１映像を取得する第１映像取得部と、
前記遠赤外線カメラと一致する方向を撮影する可視光カメラが撮影した第２映像を取得する第２映像取得部と、
前記第１映像取得部が取得した第１映像から、前記車両の運転者に対して警告対象となるオブジェクトを検出する検出部と、
前記車両の周囲の照度が低いときに、前記検出部が前記第１映像から警告対象となるオブジェクトを検出した場合、前記第１映像において検出したオブジェクトを示す範囲である第１オブジェクト範囲を特定するとともに、第１オブジェクト範囲に対応する第２映像における第２オブジェクト範囲を特定する範囲特定部と、
前記車両の運転者の視線の向きを検出する視線検出部と、
前記検出部が警告対象となるオブジェクトを検出した場合、前記第１オブジェクト範囲を描画した前記第１映像を前記車両の運転者が目視可能な表示部に表示させ、前記検出部が警告対象となるオブジェクトを検出した場合、且つ、前記車両の運転者が前記表示部を所定時間以上見た場合、または見返した場合、前記第２オブジェクト範囲を示す枠線を描画した第２映像を前記表示部に表示させる表示制御部と、
を有する警告装置。

【請求項2】

前記表示制御部は、検出したオブジェクトに基づく警告を行う期間、前記第２オブジェクト範囲を示す枠線を描画した第２映像を前記表示部に表示させる、
請求項１に記載の警告装置。

【請求項3】

前記表示制御部は、彩度またはコントラストを低下させた第２映像に前記第２オブジェクト範囲を示す枠線を描画させて前記表示部に表示させる、
請求項１または２に記載の警告装置。

【請求項4】

車両の進行方向を撮影する遠赤外線カメラが撮影した第１映像を取得する第１映像取得ステップと、
前記遠赤外線カメラと一致する方向を撮影する可視光カメラが撮影した第２映像を取得する第２映像取得ステップと、
取得した第１映像から、前記車両の運転者に対して警告対象となるオブジェクトを検出する検出ステップと、
前記車両の周囲の照度が低いときに、前記第１映像から警告対象となるオブジェクトを検出した場合、前記第１映像において検出したオブジェクトを示す範囲である第１オブジェクト範囲を特定するとともに、第１オブジェクト範囲に対応する第２映像における第２オブジェクト範囲を特定する範囲特定ステップと、
前記車両の運転者の視線の向きを検出する視線検出ステップと、
前記検出ステップで警告対象となるオブジェクトを検出した場合、前記第１オブジェクト範囲を描画した前記第１映像を前記車両の運転者が目視可能な表示部に表示させ、前記検出ステップで警告対象となるオブジェクトを検出した場合、且つ、前記車両の運転者が前記表示部を所定時間以上見た場合、または見返した場合、前記第２オブジェクト範囲を示す枠線を描画した第２映像を前記表示部に表示させる表示ステップと、
を警告装置が実行する警告方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、遠赤外線カメラを用いて、車両の進行方向などに存在する歩行者等を検出し、車両の運転者に警告する警告装置及び警告方法に関する。

【背景技術】

【0002】

近年、車両の進行方向の安全確認のために、可視光カメラでは検出が難しい状況における検出対象物の検出に遠赤外線カメラを用いることが行われている。このような遠赤外線カメラを用いた対象物検出技術の例が特許文献１に開示されている。

【0003】

特許文献１に記載の認識処理装置は、遠赤外線カメラが自車両の周囲を撮影した第１撮影データを取得する映像取得部と、自車両の周囲で駐停車している他車両を検出する他車両検出部と、第１撮影データの他車両に対応する領域の熱分布から、他車両の動作に基づく放熱を検出する熱検出部と、放熱を検出したときに、他車両近傍に対して優先的に人物認識を実行して人物を検出する人物検出部とを備える。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－０２７３８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、遠赤外線カメラは、歩行者等の発する熱の分布を映像として検出するため、車両の運転者は、遠赤外線カメラが検出した歩行者等を車両外に対する目視で確認できない場合がある。このような状況では、歩行者等が赤外線カメラにより検出されているにもかかわらず、車両の運転者は車両外に対する目視で歩行者の位置を確認できないため、表示画像を目視する時間や回数が増えてしまい、目視による進行方向の安全確認に支障が生じることがある。

【課題を解決するための手段】

【0006】

そこで、本発明の一態様は、車両の進行方向を撮影する遠赤外線カメラが撮影した第１映像を取得する第１映像取得部と、前記遠赤外線カメラと一致する方向を撮影する可視光カメラが撮影した第２映像を取得する第２映像取得部と、前記第１映像取得部が取得した第１映像から、前記車両の運転者に対して警告対象となるオブジェクトを検出する検出部と、前記検出部が警告対象となるオブジェクトを検出した場合、前記第１映像において検出したオブジェクトを示す範囲である第１オブジェクト範囲を特定するとともに、第１オブジェクト範囲に対応する第２映像における第２オブジェクト範囲を特定する範囲特定部と、前記第２オブジェクト範囲を描画した第２映像を前記車両の運転者が目視可能な表示部に表示させる表示制御部と、を有する警告装置である。

【0007】

また、本発明の別の態様は、車両の進行方向を撮影する遠赤外線カメラが撮影した第１映像を取得する第１映像取得ステップと、前記遠赤外線カメラと一致する方向を撮影する可視光カメラが撮影した第２映像を取得する第２映像取得ステップと、取得した第１映像から、前記車両の運転者に対して警告対象となるオブジェクトを検出する検出ステップと、警告対象となるオブジェクトを検出した場合、前記第１映像において検出したオブジェクトを示す範囲である第１オブジェクト範囲を特定するとともに、第１オブジェクト範囲に対応する第２映像における第２オブジェクト範囲を特定する範囲特定ステップと、前記第２オブジェクト範囲を描画した第２映像を前記車両の運転者が目視可能な表示部に表示させる表示ステップと、を警告装置が実行する警告方法である。

【発明の効果】

【0008】

本発明によれば、遠赤外線カメラの映像から検出した歩行者等を、適切に車両の運転者に把握させることができる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１にかかる警告装置のブロック図である。

【図2】実施の形態１にかかる警告装置における可視光カメラの撮影範囲と遠赤外線カメラの撮影範囲との違いを説明する図である。

【図3】実施の形態１にかかる警告装置における警告表示を説明する図である。

【図4】実施の形態１にかかる警告装置の動作を説明する図である。

【図5】実施の形態１にかかる警告装置の動作の別の形態を説明する図である。

【図6】実施の形態２にかかる警告装置のブロック図である。

【図7】実施の形態２にかかる警告装置の動作を説明する図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0011】

また、以下で説明する機能ブロックの各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各機能（各処理）を、ＣＰＵやメモリ等を有する演算部（例えば、コンピュータ）により実現してもよい。例えば、記憶装置に実施形態における作成方法を行うためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することにより実現してもよい。

【0012】

これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばハードディスクドライブ）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0013】

実施の形態１
実施の形態１にかかる警告装置１は、遠赤外線カメラが撮影した映像から歩行者等が検出された場合に、表示画面に遠赤外線カメラが撮影した映像と、検出した歩行者等を示す枠線などを表示することで、車両の運転者に警告を行う。

【0014】

図１に実施の形態１にかかる警告装置１のブロック図を示す。図１に示すように、実施の形態１にかかる警告装置１は、警報制御装置１０、遠赤外線カメラ１１、可視光カメラ１２、認識辞書記憶部１３、表示部１４を有する。警報制御装置１０は、例えば、マイクロコントローラユニット（ＭＣＵ）やＣＰＵ等のプログラムを実行可能な演算装置により実現される。また、マイクロコントローラユニットには、複数の演算部が含まれており、複数の演算部により並列してプログラム内の種々の処理が行えるものであってもよい。警報制御装置１０内で実現される処理ブロックの詳細については後述する。

【0015】

遠赤外線カメラ１１は、車両の前方、つまり車両の主たる進行方向を撮影するカメラであって、撮影範囲にある物から発せられる遠赤外線を受けて、撮影範囲に存在する物体の温度に応じた濃淡を有する画像、所謂熱画像を出力する。可視光カメラ１２は、遠赤外線カメラ１１と一致する方向を撮影するカメラであって、撮影範囲を可視光により撮影した映像を出力する。遠赤外線カメラ１１と可視光カメラ１２の撮影方向の一致とは、いずれのカメラも、車両の前方を撮影していることを意味する。また、遠赤外線カメラ１１の撮影画角は、可視光カメラ１２の撮影画角より狭いことが多いため、このような場合、可視光カメラ１２の撮影画角の範囲内に、遠赤外線カメラ１１の撮影画角の範囲が含まれる。

【0016】

認識辞書記憶部１３は、後述する検出部２３において検出する検出対象のオブジェクトの形状などの特徴を機械学習させた認識辞書を記憶する。認識辞書記憶部１３は、例えば、フラッシュメモリ等の不揮発性記憶装置により構成される。表示部１４は、車両の運転者に遠赤外線カメラ１１と可視光カメラ１２の少なくとも一方により撮影される映像を表示するものである。表示部１４は、例えば、車両のダッシュボードに設置されるディスプレイ等が考えられる。

【0017】

警報制御装置１０は、第１映像取得部２１、第２映像取得部２２、検出部２３、範囲特定部２４、表示制御部２５を有する。警報制御装置１０内の処理ブロックは、プログラムにより実現される処理ブロック、或いは、専用ハードウェアとして実装される処理ブロックである。また、第１映像取得部２１、第２映像取得部２２、検出部２３、範囲特定部２４、表示制御部２５は、警報制御装置１０内の処理、或いは、バスにより相互に情報の連携が可能なように構成される。

【0018】

第１映像取得部２１は、車両の進行方向を撮影する遠赤外線カメラ１１が撮影した第１映像を取得する。第２映像取得部２２は、可視光カメラ１２が撮影した第２映像を取得する。検出部２３は、第１映像取得部が取得した第１映像から、車両の運転者に対して警告対象となるオブジェクトを検出する。車両の運転者に対して警告対象となるオブジェクトは、例えば、歩行者等の人物、人物が乗車している自転車、動物など、周辺温度との温度分布の差異によって検出される物体である。また、車両の運転者に対して警告対象となるオブジェクトは、上述した物体のうち、車両の進行方向である前方に存在し、車両の走行において注意が必要な位置に存在する物体を対象としてもよい。

【0019】

範囲特定部２４は、検出部２３が警告対象となるオブジェクトを検出した場合、第１映像における検出したオブジェクトを示す範囲である第１オブジェクト範囲を特定するとともに、第１オブジェクト範囲に対応する第２映像における第２オブジェクト範囲を特定する。範囲特定部２４が特定する第１オブジェクト範囲は、第１映像において検出されたオブジェクトを囲う範囲であり、例えば、矩形の枠線などで示される。矩形の枠線は、検出されたオブジェクトの外形全体を囲う枠線であり、表示画面上におけるオブジェクトの存在に加えて、表示画面上における位置および大きさを示すことができる。第１オブジェクト範囲は、例えば検出したオブジェクトが人物である場合は、検出された人物を囲う縦横比が２：１の矩形の枠線で示される。範囲特定部２４が特定する第２オブジェクト範囲は、第１映像において特定された第１オブジェクト範囲に対して、第２映像において同一の位置を示す範囲であり、例えば、第１オブジェクト範囲を示す枠線と同一形状の枠線などで示される。第１オブジェクト範囲および第２オブジェクト範囲は、上述した形態に限定されず、様々な形態が実施可能である。

【0020】

表示制御部２５は、第２オブジェクト範囲を示す枠線等を描画した第２映像を車両の運転者が目視可能な表示部１４に表示させる。また、表示制御部２５では、第２映像を表示する際には、彩度またはコントラストを低下させた第２映像に第２オブジェクト範囲を描画させて表示部１４に表示させることが好ましい。このように第２映像の彩度またはコントラストを低下させることで、第２オブジェクト範囲を示す枠線等が第２映像の表示に対して目立つため、車両の運転者が第２オブジェクトの位置を適切に確認することができる。

【0021】

ここで、遠赤外線カメラ１１と可視光カメラ１２との撮影範囲の違いについて説明する。そこで、図２に実施の形態１にかかる警告装置１における可視光カメラの撮影範囲と遠赤外線カメラの撮影範囲との違いを説明する図を示す。図２に示すように、実施の形態１にかかる警告装置１では、遠赤外線カメラ１１と可視光カメラ１２による撮影範囲は、車両の進行方向であって、一致する方向を撮影する。また、警告装置１では、遠赤外線カメラ１１が撮影する遠赤外線カメラ撮影範囲ＩＲは、可視光カメラ１２が撮影する可視光カメラ撮影範囲ＯＰよりも範囲が狭い。図２に示す例では、可視光カメラ撮影範囲ＯＰの中心と遠赤外線カメラ撮影範囲ＩＲの中心が一致するように設定されている。可視光カメラ撮影範囲ＯＰは、可視光カメラ１２の撮影画角であってもよく、遠赤外線カメラ撮影範囲ＩＲは、遠赤外線カメラ１１の撮影画角であってもよい。可視光カメラ撮影範囲ＯＰの座標は、遠赤外線カメラ撮影範囲ＩＲと一致する範囲において、遠赤外線カメラ撮影範囲ＩＲの座標と対応付けられている。このため、第１映像において特定された第１オブジェクト範囲に基づき、第２映像における第２オブジェクト範囲を特定することができる。

【0022】

続いて、実施の形態１にかかる警告装置１の動作について説明する。そこで、図３に実施の形態１にかかる警告装置１における警告表示を説明する図を示す。図３に示すように、実施の形態１にかかる警告装置１は、遠赤外線カメラ撮影範囲ＩＲにおいて検出対象のオブジェクトＯＢＪが検出されると、第１オブジェクト範囲ＯＢＪ＿Ｒ１を特定し、可視光カメラ撮影範囲ＯＰ中において第１オブジェクト範囲ＯＢＪ＿Ｒ１に対応する位置の第２オブジェクト範囲ＯＢＪ＿Ｒ２を特定する。そして、可視光カメラ撮影範囲ＯＰの映像である第２映像に第２オブジェクト範囲ＯＢＪ＿Ｒ２を明示する表示を行うことで車両の運転者にオブジェクトＯＢＪがあることを警告する。

【0023】

上記動作について、フローチャートを用いて説明する。図４に実施の形態１にかかる警告装置１の動作を説明する図を示す。図４に示すように、実施の形態１にかかる警告装置１は、動作を開始すると遠赤外線カメラ１１及び可視光カメラ１２による撮影を開始する（ステップＳ１）。ステップＳ１の動作の開始は、警告装置１を搭載している車両のエンジンなどの動力がオンになった場合などに開始される。また、遠赤外線カメラ１１によるオブジェクト検出を、例えば、夜間やトンネルの中など車両周囲の照度が低いときに行う場合は、照度が夜間やトンネルの中を示す程度に低くなることで開始される。ステップＳ１の開始後または開始と同時に、警告装置１は、検出部２３により、遠赤外線カメラ１１及び第１映像取得部２１が取得する第１映像から遠赤外線カメラ撮影範囲ＩＲ中のオブジェクトＯＢＪの検出を開始する（ステップＳ２）。また、警告装置１は、表示制御部２５により可視光カメラ１２及び第２映像取得部２２が取得する第２映像（例えば、可視光カメラ撮影範囲ＯＰの映像）の表示部１４への表示を開始する（ステップＳ３）。表示部１４に表示される第２映像は、可視光カメラ撮影範囲ＯＰから、遠赤外線カメラ撮影範囲ＩＲに一致する箇所を表示してもよい。

【0024】

そして、検出部２３が遠赤外線カメラ撮影範囲ＩＲ中にオブジェクトＯＢＪの存在を検出した場合（ステップＳ４のＹＥＳ）、範囲特定部２４により第１オブジェクト範囲ＯＢＪ＿Ｒ１に対応する第２オブジェクト範囲ＯＢＪ＿Ｒ２の位置を特定する（ステップＳ５）。そして、警告装置１は、表示制御部２５により、第２オブジェクト範囲ＯＢＪ＿Ｒ２を示す第２映像を表示部１４に表示する（ステップＳ６）。この第２オブジェクト範囲ＯＢＪ＿Ｒ２を示す第２映像は、遠赤外線カメラ撮影範囲ＩＲからオブジェクトＯＢＪの存在がなくなる等の警告が必要な状態が解消される警告終了条件を満たすまで継続される（ステップＳ７）。そして、警告終了条件が満たされた後、表示制御部２５は、第２オブジェクト範囲ＯＢＪ＿Ｒ２を含まない第２映像を表示部１４に表示する（ステップＳ８）。

【0025】

そして、実施の形態１にかかる警告装置１は、エンジンが停止される等の動作が終了状態になるまでステップＳ４～Ｓ８の処理を繰り返す。なお、実施の形態１にかかる警告装置１は、ステップＳ４において遠赤外線カメラ撮影範囲ＩＲ中にオブジェクトＯＢＪが検出されない場合、遠赤外線カメラ撮影範囲ＩＲ中にオブジェクトＯＢＪが検出されるまでステップＳ５～Ｓ８は実行せずにオブジェクトＯＢＪの検出処理を継続する（ステップＳ４のＮＯ、ステップＳ９のＮＯ）。

【0026】

なお、実施の形態１にかかる警告装置１の動作は別の形態も考えられる。そこで、図５に実施の形態１にかかる警告装置１の動作の別の形態を説明する図を示す。図５に示すように、実施の形態１にかかる警告装置１の動作の別の形態は、図４に示したフローチャートにおいて、第２映像を表示するステップＳ３、Ｓ８を、第１映像を表示するステップＳ１０、Ｓ１１に変更したものである。つまり、実施の形態１にかかる警告装置１の動作の別の形態では、オブジェクトＯＢＪの未検出状態において、第１映像を表示部１４に表示する。このように、実施の形態１にかかる警告装置１では、オブジェクトＯＢＪの未検出の期間において、表示部１４に第１映像を表示するか、第２映像を表示するのかは仕様により選択することができる。

【0027】

上記説明より、実施の形態１にかかる警告装置１では、遠赤外線カメラ撮影範囲ＩＲ中に警告対象のオブジェクトＯＢＪが検出された場合に、第２映像にオブジェクトＯＢＪの存在位置を示す第２オブジェクト範囲ＯＢＪ＿Ｒ２を重ねて表示することで、運転者に知らせるべき警告を運転者にわかりやすく提示する。車両の運転者は、車両外の目視で警告対象のオブジェクトを確認できない場合であっても、車両外の景色と同様の第２映像に第２オブジェクト範囲ＯＢＪ＿Ｒ２が描画されているため、適切に警告対象のオブジェクトの位置を把握することができる。また、運転者に警告対象のオブジェクトの位置を適切に把握させることで、表示画像を目視する時間や回数を減少させ、進行方向の目視に運転者の注意をより多く向けることができる。

【0028】

実施の形態２
実施の形態２では、実施の形態１にかかる警告装置１の別の形態となる警告装置２について説明する。なお、実施の形態２の説明では、実施の形態１で説明した構成用途と同じ構成要素には実施の形態１と同じ符号を付して説明を省略する。

【0029】

図６に実施の形態２にかかる警告装置２のブロック図を示す。図６に示すように、実施の形態２にかかる警告装置２は、実施の形態１にかかる警告装置１に車室内撮影カメラ１５を追加し、警報制御装置１０を警報制御装置３０に置き換えたものである。警報制御装置３０は、警報制御装置１０に第３映像取得部２６及び視線検出部２７を追加したものである。

【0030】

車室内撮影カメラ１５は、車室内の運転者を撮影する。特に車室内撮影カメラ１５は、運転者が表示部１４に向ける視線がわかるように運転者を撮影するように設置される。第３映像取得部２６は、車室内撮影カメラ１５が撮影した映像を取得して視線検出部２７に伝達する。視線検出部２７は、車両の運転者の視線の向きを検出する。そして、表示制御部２５は、検出部２３が警告対象となるオブジェクトを検出した場合、第１オブジェクト範囲を描画した第１映像を表示部に表示させ、車両の運転者が表示部１４を所定時間以上見た場合、または見返した場合、第２オブジェクト範囲を描画した第２映像を表示させる。所定時間とは、例えば３秒などである。また、見返した場合とは、車両の運転者が、第１オブジェクト範囲が描画されている第１映像が表示されている表示部１４を見てから車両の前方を見た後、例えば３秒以内に再度第１オブジェクト範囲が描画されている第１映像が表示されている表示部１４を見た場合などである。

【0031】

車両の運転者が、第１オブジェクト範囲が描画されている第１映像が表示されている表示部１４を所定時間以上見た場合とは、表示部１４に表示されている第１映像においては、警告対象となるオブジェクトを示す第１オブジェクト範囲が表示されているにも関わらず、車両外の目視で警告対象となるオブジェクトが確認できない場合である。また、車両の運転者が、第１オブジェクト範囲が描画されている第１映像が表示されている表示部１４を見返した場合も同様である。

【0032】

ここで、図７に実施の形態２にかかる警告装置２の動作を説明する図を示す。図７は、運転者が表示部１４を見返したときのみ第２オブジェクト範囲を描画した第２映像を表示させる場合の警告装置２の動作について説明したものである。

【0033】

図７に示すように、実施の形態２にかかる警告装置２の動作は、図５に示した実施の形態１にかかる警告装置１の動作にステップＳ２１の動作を追加したものである。ステップＳ２１は、ステップＳ４において検出部２３がオブジェクトＯＢＪを検出した後に行われる。警告装置２では、オブジェクトＯＢＪが未検出状態では表示部１４に遠赤外線カメラ１１により撮影された第１映像が映し出されており、第２オブジェクト範囲ＯＢＪ＿Ｒ２を表示しなくても、運転者がオブジェクトＯＢＪを認識できていれば、第２オブジェクト範囲ＯＢＪ＿Ｒ２を含む第２映像を流す（ステップＳ５～Ｓ７の処理を行う）ことなく、第１映像の表示を継続する（ステップＳ２１）。

【0034】

上記説明より、実施の形態２にかかる警告装置２では、運転者が第２映像によるオブジェクトＯＢＪの確認が必要となった状態であることが判断された場合に、第２オブジェクト範囲が描画されている第２映像を表示することができる。

【0035】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0036】

１、２ 警告装置
１０、３０ 警報制御装置
１１ 遠赤外線カメラ
１２ 可視光カメラ
１３ 認識辞書記憶部
１４ 表示部
１５ 車室内撮影カメラ
２１ 第１映像取得部
２２ 第２映像取得部
２３ 検出部
２４ 範囲特定部
２５ 表示制御部
２６ 第３映像取得部
２７ 視線検出部
ＯＰ 可視光カメラ撮影範囲
ＩＲ 遠赤外線カメラ撮影範囲
ＯＢＪ オブジェクト
ＯＢＪ＿Ｒ１ 第１オブジェクト範囲
ＯＢＪ＿Ｒ２ 第２オブジェクト範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】