▶ パナソニックオートモーティブシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024142033
(43)【公開日】2024-10-10
(54)【発明の名称】閾値設定装置、閾値設定方法およびプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20241003BHJP
G08G 1/16 20060101ALI20241003BHJP
B60R 1/04 20060101ALI20241003BHJP
【ＦＩ】
H04N7/18 J
G08G1/16 C
B60R1/04 Z
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023053990
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】322003857
【氏名又は名称】パナソニックオートモーティブシステムズ株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】伊藤 崚
(72)【発明者】
【氏名】今村 隼
(72)【発明者】
【氏名】鈴木 貴之
(72)【発明者】
【氏名】帆谷 竜起
(72)【発明者】
【氏名】山下 明俊
【テーマコード（参考）】
5C054
5H181
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054FC12
5C054FE13
5C054FE14
5C054FE16
5C054GB02
5C054HA30
5H181AA01
5H181BB04
5H181BB13
5H181CC04
5H181FF25
5H181FF27
5H181FF33
5H181FF35
5H181LL01
5H181LL04
5H181LL07
5H181LL08
(57)【要約】
【課題】警告のための適切な閾値を容易に設定することができる閾値設定装置を提供する。
【解決手段】閾値設定装置１０は、車両Ｖに対して所定距離よりも近くに接近する警告対象物に対して警告を行うために、所定距離に対応する閾値を設定する装置であって、閾値処理部１２と画像処理部１１とを備える。閾値処理部１２は、カメラ２０による車両Ｖの周辺の撮像によって得られるカメラ画像中の垂直方向の位置である指定位置を、ユーザｕによる操作に応じて取得し、その指定位置に応じた大きさであって、かつ、警告対象物を模した形状を有するアイコンを生成する。画像処理部１１は、アイコンをカメラ画像中の指定位置に重畳し、アイコンが重畳されたカメラ画像をディスプレイ３１ａに表示する。閾値処理部１２は、表示されるアイコンに基づくユーザｕによる決定操作に応じて、指定位置を閾値として設定する。
【選択図】図２
【解決手段】閾値設定装置１０は、車両Ｖに対して所定距離よりも近くに接近する警告対象物に対して警告を行うために、所定距離に対応する閾値を設定する装置であって、閾値処理部１２と画像処理部１１とを備える。閾値処理部１２は、カメラ２０による車両Ｖの周辺の撮像によって得られるカメラ画像中の垂直方向の位置である指定位置を、ユーザｕによる操作に応じて取得し、その指定位置に応じた大きさであって、かつ、警告対象物を模した形状を有するアイコンを生成する。画像処理部１１は、アイコンをカメラ画像中の指定位置に重畳し、アイコンが重畳されたカメラ画像をディスプレイ３１ａに表示する。閾値処理部１２は、表示されるアイコンに基づくユーザｕによる決定操作に応じて、指定位置を閾値として設定する。
【選択図】図２
【特許請求の範囲】
【請求項1】
車両に対して所定距離よりも近くに接近する警告対象物に対して警告を行うために、前記所定距離に対応する閾値を設定する閾値設定装置であって、
前記車両に配置されているカメラによる前記車両の周辺の撮像によって得られるカメラ画像中の垂直方向の位置である指定位置を、ユーザによる操作に応じて取得し、前記指定位置に応じた大きさであって、かつ、前記警告対象物を模した形状を有するアイコンを生成する閾値処理部と、
生成された前記アイコンを前記カメラ画像中の前記指定位置に重畳し、前記アイコンが重畳された前記カメラ画像をアイコン重畳画像としてディスプレイに表示する画像処理部とを備え、
前記閾値処理部は、
表示される前記アイコン重畳画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定する、
閾値設定装置。
前記車両に配置されているカメラによる前記車両の周辺の撮像によって得られるカメラ画像中の垂直方向の位置である指定位置を、ユーザによる操作に応じて取得し、前記指定位置に応じた大きさであって、かつ、前記警告対象物を模した形状を有するアイコンを生成する閾値処理部と、
生成された前記アイコンを前記カメラ画像中の前記指定位置に重畳し、前記アイコンが重畳された前記カメラ画像をアイコン重畳画像としてディスプレイに表示する画像処理部とを備え、
前記閾値処理部は、
表示される前記アイコン重畳画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定する、
閾値設定装置。
【請求項2】
前記閾値設定装置は、さらに、
前記カメラ画像に対する画像認識処理によって、前記車両の周辺を走行している他車両を検知する物体検知部を備え、
前記画像処理部および前記閾値処理部は、
前記物体検知部によって前記他車両が検知されていない場合には、
前記アイコン重畳画像を表示して前記閾値を設定する第１閾値設定処理を行い、
前記物体検知部によって前記他車両が検知されている場合には、
前記アイコン重畳画像を表示することなく前記閾値を設定する第２閾値設定処理を行う、
請求項１に記載の閾値設定装置。
前記カメラ画像に対する画像認識処理によって、前記車両の周辺を走行している他車両を検知する物体検知部を備え、
前記画像処理部および前記閾値処理部は、
前記物体検知部によって前記他車両が検知されていない場合には、
前記アイコン重畳画像を表示して前記閾値を設定する第１閾値設定処理を行い、
前記物体検知部によって前記他車両が検知されている場合には、
前記アイコン重畳画像を表示することなく前記閾値を設定する第２閾値設定処理を行う、
請求項１に記載の閾値設定装置。
【請求項3】
前記第２閾値設定処理では、
前記画像処理部は、
前記カメラ画像中の前記指定位置を通る水平ラインを前記カメラ画像に重畳し、前記水平ラインが重畳された前記カメラ画像をライン重畳画像として前記ディスプレイに表示し、
前記閾値処理部は、
表示される前記ライン重畳画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定する、
請求項２に記載の閾値設定装置。
前記画像処理部は、
前記カメラ画像中の前記指定位置を通る水平ラインを前記カメラ画像に重畳し、前記水平ラインが重畳された前記カメラ画像をライン重畳画像として前記ディスプレイに表示し、
前記閾値処理部は、
表示される前記ライン重畳画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定する、
請求項２に記載の閾値設定装置。
【請求項4】
前記第２閾値設定処理では、
前記画像処理部は、
前記他車両が映し出されている前記カメラ画像に対してオブジェクトの重畳を行うことなく前記カメラ画像を前記ディスプレイに表示し、
前記閾値処理部は、
前記他車両が映し出されている前記カメラ画像に含まれる複数のフレームのうち、前記ユーザによる選択操作に応じたフレームに映し出されている前記他車両の垂直方向の位置を前記閾値として設定する、
請求項２に記載の閾値設定装置。
前記画像処理部は、
前記他車両が映し出されている前記カメラ画像に対してオブジェクトの重畳を行うことなく前記カメラ画像を前記ディスプレイに表示し、
前記閾値処理部は、
前記他車両が映し出されている前記カメラ画像に含まれる複数のフレームのうち、前記ユーザによる選択操作に応じたフレームに映し出されている前記他車両の垂直方向の位置を前記閾値として設定する、
請求項２に記載の閾値設定装置。
【請求項5】
前記画像処理部は、
前記ユーザによる選択操作が行われたときには、
前記他車両が映し出されていないベース画像中の重畳対象位置に確認用アイコンを重畳し、前記確認用アイコンが重畳された前記ベース画像を確認用画像として前記ディスプレイに表示し、
前記重畳対象位置は、
前記選択操作に応じたフレームに映し出されている前記他車両の垂直方向の位置と同一の位置であり、
前記確認用アイコンは、
前記重畳対象位置に応じた大きさであって、かつ、前記他車両を模した形状を有し、
前記閾値処理部は、
表示される前記確認用画像に基づくユーザによる決定操作に応じて、前記他車両の垂直方向の位置を前記閾値として設定する、
請求項４に記載の閾値設定装置。
前記ユーザによる選択操作が行われたときには、
前記他車両が映し出されていないベース画像中の重畳対象位置に確認用アイコンを重畳し、前記確認用アイコンが重畳された前記ベース画像を確認用画像として前記ディスプレイに表示し、
前記重畳対象位置は、
前記選択操作に応じたフレームに映し出されている前記他車両の垂直方向の位置と同一の位置であり、
前記確認用アイコンは、
前記重畳対象位置に応じた大きさであって、かつ、前記他車両を模した形状を有し、
前記閾値処理部は、
表示される前記確認用画像に基づくユーザによる決定操作に応じて、前記他車両の垂直方向の位置を前記閾値として設定する、
請求項４に記載の閾値設定装置。
【請求項6】
前記閾値設定装置は、さらに、
前記物体検知部によって前記他車両が検知されていないときに前記カメラ画像を録画画像として録画する録画部を備え、
前記アイコン重畳画像は、前記カメラによる現在の撮像によって得られる前記カメラ画像に、前記閾値処理部によって生成された前記アイコンが重畳された画像であり、
前記第２閾値設定処理では、
前記画像処理部は、
前記閾値処理部によって生成された前記アイコンを、前記録画部によって過去に録画された前記録画画像中の前記指定位置に重畳し、前記アイコンが重畳された前記録画画像をアイコン重畳録画画像として前記ディスプレイに表示し、
前記閾値処理部は、
表示される前記アイコン重畳録画画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定する、
請求項２に記載の閾値設定装置。
前記物体検知部によって前記他車両が検知されていないときに前記カメラ画像を録画画像として録画する録画部を備え、
前記アイコン重畳画像は、前記カメラによる現在の撮像によって得られる前記カメラ画像に、前記閾値処理部によって生成された前記アイコンが重畳された画像であり、
前記第２閾値設定処理では、
前記画像処理部は、
前記閾値処理部によって生成された前記アイコンを、前記録画部によって過去に録画された前記録画画像中の前記指定位置に重畳し、前記アイコンが重畳された前記録画画像をアイコン重畳録画画像として前記ディスプレイに表示し、
前記閾値処理部は、
表示される前記アイコン重畳録画画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定する、
請求項２に記載の閾値設定装置。
【請求項7】
前記閾値設定装置は、さらに、
前記カメラ画像に映し出されている前記他車両の垂直方向の位置を、前記車両から前記他車両までの車間距離に変換する距離変換処理を行う距離変換部と、
前記カメラ画像に含まれる複数のフレームを録画する録画部とを備え、
前記録画部は、
予め定められた複数の設定距離のそれぞれについて、当該設定距離と等しい前記車間距離に対応するフレームを録画し、
前記第２閾値設定処理では、
前記画像処理部は、
録画された前記複数のフレームを前記複数の設定距離にそれぞれ関連付けて前記ディスプレイに表示し、
前記閾値処理部は、
表示される前記複数のフレームから１つのフレームを選択するユーザの選択操作に応じて、選択されたフレームに映し出されている前記他車両の垂直方向の位置を前記閾値として設定する、
請求項２に記載の閾値設定装置。
前記カメラ画像に映し出されている前記他車両の垂直方向の位置を、前記車両から前記他車両までの車間距離に変換する距離変換処理を行う距離変換部と、
前記カメラ画像に含まれる複数のフレームを録画する録画部とを備え、
前記録画部は、
予め定められた複数の設定距離のそれぞれについて、当該設定距離と等しい前記車間距離に対応するフレームを録画し、
前記第２閾値設定処理では、
前記画像処理部は、
録画された前記複数のフレームを前記複数の設定距離にそれぞれ関連付けて前記ディスプレイに表示し、
前記閾値処理部は、
表示される前記複数のフレームから１つのフレームを選択するユーザの選択操作に応じて、選択されたフレームに映し出されている前記他車両の垂直方向の位置を前記閾値として設定する、
請求項２に記載の閾値設定装置。
【請求項8】
車両に対して所定距離よりも近くに接近する警告対象物に対して警告を行うために、前記所定距離に対応する閾値を設定する閾値設定方法であって、
前記車両に配置されているカメラによる前記車両の周辺の撮像によって得られるカメラ画像中の垂直方向の位置である指定位置を、ユーザによる操作に応じて取得し、前記指定位置に応じた大きさであって、かつ、前記警告対象物を模した形状を有するアイコンを生成し、
生成された前記アイコンを前記カメラ画像中の前記指定位置に重畳し、前記アイコンが重畳された前記カメラ画像をアイコン重畳画像としてディスプレイに表示し、
表示される前記アイコン重畳画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定する、
閾値設定方法。
前記車両に配置されているカメラによる前記車両の周辺の撮像によって得られるカメラ画像中の垂直方向の位置である指定位置を、ユーザによる操作に応じて取得し、前記指定位置に応じた大きさであって、かつ、前記警告対象物を模した形状を有するアイコンを生成し、
生成された前記アイコンを前記カメラ画像中の前記指定位置に重畳し、前記アイコンが重畳された前記カメラ画像をアイコン重畳画像としてディスプレイに表示し、
表示される前記アイコン重畳画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定する、
閾値設定方法。
【請求項9】
車両に対して所定距離よりも近くに接近する警告対象物に対して警告を行うために、前記所定距離に対応する閾値を設定するためのプログラムであって、
前記車両に配置されているカメラによる前記車両の周辺の撮像によって得られるカメラ画像中の垂直方向の位置である指定位置を、ユーザによる操作に応じて取得し、前記指定位置に応じた大きさであって、かつ、前記警告対象物を模した形状を有するアイコンを生成し、
生成された前記アイコンを前記カメラ画像中の前記指定位置に重畳し、前記アイコンが重畳された前記カメラ画像をアイコン重畳画像としてディスプレイに表示し、
表示される前記アイコン重畳画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定する、
ことをコンピュータに実行させるプログラム。
前記車両に配置されているカメラによる前記車両の周辺の撮像によって得られるカメラ画像中の垂直方向の位置である指定位置を、ユーザによる操作に応じて取得し、前記指定位置に応じた大きさであって、かつ、前記警告対象物を模した形状を有するアイコンを生成し、
生成された前記アイコンを前記カメラ画像中の前記指定位置に重畳し、前記アイコンが重畳された前記カメラ画像をアイコン重畳画像としてディスプレイに表示し、
表示される前記アイコン重畳画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定する、
ことをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両に対して所定距離よりも近くに接近する警告対象物に対して警告を行うために、その所定距離に対応する閾値を設定する装置などに関する。
【背景技術】
【0002】
従来、車両の後方を走行する後方車両が、その車両に所定距離よりも近くに接近すると、ユーザに対して警告を行う警告システムが提案されている。このような警告システムは、カメラと、バックミラーまたはルームミラーとして用いられる電子ミラーとを備え、その電子ミラーには、カメラによる撮像によって得られた画像が表示される。その画像には、後方車両などの物体が映し出される。車両のユーザは、電子ミラーに映し出される画像中の垂直方向の位置を指定することによって、上述の所定距離に対応する閾値を設定することができる。つまり、電子ミラーの画像における、ユーザによって指定された位置よりも下方に、後方車両が映し出されれば、警告が行われる。したがって、その位置が閾値として扱われる。
【0003】
ここで、従来の警告システムでは、電子ミラーの画像上の位置の指定を受け付けるために、その画像に水平ラインが映し出される。ユーザは、その水平ラインを垂直方向に移動させることによって、その水平ラインの所望の位置を閾値として設定する。つまり、このような警告システムは、その閾値を設定する閾値設定装置を備えている。
【0004】
なお、特許文献１には、監視カメラの監視エリア設定装置が開示されている。この監視エリア設定装置は、監視カメラによって得られる映像中の監視対象とされるエリアを監視エリアとして設定する。具体的には、監視エリア設定装置は、実空間における監視対象水平面上に設置された３点のマーカを画像処理によって検出し、それらのマーカを結ぶ直線を用いて監視エリアを設定する。
【0005】
従来の閾値設定装置は、上記特許文献１の監視エリア設定装置が直線を用いて監視エリアを設定しているように、水平ラインを用いて警告のための閾値を設定している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第４１４０１５９号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来の閾値設定装置では、水平ラインの位置が、実空間において車両からどれだけ離れた位置に相当するかが、分かり難い。つまり、水平ラインの位置と、実空間における車両と警告対象物との間の距離と、の関係が分かり難い。仮に、実空間上のサイズまたは距離を把握し得る目印などがその画像に映し出されていなければ、上述の関係を把握するために、ユーザは、その目印がカメラによって撮像されるように、車両を運転しなければならない。このとき、ユーザは、路面を走行する後方車両にも気を付ける必要があるため、閾値の設定には危険が伴う可能性がある。その結果、ユーザが適切な閾値を設定することが難しいという課題がある。また、警告システム、あるいは、その警告システムが搭載された車両を購入したばかりのユーザでは、なおさら、上述の関係を把握することは困難であり、適切な閾値を設定することができない可能性が高い。
【0008】
そこで、本開示は、警告のための適切な閾値を容易に設定することができる閾値設定装置などを提供する。
【課題を解決するための手段】
【0009】
本開示の一態様に係る閾値設定装置は、車両に対して所定距離よりも近くに接近する警告対象物に対して警告を行うために、前記所定距離に対応する閾値を設定する閾値設定装置であって、前記車両に配置されているカメラによる前記車両の周辺の撮像によって得られるカメラ画像中の垂直方向の位置である指定位置を、ユーザによる操作に応じて取得し、前記指定位置に応じた大きさであって、かつ、前記警告対象物を模した形状を有するアイコンを生成する閾値処理部と、生成された前記アイコンを前記カメラ画像中の前記指定位置に重畳し、前記アイコンが重畳された前記カメラ画像をアイコン重畳画像としてディスプレイに表示する画像処理部とを備え、前記閾値処理部は、表示される前記アイコン重畳画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定する。
【0010】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
【発明の効果】
【0011】
本開示の閾値設定装置は、警告のための適切な閾値を容易に設定することができる。
【0012】
なお、本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施の形態並びに明細書および図面に記載された構成によって提供されるが、必ずしも全ての構成が必要とはされない。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
本開示の第１態様に係る閾値設定装置は、車両に対して所定距離よりも近くに接近する警告対象物に対して警告を行うために、前記所定距離に対応する閾値を設定する閾値設定装置であって、前記車両に配置されているカメラによる前記車両の周辺の撮像によって得られるカメラ画像中の垂直方向の位置である指定位置を、ユーザによる操作に応じて取得し、前記指定位置に応じた大きさであって、かつ、前記警告対象物を模した形状を有するアイコンを生成する閾値処理部と、生成された前記アイコンを前記カメラ画像中の前記指定位置に重畳し、前記アイコンが重畳された前記カメラ画像をアイコン重畳画像としてディスプレイに表示する画像処理部とを備え、前記閾値処理部は、表示される前記アイコン重畳画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定する。
【0015】
これにより、ユーザが指定位置を操作すれば、その指定位置に応じた大きさで、かつ、警告対象物の形状を有するアイコンが、カメラ画像中のその指定位置に重畳されて表示される。警告対象物は、例えば、車両の後方を走行する後方車両である。そして、例えば、指定位置が下方にあるほど、その指定位置に大きなアイコンが表示され、逆に、指定位置が上方にあるほど、その指定位置に小さなアイコンが表示される。したがって、そのアイコンは、車両からその指定位置に応じた距離だけ後方に離れて走行する警告対象物のように、カメラ画像に映し出される。その結果、ユーザは、そのアイコンを見れば、指定位置と、車両から警告対象物までの距離との関係を容易に把握することができる。そして、ユーザは、そのアイコンを見ながら決定操作を行えば、その指定位置を閾値として容易に設定することができる。したがって、警告のための適切な閾値を容易に設定することができる。
【0016】
また、第１態様に従属する第２態様に係る閾値設定装置は、さらに、前記カメラ画像に対する画像認識処理によって、前記車両の周辺を走行している他車両を検知する物体検知部を備え、前記画像処理部および前記閾値処理部は、前記物体検知部によって前記他車両が検知されていない場合には、前記アイコン重畳画像を表示して前記閾値を設定する第１閾値設定処理を行い、前記物体検知部によって前記他車両が検知されている場合には、前記アイコン重畳画像を表示することなく前記閾値を設定する第２閾値設定処理を行ってもよい。
【0017】
例えば、車両の後方を走行する後方車両がカメラ画像に他車両として映し出されている場合に、そのカメラ画像にアイコンが重畳されて表示されると、そのアイコンは他車両の像に重ねられる可能性がある。したがって、ユーザにとってアイコンの認識が困難になり、閾値を容易に設定することができない可能性がある。しかし、第２態様では、カメラ画像に他車両が映し出される場合には、その他車両が検知され、アイコン重畳画像を表示することなく、すなわち、アイコンがカメラ画像に重畳されて表示されることなく、閾値が設定される。つまり、第２閾値設定処理が行われる。なお、カメラ画像に他車両が映し出されていない場合には、上述のアイコンがカメラ画像に重畳されて表示される第１閾値設定処理が行われる。したがって、アイコンの認識が困難になる可能性がある場合には、アイコンは表示されずに閾値が設定されるため、ユーザによる閾値の設定のための困難な操作を軽減することができる。
【0018】
また、第２態様に従属する第３態様に係る閾値設定装置において、前記第２閾値設定処理では、前記画像処理部は、前記カメラ画像中の前記指定位置を通る水平ラインを前記カメラ画像に重畳し、前記水平ラインが重畳された前記カメラ画像をライン重畳画像として前記ディスプレイに表示し、前記閾値処理部は、表示される前記ライン重畳画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定してもよい。
【0019】
これにより、第２閾値設定処理では、水平ラインが、カメラ画像中の指定位置に重畳されて表示される。したがって、その水平ラインが仮に他車両の像に重ねられた場合でも、ユーザによるその水平ラインの認識が困難になる可能性を抑えることができる。そして、ユーザは、その水平ラインを見ながら決定操作を行えば、その指定位置を閾値として容易に設定することができる。したがって、カメラ画像に他車両が映し出されているか否かに関わらず、警告のための適切な閾値を容易に設定することができる。
【0020】
また、第２態様に従属する第４態様に係る閾値設定装置において、前記第２閾値設定処理では、前記画像処理部は、前記他車両が映し出されている前記カメラ画像に対してオブジェクトの重畳を行うことなく前記カメラ画像を前記ディスプレイに表示し、前記閾値処理部は、前記他車両が映し出されている前記カメラ画像に含まれる複数のフレームのうち、前記ユーザによる選択操作に応じたフレームに映し出されている前記他車両の垂直方向の位置を前記閾値として設定してもよい。なお、カメラ画像は、複数のフレームからなる動画像である。
【0021】
例えば、ユーザは、例えば、車両を路肩に停めている状態、あるいは、車両が走行している状態において、その車両の後方を走行する他車両が車両に近付いているときに、その他車両が映し出されているカメラ画像を見ながらフレームの選択操作を行う。つまり、ユーザは、そのカメラ画像を見ながら、他車両が車両から所望の距離まで近付いた状況を示すフレームが表示されたときに、選択操作を行う。第４態様では、このようなユーザによる選択操作に応じたフレームに映し出されている他車両の垂直方向の位置が閾値して設定される。したがって、ユーザは、閾値と、車両から警告対象物（すなわち他車両）までの距離との関係を把握しながら、その閾値を容易に設定することができる。したがって、カメラ画像に他車両が映し出されているか否かに関わらず、警告のための適切な閾値を容易に設定することができる。
【0022】
また、第４態様に従属する第５態様に係る閾値設定装置では、前記画像処理部は、前記ユーザによる選択操作が行われたときには、前記他車両が映し出されていないベース画像中の重畳対象位置に確認用アイコンを重畳し、前記確認用アイコンが重畳された前記ベース画像を確認用画像として前記ディスプレイに表示し、前記重畳対象位置は、前記選択操作に応じたフレームに映し出されている前記他車両の垂直方向の位置と同一の位置であり、前記確認用アイコンは、前記重畳対象位置に応じた大きさであって、かつ、前記他車両を模した形状を有し、前記閾値処理部は、表示される前記確認用画像に基づくユーザによる決定操作に応じて、前記他車両の垂直方向の位置を前記閾値として設定してもよい。
【0023】
これにより、ユーザによる選択操作が行われたときには、閾値の設定の前に、確認用画像がディスプレイに表示される。この確認用画像では、他車両が映し出されていないベース画像に確認用アイコンが重畳されている。したがって、ユーザは、その確認用アイコンを容易に認識することができる。さらに、その確認用アイコンは、選択操作によって選択されたフレームに映し出されている他車両の垂直方向の位置（すなわち重畳対象位置）に応じた大きさであって、かつ、その他車両を模した形状を有する。また、その重畳対象位置である他車両の垂直方向の位置は、仮決めの閾値とされている。したがって、ユーザは、その確認用アイコンを見れば、仮決めの閾値と、車両から警告対象物までの距離との関係を容易に把握することができる。そして、ユーザは、その確認用アイコンを見ながら決定操作を行えば、その他車両の垂直方向の位置を閾値として容易に設定することができる。したがって、カメラ画像に他車両が映し出されているか否かに関わらず、警告のための適切な閾値を容易に設定することができる。
【0024】
また、第２態様に従属する第６態様に係る閾値設定装置は、さらに、前記物体検知部によって前記他車両が検知されていないときに前記カメラ画像を録画画像として録画する録画部を備え、前記アイコン重畳画像は、前記カメラによる現在の撮像によって得られる前記カメラ画像に、前記閾値処理部によって生成された前記アイコンが重畳された画像であり、前記第２閾値設定処理では、前記画像処理部は、前記閾値処理部によって生成された前記アイコンを、前記録画部によって過去に録画された前記録画画像中の前記指定位置に重畳し、前記アイコンが重畳された前記録画画像をアイコン重畳録画画像として前記ディスプレイに表示し、前記閾値処理部は、表示される前記アイコン重畳録画画像に基づくユーザによる決定操作に応じて、前記指定位置を前記閾値として設定してもよい。
【0025】
これにより、第２閾値設定処理では、過去に録画された、他車両が映し出されていないカメラ画像である録画画像にアイコンが重畳されて表示される。したがって、ユーザは、そのアイコンを容易に認識することができる。そして、ユーザは、そのアイコンを見ながら決定操作を行えば、指定位置を閾値として容易に設定することができる。したがって、カメラ画像に他車両が映し出されているか否かに関わらず、警告のための適切な閾値を容易に設定することができる。
【0026】
また、第２態様に従属する第７態様に係る閾値設定装置は、さらに、前記カメラ画像に映し出されている前記他車両の垂直方向の位置を、前記車両から前記他車両までの車間距離に変換する距離変換処理を行う距離変換部と、前記カメラ画像に含まれる複数のフレームを録画する録画部とを備え、前記録画部は、予め定められた複数の設定距離のそれぞれについて、当該設定距離と等しい前記車間距離に対応するフレームを録画し、前記第２閾値設定処理では、前記画像処理部は、録画された前記複数のフレームを前記複数の設定距離にそれぞれ関連付けて前記ディスプレイに表示し、前記閾値処理部は、表示される前記複数のフレームから１つのフレームを選択するユーザの選択操作に応じて、選択されたフレームに映し出されている前記他車両の垂直方向の位置を前記閾値として設定してもよい。なお、カメラ画像は、複数のフレームからなる動画像である。
【0027】
例えば、ユーザが車両を路肩に停めている状態、あるいは、車両が走行している状態において、その車両の後方を走行する他車両が車両に近付いている場合に、車両と他車両との間の車間距離が、複数の設定距離の何れかに一致したときには、その車間距離にある他車両が映し出されているフレームが録画される。具体的な例では、車間距離が１０ｍであるときのフレーム、車間距離が２０ｍであるときのフレーム、および車間距離が３０ｍであるときのフレームが録画される。なお、これらの車間距離は、何れかの設定距離に一致している。また、複数の設定距離のそれぞれは、フレーム中の垂直方向の位置、すなわち閾値の候補に対応している。その後、車両が走行していれば、ユーザは、車両を路肩に停めるなどして安全を確認した後、これらのフレームが複数の設定距離にそれぞれ関連付けて表示され、ユーザによる選択操作に応じて、それらのフレームから選択されたフレームに映し出されている他車両の垂直方向の位置が閾値に設定される。したがって、ユーザは、複数のフレームのそれぞれについて、そのフレームに対応する閾値の候補と、そのフレームに対応する車間距離との関係を、容易に、かつ急ぐことなく把握しながら、フレームを選択することによって、所望の閾値を容易に設定することができる。したがって、カメラ画像に他車両が映し出されているか否かに関わらず、警告のための適切な閾値を容易に設定することができる。
【0028】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0029】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【0030】
（実施の形態１）
図１は、本実施の形態における警告システムが設置されている車室の一例を示す図である。
図１は、本実施の形態における警告システムが設置されている車室の一例を示す図である。
【0031】
本実施の形態における警告システム１は、車両Ｖに搭載される。このような警告システム１は、バックミラーまたはルームミラーとして用いられる電子ミラー３１を備える。電子ミラー３１は、液晶ディスプレイまたは有機ＥＬ（Electro-Luminescence）ディスプレイを有し、車両Ｖの後部に配置されたカメラによる撮像によって得られる画像を表示する。なお、その画像は、以下、カメラ画像とも呼ばれる。警告システム１は、カメラ画像に映し出される後方車両が車両Ｖに所定距離よりも近くに近付くと、車両Ｖのユーザに対して警告を行う。なお、ユーザは、車両Ｖを運転する運転者であってもよく、その車両Ｖの搭乗者であってもよい。その所定距離は、例えば、車両Ｖのインスツルメントパネル５１または電子ミラー３１に配置されているスライダーバー、スイッチなどによって調整されてもよい。そして、警告は、例えば車両Ｖの左スピーカ５２ａおよび右スピーカ５２ｂ、あるいは、電子ミラー３１に備えられているスピーカから出力される音によって行われてもよい。あるいは、警告は、電子ミラー３１またはインスツルメントパネル５１のディスプレイによる警告マークなどの表示によって行われてもよい。
【0032】
図２は、警告システム１の構成を示すブロック図である。
【0033】
警告システム１は、閾値設定装置１０、カメラ２０、物体検知部２１、警告処理部２２、ディスプレイ３１ａ、操作部３２、および警告部３３を備える。
【0034】
ディスプレイ３１ａは、例えば液晶ディスプレイまたは有機ＥＬディスプレイであって、電子ミラー３１に備えられている。
【0035】
操作部３２は、例えばスライダーバー、スイッチなどであって、車両Ｖのユーザｕによる操作を受け付け、その操作に応じた操作信号を出力する。このような操作部３２は、電子ミラー３１に配置されていていてもよく、インスツルメントパネル５１に配置されてもよい。また、操作部３２は、電子ミラー３１のディスプレイ３１ａと一体に構成されていてもよい。この場合、操作部３２およびディスプレイ３１ａは、タッチパネルとして一体に構成される。
【0036】
カメラ２０は、車両Ｖの後部に配置され、車両Ｖの後方を撮像し、その撮像によって得られる画像であるカメラ画像を出力する。なお、本開示のカメラ画像は、基本的に、撮像が行われたタイミングに得られる動画像であるが、これに限定されるとなく、静止画像であってもよい。
【0037】
物体検知部２１は、カメラ２０からカメラ画像を取得し、そのカメラ画像に対する画像認識処理を実行することによって、そのカメラ画像に映し出されている物体であって、車両Ｖの周辺を走行している他車両を検知する。例えば、物体検知部２１は、車両Ｖの後方を走行する後方車両を物体として検知し、その検知結果を示す検知情報を出力する。検知情報は、例えば、カメラ画像において検知された後方車両の位置と、その物体の種別（例えば車種など）とを示す。
【0038】
警告処理部２２は、物体検知部２１から検知情報を取得し、その検知情報によって示されるカメラ画像中の後方車両の位置が、閾値よりも垂直方向の下方にあるか否かを判定する。そして、警告処理部２２は、後方車両の位置が閾値よりも下方にあると判定すると、警告信号を出力する。
【0039】
警告部３３は、例えばディスプレイおよびスピーカの少なくとも一方を備え、警告信号を警告処理部２２から取得すると、画像の表示、音の出力などによって、その後方車両の接近を警告する。このような警告部３３は、左スピーカ５２ａおよび右スピーカ５２ｂから構成されていてもよく、電子ミラー３１に配置されているスピーカとして構成されていてもよい。また、警告部３３は、電子ミラー３１のディスプレイ３１ａとして構成されていてもよい。
【0040】
閾値設定装置１０は、警告処理部２２に用いられる上述の閾値を、操作部３２から出力される操作信号に応じて設定する。つまり、閾値設定装置１０は、車両Ｖに対して所定距離よりも近くに接近する警告対象物に対して警告を行うために、その所定距離に対応する閾値を設定する装置である。警告対象物は、例えば後方車両である。このような閾値設定装置１０は、画像処理部１１および閾値処理部１２を備える。
【0041】
閾値処理部１２は、操作部３２から操作信号を取得する。その操作信号が閾値操作信号である場合、閾値処理部１２は、その閾値操作信号に応じて、アイコン情報を生成して画像処理部１１に出力する。閾値操作信号は、カメラ画像中の垂直方向の位置である指定位置と、警告対象物の種別（具体的には車種）とを示す。アイコン情報は、アイコンと指定位置とを示す情報である。そのアイコンは、指定位置に応じた大きさであって、閾値操作信号によって示される車種の車両を模した形状を有する。また、閾値処理部１２は、閾値操作信号を取得するごとに、あるいは、閾値操作信号が変更されるごとに、その閾値操作信号に応じたアイコン情報を生成して出力する。つまり、本実施の形態における閾値処理部１２は、車両Ｖに配置されているカメラ２０による車両Ｖの周辺の撮像によって得られるカメラ画像中の垂直方向の位置である指定位置を、ユーザｕによる操作に応じて取得し、その指定位置に応じた大きさであって、かつ、警告対象物を模した形状を有するアイコンを生成する。
【0042】
また、閾値処理部１２は、操作信号が決定操作信号である場合には、直近に取得された閾値操作信号によって示される指定位置を、その閾値操作信号によって示される車種の閾値に設定し、その車種および閾値を警告処理部２２に出力する。つまり、警告対象の車種と、その車種に対応する閾値とが警告処理部２２に出力される。なお、このときには、ユーザｕは、画像処理部１１によってディスプレイ３１ａに表示される後述のアイコン重畳画像を見ながら、決定操作信号が出力されるように操作部３２を操作する。なお、このような操作部３２の操作は、決定操作と呼ばれる。したがって、本実施の形態における閾値処理部１２は、表示されるそのアイコン重畳画像に基づくユーザｕによる決定操作に応じて、その指定位置を閾値として設定する。
【0043】
警告処理部２２は、閾値処理部１２から、警告対象の車種と、その車種に対応する閾値とを取得すると、検知情報に示されている車種が、警告対象物の車種に該当するか否かを判定する。そして、警告処理部２２は、検知情報に示されている車種が、警告対象の車種に該当すると判定すると、さらに、検知情報に示されている後方車両の位置が、その警告対象の車種に対応する閾値よりも垂直方向の下方にあるか否かを判定する。警告処理部２２は、後方車両の位置が閾値よりも下方にあると判定すると、上述の警告信号を出力する。このように、本実施の形態では、車種ごとに閾値が設定され、その車種に該当する警告対象物の位置が、その車種に対応する閾値よりも下方にあれば、その警告対象物の警告が行われる。
【0044】
画像処理部１１は、カメラ２０からカメラ画像を取得し、そのカメラ画像をディスプレイ３１ａに表示する。さらに、画像処理部１１は、閾値処理部１２からアイコン情報を取得すると、カメラ画像中の位置であって、そのアイコン情報によって示される指定位置に、そのアイコン情報によって示されるアイコンを重畳する。そして、画像処理部１１は、そのアイコンが重畳されたカメラ画像であるアイコン重畳画像をディスプレイ３１ａに表示する。つまり、本実施の形態における画像処理部１１は、生成されたアイコンをカメラ画像中の指定位置に重畳し、そのアイコンが重畳されたカメラ画像をアイコン重畳画像としてディスプレイ３１ａに表示する。
【0045】
図３は、アイコン重畳画像の一例を示す図である。
【0046】
例えば、閾値処理部１２は、図３の（ａ）のように、アイコンａを示すアイコン情報を生成する。具体的には、閾値処理部１２は、車種「普通乗用自動車」と、指定位置「Ｙａ」とを示す閾値操作信号を操作部３２から取得する。そして、閾値処理部１２は、指定位置「Ｙａ」に応じた大きさであって、その普通乗用自動車を模した形状を有するアイコンａと、その指定位置「Ｙａ」とを示すアイコン情報を画像処理部１１に出力する。画像処理部１１は、カメラ画像Ｃ１における指定位置「Ｙａ」にアイコンａを重畳することによって、アイコン重畳画像Ｐ１を生成してディスプレイ３１ａに表示する。
【0047】
ここで、ユーザｕは、操作部３２を操作することによって、カメラ画像Ｃ１の垂直方向（すなわち方向Ｙ）における指定位置Ｙａを変更する。つまり、閾値操作信号が変更される。その結果、閾値処理部１２は、そのアイコンａの大きさを、その変更後の指定位置Ｙａに応じて変更する。例えば、閾値処理部１２は、指定位置Ｙａが低いほど（すなわち０に近いほど）、アイコンａを大きく、逆に、指定位置Ｙａが高いほど（すなわち０から遠いほど）、アイコンａを小さくする。また、画像処理部１１は、その変更後の指定位置Ｙａにアイコンａを移動させる。つまり、指定位置Ｙａに重畳されるアイコンａは、その指定位置Ｙａに対応する実空間上の位置に普通乗用自動車が走行している場合に、その普通乗用自動車がカメラ画像Ｃ１に映し出される大きさと同じ大きさで表示される。これにより、ユーザｕは、アイコン重畳画像Ｐ１のアイコンａを見れば、閾値と、その閾値に対応する実空間上の位置との関係、あるいは、閾値と、その閾値に対応する実空間上の車間距離との関係を、容易に把握ことができる。なお、車間距離は、車両Ｖと警告対象物である普通乗用自動車との間の距離である。
【0048】
あるいは、閾値処理部１２は、図３の（ｂ）のように、アイコンｂを示すアイコン情報を生成する。具体的には、閾値処理部１２は、車種「普通自動二輪車」と、指定位置「Ｙｂ」とを示す閾値操作信号を操作部３２から取得する。そして、閾値処理部１２は、指定位置「Ｙｂ」に応じた大きさであって、その普通自動二輪車を模した形状を有するアイコンｂと、その指定位置「Ｙｂ」とを示すアイコン情報を画像処理部１１に出力する。画像処理部１１は、カメラ画像Ｃ１における指定位置「Ｙｂ」にアイコンｂを重畳することによって、アイコン重畳画像Ｐ１を生成してディスプレイ３１ａに表示する。
【0049】
ここで、ユーザｕは、上述と同様、操作部３２を操作することによって、カメラ画像Ｃ１の垂直方向（すなわち方向Ｙ）における指定位置Ｙａを変更する。つまり、閾値操作信号が変更される。その結果、閾値処理部１２は、そのアイコンｂの大きさを、その変更後の指定位置Ｙｂに応じて変更する。例えば、閾値処理部１２は、指定位置Ｙｂが低いほど（すなわち０に近いほど）、アイコンｂを大きく、逆に、指定位置Ｙｂが高いほど（すなわち０から遠いほど）、アイコンｂを小さくする。また、画像処理部１１は、その変更後の指定位置Ｙｂにアイコンｂを移動させる。つまり、指定位置Ｙｂに重畳されるアイコンｂは、その指定位置Ｙｂに対応する実空間上の位置に普通自動二輪車が走行している場合に、その普通自動二輪車がカメラ画像Ｃ１に映し出される大きさと同じ大きさで表示される。これにより、ユーザｕは、アイコン重畳画像Ｐ１のアイコンｂを見れば、閾値と、その閾値に対応する実空間上の位置との関係、あるいは、閾値と、その閾値に対応する実空間上の車間距離との関係を、容易に把握ことができる。なお、車間距離は、車両Ｖと警告対象物である普通自動二輪車との間の距離である。
【0050】
図４は、閾値設定装置１０の処理動作の一例を示すフローチャートである。
【0051】
閾値設定装置１０の画像処理部１１は、カメラ画像Ｃ１を取得し（ステップＳ１）、そのカメラ画像Ｃ１をディスプレイ３１ａに表示する（ステップＳ２）。このとき、警告システム１の物体検知部２１によって、カメラ画像Ｃ１中の後方車両が検知され、警告処理部２２によって、その後方車両がカメラ画像Ｃ１中の閾値よりも低い位置にあると判定された場合には、警告部３３によって、その後方車両の接近についての警告が行われる。
【0052】
ここで、閾値処理部１２は、操作部３２から閾値操作信号を取得したかを判定する（ステップＳ３）。ここで、閾値操作信号を取得していないと閾値処理部１２によって判定されると（ステップＳ３のＮｏ）、閾値設定装置１０は、後述のステップＳ１１の処理を実行する。一方、閾値処理部１２は、閾値操作信号を取得したと判定すると（ステップＳ３のＹｅｓ）、閾値操作信号によって示される指定位置を距離に変換する（ステップＳ４）。指定位置は、カメラ画像Ｃ１中の垂直方向の位置であって、距離は、車両Ｖから、その指定位置に対応する実空間上の位置までの距離である。なお、このような変換には、カメラ２０のパラメータが用いられる。さらに、閾値処理部１２は、閾値操作信号によって示される車種を模したアイコンの形状と、その距離に応じたアイコンの大きさを決定する（ステップＳ５）。これにより、アイコンが生成される。
【0053】
例えば、車種ごとに、距離と、その車種のアイコンの大きさとの対応関係が、数式またはテーブルによって予め定められている。閾値処理部１２は、その対応関係を用いて、アイコンの大きさを決定してもよい。また、ステップＳ４およびＳ５では、指定位置を距離に変換し、その距離に応じたアイコンの大きさを決定するが、指定位置を距離に変換することなく、その指定位置からアイコンの大きさを直接的に決定してもよい。この場合、例えば、車種ごとに、指定位置と、その車種のアイコンの大きさとの対応関係が、数式またはテーブルによって予め定められている。閾値処理部１２は、その対応関係を用いて、アイコンの大きさを決定してもよい。
【0054】
そして、閾値処理部１２は、その形状および大きさのアイコンと、指定位置とを示すアイコン情報を生成して画像処理部１１に出力する。
【0055】
画像処理部１１は、アイコン情報を閾値処理部１２から取得すると、そのアイコン情報によって示されるカメラ画像Ｃ１中の指定位置に、そのアイコン情報によって示されるアイコンを重畳する（ステップＳ６）。そして、画像処理部１１は、そのアイコンが重畳されたカメラ画像Ｃ１であるアイコン重畳画像Ｐ１をディスプレイ３１ａに表示する（ステップＳ７）。
【0056】
ここで、閾値処理部１２は、閾値操作信号が変更されたか否か、すなわち、閾値操作信号によって示される指定位置が変更されたか否かを判定する（ステップＳ８）。閾値処理部１２は、指定位置が変更されたと判定すると（ステップＳ８のＹｅｓ）、ステップＳ４からの処理を繰り返し実行する。一方、閾値処理部１２は、指定位置が変更されていないと判定すると（ステップＳ８のＮｏ）、さらに、操作部３２から決定操作信号を取得したか否かを判定する（ステップＳ９）。ここで、閾値処理部１２は、決定操作信号を取得していないと判定すると（ステップＳ９のＮｏ）、ステップＳ８からの処理を繰り返し実行する。一方、閾値処理部１２は、決定操作信号を取得したと判定すると（ステップＳ９のＹｅｓ）、直近の閾値操作信号によって示されている指定位置を閾値に設定する（ステップＳ１０）。
【0057】
そして、閾値設定装置１０は、終了条件が満たされているか否かを判定し（ステップＳ１１）、満たされていないと判定すると（ステップＳ１１のＮｏ）、ステップＳ１からの処理を繰り返し実行する。一方、閾値設定装置１０は、終了条件が満たされていると判定すると（ステップＳ１１のＹｅｓ）、全ての処理を終了する。なお、終了条件は、例えば警告システム１の電源がＯＦＦにされたこと、車両ＶのイグニッションスイッチがＯＦＦにされたことなどであってもよく、どのような条件であってもよい。
【0058】
このように、本実施の形態では、ユーザｕが指定位置を操作すれば、その指定位置に応じた大きさで、かつ、警告対象物の形状を有するアイコンが、カメラ画像Ｃ１中のその指定位置に重畳されて表示される。警告対象物は、例えば、車両の後方を走行する後方車両である。そして、例えば、指定位置が下方にあるほど、その指定位置に大きなアイコンが表示され、逆に、指定位置が上方にあるほど、その指定位置に小さなアイコンが表示される。したがって、そのアイコンは、車両Ｖからその指定位置に応じた距離だけ後方に離れて走行する警告対象物のように、カメラ画像Ｃ１に映し出される。その結果、ユーザｕは、そのアイコンを見れば、指定位置と、車両Ｖから警告対象物までの距離との関係を容易に把握することができる。そして、ユーザｕは、そのアイコンを見ながら決定操作を行えば、その指定位置を閾値として容易に設定することができる。したがって、警告のための適切な閾値を容易に設定することができる。
【0059】
（実施の形態２）
本実施の形態における閾値設定装置は、カメラ画像に他車両が映し出されているか否かに応じて、閾値の設定のための処理を切り替える。具体的には、実施の形態１のようにアイコンのカメラ画像への重畳によって閾値を設定する処理である第１閾値設定処理と、アイコンのカメラ画像への重畳を行わずに閾値を設定する処理である第２閾値設定処理とが、切り替えられる。本実施の形態における第２閾値設定処理では、アイコンの代わりに水平ラインが用いられる。
本実施の形態における閾値設定装置は、カメラ画像に他車両が映し出されているか否かに応じて、閾値の設定のための処理を切り替える。具体的には、実施の形態１のようにアイコンのカメラ画像への重畳によって閾値を設定する処理である第１閾値設定処理と、アイコンのカメラ画像への重畳を行わずに閾値を設定する処理である第２閾値設定処理とが、切り替えられる。本実施の形態における第２閾値設定処理では、アイコンの代わりに水平ラインが用いられる。
【0060】
図５は、本実施の形態における警告システムの構成を示すブロック図である。
【0061】
本実施の形態における警告システム２は、閾値設定装置１０ａ、カメラ２０、警告処理部２２、ディスプレイ３１ａ、操作部３２、および警告部３３を備える。なお、本実施の形態における各構成要素のうち、実施の形態１と同一の構成要素については、実施の形態１と同一の符号を付し、詳細な説明を省略する。
【0062】
本実施の形態における閾値設定装置１０ａは、物体検知部２１を備えている。さらに、本実施の形態における閾値設定装置１０ａは、画像処理部１１ａおよび閾値処理部１２を備える。この画像処理部１１ａは、実施の形態１の画像処理部１１としての機能を兼ね備える。つまり、本実施の形態における画像処理部１１ａおよび閾値処理部１２は、物体検知部２１によって後方車両が検知されていない場合には、実施の形態１と同様、アイコン重畳画像Ｐ１をディスプレイ３１ａに表示して閾値を設定する。なお、実施の形態１のように閾値を設定する処理は、第１閾値設定処理とも呼ばれる。一方、物体検知部２１によって後方車両が検知されている場合には、本実施の形態における画像処理部１１ａおよび閾値処理部１２は、アイコン重畳画像Ｐ１をディスプレイ３１ａに表示することなく閾値を設定する第２閾値設定処理を行う。
【0063】
具体的には、画像処理部１１ａは、物体検知部２１から検知情報を取得し、その検知情報に後方車両が示されていなければ、第１閾値設定処理の動作として、アイコン重畳画像Ｐ１を生成する。一方、画像処理部１１ａは、物体検知部２１から検知情報を取得し、その検知情報に後方車両が示されていれば、第２閾値設定処理の動作として、ライン重畳画像を生成する。つまり、画像処理部１１ａは、第２閾値設定処理では、カメラ画像Ｃ１中の指定位置を通る水平ラインをカメラ画像Ｃ１に重畳し、その水平ラインが重畳されたカメラ画像をライン重畳画像としてディスプレイ３１ａに表示する。
【0064】
閾値処理部１２は、第２閾値設定処理では、ディスプレイ３１ａに表示されるライン重畳画像に基づくユーザｕによる決定操作に応じて、上述の指定位置を閾値として設定する。
【0065】
図６は、本実施の形態におけるライン重畳画像を用いた第２閾値設定処理を説明するための図である。
【0066】
例えば、図６の（ａ）に示すように、カメラ２０から出力されるカメラ画像Ｃ２に後方車両ｖ１が映し出されている。このような場合、物体検知部２１は、その後方車両ｖ１を検知し、その検知結果を示す検知情報を出力する。
【0067】
ここで、図６の（ｂ）に示すように、後方車両ｖ１が映し出されているカメラ画像Ｃ２にアイコンａが重畳される場合には、後方車両ｖ１の像とアイコンａとが重なる可能性がある。このように、後方車両ｖ１の像とアイコンａとが重なると、アイコンａが重畳されたカメラ画像Ｃ２がディスプレイ３１ａに表示されても、ユーザｕは、そのアイコンａを認識することが難しい。
【0068】
そこで、本実施の形態における画像処理部１１ａは、後方車両ｖ１が検知されていることを示す検知情報を取得すると、アイコンａのカメラ画像Ｃ２への重畳を行わず、図６の（ｃ）に示すように、水平ラインＬをカメラ画像Ｃ２に重畳する。そして、画像処理部１１ａは、水平ラインＬが重畳されたカメラ画像Ｃ２であるライン重畳画像Ｐ２をディスプレイ３１ａに表示する。具体的には、画像処理部１１ａは、閾値処理部１２から出力されるアイコン情報によって示される指定位置を通るように水平ラインＬを重畳する。そして、ユーザｕは、そのディスプレイ３１ａに表示されるライン重畳画像Ｐ２を見て、水平ラインＬの位置を確認し、その位置でよければ、操作部３２に対して決定操作を行う。その結果、閾値処理部１２は、操作部３２から出力される決定操作信号に応じて、その水平ラインＬの位置、すなわち指定位置を閾値に設定する。
【0069】
図７は、本実施の形態における閾値設定装置１０ａの処理動作の一例を示すフローチャートである。
【0070】
閾値設定装置１０ａは、実施の形態１の図４に示す処理動作と同様、ステップＳ１～Ｓ３の処理を実行する。そして、画像処理部１１ａは、ステップＳ３において、閾値操作信号を取得したと判定すると（ステップＳ３のＹｅｓ）、物体検知部２１から出力される検知情報に基づいて、カメラ画像Ｃ１に後方車両ｖ１が映し出されているか否かを判定する（ステップＳ２１）。ここで、画像処理部１１ａは、後方車両ｖ１が映し出されていると判定すると（ステップＳ２１のＹｅｓ）、閾値処理部１２と共に第２閾値設定処理を実行する（ステップＳ２２）。一方、画像処理部１１ａは、後方車両ｖ１が映し出されていないと判定すると（ステップＳ２１のＮｏ）、閾値処理部１２と共に第１閾値設定処理を実行する（ステップＳ２３）。この第１閾値設定処理では、図４に示すステップＳ４～Ｓ１０の処理が実行される。
【0071】
ステップＳ２２またはＳ２３の処理が実行された後、閾値設定装置１０ａは、終了条件が満たされているか否かを判定する（ステップＳ１１）。ここで、閾値設定装置１０ａは、終了条件が満たされていないと判定すると（ステップＳ１１のＮｏ）、ステップＳ１からの処理を繰り返し実行する。一方、閾値設定装置１０ａは、終了条件が満たされていると判定すると（ステップＳ１１のＹｅｓ）、全ての処理を終了する。
【0072】
【0073】
画像処理部１１ａは、カメラ画像Ｃ１中の指定位置に水平ラインＬを重畳する（ステップＳ３１）。そして、画像処理部１１ａは、水平ラインＬが重畳されたカメラ画像Ｃ１をライン重畳画像Ｐ２としてディスプレイ３１ａに表示する（ステップＳ３２）。そして、閾値処理部１２は、図４のフローチャートと同様、ステップＳ８～Ｓ１０の処理を実行する。なお、本実施の形態におけるステップＳ８では、指定位置が変更されたと閾値処理部１２によって判定されると（ステップＳ８のＹｅｓ）、画像処理部１１ａは、ステップＳ３１からの処理を繰り返し実行する。
【0074】
このように、本実施の形態では、カメラ画像Ｃ２に後方車両ｖ１が映し出される場合には、第２閾値設定処理が行われる。その第２閾値設定処理では、アイコン重畳画像Ｐ１を表示することなく、すなわち、アイコンａがカメラ画像Ｃ２に重畳されて表示されることなく、閾値が設定される。したがって、アイコンａの認識が困難になる可能性がある場合には、アイコンａは表示されずに閾値が設定されるため、ユーザｕによる閾値の設定のための困難な操作を軽減することができる。また、本実施の形態における第２閾値設定処理では、水平ラインＬが、カメラ画像Ｃ２中の指定位置に重畳されて表示される。したがって、その水平ラインＬが仮に後方車両ｖ１の像に重ねられた場合でも、ユーザｕによるその水平ラインＬの認識が困難になる可能性を抑えることができる。そして、ユーザｕは、その水平ラインＬを見ながら決定操作を行えば、その指定位置を閾値として容易に設定することができる。したがって、カメラ画像に後方車両ｖ１が映し出されているか否かに関わらず、警告のための適切な閾値を容易に設定することができる。
【0075】
（実施の形態３）
本実施の形態における閾値設定装置は、実施の形態２と同様、カメラ画像に他車両が映し出されているか否かに応じて、閾値の設定のための処理を切り替える。具体的には、第１閾値設定処理と第２閾値設定処理とが切り替えられる。また、本実施の形態における第２閾値設定処理では、実施の形態２とは異なり、アイコンも水平ラインＬも重畳されないカメラ画像のフレームが用いられる。
本実施の形態における閾値設定装置は、実施の形態２と同様、カメラ画像に他車両が映し出されているか否かに応じて、閾値の設定のための処理を切り替える。具体的には、第１閾値設定処理と第２閾値設定処理とが切り替えられる。また、本実施の形態における第２閾値設定処理では、実施の形態２とは異なり、アイコンも水平ラインＬも重畳されないカメラ画像のフレームが用いられる。
【0076】
図９は、本実施の形態における警告システムの構成を示すブロック図である。
【0077】
本実施の形態における警告システム３は、閾値設定装置１０ｂ、カメラ２０、警告処理部２２、ディスプレイ３１ａ、操作部３２、および警告部３３を備える。なお、本実施の形態における各構成要素のうち、実施の形態１または２と同一の構成要素については、実施の形態１または２と同一の符号を付し、詳細な説明を省略する。
【0078】
本実施の形態における閾値設定装置１０ｂは、実施の形態２の閾値設定装置１０ａと同様、物体検知部２１を備えている。さらに、本実施の形態における閾値設定装置１０ｂは、画像処理部１１ｂおよび閾値処理部１２ｂを備える。この画像処理部１１ｂおよび閾値処理部１２ｂは、実施の形態１の画像処理部１１および閾値処理部１２としての機能をそれぞれ兼ね備える。つまり、本実施の形態における画像処理部１１ｂおよび閾値処理部１２ｂは、物体検知部２１によって後方車両ｖ１が検知されていない場合には、実施の形態１および２と同様、第１閾値設定処理を実行する。一方、物体検知部２１によって後方車両ｖ１が検知されている場合には、本実施の形態における画像処理部１１ｂおよび閾値処理部１２ｂは、実施の形態２と同様、アイコン重畳画像Ｐ１をディスプレイ３１ａに表示することなく閾値を設定する第２閾値設定処理を行う。
【0079】
具体的には、閾値処理部１２ｂは、物体検知部２１から検知情報を取得し、その検知情報に後方車両ｖ１が示されていなければ、第１閾値設定処理の動作として、アイコン情報を生成して出力する。画像処理部１１ｂは、物体検知部２１から検知情報を取得し、その検知情報に後方車両ｖ１が示されていなければ、第１閾値設定処理の動作として、閾値処理部１２ｂからアイコン情報を取得してアイコン重畳画像Ｐ１を生成する。
【0080】
一方、画像処理部１１ｂは、物体検知部２１から検知情報を取得し、その検知情報に後方車両ｖ１が示されていれば、第２閾値設定処理の動作として、後方車両ｖ１が映し出されているカメラ画像Ｃ２をディスプレイ３１ａに表示する。具体的には、画像処理部１１ｂは、カメラ画像Ｃ２にアイコンａおよび水平ラインＬなどのオブジェクトの重畳を行うことなく、カメラ画像Ｃ２をディスプレイ３１ａに表示する。このように、本実施の形態における画像処理部１１ｂは、第２閾値設定処理では、後方車両ｖ１が映し出されているカメラ画像Ｃ２に対してオブジェクトの重畳を行うことなくそのカメラ画像Ｃ２をディスプレイ３１ａに表示する。
【0081】
また、閾値処理部１２ｂは、物体検知部２１から検知情報を取得し、その検知情報に後方車両ｖ１が示されていれば、第２閾値設定処理の動作として、操作部３２から出力される選択操作信号を待ち受ける。つまり、ユーザｕは、上述の画像処理部１１ｂによってディスプレイ３１ａに表示される動画像であるカメラ画像Ｃ２を見ながら、そのカメラ画像Ｃ２に映し出されている後方車両ｖ１が所望の位置に到達するタイミングで操作部３２を操作する。その結果、操作部３２は、選択操作信号を閾値処理部１２ｂに出力する。閾値処理部１２ｂは、その選択操作信号を取得すると、そのときの検知情報によって示されている後方車両ｖ１の位置を閾値に設定する。このように、本実施の形態における閾値処理部１２ｂは、後方車両ｖ１が映し出されているカメラ画像Ｃ２に含まれる複数のフレームのうち、ユーザｕよる選択操作に応じたフレームに映し出されている後方車両ｖ１の垂直方向の位置を閾値として設定する。
【0082】
図１０は、本実施の形態におけるフレームを用いた第２閾値設定処理を説明するための図である。なお、図１０の（ａ）～（ｃ）は、後方車両ｖ１が映し出されているカメラ画像Ｃ２に含まれる３つのフレームを時系列に沿って示している。
【0083】
例えば、ユーザｕは、車両Ｖを路肩に停めて、閾値を設定するために操作部３２を操作する。このとき、画像処理部１１ｂは、検知情報に後方車両ｖ１が示されていれば、第２閾値設定処理の動作として、カメラ画像Ｃ２をディスプレイ３１ａに表示する。つまり、図１０の（ａ）～（ｃ）に示すように、画像処理部１１ｂは、後方車両ｖ１が映し出されているカメラ画像Ｃ２にオブジェクトの重畳を行うことなく、そのカメラ画像Ｃ２に含まれる各フレームをディスプレイ３１ａに順に表示する。ユーザｕは、このようにディスプレイ３１ａに表示されるカメラ画像Ｃ２を見ながら、そのカメラ画像Ｃ２に映し出されている後方車両ｖ１が所望の位置に到達するタイミングで操作部３２を操作する。例えば、ユーザｕは、図１０の（ｂ）に示すフレームがディスプレイ３１ａに表示されたタイミングで操作部３２を操作する。言い換えれば、ユーザｕは、図１０の（ｂ）に示すフレームを選択するための選択操作を行う。その結果、操作部３２は、選択操作信号を閾値処理部１２ｂに出力する。閾値処理部１２ｂは、その選択操作信号を取得すると、そのときの検知情報によって示されている後方車両ｖ１の位置を閾値に設定する。つまり、閾値処理部１２ｂは、図１０の（ｂ）に示すフレームに映し出されている後方車両ｖ１の垂直方向の位置を閾値に設定する。言い換えれば、閾値処理部１２ｂは、ユーザｕによる選択操作、あるいは選択操作信号に応じて、カメラ画像Ｃ２から図１０の（ｂ）に示すフレームを選択し、そのフレームにおける後方車両ｖ１の位置を閾値に設定する。
【0084】
ここで、閾値設定装置１０ｂは、閾値を設定する直前に、その閾値の設定をユーザｕに確認してもよい。例えば、閾値処理部１２ｂは、図１０の（ｄ）に示すように、選択操作信号を取得すると、そのときの検知情報によって示されている後方車両ｖ１の位置に応じた大きさを有し、その後方車両ｖ１を模した形状を有する確認用アイコンａ１を生成する。そして、閾値処理部１２ｂは、その確認用アイコンａ１と後方車両ｖ１の位置とを示す確認用アイコン情報を画像処理部１１ｂに出力する。画像処理部１１ｂは、その確認用アイコン情報を取得すると、その確認用アイコン情報によって示される確認用アイコンａ１を、ベース画像ＢＰにおける後方車両ｖ１の位置に重畳する。ベース画像ＢＰは、他車両が映し出されていない画像であれば、どのような画像またはフレームであってもよい。ベース画像ＢＰは、録画されたカメラ画像Ｃ１であってもよく、ＣＧ（Computer Graphics）などであってもよい。そして、画像処理部１１ｂは、その確認用アイコンａ１が重畳されたベース画像ＢＰを確認用画像Ｐ３としてディスプレイ３１ａに表示する。そして、ユーザｕは、そのディスプレイ３１ａに表示される確認用画像Ｐ３を見て、確認用アイコンａ１の位置を確認し、その位置でよければ、操作部３２に対して決定操作を行う。その結果、閾値処理部１２ｂは、操作部３２から出力される決定操作信号に応じて、上述の選択操作に応じたフレームにおける後方車両ｖ１の位置を閾値に設定する。
【0085】
このように、第２閾値設定処理では、画像処理部１１ｂは、ユーザｕによる選択操作が行われたときには、後方車両ｖ１が映し出されていないベース画像ＢＰ中の重畳対象位置に確認用アイコンａ１を重畳し、その確認用アイコンａ１が重畳されたベース画像ＢＰを確認用画像Ｐ３としてディスプレイ３１ａに表示する。その重畳対象位置は、例えば図１０の（ｂ）に示す上述の選択操作に応じたフレームに映し出されている後方車両ｖ１の垂直方向の位置と同一の位置である。確認用アイコンａ１は、重畳対象位置に応じた大きさであって、かつ、警告対象物である後方車両ｖ１を模した形状を有する。閾値処理部１２ｂは、表示される確認用画像Ｐ３に基づくユーザｕによる決定操作に応じて、その後方車両ｖ１の垂直方向の位置を閾値として設定する。
【0086】
ここで、本実施の形態における閾値設定装置１０ｂは、図７に示すフローチャートにしたがって、第１閾値設定処理と第２閾値設定処理とを切り替えて実行する。
【0087】
【0088】
まず、閾値処理部１２ｂは、画像処理部１１ｂによってディスプレイ３１ａに表示されているカメラ画像Ｃ２から、ユーザｕによる選択操作、つまり選択操作信号に応じたフレームを選択する（ステップＳ４１）。そして、閾値処理部１２ｂは、検知情報に基づいて、そのフレームに映し出されている後方車両ｖ１の垂直方向の位置を特定する（ステップＳ４２）。このとき、閾値処理部１２ｂは、垂直方向の位置を、車両Ｖから後方車両ｖ１までの距離に変換してもよい。
【0089】
そして、閾値処理部１２ｂは、その特定された位置（あるいは距離）に応じた大きさを有し、その後方車両ｖ１を模した形状を有する確認用アイコンａ１を生成する。画像処理部１１ｂは、その確認用アイコンａ１をベース画像ＢＰにおける重畳対象位置に重畳することによって確認用画像Ｐ３を生成してディスプレイ３１ａに表示する（ステップＳ４３）。
【0090】
次に、閾値処理部１２ｂは、ユーザｕによる決定操作があったか否かを判定する（ステップＳ４４）。つまり、閾値処理部１２ｂは、ユーザｕによる決定操作によって操作部３２から出力される決定操作信号を受けたか否かを判定する（ステップＳ４４）。ここで、閾値処理部１２ｂは、決定操作があったと判定すると（ステップＳ４４のＹｅｓ）、後方車両ｖ１の位置を閾値に設定する（ステップＳ４５）。このとき、閾値処理部１２ｂは、その閾値と、検知情報によって後方車両ｖ１の位置と共に示されている車種とを警告処理部２２に出力する。一方、閾値処理部１２ｂは、決定操作がないと判定すると（ステップＳ４４のＮｏ）、ステップＳ４１からの処理を繰り返し実行する。
【0091】
このように、本実施の形態における第２閾値設定処理では、ユーザｕは、カメラ画像Ｃ２を見ながら、後方車両ｖ１が車両Ｖから所望の距離まで近付いた状況を示すフレームが表示されたときに、選択操作を行う。そして、このようなユーザｕによる選択操作に応じたフレームに映し出されている後方車両ｖ１の垂直方向の位置が閾値して設定される。したがって、ユーザｕは、閾値と、車両Ｖから警告対象物までの距離との関係を把握しながら、その閾値を容易に設定することができる。したがって、カメラ画像に後方車両ｖ１が映し出されているか否かに関わらず、警告のための適切な閾値を容易に設定することができる。
【0092】
また、本実施の形態における第２閾値設定処理では、ユーザｕによる選択操作が行われたときには、閾値の設定の前に、確認用画像Ｐ３がディスプレイ３１ａに表示される。この確認用画像Ｐ３では、後方車両ｖ１が映し出されていないベース画像ＢＰに確認用アイコンａ１が重畳されている。したがって、ユーザｕは、その確認用アイコンａ１を容易に認識することができる。さらに、その確認用アイコンａ１は、選択操作によって選択されたフレームに映し出されている後方車両ｖ１の垂直方向の位置（すなわち重畳対象位置）に応じた大きさであって、かつ、その後方車両ｖ１を模した形状を有する。また、その重畳対象位置である後方車両ｖ１の垂直方向の位置は、仮決めの閾値とされている。したがって、ユーザｕは、その確認用アイコンａ１を見れば、仮決めの閾値と、車両Ｖから警告対象物までの距離との関係を容易に把握することができる。そして、ユーザは、その確認用アイコンａ１を見ながら決定操作を行えば、その後方車両ｖ１の垂直方向の位置を閾値として容易に設定することができる。したがって、カメラ画像に後方車両ｖ１が映し出されているか否かに関わらず、警告のための適切な閾値を容易に設定することができる。
【0093】
（実施の形態４）
本実施の形態における閾値設定装置は、実施の形態２および３と同様、カメラ画像に他車両が映し出されているか否かに応じて、閾値の設定のための処理を切り替える。具体的には、第１閾値設定処理と第２閾値設定処理とが切り替えられる。また、本実施の形態における第２閾値設定処理では、実施の形態２および３とは異なり、録画が用いられる。
本実施の形態における閾値設定装置は、実施の形態２および３と同様、カメラ画像に他車両が映し出されているか否かに応じて、閾値の設定のための処理を切り替える。具体的には、第１閾値設定処理と第２閾値設定処理とが切り替えられる。また、本実施の形態における第２閾値設定処理では、実施の形態２および３とは異なり、録画が用いられる。
【0094】
図１２は、本実施の形態における警告システムの構成を示すブロック図である。
【0095】
本実施の形態における警告システム４は、閾値設定装置１０ｃ、カメラ２０、警告処理部２２、ディスプレイ３１ａ、操作部３２、および警告部３３を備える。なお、本実施の形態における各構成要素のうち、実施の形態１～３と同一の構成要素については、実施の形態１～３と同一の符号を付し、詳細な説明を省略する。
【0096】
本実施の形態における閾値設定装置１０ｃは、実施の形態２の閾値設定装置１０ａと同様、物体検知部２１を備えている。さらに、本実施の形態における閾値設定装置１０ｃは、画像処理部１１ｃ、閾値処理部１２、読出部４１、および録画部４２を備える。画像処理部１１ｃは、実施の形態１の画像処理部１１としての機能を兼ね備える。つまり、本実施の形態における画像処理部１１ｃおよび閾値処理部１２は、物体検知部２１によって後方車両ｖ１が検知されていない場合には、実施の形態１～３と同様、第１閾値設定処理を実行する。一方、物体検知部２１によって後方車両ｖ１が検知されている場合には、本実施の形態における閾値設定装置１０ｃは、実施の形態２および３と同様、アイコン重畳画像Ｐ１をディスプレイ３１ａに表示することなく閾値を設定する第２閾値設定処理を行う。なお、本実施の形態におけるアイコン重畳画像Ｐ１は、カメラ２０による現在の撮像によって得られるカメラ画像に、閾値処理部１２によって生成されたアイコンａが重畳された画像である。
【0097】
具体的には、録画部４２は、物体検知部２１から検知情報を取得し、その検知情報に後方車両ｖ１が示されていなければ、カメラ画像Ｃ１の録画を行う。つまり、録画部４２は、物体検知部２１によって後方車両ｖ１が検知されていないときにカメラ画像Ｃ１を録画画像として録画する。
【0098】
読出部４１は、画像処理部１１ｃからの要求に応じて、録画部４２によって録画されたカメラ画像Ｃ１を録画画像としてその録画部４２から読み出して画像処理部１１ｃに出力する。
【0099】
画像処理部１１ｃは、物体検知部２１から検知情報を取得し、その検知情報に後方車両ｖ１が示されていなければ、第１閾値設定処理の動作として、閾値処理部１２からアイコン情報を取得してアイコン重畳画像Ｐ１を生成する。
【0100】
一方、画像処理部１１ｃは、物体検知部２１から検知情報を取得し、その検知情報に後方車両ｖ１が示されていれば、第２閾値設定処理の動作として、読出部４１に録画画像の読み出しを要求する。そして、画像処理部１１ｃは、録画部４２から読出部４１を介して録画画像を取得し、後方車両ｖ１が映し出されているカメラ画像Ｃ２の代わりに、その録画画像に対してアイコンを重畳する。
【0101】
図１３は、本実施の形態における録画画像を用いた第２閾値設定処理を説明するための図である。
【0102】
例えば、録画部４２は、図１３の（ａ）に示すように、カメラ画像Ｃ２に後方車両ｖ１が映し出されていれば、そのカメラ画像Ｃ２を録画しない。一方、録画部４２は、図１３の（ｂ）に示すように、カメラ画像Ｃ１に後方車両ｖ１が映し出されていなければ、そのカメラ画像Ｃ１を録画画像Ｃ３として録画する。なお、録画部４２は、カメラ画像Ｃ１、Ｃ２に後方車両ｖ１が映し出されているか否かを、物体検知部２１から出力される検知情報に基づいて判定している。
【0103】
そして、第２閾値設定処理では、画像処理部１１ｃは、図１３の（ｃ）に示すように、録画部４２から読出部４１を介して録画画像Ｃ３を取得し、カメラ画像Ｃ２の代わりにその録画画像Ｃ３に対してアイコンａを重畳する。このような録画画像Ｃ３へのアイコンａの重畳によって、アイコン重畳録画画像Ｐ４が生成される。なお、アイコンａが重畳される位置は、閾値操作信号によって示される指定位置である。そして、画像処理部１１ｃは、そのアイコン重畳録画画像Ｐ４をディスプレイ３１ａに表示する。
【0104】
ユーザｕは、そのディスプレイ３１ａに表示されるアイコン重畳録画画像Ｐ４を見て、アイコンａの位置を確認し、その位置でよければ、操作部３２に対して決定操作を行う。その結果、閾値処理部１２は、操作部３２から出力される決定操作信号に応じて、そのアイコンａの位置、すなわち指定位置を閾値に設定する。
【0105】
このように、本実施の形態における第２閾値設定処理では、画像処理部１１ｃは、閾値処理部１２によって生成されたアイコンａを、録画部４２によって過去に録画された録画画像Ｃ３中の指定位置に重畳し、アイコンａが重畳された録画画像Ｃ３をアイコン重畳録画画像Ｐ４としてディスプレイ３１ａに表示する。そして、閾値処理部１２は、表示されるアイコン重畳録画画像Ｐ４に基づくユーザｕによる決定操作に応じて、上述の指定位置を閾値として設定する。
【0106】
図１４Ａは、録画部４２の処理動作の一例を示すフローチャートである。
【0107】
まず、録画部４２は、カメラ２０からカメラ画像を取得する（ステップＳ５１）。そして、録画部４２は、検知情報に基づいて、そのカメラ画像に後方車両ｖ１が映し出されているか否かを判定する（ステップＳ５２）。ここで、録画部４２は、後方車両ｖ１が映し出されていると判定すると（ステップＳ５２のＹｅｓ）、ステップＳ５１からの処理を繰り返し実行する。一方、録画部４２は、後方車両ｖ１が映し出されていないと判定すると（ステップＳ５２のＮｏ）、そのカメラ画像を録画画像Ｃ３として録画する（ステップＳ５３）。そして、録画部４２は、終了条件が満たされているか否かを判定し（ステップＳ５４）、満たされていないと判定すると（ステップＳ５４のＮｏ）、ステップＳ５１からの処理を繰り返し実行する。一方、録画部４２は、終了条件が満たされていると判定すると（ステップＳ５４のＹｅｓ）、全ての処理を終了する。なお、終了条件は、図４のステップＳ１１の終了条件と同様、例えば警告システム１の電源がＯＦＦにされたこと、車両ＶのイグニッションスイッチがＯＦＦにされたことなどであってもよく、どのような条件であってもよい。
【0108】
ここで、本実施の形態における閾値設定装置１０ｃは、図７に示すフローチャートにしたがって、第１閾値設定処理と第２閾値設定処理とを切り替えて実行する。
【0109】
【0110】
まず、画像処理部１１ｃは、録画画像Ｃ３を取得してディスプレイ３１ａに表示する（ステップＳ６１）。次に、閾値処理部１２は、閾値操作信号によって示される指定位置を距離に変換する（ステップＳ６２）。指定位置は、録画画像Ｃ３中の垂直方向の位置であって、距離は、車両Ｖから、その指定位置に対応する実空間上の位置までの距離である。なお、このような変換には、カメラ２０のパラメータが用いられる。さらに、閾値処理部１２は、閾値操作信号によって示されてる車種を模したアイコンの形状と、その距離に応じたアイコンの大きさを決定する（ステップＳ６３）。これにより、アイコンが生成される。そして、閾値処理部１２は、その形状および大きさのアイコンと、指定位置とを示すアイコン情報を生成して画像処理部１１ｃに出力する。なお、ステップＳ６２およびＳ６３では、指定位置を距離に変換し、その距離に応じたアイコンの大きさを決定するが、指定位置を距離に変換することなく、その指定位置からアイコンの大きさを直接的に決定してもよい。
【0111】
画像処理部１１ｃは、アイコン情報を閾値処理部１２から取得すると、そのアイコン情報によって示される録画画像Ｃ３中の指定位置に、そのアイコン情報によって示されるアイコンを重畳する（ステップＳ６４）。そして、画像処理部１１ｃは、そのアイコンが重畳された録画画像Ｃ３であるアイコン重畳録画画像Ｐ４をディスプレイ３１ａに表示する（ステップＳ６５）。
【0112】
ここで、閾値処理部１２は、閾値操作信号が変更されたか否か、すなわち、閾値操作信号によって示される指定位置が変更されたか否かを判定する（ステップＳ６６）。閾値処理部１２は、指定位置が変更されたと判定すると（ステップＳ６６のＹｅｓ）、ステップＳ６２からの処理を繰り返し実行する。一方、閾値処理部１２は、指定位置が変更されていないと判定すると（ステップＳ６６のＮｏ）、さらに、操作部３２から決定操作信号を取得したか否かを判定する（ステップＳ６７）。ここで、閾値処理部１２は、決定操作信号を取得していないと判定すると（ステップＳ６７のＮｏ）、ステップＳ６６からの処理を繰り返し実行する。一方、閾値処理部１２は、決定操作信号を取得したと判定すると（ステップＳ６７のＹｅｓ）、直近の閾値操作信号によって示されている指定位置を閾値に設定する（ステップＳ６８）。
【0113】
このように、本実施の形態における第２閾値設定処理では、過去に録画された、後方車両ｖ１が映し出されていないカメラ画像Ｃ２である録画画像Ｃ３にアイコンａが重畳されて表示される。したがって、ユーザｕは、そのアイコンａを容易に認識することができる。そして、ユーザｕは、そのアイコンａを見ながら決定操作を行えば、指定位置を閾値として容易に設定することができる。したがって、カメラ画像に後方車両ｖ１が映し出されているか否かに関わらず、警告のための適切な閾値を容易に設定することができる。
【0114】
（実施の形態５）
本実施の形態における閾値設定装置は、実施の形態２～４と同様、カメラ画像に他車両が映し出されているか否かに応じて、閾値の設定のための処理を切り替える。具体的には、第１閾値設定処理と第２閾値設定処理とが切り替えられる。また、本実施の形態における第２閾値設定処理では、実施の形態２～４とは異なり、録画されたフレームの選択が行われる。
本実施の形態における閾値設定装置は、実施の形態２～４と同様、カメラ画像に他車両が映し出されているか否かに応じて、閾値の設定のための処理を切り替える。具体的には、第１閾値設定処理と第２閾値設定処理とが切り替えられる。また、本実施の形態における第２閾値設定処理では、実施の形態２～４とは異なり、録画されたフレームの選択が行われる。
【0115】
図１５は、本実施の形態における警告システムの構成を示すブロック図である。
【0116】
本実施の形態における警告システム５は、閾値設定装置１０ｄ、カメラ２０、警告処理部２２、ディスプレイ３１ａ、操作部３２、および警告部３３を備える。なお、本実施の形態における各構成要素のうち、実施の形態１～４と同一の構成要素については、実施の形態１～４と同一の符号を付し、詳細な説明を省略する。
【0117】
本実施の形態における閾値設定装置１０ｄは、実施の形態２の閾値設定装置１０ａと同様、物体検知部２１を備えている。さらに、本実施の形態における閾値設定装置１０ｄは、画像処理部１１ｄ、閾値処理部１２ｄ、読出部４１、録画部４２ａ、および距離変換部４３を備える。画像処理部１１ｄおよび閾値処理部１２ｄは、実施の形態１の画像処理部１１および閾値処理部１２としての機能をそれぞれ兼ね備える。つまり、本実施の形態における画像処理部１１ｄおよび閾値処理部１２ｄは、物体検知部２１によって後方車両ｖ１が検知されていない場合には、実施の形態１～４と同様、第１閾値設定処理を実行する。一方、物体検知部２１によって後方車両ｖ１が検知されている場合には、本実施の形態における閾値設定装置１０ｄは、実施の形態２～４と同様、アイコン重畳画像Ｐ１をディスプレイ３１ａに表示することなく閾値を設定する第２閾値設定処理を行う。
【0118】
具体的には、距離変換部４３は、物体検知部２１から検知情報を取得し、その検知情報に後方車両ｖ１の位置が示されていれば、その位置を、車両Ｖから後方車両ｖ１までの車間距離に変換する。その検知情報によって示されている後方車両ｖ１の位置は、カメラ画像Ｃ２のフレームに映し出されている後方車両ｖ１の垂直方向の位置である。したがって、距離変換部４３は、カメラ画像Ｃ２に映し出されている後方車両ｖ１の垂直方向の位置を車間距離に変換する距離変換処理を行っているとも言える。その結果、カメラ画像Ｃ２に含まれる各フレームに対して車間距離が導出される。そして、距離変換部４３は、その車間距離を録画部４２ａに出力する。なお、後方車両ｖ１の位置から車間距離への変換には、カメラ２０のパラメータが用いられる。
【0119】
録画部４２ａは、距離変換部４３から車間距離を取得すると、その車間距離が、予め定められた複数の設定距離のうちの何れか１つと等しいか否かを判定する。例えば、複数の設定距離は、１０ｍ、２０ｍ、および３０ｍなどであるが、これらに限定されるものではなく、１ｍ、２ｍ、および３ｍなどであってもよい。そして、録画部４２ａは、車間距離が何れかの設定距離に等しいと判定すると、カメラ画像Ｃ２に含まれるその車間距離に対応するフレームを録画する。車間距離に対応するフレームは、車両Ｖからその車間距離だけ離れて車両Ｖの後方を走行している後方車両ｖ１が映し出されているフレームである。あるいは、車間距離に対応するフレームは、その車間距離への変換に用いられた検知情報を生成するために物体検知部２１が用いたフレームである。なお、録画部４２ａは、それらのフレームを録画するときには、そのフレームに対して導出された車間距離（すなわち設定距離）をそのフレームに関連付ける。
【0120】
このように、本実施の形態における録画部４２ａは、第２閾値設定処理では、カメラ画像Ｃ２に含まれる複数のフレームを録画する。具体的には、録画部４２ａは、予め定められた複数の設定距離のそれぞれについて、当該設定距離と等しい車間距離に対応するフレームを録画する。
【0121】
読出部４１は、画像処理部１１ｄからの要求に応じて、録画部４２ａによって録画された、それぞれ車間距離に関連付けられている複数のフレームを、その録画部４２ａから読み出して画像処理部１１ｄに出力する。
【0122】
画像処理部１１ｄは、物体検知部２１から検知情報を取得し、その検知情報に後方車両ｖ１が示されていなければ、第１閾値設定処理の動作として、閾値処理部１２ｄからアイコン情報を取得してアイコン重畳画像Ｐ１を生成する。
【0123】
一方、画像処理部１１ｄは、物体検知部２１から検知情報を取得し、その検知情報に後方車両ｖ１が示されていれば、第２閾値設定処理の動作として、読出部４１に複数のフレームの読み出しを要求する。そして、画像処理部１１ｄは、録画部４２ａから読出部４１を介して複数のフレームを取得し、それらの複数の録画されたフレームを上述の複数の設定距離にそれぞれ関連付けてディスプレイ３１ａに表示する。閾値処理部１２ｄは、第２閾値設定処理では、表示される複数のフレームから１つのフレームを選択するユーザｕの選択操作に応じて、選択されたフレームに映し出されている後方車両ｖ１の垂直方向の位置を閾値として設定する。つまり、閾値処理部１２ｄは、上述の選択操作によって操作部３２から出力される選択操作信号を取得すると、その選択操作信号によって特定されるフレームに対応する検知情報を物体検知部２１から取得する。そして、閾値処理部１２ｄは、その検知情報によって示される後方車両ｖ１の垂直方向の位置を閾値として設定する。
【0124】
【0125】
例えば、ユーザｕは、車両Ｖを路肩に停めて、閾値を設定するために操作部３２を操作する。このとき、画像処理部１１ｄは、第２閾値設定処理では、図１６Ａに示すように、フレームＣｆ１、Ｃｆ２、およびＣｆ３を取得し、それらのフレームＣｆ１、Ｃｆ２、およびＣｆ３を複数の設定距離にそれぞれ関連付けてディスプレイ３１ａに表示する。例えば、フレームＣｆ１は、設定距離「３０ｍ」に関連付けて表示される。このフレームＣｆ１には、車両Ｖから設定距離「３０ｍ」だけ離れて後方を走行する後方車両ｖ１が映し出されている。フレームＣｆ２は、設定距離「２０ｍ」に関連付けて表示される。このフレームＣｆ２には、車両Ｖから設定距離「２０ｍ」だけ離れて後方を走行する後方車両ｖ１が映し出されている。フレームＣｆ３は、設定距離「１０ｍ」に関連付けて表示される。このフレームＣｆ３には、車両Ｖから設定距離「１０ｍ」だけ離れて後方を走行する後方車両ｖ１が映し出されている。
【0126】
ユーザｕは、このようにディスプレイ３１ａに表示される画像を見ながら、操作部３２を操作することによって、所望の設定距離に関連付けられているフレームを選択する選択操作を行う。例えば、選択されるフレームは、フレームＣｆ２である。その結果、操作部３２は、そのフレームＣｆ２を特定するための選択操作信号を出力する。閾値処理部１２ｄは、その選択操作信号を取得すると、その選択操作信号を画像処理部１１ｄに出力する。画像処理部１１ｄは、図１６Ｂに示すように、その選択操作信号によって特定されるフレームＣｆ２を設定距離「２０ｍ」に関連付けて表示する。また、閾値処理部１２ｄは、その選択操作信号によって特定されるフレームＣｆ２に対応する検知情報を物体検知部２１から取得する。そして、閾値処理部１２ｄは、その検知情報によって示される後方車両ｖ１の垂直方向の位置を閾値として設定する。
【0127】
ここで、本実施の形態における閾値設定装置１０ｄは、図７に示すフローチャートにしたがって、第１閾値設定処理と第２閾値設定処理とを切り替えて実行する。
【0128】
【0129】
まず、距離変換部４３は、カメラ画像Ｃ２に含まれる複数のフレームのそれぞれについて、そのフレームに映し出されている後方車両ｖ１の垂直方向の位置を車間距離に変換する（ステップＳ７１）。次に、録画部４２ａは、予め定められた複数の設定距離のそれぞれについて、上述の複数のフレームのうち、その設定距離に等しい車間距離に対応するフレームを録画する（ステップＳ７２）。
【0130】
そして、画像処理部１１ｄは、ステップＳ７２で録画された複数のフレームのそれぞれについて、そのフレームと、そのフレームに対応する設定距離とを関連付けてディスプレイ３１ａに表示する（ステップＳ７３）。
【0131】
次に、閾値処理部１２ｄは、表示されている複数のフレームの何れかを選択するための選択操作がユーザｕによって行われたか否かを判定する（ステップＳ７４）。すなわち、閾値処理部１２ｄは、選択操作信号を操作部３２から取得したか否かを判定する。ここで、閾値処理部１２ｄは、選択操作が行われていないと判定すると（ステップＳ７４のＮｏ）、ステップＳ７４からの処理を繰り返し実行する。つまり、閾値処理部１２ｄは、選択操作が行われるまで待機する。一方、閾値処理部１２ｄは、選択操作が行われたと判定すると（ステップＳ７４のＹｅｓ）、その選択操作によって選択されたフレームに映し出されている後方車両ｖ１の垂直方向の位置を閾値に設定する（ステップＳ７５）。
【0132】
なお、図１７Ａに示すステップＳ７１およびＳ７２の処理は、第２閾値設定処理とは別に実行されてもよい。つまり、ステップＳ７１およびＳ７２の処理は、ステップＳ７３～Ｓ７５の処理よりも前に行われれば、どのようなタイミングで実行されてもよい。そして、図７に示すステップＳ３において、閾値操作信号が取得されたと判定された場合に、画像処理部１１ｄおよび閾値処理部１２ｄは、ステップＳ７３～Ｓ７５の処理を実行してもよい。言い換えれば、録画部４２ａは、予め定められた複数の設定距離のそれぞれについて、当該設定距離と等しい車間距離に対応するフレームを録画する。その後、第２閾値設定処理では、画像処理部１１ｄは、録画された複数のフレームを複数の設定距離にそれぞれ関連付けてディスプレイ３１ａに表示し、閾値処理部１２ｄは、表示される複数のフレームから１つのフレームを選択するユーザの選択操作に応じて、選択されたフレームに映し出されている他車両の垂直方向の位置を閾値として設定する。
【0133】
このように、本実施の形態における第２閾値設定処理では、後方車両ｖ１が映し出されているカメラ画像Ｃ２に含まれる複数のフレームが複数の設定距離にそれぞれ関連付けて表示される。このように表示される各フレーム中の後方車両ｖ１の位置は、閾値の候補とされる。そして、ユーザｕによる選択操作に応じて、それらのフレームから選択されたフレームに映し出されている後方車両ｖ１の垂直方向の位置が閾値に設定される。したがって、ユーザｕは、複数のフレームのそれぞれについて、そのフレームに対応する閾値の候補と、そのフレームに対応する車間距離との関係を、容易に、かつ急ぐことなく把握しながら、フレームを選択することによって、所望の閾値を容易に設定することができる。その結果、カメラ画像に後方車両ｖ１が映し出されているか否かに関わらず、警告のための適切な閾値を容易に設定することができる。
【0134】
以上、本開示の１つまたは複数の態様に係る閾値設定装置について、幾つかの実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記各実施の形態に施したものも本開示に含まれてもよい。また、複数の上記実施の形態を組み合わせたものも本開示に含まれてもよい。
【0135】
例えば、実施の形態２～５における閾値設定装置は、第１閾値設定処理と、第２閾値設定処理とを切り替えるが、切り替えることなく、第２閾値設定処理のみを実行してもよい。また、閾値処理部によって生成されるアイコンは、警告対象物を模した形状を有するが、その警告対象物が四輪車であれば、単に矩形状のアイコンであってもよく、その警告対象物が二輪車であれば、四輪車よりも小さい縦長矩形状のアイコンであってもよい。なお、アイコンは、輪郭線のみを有するマークであってもよく、所定の色で塗り潰されたマークであってもよい。また、警告対象物の種別に応じて、その警告対象物に対応するアイコンの色が決定されてもよい。
【0136】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Central Processing Unit）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の閾値設定装置などの装置またはシステムを実現するソフトウェアであるプログラムは、コンピュータに図４、図７、図８、図１１、図１４Ａ、図１４Ｂ、および図１７のフローチャートに含まれる各ステップを実行させる。
【0137】
なお、以下のような場合も本開示に含まれる。
【0138】
（１）上記の装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムであってもよい。そのＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも１つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0139】
（２）上記の装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【0140】
（３）上記の装置を構成する構成要素の一部または全部は、その装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【0141】
（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
【0142】
また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
【0143】
また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【0144】
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【産業上の利用可能性】
【0145】
本開示の閾値設定装置は、例えば後方車両の接近に対する警告のための適切な閾値を容易に設定することができ、その警告を行うシステムなどに適用することができる。
【符号の説明】
【0146】
１、２、３、４、５ 警告システム
１０、１０ａ、１０ｂ、１０ｃ、１０ｄ 閾値設定装置
１１、１１ａ、１１ｂ、１１ｃ、１１ｄ 画像処理部
１２、１２ｂ、１２ｄ 閾値処理部
２０ カメラ
２１ 物体検知部
２２ 警告処理部
３１ 電子ミラー
３１ａ ディスプレイ
３２ 操作部
３３ 警告部
４１ 読出部
４２、４２ａ 録画部
５１ インスツルメントパネル
５２ａ 左スピーカ
５２ｂ 右スピーカ
ａ、ｂ アイコン
ａ１ 確認用アイコン
ＢＰ ベース画像
Ｃ１、Ｃ２ カメラ画像
Ｃ３ 録画画像
Ｌ 水平ライン
Ｐ１ アイコン重畳画像
Ｐ２ ライン重畳画像
Ｐ３ 確認用画像
Ｐ４ アイコン重畳録画画像
Ｙ 方向
Ｙａ、Ｙｂ 指定位置
Ｖ 車両
ｖ１ 後方車両
１０、１０ａ、１０ｂ、１０ｃ、１０ｄ 閾値設定装置
１１、１１ａ、１１ｂ、１１ｃ、１１ｄ 画像処理部
１２、１２ｂ、１２ｄ 閾値処理部
２０ カメラ
２１ 物体検知部
２２ 警告処理部
３１ 電子ミラー
３１ａ ディスプレイ
３２ 操作部
３３ 警告部
４１ 読出部
４２、４２ａ 録画部
５１ インスツルメントパネル
５２ａ 左スピーカ
５２ｂ 右スピーカ
ａ、ｂ アイコン
ａ１ 確認用アイコン
ＢＰ ベース画像
Ｃ１、Ｃ２ カメラ画像
Ｃ３ 録画画像
Ｌ 水平ライン
Ｐ１ アイコン重畳画像
Ｐ２ ライン重畳画像
Ｐ３ 確認用画像
Ｐ４ アイコン重畳録画画像
Ｙ 方向
Ｙａ、Ｙｂ 指定位置
Ｖ 車両
ｖ１ 後方車両
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15】
【図16A】
【図16B】
【図17A】
【図17B】