特許 7600767 表示制御装置、表示制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】表示制御装置、表示制御方法及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241210BHJP

   G06T 7/00 20170101ALI20241210BHJP

【ＦＩ】

G08G1/16 C

G06T7/00 650Z

【請求項の数】 5

(21)【出願番号】P 2021032767

(22)【出願日】2021-03-02

(65)【公開番号】P2022133849

(43)【公開日】2022-09-14

【審査請求日】2023-12-28

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】岡崎 龍一

【審査官】武内 俊之

(56)【参考文献】

【文献】特開２００７－０４９２１９（ＪＰ，Ａ）

【文献】特開２０１６－０８８１８７（ＪＰ，Ａ）

【文献】特開２０１９－０７５１５０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１６５５２７（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１３０３４９５４（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

自車両の外部を撮影した画像の画像データを取得する画像データ取得部と、
前記画像に含まれる物体を検出する物体検出部と、
前記自車両から前記物体までの距離に関する測距データを取得する測距データ取得部と、
前記距離が閾値以下となった場合に、前記物体のサイズに応じて、前記物体に危険度を設定する危険度設定部と、
前記危険度に応じた強調表示処理を画像データに対して行う強調表示処理部と、
強調表示処理が行われた強調表示画像を出力する出力部と、
を備え、
前記閾値の距離は、前記自車両のサイズに応じて設定される、
表示制御装置。

【請求項2】

前記危険度設定部が、前記距離が閾値よりも大きい場合に、前記物体までの距離に応じて、前記物体に危険度を設定する請求項１に記載の表示制御装置。

【請求項3】

前記危険度設定部は、
路面からの前記物体の高さ及び前記物体の左右方向の位置のうち少なくとも一つを計測し、
計測結果に基づいて前記物体が前記自車両に衝突するか否かを判定し、
判定結果に応じて物体に危険度を設定している、
請求項１又は２に記載の表示制御装置。

【請求項4】

自車両の外部を撮影した画像の画像データを取得するステップと、
前記画像に含まれる物体を検出するステップと、
前記自車両から前記物体までの距離に関する測距データを取得するステップと、
前記距離が閾値以下となった場合に、前記物体のサイズに応じて、前記物体に危険度を設定するステップと、
前記危険度に応じた強調表示処理を画像データに対して行うステップと、
強調表示処理が行われた強調表示画像を出力するステップと、
を備え、
前記閾値の距離は、前記自車両のサイズに応じて設定される、
表示制御方法。

【請求項5】

自車両の外部を撮影した画像の画像データを取得するステップと、
前記画像に含まれる物体を検出するステップと、
前記自車両から前記物体までの距離に関する測距データを取得するステップと、
前記距離が閾値以下となった場合に、前記物体のサイズに応じて、前記物体に危険度を設定するステップと、
前記危険度に応じた強調表示処理を画像データに行うステップと、
強調表示処理が行われた強調表示画像を出力するステップと、
をコンピュータに実行させるプログラムであって、
前記閾値の距離は、前記自車両のサイズに応じて設定される、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示制御方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１には車両から物体までの距離を検知する測距検知部を有する周辺監視装置が開示されている。特許文献１の周辺監視装置は、車両に設けられた撮像部から物体を撮像するカメラを有している。周辺監視装置は、物体の色と、物体の高さに応じた色とを重畳表示している。

【0003】

特許文献２には、車両と障害物との距離を検出する障害物検知手段と、車両の外方向の景観を撮像する撮像部とを備えた車両周辺視認装置が開示されている。特許文献２の装置は障害物が検知された場合に、障害物の位置する方向が認識可能な図形を撮像映像に表示されている。この装置は、障害物までの距離に応じて、図形の表示色又は大きさを変化させている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－９７８４３号公報

【文献】特開２００６－３１１２２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

このような装置において、運転者に対して適切に注意を促すことが望まれる。例えば、複数の障害物が含まれている場合、より危険度の高い物体に対して注意を促すことが好ましい。しかしながら、複数の物体が車両の周辺が存在した場合、距離又は高さに応じて表示色を変えると、表示が煩雑に生ってしまうおそれがある。例えば、危険度の低い物体が強調されてしまうと、危険度の高い物体に対して効果的に注意を促すことができなくなってしまう。

【0006】

上記課題に鑑み、本発明は、適切に危険度を設定することで、ユーザに対して効果的に注意を促すことができる表示制御装置、表示制御方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本実施形態にかかる表示制御装置は、自車両の外部を撮影した画像の画像データを取得する画像データ取得部と、前記画像に含まれる物体を検出する物体検出部と、前記自車両から前記物体までの距離に関する測距データを取得する測距データ取得部と、前記距離が閾値以下となった場合に、前記物体のサイズに応じて、前記物体に危険度を設定する危険度設定部と、前記危険度に応じた強調表示処理を画像データに対して行う強調表示処理部と、強調表示処理が行われた強調表示画像を出力する出力部と、を備えている。

【0008】

本実施形態にかかる表示制御方法は、自車両の外部を撮影した画像の画像データを取得するステップと、前記画像に含まれる物体を検出するステップと、前記自車両から前記物体までの距離に関する測距データを取得するステップと、前記距離が閾値以下となった場合に、前記物体のサイズに応じて、前記物体に危険度を設定するステップと、前記危険度に応じた強調表示処理を画像データに対して行うステップと、強調表示処理が行われた強調表示画像を出力するステップと、を備えている。

【0009】

本実施形態にかかるプログラムは、自車両の外部を撮影した画像の画像データを取得するステップと、前記画像に含まれる物体を検出するステップと、前記自車両から前記物体までの距離に関する測距データを取得するステップと、前記距離が閾値以下となった場合に、前記物体のサイズに応じて、前記物体に危険度を設定するステップと、前記危険度に応じた強調表示処理を画像データに対して行うステップと、強調表示処理が行われた強調表示画像を出力するステップと、をコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、適切に危険度を設定することで、ユーザに対して効果的に注意を促すことができる表示制御装置、表示制御方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態にかかる車両を示す図である。

【図2】実施の形態にかかる表示制御装置を示す図である。

【図3】危険度に応じた表示色を示すカラーバーである。

【図4】実施の形態１にかかる表示制御方法を示すフローチャートである。

【図5】実施の形態１にかかる表示制御を説明するための模式図である。

【図6】実施の形態１にかかる表示制御を説明するための模式図である。

【図7】実施の形態１にかかる表示制御を説明するための模式図である。

【図8】実施の形態２にかかる表示制御方法を示すフローチャートである。

【図9】実施の形態２にかかる表示制御を説明するための模式図である。

【図10】他の表示制御方法を説明するための模式図である。

【発明を実施するための形態】

【0012】

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0013】

＜実施の形態１＞
図１は、実施の形態１にかかる車両１を示す図である。車両１は、センサユニット２と、表示制御装置１００とを有する。なお、以下の説明において、車両１と、その周辺の車両とを区別するため、適宜、車両１を自車両とし、周辺の車両を周辺車両とする場合がある。

【0014】

センサユニット２は、少なくとも１つの撮像装置を有しており、自車両の外部を撮像する。センサユニット２は、撮像装置で撮像された画像データを表示制御装置１００に出力する。センサユニット２は、障害物を検知する測距センサを有している。センサユニット２は、測距センサで測定された測距データを表示制御装置１００に出力する。

【0015】

表示制御装置１００は、車両１の任意の位置に設置され得る。表示制御装置１００は、ＣＡＮ（Controller Area Network）に接続され得る。表示制御装置１００は、センサユニット２によって撮像された画像において、物体（障害物）を検出するための画像処理を行う。表示制御装置１００は、ユーザに注意喚起を促すための強調表示を行う。例えば、表示制御装置１００は、画像に含まれる物体に対して赤色などの強調色を付す。これにより、運転者などのユーザが物体の存在を把握しやすくなり、接触を回避することができる。表示制御装置１００については後述する。

【0016】

なお、以下、用語「映像」は、情報処理における処理対象としての、「映像を示す映像データ」も意味する。同様に、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味する。なお、画像及び映像は動画像でもよく、連続する静止画像であってもよい。

【0017】

図２は、実施の形態１にかかる表示制御装置１００及び表示制御装置１００を有する表示制御システム１０の構成を示すブロック図である。表示制御システム１０は、センサユニット２と、表示部３０と、ＥＣＵ（Electronic Control Unit）４０と、表示制御装置１００とを有する。表示制御装置１００は、センサユニット２、表示部３０、ＥＣＵ４０のそれぞれと通信可能に接続している。

【0018】

表示部３０は、例えばディスプレイ等である。表示部３０は、表示制御装置１００の制御により映像を表示する。なお、表示部３０は、スピーカを含んでもよい。この場合、表示部３０は、スピーカから音声を出力してもよい。また、表示制御装置１００が車両１に搭載される場合、表示部３０は、車両１の内部に、車両の運転者が運転中に視認できる位置に設けられ得る。この場合、表示部３０は、後述するインタフェース部１０８によって実現されてもよい。表示部３０は、カーナビゲーションシステムのモニタであってもよい。また、表示部３０は、車両１に常設された車載装置である必要はない。表示部３０は、例えば、ユーザの所有するスマートフォンやタブレット端末等の情報端末のディスプレイによって構成されてもよい。さらに、表示制御処理の一部は、表示部を有するスマートフォンなどで行われてもよい。

【0019】

センサユニット２は、前方カメラ２１Ｆと後方カメラ２１Ｒとを備えている。車両１の前進時において、前方カメラ２１Ｆは、車両１の前方画像を撮像する。車両１の後退時において、後方カメラ２１Ｒは車両１の後方画像を撮像する。前方カメラ２１Ｆと後方カメラ２１Ｒは、例えば毎秒３０フレーム（３０ｆｐｓ）の撮影データを生成し、生成した撮影データを３０分の１秒ごとに表示制御装置１００に供給する。撮影データは、例えば、Ｈ．２６４もしくはＨ．２６５等の方式を用いて生成されてもよい。あるいは、センサユニット２は、車両１の全周囲を撮像する全周カメラであってもよい。

【0020】

センサユニット２は、車両１の周辺にある物体までの距離を検知するための測距センサ２２を有している。測距センサ２２は、自車両から物体までの距離を検出する。測距センサ２２は例えば、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）である。あるいは、測距センサ２２は、赤外線カメラ、ステレオカメラ、ミリ波レーダなどであってもよい。さらに、測距センサ２２はこれらのセンサを組み合わせて構成されていても良い。また、測距センサ２２は物理的に単一の装置に限られるものではない。例えば、車両１の複数箇所に配置されたＬＩＤＡＲで測距センサ２２が構成されていてもよい。

【0021】

測距センサ２２は自車両から物体までの距離に関する測距データを表示制御装置１００に供給する。さらに、測距センサ２２は、障害物までの距離とともにその方向を検知してもよい。つまり、測距データは、物体までの距離と、物体の方向とが対応付けられていても良い。ここで、物体の方向とは、自車両を基準とする方向である。また、物体の前後左右方向は方位角度で示され、上下方向は仰俯角度で示されていても良い。

【0022】

ＥＣＵ４０は、車両１が有するものであって、車両１の制御等を司っている構成の一部である。表示制御装置１００とＥＣＵ４０とは例えばＣＡＮなどの車内ネットワークを介して通信可能に接続する。

【0023】

表示制御装置１００は、制御部１０２、記憶部１０４、通信部１０６，及びインタフェース部１０８（ＩＦ：Interface）を備えている。表示制御装置１００は、走行情報取得部１１０と、画像データ取得部１２１と、物体検出部１２２と、測距データ取得部１２５と、危険度設定部１２７と、強調表示処理部１２８と、出力部１２９とを備えている。走行情報取得部１１０は、進行方向取得部１１１と速度情報取得部１１３とを備えている。

【0024】

制御部１０２は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。制御部１０２は、制御処理及び演算処理等を行う演算装置としての機能を有する。記憶部１０４は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部１０４は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等である。記憶部１０４は、制御部１０２によって又は制御部１０２の機能として実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。また、記憶部１０４は、処理データ等を一時的に記憶するための機能を有する。

【0025】

通信部１０６は、センサユニット２及び表示部３０と通信を行うために必要な処理を行う。また、通信部１０６は、図示しないＣＡＮと通信を行うために必要な処理を行ってもよい。通信部１０６は、通信ポートを含み得る。インタフェース部１０８は、例えばユーザインタフェース（ＵＩ：User Interface）である。インタフェース部１０８は、キーボード、タッチパネル又はマウス等の入力装置とスピーカ等の出力装置とを有する。

【0026】

したがって、表示制御装置１００は、コンピュータとしての機能を有する。また、表示制御装置１００は、記憶部１０４に格納されたプログラムを制御部１０２のプロセッサが実行することによって、走行情報取得部１１０、画像データ取得部１２１、物体検出部１２２、測距データ取得部１２５、危険度設定部１２７、強調表示処理部１２８、出力部１２９といった構成要素を実現する。また、表示制御装置１００の各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、表示制御装置１００の各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコンやＳＯＣ（System on a chip）等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このことは、後述する他の実施の形態においても同様である。

【0027】

走行情報取得部１１０は、車両１の走行に関する走行情報を取得する。走行情報取得部１１０は、ＥＣＵ４０から各種情報を取得する。走行情報取得部１１０は、進行方向取得部１１１と、速度情報取得部１１３とを備えている。

【0028】

進行方向取得部１１１は、車両１の進行方向を示す情報を取得する。例えば、進行方向取得部１１１は、車両１のシフト位置に基づいて、前進中又は後退中であるかを検知する。車両１のシフトポジションがリバース（Ｒ）の位置となった場合、車両１が後退中であることを検知する。あるいは、車両１のシフトレバーがドライブ（Ｄ）等の位置となった場合、車両１が前進中であることを検知する。

【0029】

さらに、進行方向取得部１１１は、進行方向として、操舵角情報を取得しても良い。進行方向取得部１１１は、ＣＡＮ等からの信号を取得して車両１の車輪における操舵角を示す操舵角情報を取得する。なお、操舵角情報は、操舵角度を示す情報に加えて、右又は左といった操舵方向を示す情報も含む。

【0030】

速度情報取得部１１３は、車両１の速度を示す速度情報を取得する。例えば、速度情報取得部１１３は、ＥＣＵ４０からの車速パルスに基づいて、車速を検出する。速度情報取得部１１３は、例えば時速４０キロメートルという車速を示す速度情報を取得する。あるいは、速度情報は、低速、中速、高速などのような段階的な情報であってもよい。

【0031】

画像データ取得部１２１は前方カメラ２１Ｆ及び後方カメラ２１Ｒで撮像された画像データを取得する。なお、進行方向取得部１１１で取得された進行方向に応じて、画像データ取得部１２１は。取得する画像を切替えても良い。例えば、車両１が前進中である場合、画像データ取得部１２１が前方カメラ２１Ｆの前方画像を取得する。車両１が後退中である場合、画像データ取得部１２１が後方カメラ２１Ｒの後方画像を取得する。もちろん、画像データ取得部１２１は、前方画像と、後方画像の両方を取得しても良い。この場合、進行方向に応じて、表示制御装置１００が処理対象となる画像を切替えれば良い。

【0032】

物体検出部１２２は、画像に含まれる物体を検出する。物体検出部１２２は、画像データに対して画像解析を行うことで、画像内の物体を認識する。例えば、物体検出部１２２は、予め登録されたパターンと画像とを比較することで、物体認識を行うことができる。また、画像内に複数の物体が含まれている場合、物体検出部１２２はそれぞれの物体を検出する。さらに、物体検出部１２２は、画像内における物体の位置座標やサイズを特定してもよい。

【0033】

ここで、物体は、周辺車両、壁、車輪止め、高架橋、自転車などである。また、物体には、歩行者などの人が含まれていても良い。なお、物体検出部１２２における物体検出処理については公知の手法を用いることができるため、詳細な説明を省略する。

【0034】

測距データ取得部１２５は、物体までの距離に関する測距データを取得する。また、画像に複数の物体の画像が含まれる場合、測距データ取得部１２５は、それぞれの物体まで距離を求める。つまり、測距センサ２２からの測距データに基づいて、自車両から各物体までの距離を算出する。

【0035】

危険度設定部１２７は、物体に危険度を設定する。また、画像に複数の物体の画像が含まれる場合、危険度設定部１２７は、それぞれの物体に危険度を設定する。つまり、物体毎に危険度を示す値が付される。

【0036】

具体的には、危険度設定部１２７は自車両が物体に接触する可能性、及び接触したときの影響に応じて、危険度を設定する。危険度設定部１２７は、物体までの距離に応じて危険度を設定する。危険度設定部１２７は、危険度の値を例えば１０段階で表現し、１０を最も高い危険度、０を最も低い危険度とする。危険度の値は、距離が近い物体ほど危険度を高くし、距離が遠い物体ほど危険度を低くする。また、接触する可能性が極めて低い物体については、危険度設定部１２７は、危険度を０としてもよい、例えば、車両１の進路から大きく外れている物体については、危険度を０に設定するようにしてもよい。

【0037】

あるいは、危険度設定部１２７は、物体のサイズに応じて危険度を設定する。危険度設定部１２７は、サイズが大きい物体ほど危険度を高くし、サイズが小さい物体ほど危険度を低くする。例えば、危険度設定部１２７は、画像内における物体画像の大きさ、及び物体までの距離に応じて物体のサイズを算出することができる。危険度設定部１２７における処理については後述する。ここで、物体のサイズは、水平方向（左右方向）における大きさ、鉛直方向（上下方向）における大きさの一方又は両方とすることができる。

【0038】

強調表示処理部１２８は、危険度に応じて、画像中の物体を強調するための強調表示処理を行う。例えば、強調表示処理部１２８は、危険度の高い物体に対しては赤色等の強調色を画像中の物体に重畳する。強調表示処理部１２８は、危険度の低い物体は青色などの非強調色を画像中の物体に重畳する。強調表示処理部１２８は、危険ではない物体、つまり自車両と接触する可能性がない物体に対して、強調表示処理を行わない。強調表示処理部１２８は、ユーザに対する警告を表示するための、危険度が高い物体ほど強調される色を画像中の物体に重畳する。

【0039】

危険度は、図３に示すような配色分布のカラーバーで表すことができる。危険度が高くなるほど赤色、つまり長波長側となり、危険度が低くなるほど青色、つまり短波長側となる。強調表示処理部１２８は、危険度に応じた色を画像中の物体に重畳する。例えば、画像中において、危険度の高い物体には赤色が重畳され、危険度の低い物体には、青色が重畳される。危険度が中間の物体に対しては緑色が画像中の物体に重畳される。そして、強調表示処理部１２８は、危険度に応じた色を画像中の物体に重畳した重畳画像を生成する。出力部１２９は、重畳画像が強調表示画像として表示部３０に表示されるように、画像データを出力する。

【0040】

このように危険度に応じて重畳色を変えることで、ユーザに対する注意喚起を適切に行うことができる。つまり、危険度が高いほど、強調して表示されるため、ユーザが危険度の高い物体を容易に認識することができる。画像中の物体に強調色を重畳することで、警告表示を行うことができる。ユーザが、危険度の低い物体よりも危険度の高い物体に注意して運転することができる。ユーザに対して、物体への注意を適切に促すことができる。よって、より安全な運転に資することができる。

【0041】

強調表示は図３に示すような配色分布に限られるものではない。例えば、危険度は濃淡で示されていても良い。例えば、物体の画像に同一色を付して、危険度に応じて濃淡のみを変えてもよい。強調表示処理部１２８は物体画像の色調、濃淡、明度、透明度などを変えることで強調表示処理を行ってもよい。また、強調表示処理部１２８は、物体に対する輪郭線を付すことで、強調表示処理を行ってもよい。この場合、危険度が高い物体ほど輪郭線を太くする。このように、強調表示処理部１２８は、危険度が高いほど強調される様な強調表示処理を行う。

【0042】

図４～図７を用いて、危険度の設定処理と強調表示処理の例について説明する。図４は、本実施形態にかかる表示制御処理を示すフローチャートである。図５～図７は後退時における危険度と、その強調表示処理を説明する図である。図５～図７は車両１が、駐車スペース３００に後退で駐車する例を示している。図５～図７では、上から順に重畳画像、危険度に応じた配色、カメラ画像、及び上面図が示されている。そして、車両１が低速で後退することにより、図５、図６，図７の順で状態が変化している。

【0043】

駐車スペース３００の後方には後部壁３０１が配置され、左右には側壁３０２が配置されている。つまり、駐車スペース３００の三方は、後部壁３０１及び側壁３０２で囲まれている。そして、後部壁３０１と側壁３０２とで仕切られた駐車スペース３００に後退していく。駐車スペース３００の路面には車輪止め３０４が配置されている。後方カメラ２１Ｒは駐車スペース３００を撮像している。測距センサ２２は、後部壁３０１と側壁３０２までの距離を物体までの距離として検出する。

【0044】

まず、画像データ取得部１２１が後方カメラ２１Ｒで撮像された画像の画像データを取得する（Ｓ４０１）。物体検出部１２２が画像に含まれる物体を検出する（Ｓ４０２）。例えば、物体検出部１２２は、画像に含まれる後部壁３０１、側壁３０２、及び車輪止め３０４をそれぞれ検出する。測距センサ２２で測定された測距データを取得する（Ｓ４０３）。これにより、車両１から後部壁３０１、側壁３０２、及び車輪止め３０４までの距離がそれぞれ算出される。危険度設定部１２７が測距データ、及び画像データに基づいて、物体の大きさを検出する（Ｓ４０４）。これにより、物体毎にその距離と大きさが検出される。

【0045】

次に、危険度設定部１２７は、車両から物体までの距離が閾値距離以下か否かを判定する（Ｓ４０５）。危険度設定部１２７は、例えば、最接近物体までの距離を閾値距離と比較する。危険度設定部１２７は、画像中に複数の物体が含まれる場合、最も近い物体までの距離が閾値距離以下となっているか否かを判定する。ここでは、後部壁３０１までの距離を閾値距離との比較対象としている。

【0046】

物体までの距離が閾値距離以下ではない場合（Ｓ４０５のＮＯ）、危険度設定部１２７が距離に応じて危険度を設定する（Ｓ４０６）。つまり、物体までの距離が近いほど、危険度設定部１２７は当該物体の危険度を高くする。

【0047】

物体までの距離が閾値距離以下である場合（Ｓ４０５のＹＥＳ）、危険度設定部１２７が物体の大きさに応じて危険度を設定する（Ｓ４０７）。つまり、物体が大きいほど、危険度設定部１２７が危険度を高く設定する。

【0048】

そして、強調表示処理部１２８が危険度に応じて、強調表示処理を行う（Ｓ４０８）。つまり、強調表示処理部１２８は、危険度が高い物体には赤色を画像中の物体に重畳して重畳画像を生成する。出力部１２９が、強調表示処理が行われた重畳画像を表示部３０に出力する（Ｓ４０９）。車両１の後退中に処理が繰り返される。これにより、図５～図７に示す重畳画像が表示される。

【0049】

たとえば、図５、図６では、後部壁３０１までの距離が閾値距離よりも遠くなっている。よって、Ｓ４０６のように、危険度設定部１２７は物体までの距離に応じて危険度を設定する。図５に示すように、後部壁３０１までの距離が遠い状態では、危険度が低くなっている。そして、車両１が後退するにしたがって、車両１が後部壁３０１、側壁３０２に接近していく。したがって、危険度が徐々に高くなっていく。図６に示す状態では、図５に示す状態よりも、車両１が後部壁３０１、及び側壁３０２に接近しているため、後部壁３０１、及び側壁３０２の危険度が高くなっている。よって、図５から図６の位置まで車両１が後退するにつれて、重畳画像の色が変わっていく。

【0050】

一方、図７では、後部壁３０１までの距離が閾値距離以下となっている。よって、Ｓ４０７のように、危険度設定部１２７が、物体の大きさに応じて、危険度を設定する。後部壁３０１、側壁３０２が所定サイズよりも大きいため、最も高い危険度が設定される。図７の重畳画像では、最も高い危険度を示す赤色が、後部壁３０１、側壁３０２に重畳されている。

【0051】

このように、後部壁３０１までの距離が閾値距離以下となると、危険度設定部１２７が物体の大きさに応じて危険度を設定する。このようにすることで危険度の高い大きな物体をユーザが容易に認識することができるようになる。例えば、距離に応じてのみ危険度が変化する場合、物体の大きさによらず同じ危険度が設定される。よって、車両１から離れた距離にある大きな物体に対しての注意を喚起することが困難である。これに対して、本実施の形態によれば、物体が閾値距離よりも近くにある場合、物体の大きさに応じて、危険度設定部１２７が危険度を設定している。車両１が大きな物体と接触すると、影響が大きい。本実施の形態では、大きな物体の危険度を高く設定することができるため、車両１から離れた大きな物体に対して注意を喚起することができる。

【0052】

このように、車両１が物体に対して閾値距離まで接近すると、危険度設定部１２７が物体の大きさに応じて危険度を設定する。したがって、ユーザが危険度の高い大きな物体を適切に認識することができる。ユーザである運転者が減速して、適切に駐車を行うことができる。これにより、効果的に運転をアシストすることができる。また、車両１が物体から閾値距離以上離れていると、危険度設定部１２７が物体までの距離に応じて危険度を設定する。よって、物体への接近に応じて危険度が変わっていくため、ユーザが物体までの距離を認識することができる。このようにすることで、状況に応じて適切に危険度を設定することができるため、ユーザに対して効果的に注意を促すことができる。

【0053】

なお、ステップＳ４０７において、閾値距離よりも近い物体の大きさが所定サイズよりも小さい場合、危険度設定部１２７は、ステップＳ４０５と同様に、距離に応じて設定してもよい。つまり、距離が近くなるにつれて、危険度設定部１２７が小さいサイズの物体の危険度を高くする。換言すると、閾値距離よりも近い物体の大きさが所定サイズよりも小さい場合、中程度の危険度としてもよい。さらには、物体の大きさを３段階以上に分けて、危険度を多段階に設定してもよい。

【0054】

また、危険度設定部１２７は、所定サイズよりも小さい物体については、Ｓ４０５において、閾値距離との比較対象から排除してもよい。つまり、危険度設定部１２７は、ある一定サイズ以上の物体のうち、最も車両１に近い物体までの距離を閾値距離と比較する。具体的には、車輪止め３０４は。所定サイズよりも小さい物体であるため、ステップＳ４０４での比較の対象とならない。

【0055】

さらに、車両１に接触する可能性が小さい物体、あるい、可能性がない物体については、危険度を０に設定してもよい。例えば、危険度設定部１２７が、物体の大きさとして物体の高さを示す高さ情報を算出する。物体の高さが車両１の最低地上高未満である場合、車両１に接触する可能性が小さい。たとえば、車輪止め３０４の高さは、車両１の最低地上高よりも低いため、危険度が小さい。よって、車輪止め３０４については、ステップＳ４０４での比較処理の対象から排除されてもよい。

【0056】

なお、閾値距離は車両１のサイズに応じて決定しても良い。例えば、４ｔトラック等は、車両の全長が約８ｍと長くなっている。よって、物体から車両まで閾値距離を約４ｍとする。また、例えば、小型・普通乗用車等では、全長が約４．７０ｍ以下と短くなる。よって、物体から車両までの閾値距離は、約２ｍとすることができる。あるいは、駐車スペース３００の奥行きが車両の全長の１割増し程度の場合は、閾値距離は、車両の全長未満としてもよい。また、車両１の横幅に応じて、閾値距離を決めてもよい。

【0057】

＜実施の形態２＞
実施の形態２では、危険度設定部１２７が走行情報に応じて危険度設定処理を行っている。より具体的には、進行方向に応じて、危険度設定部１２７が行う設定処理が切り替わっている。例えば、車両１が前進中では、危険度設定部１２７が第１の設定処理を行う。車両１が後退中では、危険度設定部１２７が第１の設定処理とは異なる第２の設定処理を行う。なお、車両１，及び表示制御システム１０の構成は、図１，図２等と同様であるため、説明を省略する。

【0058】

図８は、本実施の形態における表示制御処理を示すフローチャートである。まず、走行情報取得部１１０がＥＣＵ４０からの走行情報を取得する（Ｓ８０１）。つまり、進行方向取得部１１１が進行方向を取得する。さらに、速度情報取得部１１３が速度情報を取得してもよい。

【0059】

画像データ取得部１２１が後方カメラ２１Ｒで撮像された画像の画像データを取得する（Ｓ８０２）。物体検出部１２２が画像に含まれる物体を検出する（Ｓ８０３）。測距センサ２２で測定された測距データを取得する（Ｓ８０４）。危険度設定部１２７が測距データ、及び画像データに基づいて、物体の大きさを検出する（Ｓ８０５）。ステップＳ８０２～Ｓ８０５の処理は、実施の形態１のステップＳ４０１～Ｓ４０４の処理と基本的に同様であるため説明を省略する。ただし、ステップＳ８０２では、前方カメラ２１Ｆの前方画像と後方カメラ２１Ｒの後方画像の画像データを画像データ取得部１２１が取得している点で、ステップＳ４０１と相違している。

【0060】

次に、車両１が前進中か否かを判定する（Ｓ８０６）。車両１が前進中である場合（Ｓ８０６のＹＥＳ）、危険度設定部１２７は、第１の設定処理により危険度を設定する（Ｓ８０７）。第１の設定処理については、後述する。

【0061】

車両１が前進中でない場合（Ｓ８０６のＮＯ）、危険度設定部１２７は、第２の設定処理により危険度を設定する（Ｓ８０８）。なお、第２の設定処理は、第１の設定処理と異なる処理である。車両１が後退中である場合、危険度設定部１２７は、第１の設定処理と異なる第２の設定処理により、危険度を設定する。第２の設定処理は、例えば、実施の形態１で示した手法を用いることができる。つまり、第２の設定処理では、危険度設定部１２７が、物体の大きさ及び距離に応じて、危険度を設定する。

【0062】

そして、強調表示処理部１２８が危険度に応じて、強調表示処理を行う（Ｓ８０９）。つまり、強調表示処理部１２８は、危険度が高い物体には赤色を画像中の物体に重畳して重畳画像を生成する。出力部１２９が、強調表示処理が行われた重畳画像を表示部３０に出力する（Ｓ８１０）。

【0063】

以下、第１の設定処理の一例について、図９を用いて説明する。図９では、車両前方の道路３１０のカメラ画像と、そのカメラ画像に対して強調表示処理が行われた重畳画像が示されている。車両の前方には、高架橋３１１が設けられている。つまり、車両１は、高架橋３１１の下を通過する道路３１０を走行している。

【0064】

ここで、車両１の車高が高架橋３１１の下をくぐることができない高さとなっているとする。例えば、高架橋３１１が地面から１．９ｍの高さにあり、車高が１．９ｍよりも高くなっているとする。

【0065】

物体検出部１２２は、進行方向前方にある高架橋３１１を物体として検出する。危険度設定部１２７は、高架橋３１１の地上高を検出する。つまり、道路から高架橋３１１までのクリアランス高さを検出する。危険度設定部１２７は、車両１の高さと、高架橋３１１の地上高とを比較する。そして、比較結果に応じて、危険度設定部１２７が危険度を設定する。

【0066】

車両１が高架橋３１１をくぐることができない高さとなっている場合、危険度設定部１２７は高架橋３１１に高い危険度を設定する。強調表示処理部１２８が、危険度に応じた強調表示を行う。強調表示処理部１２８が、高い危険度に対応する赤色の強調色を警告表示３１２として画像中の高架橋３１１に重畳する。車両１が高架橋３１１に接触する可能性が高いため、表示部３０がユーザに対して警告表示３１２を行うことができる。図中の警告表示３１２は、進行方向上部の高架橋３１１のみに重畳しているが、高架橋３１１の全面に重畳しても良い。

【0067】

一般に、前進中の車速は後退中の車速よりも速くなる。例えば、後退中は車庫入れなどのため、車両１が比較的低速で進む。駐車のために後退しているときは、車速が遅くなるため、ユーザが高さ制限に気がつきやすい。これに対して、前進中では、車速が速くなるため、ユーザが高さ制限を見落としてしまうおそれがある。よって、前進中において、危険度設定部１２７は、物体の高さを検出して、車高と物体の高さを比較している。このように進行方向に応じて危険度設定処理を切替えることで、危険度を適切に設定することができる。運転者であるユーザに対して、より適切に注意を促すことができる。

【0068】

上記の説明では、高架橋３１１の下の道路３１０を通過する例について説明したが、本実施形態の処理は、高架橋３１１以外についても利用可能である。例えば、立体駐車場、屋内駐車場、機械式駐車場等の駐車場には、高さ制限がある場合がある。このような高さ制限のある駐車場に入庫する場合、本実施の形態の処理を適用することができる。高架橋３１１の桁下制限高や建物内の高さに応じて、危険度設定部１２７がその物体に危険度を設定する。危険度設定部１２７は、物体の高さを車両１の車高と比較して、車両１が物体の下を通過できるか否かを判定する。危険度設定部１２７は、判定結果に応じて、危険度を設定する。

【0069】

車両１の車高と物体のクリアランス高さとの比較結果に対して、マージンをとっても良い。例えば、上記の説明では、車両１の車高が高架橋３１１の桁下制限高よりも高い場合に、警告表示を行っていたが、車両１の車高が高架橋３１１の桁下制限高と同程度であれば、警告表示を行ってもよい。危険度設定部１２７は、車両１の車高と、物体の地上高との差が所定値以下の場合に、危険度を高くしても良い。具体的には、路面の段差などを考慮して、高さのマージンを取ることが可能となる。

【0070】

なお、第１の設定処理では、物体までの距離に応じて危険度を設定してもよい。例えば、距離が近づくほど、危険度を高くするように重み付けを行ってもよい。さらに、物体までの距離が閾値距離よりも遠い場合は、実施の形態１と同様に距離に応じて危険度を設定しても良い。そして、物体までの距離が閾値距離以下となったタイミングで高さを比較しても良い。このようにすることで、ユーザに対してより適切に注意を促すことができる。例えば、距離が遠い場合、高さ検出の精度が低い。

【0071】

また、危険度設定部１２７が、速度情報に基づいて危険度を設定してもよい。例えば、速度情報及び物体までの距離に応じて、危険度設定部１２７が警告表示を行うタイミングを調整しても良い。車両１が高速で走行している場合、物体検出から高架橋３１１に到着するまでの時間が短くなる。したがって、ユーザに対して早目に警告表示を行うことが好ましい。速度が速いほど、強調色を表示するタイミングを速くすることが好ましい。適切なタイミングで警告表示を行うことが可能となる。

【0072】

なお、危険度設定部１２７は、路面からの物体の高さ及び物体の左右方向の位置のうち少なくとも一つを計測してもよい。危険度設定部１２７は、計測結果に基づいて物体が車両１に衝突する可能性があるかを判定する。危険度設定部１２７は、判定結果に応じて物体に危険度を設定している。この処理について、図１０を用いて、説明する。ここでは、駐車スペース３２０に前進又は後退で駐車する例について説明する。

【0073】

駐車スペース３２０には、車輪止め３２４が設けられている。さらに、駐車スペース３２０の側方には、周辺車両３２１が駐車している。また、駐車スペース３２０の奥には、周辺車両３２２が駐車している。周辺車両３２１，３２２は、車両１までの距離が閾値距離よりも近くなっている。左右方向(水平方向)の大きさが、車両１と同程度となっている。さらに、駐車スペース３２０の遠方には、歩行者３２５がいる。なお、歩行者３２５までの距離が閾値距離よりも遠くなっている。

【0074】

危険度設定部１２７は、測距データに基づいて、周辺車両３２１，３２２の左右方向の位置を計測する。危険度設定部１２７は、左右方向の位置の計測結果に基づいて、車両１が周辺車両３２１、３２２に衝突する可能性があるかを判定する。危険度設定部１２７は、判定結果に応じて周辺車両３２１、３２２の危険度を設定する。

【0075】

例えば、周辺車両３２１は、駐車スペース３２０の直ぐ隣にあるため、危険度設定部１２７は、衝突する可能性があると判定する。周辺車両３２２は、駐車スペース３２０の進行方向前方にあるため、危険度設定部１２７は、衝突する可能性があると判定する。よって、危険度設定部１２７は、周辺車両３２１、３２２に対して高い危険度を設定する。なお、進行方向前方とは、後退中の場合は車両１の後方となり、前進中の場合は、車両１の前方となる。

【0076】

重畳画像において、周辺車両３２１，３２２には、それぞれ警告表示３３１、３３２が重畳されている。つまり、赤色などの強調色が警告表示３３１，３３２として周辺車両３２１、３２２に重畳されている。

【0077】

左右方向（水平方向）において、歩行者３２５は、車両１の進行方向前方から離れた位置にいる。危険度設定部１２７は、測距データに基づいて、歩行者３２５の左右方向における位置を計測する。危険度設定部１２７は、左右方向の位置の計測結果に基づいて、車両１が歩行者３２５に衝突する可能性があるかを判定する。危険度設定部１２７は、判定結果に応じて歩行者３２５の危険度を設定する。危険度設定部１２７は、歩行者３２５に衝突する可能性が極めて低いと判定する。歩行者３２５に対して低い危険度を設定する。危険度設定部１２７は、例えば、歩行者３２５の危険度を０とする。したがって、重畳画像において、歩行者３２５には、警告表示が行われていない。

【0078】

このように、物体の左右方向の位置、及び大きさ（横幅）に応じて、危険度設定部１２７が危険度を設定しても良い。また操舵角、物体の横幅、左右方向（横方向）位置に応じて、車両１と衝突する可能性があるかを判定してもよい。そして、車両１と接触する可能性が低い場合、危険度設定部１２７が危険度を低く設定しても良い。また、接触する可能性がない場合、危険度設定部１２７が危険度を０としてもよい。なお、左右方向の位置に基づいて、車両１と衝突するか否かを判定する場合、車両１の操舵角情報を考慮しても良い。つまり、危険度設定部１２７は、操舵角に応じた進行方向前方、例えば、左前方又は右前方に物体がいるか否かを判定してもよい。

【0079】

危険度設定部１２７は、測距データに基づいて、車輪止め３２４の高さを計測する。危険度設定部１２７は、高さの計測結果に基づいて、車輪止め３２４に衝突するか否かを判定する。危険度設定部１２７は、判定結果に応じて物体に危険度を設定する。車輪止め３２４は、車両１の最低地上高よりも低い。したがって、危険度設定部１２７は、車輪止め３２４と衝突する可能性がないと判定して、危険度を０に設定する。従って、重畳画像において、車輪止め３２４には警告表示が行われていない。

【0080】

このようにすることで、危険度設定部１２７が、より適切に危険度を設定することができる。よって、ユーザに対して効果的に注意喚起することができるようになる。また、表示制御装置１００は、危険度に基づいて、スピーカから注意喚起のための音声メッセージや警告音などを出力するようにしてもよい。つまり、出力部１２９は、危険度に応じた音声データを生成すればよい。

【0081】

また、上記の表示制御方法を実行するためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【符号の説明】

【0082】

１ 車両
２ センサユニット
２１Ｆ 前方カメラ
２１Ｒ 後方カメラ
２２ 測距センサ
３０ 表示部
４０ ＥＣＵ
１００ 表示制御装置
１１０ 走行情報取得部
１１１ 進行方向取得部
１１３ 速度情報取得部
１２１ 画像データ取得部
１２２ 物体検出部
１２５ 測距データ取得部
１２７ 危険度設定部
１２８ 強調表示処理部
１２９ 出力部
３０１ 後部壁
３０２ 側壁
３０４ 車輪止め
３１０ 道路
３１１ 高架橋
３１２ 警告表示
３２０ 駐車スペース
３２１、３２２ 周辺車両
３２４ 車輪止め
３２５ 歩行者
３３１、３３２ 警告表示

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】