IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

特開2024-169468表示制御装置、表示制御方法及びプログラム
<>
  • 特開-表示制御装置、表示制御方法及びプログラム 図1
  • 特開-表示制御装置、表示制御方法及びプログラム 図2
  • 特開-表示制御装置、表示制御方法及びプログラム 図3
  • 特開-表示制御装置、表示制御方法及びプログラム 図4
  • 特開-表示制御装置、表示制御方法及びプログラム 図5
  • 特開-表示制御装置、表示制御方法及びプログラム 図6
  • 特開-表示制御装置、表示制御方法及びプログラム 図7
  • 特開-表示制御装置、表示制御方法及びプログラム 図8
  • 特開-表示制御装置、表示制御方法及びプログラム 図9
  • 特開-表示制御装置、表示制御方法及びプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024169468
(43)【公開日】2024-12-05
(54)【発明の名称】表示制御装置、表示制御方法及びプログラム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20241128BHJP
   G06T 7/00 20170101ALI20241128BHJP
【FI】
G08G1/16 C
G06T7/00 650Z
【審査請求】有
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2024158308
(22)【出願日】2024-09-12
(62)【分割の表示】P 2021032767の分割
【原出願日】2021-03-02
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(72)【発明者】
【氏名】岡崎 龍一
(57)【要約】
【課題】適切に注意を促すことができる表示制御装置、方法、プログラムを提供する。
【解決手段】本実施の形態にかかる表示制御装置は、自車両の外部を撮影した画像の画像デ
ータを取得する画像データ取得部121と、画像に含まれる物体を検出する物体検出部1
22と、自車両から物体までの距離に関する測距データを取得する測距データ取得部12
5と、駐車スペースの奥行きが自車両の全長の1割増し程度の場合に、閾値の距離を自車両
の全長未満に設定し、距離が閾値以下となった場合に、物体のサイズに応じて、物体に危険
度を設定する危険度設定部127と、危険度に応じた強調表示処理を画像データに対して
行う強調表示処理部128と、強調表示処理が行われた強調表示画像を出力する出力部1
29と、を備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
自車両の外部を撮影した画像の画像データを取得する画像データ取得部と、
前記画像に含まれる物体を検出する物体検出部と、
前記自車両から前記物体までの距離に関する測距データを取得する測距データ取得部と、
前記距離が閾値以下となった場合に、前記物体のサイズに応じて、前記物体に危険度を
設定する危険度設定部と、
前記危険度に応じた強調表示処理を画像データに対して行う強調表示処理部と、
強調表示処理が行われた強調表示画像を出力する出力部と、
を備え、
前記閾値の距離は、駐車スペースの奥行きが前記自車両の全長の1割増し程度の場合に、前記自車両の全長未満とする、
表示制御装置。
【請求項2】
前記危険度設定部が、前記距離が閾値よりも大きい場合に、前記物体までの距離に応じ
て、前記物体に危険度を設定する請求項1に記載の表示制御装置。
【請求項3】
前記危険度設定部は、
路面からの前記物体の高さ及び前記物体の左右方向の位置のうち少なくとも一つを計測
し、
計測結果に基づいて前記物体が前記自車両に衝突するか否かを判定し、
判定結果に応じて物体に危険度を設定している、
請求項1又は2に記載の表示制御装置。
【請求項4】
自車両の外部を撮影した画像の画像データを取得するステップと、
前記画像に含まれる物体を検出するステップと、
前記自車両から前記物体までの距離に関する測距データを取得するステップと、
前記距離が閾値以下となった場合に、前記物体のサイズに応じて、前記物体に危険度を
設定するステップと、
前記危険度に応じた強調表示処理を画像データに対して行うステップと、
強調表示処理が行われた強調表示画像を出力するステップと、
を備え、
前記閾値の距離は、駐車スぺースの奥行きが前記自車両の全長の1割増し程度の場合に、前記自車両の全長未満とする、
表示制御方法。
【請求項5】
自車両の外部を撮影した画像の画像データを取得するステップと、
前記画像に含まれる物体を検出するステップと、
前記自車両から前記物体までの距離に関する測距データを取得するステップと、
駐車スペースの奥行きが前記自車両の全長の1割増し程度の場合に、閾値の距離を前記
自車両の全長未満に設定し、前記距離が前記閾値以下となった場合に、前記物体のサイズに応じて、前記物体に危険度を設定するステップと、
前記危険度に応じた強調表示処理を画像データに行うステップと、
強調表示処理が行われた強調表示画像を出力するステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置、表示制御方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1には車両から物体までの距離を検知する測距検知部を有する周辺監視装置が
開示されている。特許文献1の周辺監視装置は、車両に設けられた撮像部から物体を撮像
するカメラを有している。周辺監視装置は、物体の色と、物体の高さに応じた色とを重畳
表示している。
【0003】
特許文献2には、車両と障害物との距離を検出する障害物検知手段と、車両の外方向の
景観を撮像する撮像部とを備えた車両周辺視認装置が開示されている。特許文献2の装置
は障害物が検知された場合に、障害物の位置する方向が認識可能な図形を撮像映像に表示
されている。この装置は、障害物までの距離に応じて、図形の表示色又は大きさを変化さ
せている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2016-97843号公報
【特許文献2】特開2006-311222号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
このような装置において、運転者に対して適切に注意を促すことが望まれる。例えば、
複数の障害物が含まれている場合、より危険度の高い物体に対して注意を促すことが好ま
しい。しかしながら、複数の物体が車両の周辺が存在した場合、距離又は高さに応じて表
示色を変えると、表示が煩雑に生ってしまうおそれがある。例えば、危険度の低い物体が
強調されてしまうと、危険度の高い物体に対して効果的に注意を促すことができなくなっ
てしまう。
【0006】
上記課題に鑑み、本発明は、適切に危険度を設定することで、ユーザに対して効果的に
注意を促すことができる表示制御装置、表示制御方法及びプログラムを提供することを目
的とする。
【課題を解決するための手段】
【0007】
本実施形態にかかる表示制御装置は、自車両の外部を撮影した画像の画像データを取得
する画像データ取得部と、前記画像に含まれる物体を検出する物体検出部と、前記自車両
から前記物体までの距離に関する測距データを取得する測距データ取得部と、前記距離が
閾値以下となった場合に、前記物体のサイズに応じて、前記物体に危険度を設定する危険
度設定部と、前記危険度に応じた強調表示処理を画像データに対して行う強調表示処理部
と、強調表示処理が行われた強調表示画像を出力する出力部と、を備え、前記閾値の距離
は、駐車スペースの奥行きが前記自車両の全長の1割増し程度の場合に、前記自車両の全
長未満とする。
【0008】
本実施形態にかかる表示制御方法は、自車両の外部を撮影した画像の画像データを取得
するステップと、前記画像に含まれる物体を検出するステップと、前記自車両から前記物
体までの距離に関する測距データを取得するステップと、前記距離が閾値以下となった場
合に、前記物体のサイズに応じて、前記物体に危険度を設定するステップと、前記危険度
に応じた強調表示処理を画像データに対して行うステップと、強調表示処理が行われた強
調表示画像を出力するステップと、を備え、前記閾値の距離は、駐車スペースの奥行きが
前記自車両の全長の1割増し程度の場合に、前記自車両の全長未満とする。
【0009】
本実施形態にかかるプログラムは、自車両の外部を撮影した画像の画像データを取得す
るステップと、前記画像に含まれる物体を検出するステップと、前記自車両から前記物体
までの距離に関する測距データを取得するステップと、駐車スペースの奥行きが前記自車
両の全長の1割増し程度の場合、閾値の距離を前記自車両の全長未満に設定し、前記距離
が前記閾値以下となった場合に、前記物体のサイズに応じて、前記物体に危険度を設定す
るステップと、前記危険度に応じた強調表示処理を画像データに対して行うステップと、
強調表示処理が行われた強調表示画像を出力するステップと、をコンピュータに実行させ
る。
【発明の効果】
【0010】
本発明によれば、適切に危険度を設定することで、ユーザに対して効果的に注意を促す
ことができる表示制御装置、表示制御方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0011】
図1】実施の形態にかかる車両を示す図である。
図2】実施の形態にかかる表示制御装置を示す図である。
図3】危険度に応じた表示色を示すカラーバーである。
図4】実施の形態1にかかる表示制御方法を示すフローチャートである。
図5】実施の形態1にかかる表示制御を説明するための模式図である。
図6】実施の形態1にかかる表示制御を説明するための模式図である。
図7】実施の形態1にかかる表示制御を説明するための模式図である。
図8】実施の形態2にかかる表示制御方法を示すフローチャートである。
図9】実施の形態2にかかる表示制御を説明するための模式図である。
図10】他の表示制御方法を説明するための模式図である。
【発明を実施するための形態】
【0012】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を
以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を
解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及
び図面は、適宜、省略、及び簡略化がなされている。なお、各図面において、同一の要素
には同一の符号が付されており、必要に応じて重複説明は省略されている。
【0013】
<実施の形態1>
図1は、実施の形態1にかかる車両1を示す図である。車両1は、センサユニット2と
、表示制御装置100とを有する。なお、以下の説明において、車両1と、その周辺の車
両とを区別するため、適宜、車両1を自車両とし、周辺の車両を周辺車両とする場合があ
る。
【0014】
センサユニット2は、少なくとも1つの撮像装置を有しており、自車両の外部を撮像す
る。センサユニット2は、撮像装置で撮像された画像データを表示制御装置100に出力
する。センサユニット2は、障害物を検知する測距センサを有している。センサユニット
2は、測距センサで測定された測距データを表示制御装置100に出力する。
【0015】
表示制御装置100は、車両1の任意の位置に設置され得る。表示制御装置100は、
CAN(Controller Area Network)に接続され得る。表示制御装置100は、センサユ
ニット2によって撮像された画像において、物体(障害物)を検出するための画像処理を
行う。表示制御装置100は、ユーザに注意喚起を促すための強調表示を行う。例えば、
表示制御装置100は、画像に含まれる物体に対して赤色などの強調色を付す。これによ
り、運転者などのユーザが物体の存在を把握しやすくなり、接触を回避することができる
。表示制御装置100については後述する。
【0016】
なお、以下、用語「映像」は、情報処理における処理対象としての、「映像を示す映像
データ」も意味する。同様に、以下、用語「画像」は、情報処理における処理対象として
の、「画像を示す画像データ」も意味する。なお、画像及び映像は動画像でもよく、連続
する静止画像であってもよい。
【0017】
図2は、実施の形態1にかかる表示制御装置100及び表示制御装置100を有する表
示制御システム10の構成を示すブロック図である。表示制御システム10は、センサユ
ニット2と、表示部30と、ECU(Electronic Control Unit)40と、表示制御装置
100とを有する。表示制御装置100は、センサユニット2、表示部30、ECU40
のそれぞれと通信可能に接続している。
【0018】
表示部30は、例えばディスプレイ等である。表示部30は、表示制御装置100の制
御により映像を表示する。なお、表示部30は、スピーカを含んでもよい。この場合、表
示部30は、スピーカから音声を出力してもよい。また、表示制御装置100が車両1に
搭載される場合、表示部30は、車両1の内部に、車両の運転者が運転中に視認できる位
置に設けられ得る。この場合、表示部30は、後述するインタフェース部108によって
実現されてもよい。表示部30は、カーナビゲーションシステムのモニタであってもよい
。また、表示部30は、車両1に常設された車載装置である必要はない。表示部30は、
例えば、ユーザの所有するスマートフォンやタブレット端末等の情報端末のディスプレイ
によって構成されてもよい。さらに、表示制御処理の一部は、表示部を有するスマートフ
ォンなどで行われてもよい。
【0019】
センサユニット2は、前方カメラ21Fと後方カメラ21Rとを備えている。車両1の
前進時において、前方カメラ21Fは、車両1の前方画像を撮像する。車両1の後退時に
おいて、後方カメラ21Rは車両1の後方画像を撮像する。前方カメラ21Fと後方カメ
ラ21Rは、例えば毎秒30フレーム(30fps)の撮影データを生成し、生成した撮
影データを30分の1秒ごとに表示制御装置100に供給する。撮影データは、例えば、
H.264もしくはH.265等の方式を用いて生成されてもよい。あるいは、センサユ
ニット2は、車両1の全周囲を撮像する全周カメラであってもよい。
【0020】
センサユニット2は、車両1の周辺にある物体までの距離を検知するための測距センサ
22を有している。測距センサ22は、自車両から物体までの距離を検出する。測距セン
サ22は例えば、LIDAR(Laser Imaging Detection and Ranging)である。あるい
は、測距センサ22は、赤外線カメラ、ステレオカメラ、ミリ波レーダなどであってもよ
い。さらに、測距センサ22はこれらのセンサを組み合わせて構成されていても良い。ま
た、測距センサ22は物理的に単一の装置に限られるものではない。例えば、車両1の複
数箇所に配置されたLIDARで測距センサ22が構成されていてもよい。
【0021】
測距センサ22は自車両から物体までの距離に関する測距データを表示制御装置100
に供給する。さらに、測距センサ22は、障害物までの距離とともにその方向を検知して
もよい。つまり、測距データは、物体までの距離と、物体の方向とが対応付けられていて
も良い。ここで、物体の方向とは、自車両を基準とする方向である。また、物体の前後左
右方向は方位角度で示され、上下方向は仰俯角度で示されていても良い。
【0022】
ECU40は、車両1が有するものであって、車両1の制御等を司っている構成の一部
である。表示制御装置100とECU40とは例えばCANなどの車内ネットワークを介
して通信可能に接続する。
【0023】
表示制御装置100は、制御部102、記憶部104、通信部106,及びインタフェ
ース部108(IF:Interface)を備えている。表示制御装置100は、走行情報取得
部110と、画像データ取得部121と、物体検出部122と、測距データ取得部125
と、危険度設定部127と、強調表示処理部128と、出力部129とを備えている。走
行情報取得部110は、進行方向取得部111と速度情報取得部113とを備えている。
【0024】
制御部102は、例えばCPU(Central Processing Unit)等のプロセッサである。
制御部102は、制御処理及び演算処理等を行う演算装置としての機能を有する。記憶部
104は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部104は、
例えばROM(Read Only Memory)又はRAM(Random Access Memory)等である。
記憶部104は、制御部102によって又は制御部102の機能として実行される制御
プログラム及び演算プログラム等を記憶するための機能を有する。また、記憶部104
は、処理データ等を一時的に記憶するための機能を有する。
【0025】
通信部106は、センサユニット2及び表示部30と通信を行うために必要な処理を行
う。また、通信部106は、図示しないCANと通信を行うために必要な処理を行っても
よい。通信部106は、通信ポートを含み得る。インタフェース部108は、例えばユー
ザインタフェース(UI:User Interface)である。インタフェース部108は、キーボ
ード、タッチパネル又はマウス等の入力装置とスピーカ等の出力装置とを有する。
【0026】
したがって、表示制御装置100は、コンピュータとしての機能を有する。また、表示
制御装置100は、記憶部104に格納されたプログラムを制御部102のプロセッサが
実行することによって、走行情報取得部110、画像データ取得部121、物体検出部1
22、測距データ取得部125、危険度設定部127、強調表示処理部128、出力部1
29といった構成要素を実現する。また、表示制御装置100の各構成要素は、プログラ
ムによるソフトウェアで実現することに限ることなく、ハードウェア及びソフトウェアの
うちのいずれかの組み合わせ等により実現してもよい。また、表示制御装置100の各構
成要素は、例えばFPGA(field-programmable gate array)又はマイコンやSOC(S
ystem on a chip)等の、使用者がプログラミング可能な集積回路を用いて実現してもよ
い。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実
現してもよい。このことは、後述する他の実施の形態においても同様である。
【0027】
走行情報取得部110は、車両1の走行に関する走行情報を取得する。走行情報取得部
110は、ECU40から各種情報を取得する。走行情報取得部110は、進行方向取得
部111と、速度情報取得部113とを備えている。
【0028】
進行方向取得部111は、車両1の進行方向を示す情報を取得する。例えば、進行方向
取得部111は、車両1のシフト位置に基づいて、前進中又は後退中であるかを検知する
。車両1のシフトポジションがリバース(R)の位置となった場合、車両1が後退中であ
ることを検知する。あるいは、車両1のシフトレバーがドライブ(D)等の位置となった
場合、車両1が前進中であることを検知する。
【0029】
さらに、進行方向取得部111は、進行方向として、操舵角情報を取得しても良い。進
行方向取得部111は、CAN等からの信号を取得して車両1の車輪における操舵角を示
す操舵角情報を取得する。なお、操舵角情報は、操舵角度を示す情報に加えて、右又は左
といった操舵方向を示す情報も含む。
【0030】
速度情報取得部113は、車両1の速度を示す速度情報を取得する。例えば、速度情報
取得部113は、ECU40からの車速パルスに基づいて、車速を検出する。速度情報取
得部113は、例えば時速40キロメートルという車速を示す速度情報を取得する。ある
いは、速度情報は、低速、中速、高速などのような段階的な情報であってもよい。
【0031】
画像データ取得部121は前方カメラ21F及び後方カメラ21Rで撮像された画像デ
ータを取得する。なお、進行方向取得部111で取得された進行方向に応じて、画像デー
タ取得部121は。取得する画像を切替えても良い。例えば、車両1が前進中である場合
、画像データ取得部121が前方カメラ21Fの前方画像を取得する。車両1が後退中で
ある場合、画像データ取得部121が後方カメラ21Rの後方画像を取得する。もちろん
、画像データ取得部121は、前方画像と、後方画像の両方を取得しても良い。この場合
、進行方向に応じて、表示制御装置100が処理対象となる画像を切替えれば良い。
【0032】
物体検出部122は、画像に含まれる物体を検出する。物体検出部122は、画像デー
タに対して画像解析を行うことで、画像内の物体を認識する。例えば、物体検出部122
は、予め登録されたパターンと画像とを比較することで、物体認識を行うことができる。
また、画像内に複数の物体が含まれている場合、物体検出部122はそれぞれの物体を検
出する。さらに、物体検出部122は、画像内における物体の位置座標やサイズを特定し
てもよい。
【0033】
ここで、物体は、周辺車両、壁、車輪止め、高架橋、自転車などである。また、物体に
は、歩行者などの人が含まれていても良い。なお、物体検出部122における物体検出処
理については公知の手法を用いることができるため、詳細な説明を省略する。
【0034】
測距データ取得部125は、物体までの距離に関する測距データを取得する。また、画
像に複数の物体の画像が含まれる場合、測距データ取得部125は、それぞれの物体まで
距離を求める。つまり、測距センサ22からの測距データに基づいて、自車両から各物体
までの距離を算出する。
【0035】
危険度設定部127は、物体に危険度を設定する。また、画像に複数の物体の画像が含
まれる場合、危険度設定部127は、それぞれの物体に危険度を設定する。つまり、物体
毎に危険度を示す値が付される。
【0036】
具体的には、危険度設定部127は自車両が物体に接触する可能性、及び接触したとき
の影響に応じて、危険度を設定する。危険度設定部127は、物体までの距離に応じて危
険度を設定する。危険度設定部127は、危険度の値を例えば10段階で表現し、10を
最も高い危険度、0を最も低い危険度とする。危険度の値は、距離が近い物体ほど危険度
を高くし、距離が遠い物体ほど危険度を低くする。また、接触する可能性が極めて低い物
体については、危険度設定部127は、危険度を0としてもよい、例えば、車両1の進路
から大きく外れている物体については、危険度を0に設定するようにしてもよい。
【0037】
あるいは、危険度設定部127は、物体のサイズに応じて危険度を設定する。危険度設
定部127は、サイズが大きい物体ほど危険度を高くし、サイズが小さい物体ほど危険度
を低くする。例えば、危険度設定部127は、画像内における物体画像の大きさ、及び物
体までの距離に応じて物体のサイズを算出することができる。危険度設定部127におけ
る処理については後述する。ここで、物体のサイズは、水平方向(左右方向)における大
きさ、鉛直方向(上下方向)における大きさの一方又は両方とすることができる。
【0038】
強調表示処理部128は、危険度に応じて、画像中の物体を強調するための強調表示処
理を行う。例えば、強調表示処理部128は、危険度の高い物体に対しては赤色等の強調
色を画像中の物体に重畳する。強調表示処理部128は、危険度の低い物体は青色などの
非強調色を画像中の物体に重畳する。強調表示処理部128は、危険ではない物体、つま
り自車両と接触する可能性がない物体に対して、強調表示処理を行わない。強調表示処理
部128は、ユーザに対する警告を表示するための、危険度が高い物体ほど強調される色
を画像中の物体に重畳する。
【0039】
危険度は、図3に示すような配色分布のカラーバーで表すことができる。危険度が高く
なるほど赤色、つまり長波長側となり、危険度が低くなるほど青色、つまり短波長側とな
る。強調表示処理部128は、危険度に応じた色を画像中の物体に重畳する。例えば、画
像中において、危険度の高い物体には赤色が重畳され、危険度の低い物体には、青色が重
畳される。危険度が中間の物体に対しては緑色が画像中の物体に重畳される。そして、強
調表示処理部128は、危険度に応じた色を画像中の物体に重畳した重畳画像を生成する
。出力部129は、重畳画像が強調表示画像として表示部30に表示されるように、画像
データを出力する。
【0040】
このように危険度に応じて重畳色を変えることで、ユーザに対する注意喚起を適切に行
うことができる。つまり、危険度が高いほど、強調して表示されるため、ユーザが危険度
の高い物体を容易に認識することができる。画像中の物体に強調色を重畳することで、警
告表示を行うことができる。ユーザが、危険度の低い物体よりも危険度の高い物体に注意
して運転することができる。ユーザに対して、物体への注意を適切に促すことができる。
よって、より安全な運転に資することができる。
【0041】
強調表示は図3に示すような配色分布に限られるものではない。例えば、危険度は濃淡
で示されていても良い。例えば、物体の画像に同一色を付して、危険度に応じて濃淡のみ
を変えてもよい。強調表示処理部128は物体画像の色調、濃淡、明度、透明度などを変
えることで強調表示処理を行ってもよい。また、強調表示処理部128は、物体に対する
輪郭線を付すことで、強調表示処理を行ってもよい。この場合、危険度が高い物体ほど輪
郭線を太くする。このように、強調表示処理部128は、危険度が高いほど強調される様
な強調表示処理を行う。
【0042】
図4図7を用いて、危険度の設定処理と強調表示処理の例について説明する。図4
、本実施形態にかかる表示制御処理を示すフローチャートである。図5図7は後退時に
おける危険度と、その強調表示処理を説明する図である。図5図7は車両1が、駐車ス
ペース300に後退で駐車する例を示している。図5図7では、上から順に重畳画像、
危険度に応じた配色、カメラ画像、及び上面図が示されている。そして、車両1が低速で
後退することにより、図5図6図7の順で状態が変化している。
【0043】
駐車スペース300の後方には後部壁301が配置され、左右には側壁302が配置さ
れている。つまり、駐車スペース300の三方は、後部壁301及び側壁302で囲まれ
ている。そして、後部壁301と側壁302とで仕切られた駐車スペース300に後退し
ていく。駐車スペース300の路面には車輪止め304が配置されている。後方カメラ2
1Rは駐車スペース300を撮像している。測距センサ22は、後部壁301と側壁30
2までの距離を物体までの距離として検出する。
【0044】
まず、画像データ取得部121が後方カメラ21Rで撮像された画像の画像データを取
得する(S401)。物体検出部122が画像に含まれる物体を検出する(S402)。
例えば、物体検出部122は、画像に含まれる後部壁301、側壁302、及び車輪止め
304をそれぞれ検出する。測距センサ22で測定された測距データを取得する(S40
3)。これにより、車両1から後部壁301、側壁302、及び車輪止め304までの距
離がそれぞれ算出される。危険度設定部127が測距データ、及び画像データに基づいて
、物体の大きさを検出する(S404)。これにより、物体毎にその距離と大きさが検出
される。
【0045】
次に、危険度設定部127は、車両から物体までの距離が閾値距離以下か否かを判定す
る(S405)。危険度設定部127は、例えば、最接近物体までの距離を閾値距離と比
較する。危険度設定部127は、画像中に複数の物体が含まれる場合、最も近い物体まで
の距離が閾値距離以下となっているか否かを判定する。ここでは、後部壁301までの距
離を閾値距離との比較対象としている。
【0046】
物体までの距離が閾値距離以下ではない場合(S405のNO)、危険度設定部127
が距離に応じて危険度を設定する(S406)。つまり、物体までの距離が近いほど、危
険度設定部127は当該物体の危険度を高くする。
【0047】
物体までの距離が閾値距離以下である場合(S405のYES)、危険度設定部127
が物体の大きさに応じて危険度を設定する(S407)。つまり、物体が大きいほど、危
険度設定部127が危険度を高く設定する。
【0048】
そして、強調表示処理部128が危険度に応じて、強調表示処理を行う(S408)。
つまり、強調表示処理部128は、危険度が高い物体には赤色を画像中の物体に重畳して
重畳画像を生成する。出力部129が、強調表示処理が行われた重畳画像を表示部30に
出力する(S409)。車両1の後退中に処理が繰り返される。これにより、図5図7
に示す重畳画像が表示される。
【0049】
たとえば、図5図6では、後部壁301までの距離が閾値距離よりも遠くなっている
。よって、S406のように、危険度設定部127は物体までの距離に応じて危険度を設
定する。図5に示すように、後部壁301までの距離が遠い状態では、危険度が低くなっ
ている。そして、車両1が後退するにしたがって、車両1が後部壁301、側壁302に
接近していく。したがって、危険度が徐々に高くなっていく。図6に示す状態では、図5
に示す状態よりも、車両1が後部壁301、及び側壁302に接近しているため、後部壁
301、及び側壁302の危険度が高くなっている。よって、図5から図6の位置まで車
両1が後退するにつれて、重畳画像の色が変わっていく。
【0050】
一方、図7では、後部壁301までの距離が閾値距離以下となっている。よって、S4
07のように、危険度設定部127が、物体の大きさに応じて、危険度を設定する。後部
壁301、側壁302が所定サイズよりも大きいため、最も高い危険度が設定される。図
7の重畳画像では、最も高い危険度を示す赤色が、後部壁301、側壁302に重畳され
ている。
【0051】
このように、後部壁301までの距離が閾値距離以下となると、危険度設定部127が
物体の大きさに応じて危険度を設定する。このようにすることで危険度の高い大きな物体
をユーザが容易に認識することができるようになる。例えば、距離に応じてのみ危険度が
変化する場合、物体の大きさによらず同じ危険度が設定される。よって、車両1から離れ
た距離にある大きな物体に対しての注意を喚起することが困難である。これに対して、本
実施の形態によれば、物体が閾値距離よりも近くにある場合、物体の大きさに応じて、危
険度設定部127が危険度を設定している。車両1が大きな物体と接触すると、影響が大
きい。本実施の形態では、大きな物体の危険度を高く設定することができるため、車両1
から離れた大きな物体に対して注意を喚起することができる。
【0052】
このように、車両1が物体に対して閾値距離まで接近すると、危険度設定部127が物
体の大きさに応じて危険度を設定する。したがって、ユーザが危険度の高い大きな物体を
適切に認識することができる。ユーザである運転者が減速して、適切に駐車を行うことが
できる。これにより、効果的に運転をアシストすることができる。また、車両1が物体か
ら閾値距離以上離れていると、危険度設定部127が物体までの距離に応じて危険度を設
定する。よって、物体への接近に応じて危険度が変わっていくため、ユーザが物体までの
距離を認識することができる。このようにすることで、状況に応じて適切に危険度を設定
することができるため、ユーザに対して効果的に注意を促すことができる。
【0053】
なお、ステップS407において、閾値距離よりも近い物体の大きさが所定サイズより
も小さい場合、危険度設定部127は、ステップS405と同様に、距離に応じて設定し
てもよい。つまり、距離が近くなるにつれて、危険度設定部127が小さいサイズの物体
の危険度を高くする。換言すると、閾値距離よりも近い物体の大きさが所定サイズよりも
小さい場合、中程度の危険度としてもよい。さらには、物体の大きさを3段階以上に分け
て、危険度を多段階に設定してもよい。
【0054】
また、危険度設定部127は、所定サイズよりも小さい物体については、S405にお
いて、閾値距離との比較対象から排除してもよい。つまり、危険度設定部127は、ある
一定サイズ以上の物体のうち、最も車両1に近い物体までの距離を閾値距離と比較する。
具体的には、車輪止め304は。所定サイズよりも小さい物体であるため、ステップS4
04での比較の対象とならない。
【0055】
さらに、車両1に接触する可能性が小さい物体、あるい、可能性がない物体については
、危険度を0に設定してもよい。例えば、危険度設定部127が、物体の大きさとして物
体の高さを示す高さ情報を算出する。物体の高さが車両1の最低地上高未満である場合、
車両1に接触する可能性が小さい。たとえば、車輪止め304の高さは、車両1の最低地
上高よりも低いため、危険度が小さい。よって、車輪止め304については、ステップS
404での比較処理の対象から排除されてもよい。
【0056】
なお、閾値距離は車両1のサイズに応じて決定しても良い。例えば、4tトラック等は
、車両の全長が約8mと長くなっている。よって、物体から車両まで閾値距離を約4mと
する。また、例えば、小型・普通乗用車等では、全長が約4.70m以下と短くなる。よ
って、物体から車両までの閾値距離は、約2mとすることができる。あるいは、駐車スペ
ース300の奥行きが車両の全長の1割増し程度の場合は、閾値距離は、車両の全長未満
としてもよい。また、車両1の横幅に応じて、閾値距離を決めてもよい。
【0057】
<実施の形態2>
実施の形態2では、危険度設定部127が走行情報に応じて危険度設定処理を行ってい
る。より具体的には、進行方向に応じて、危険度設定部127が行う設定処理が切り替わ
っている。例えば、車両1が前進中では、危険度設定部127が第1の設定処理を行う。
車両1が後退中では、危険度設定部127が第1の設定処理とは異なる第2の設定処理を
行う。なお、車両1,及び表示制御システム10の構成は、図1図2等と同様であるた
め、説明を省略する。
【0058】
図8は、本実施の形態における表示制御処理を示すフローチャートである。まず、走行
情報取得部110がECU40からの走行情報を取得する(S801)。つまり、進行方
向取得部111が進行方向を取得する。さらに、速度情報取得部113が速度情報を取得
してもよい。
【0059】
画像データ取得部121が後方カメラ21Rで撮像された画像の画像データを取得する
(S802)。物体検出部122が画像に含まれる物体を検出する(S803)。測距セ
ンサ22で測定された測距データを取得する(S804)。危険度設定部127が測距デ
ータ、及び画像データに基づいて、物体の大きさを検出する(S805)。ステップS8
02~S805の処理は、実施の形態1のステップS401~S404の処理と基本的に
同様であるため説明を省略する。ただし、ステップS802では、前方カメラ21Fの前
方画像と後方カメラ21Rの後方画像の画像データを画像データ取得部121が取得して
いる点で、ステップS401と相違している。
【0060】
次に、車両1が前進中か否かを判定する(S806)。車両1が前進中である場合(S
806のYES)、危険度設定部127は、第1の設定処理により危険度を設定する(S
807)。第1の設定処理については、後述する。
【0061】
車両1が前進中でない場合(S806のNO)、危険度設定部127は、第2の設定処
理により危険度を設定する(S808)。なお、第2の設定処理は、第1の設定処理と異
なる処理である。車両1が後退中である場合、危険度設定部127は、第1の設定処理と
異なる第2の設定処理により、危険度を設定する。第2の設定処理は、例えば、実施の形
態1で示した手法を用いることができる。つまり、第2の設定処理では、危険度設定部1
27が、物体の大きさ及び距離に応じて、危険度を設定する。
【0062】
そして、強調表示処理部128が危険度に応じて、強調表示処理を行う(S809)。
つまり、強調表示処理部128は、危険度が高い物体には赤色を画像中の物体に重畳して
重畳画像を生成する。出力部129が、強調表示処理が行われた重畳画像を表示部30に
出力する(S810)。
【0063】
以下、第1の設定処理の一例について、図9を用いて説明する。図9では、車両前方の
道路310のカメラ画像と、そのカメラ画像に対して強調表示処理が行われた重畳画像が
示されている。車両の前方には、高架橋311が設けられている。つまり、車両1は、高
架橋311の下を通過する道路310を走行している。
【0064】
ここで、車両1の車高が高架橋311の下をくぐることができない高さとなっていると
する。例えば、高架橋311が地面から1.9mの高さにあり、車高が1.9mよりも高
くなっているとする。
【0065】
物体検出部122は、進行方向前方にある高架橋311を物体として検出する。危険度
設定部127は、高架橋311の地上高を検出する。つまり、道路から高架橋311まで
のクリアランス高さを検出する。危険度設定部127は、車両1の高さと、高架橋311
の地上高とを比較する。そして、比較結果に応じて、危険度設定部127が危険度を設定
する。
【0066】
車両1が高架橋311をくぐることができない高さとなっている場合、危険度設定部1
27は高架橋311に高い危険度を設定する。強調表示処理部128が、危険度に応じた
強調表示を行う。強調表示処理部128が、高い危険度に対応する赤色の強調色を警告表
示312として画像中の高架橋311に重畳する。車両1が高架橋311に接触する可能
性が高いため、表示部30がユーザに対して警告表示312を行うことができる。図中の
警告表示312は、進行方向上部の高架橋311のみに重畳しているが、高架橋311の
全面に重畳しても良い。
【0067】
一般に、前進中の車速は後退中の車速よりも速くなる。例えば、後退中は車庫入れなど
のため、車両1が比較的低速で進む。駐車のために後退しているときは、車速が遅くなる
ため、ユーザが高さ制限に気がつきやすい。これに対して、前進中では、車速が速くなる
ため、ユーザが高さ制限を見落としてしまうおそれがある。よって、前進中において、危
険度設定部127は、物体の高さを検出して、車高と物体の高さを比較している。このよ
うに進行方向に応じて危険度設定処理を切替えることで、危険度を適切に設定することが
できる。運転者であるユーザに対して、より適切に注意を促すことができる。
【0068】
上記の説明では、高架橋311の下の道路310を通過する例について説明したが、本
実施形態の処理は、高架橋311以外についても利用可能である。例えば、立体駐車場、
屋内駐車場、機械式駐車場等の駐車場には、高さ制限がある場合がある。このような高さ
制限のある駐車場に入庫する場合、本実施の形態の処理を適用することができる。高架橋
311の桁下制限高や建物内の高さに応じて、危険度設定部127がその物体に危険度を
設定する。危険度設定部127は、物体の高さを車両1の車高と比較して、車両1が物体
の下を通過できるか否かを判定する。危険度設定部127は、判定結果に応じて、危険度
を設定する。
【0069】
車両1の車高と物体のクリアランス高さとの比較結果に対して、マージンをとっても良
い。例えば、上記の説明では、車両1の車高が高架橋311の桁下制限高よりも高い場合
に、警告表示を行っていたが、車両1の車高が高架橋311の桁下制限高と同程度であれ
ば、警告表示を行ってもよい。危険度設定部127は、車両1の車高と、物体の地上高と
の差が所定値以下の場合に、危険度を高くしても良い。具体的には、路面の段差などを考
慮して、高さのマージンを取ることが可能となる。
【0070】
なお、第1の設定処理では、物体までの距離に応じて危険度を設定してもよい。例えば
、距離が近づくほど、危険度を高くするように重み付けを行ってもよい。さらに、物体ま
での距離が閾値距離よりも遠い場合は、実施の形態1と同様に距離に応じて危険度を設定
しても良い。そして、物体までの距離が閾値距離以下となったタイミングで高さを比較し
ても良い。このようにすることで、ユーザに対してより適切に注意を促すことができる。
例えば、距離が遠い場合、高さ検出の精度が低い。
【0071】
また、危険度設定部127が、速度情報に基づいて危険度を設定してもよい。例えば、
速度情報及び物体までの距離に応じて、危険度設定部127が警告表示を行うタイミング
を調整しても良い。車両1が高速で走行している場合、物体検出から高架橋311に到着
するまでの時間が短くなる。したがって、ユーザに対して早目に警告表示を行うことが好
ましい。速度が速いほど、強調色を表示するタイミングを速くすることが好ましい。適切
なタイミングで警告表示を行うことが可能となる。
【0072】
なお、危険度設定部127は、路面からの物体の高さ及び物体の左右方向の位置のうち
少なくとも一つを計測してもよい。危険度設定部127は、計測結果に基づいて物体が車
両1に衝突する可能性があるかを判定する。危険度設定部127は、判定結果に応じて物
体に危険度を設定している。この処理について、図10を用いて、説明する。ここでは、
駐車スペース320に前進又は後退で駐車する例について説明する。
【0073】
駐車スペース320には、車輪止め324が設けられている。さらに、駐車スペース3
20の側方には、周辺車両321が駐車している。また、駐車スペース320の奥には、
周辺車両322が駐車している。周辺車両321,322は、車両1までの距離が閾値距
離よりも近くなっている。左右方向(水平方向)の大きさが、車両1と同程度となっている
。さらに、駐車スペース320の遠方には、歩行者325がいる。なお、歩行者325ま
での距離が閾値距離よりも遠くなっている。
【0074】
危険度設定部127は、測距データに基づいて、周辺車両321,322の左右方向の
位置を計測する。危険度設定部127は、左右方向の位置の計測結果に基づいて、車両1
が周辺車両321、322に衝突する可能性があるかを判定する。危険度設定部127は
、判定結果に応じて周辺車両321、322の危険度を設定する。
【0075】
例えば、周辺車両321は、駐車スペース320の直ぐ隣にあるため、危険度設定部1
27は、衝突する可能性があると判定する。周辺車両322は、駐車スペース320の進
行方向前方にあるため、危険度設定部127は、衝突する可能性があると判定する。よっ
て、危険度設定部127は、周辺車両321、322に対して高い危険度を設定する。な
お、進行方向前方とは、後退中の場合は車両1の後方となり、前進中の場合は、車両1の
前方となる。
【0076】
重畳画像において、周辺車両321,322には、それぞれ警告表示331、332が
重畳されている。つまり、赤色などの強調色が警告表示331,332として周辺車両3
21、322に重畳されている。
【0077】
左右方向(水平方向)において、歩行者325は、車両1の進行方向前方から離れた位
置にいる。危険度設定部127は、測距データに基づいて、歩行者325の左右方向にお
ける位置を計測する。危険度設定部127は、左右方向の位置の計測結果に基づいて、車
両1が歩行者325に衝突する可能性があるかを判定する。危険度設定部127は、判定
結果に応じて歩行者325の危険度を設定する。危険度設定部127は、歩行者325に
衝突する可能性が極めて低いと判定する。歩行者325に対して低い危険度を設定する。
危険度設定部127は、例えば、歩行者325の危険度を0とする。したがって、重畳画
像において、歩行者325には、警告表示が行われていない。
【0078】
このように、物体の左右方向の位置、及び大きさ(横幅)に応じて、危険度設定部12
7が危険度を設定しても良い。また操舵角、物体の横幅、左右方向(横方向)位置に応じ
て、車両1と衝突する可能性があるかを判定してもよい。そして、車両1と接触する可能
性が低い場合、危険度設定部127が危険度を低く設定しても良い。また、接触する可能
性がない場合、危険度設定部127が危険度を0としてもよい。なお、左右方向の位置に
基づいて、車両1と衝突するか否かを判定する場合、車両1の操舵角情報を考慮しても良
い。つまり、危険度設定部127は、操舵角に応じた進行方向前方、例えば、左前方又は
右前方に物体がいるか否かを判定してもよい。
【0079】
危険度設定部127は、測距データに基づいて、車輪止め324の高さを計測する。危
険度設定部127は、高さの計測結果に基づいて、車輪止め324に衝突するか否かを判
定する。危険度設定部127は、判定結果に応じて物体に危険度を設定する。車輪止め3
24は、車両1の最低地上高よりも低い。したがって、危険度設定部127は、車輪止め
324と衝突する可能性がないと判定して、危険度を0に設定する。従って、重畳画像に
おいて、車輪止め324には警告表示が行われていない。
【0080】
このようにすることで、危険度設定部127が、より適切に危険度を設定することがで
きる。よって、ユーザに対して効果的に注意喚起することができるようになる。また、表
示制御装置100は、危険度に基づいて、スピーカから注意喚起のための音声メッセージ
や警告音などを出力するようにしてもよい。つまり、出力部129は、危険度に応じた音
声データを生成すればよい。
【0081】
また、上記の表示制御方法を実行するためのプログラムは、様々なタイプの非一時的な
コンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され
、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタ
イプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュー
タ可読媒体の例は、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read
Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PR
OM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM
(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコン
ピュータ可読媒体(transitory computer readable medium)によってコンピュータに供
給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波
を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無
線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【0082】
1 車両
2 センサユニット
21F 前方カメラ
21R 後方カメラ
22 測距センサ
30 表示部
40 ECU
100 表示制御装置
110 走行情報取得部
111 進行方向取得部
113 速度情報取得部
121 画像データ取得部
122 物体検出部
125 測距データ取得部
127 危険度設定部
128 強調表示処理部
129 出力部
301 後部壁
302 側壁
304 車輪止め
310 道路
311 高架橋
312 警告表示
320 駐車スペース
321、322 周辺車両
324 車輪止め
325 歩行者
331、332 警告表示
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10