IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通テン株式会社の特許一覧

<>
  • 特許-表示制御装置及び表示制御方法 図1
  • 特許-表示制御装置及び表示制御方法 図2
  • 特許-表示制御装置及び表示制御方法 図3
  • 特許-表示制御装置及び表示制御方法 図4
  • 特許-表示制御装置及び表示制御方法 図5
  • 特許-表示制御装置及び表示制御方法 図6
  • 特許-表示制御装置及び表示制御方法 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-25
(45)【発行日】2022-11-02
(54)【発明の名称】表示制御装置及び表示制御方法
(51)【国際特許分類】
   H04N 7/18 20060101AFI20221026BHJP
   B60R 1/00 20220101ALI20221026BHJP
   G06F 3/0481 20220101ALI20221026BHJP
   G09G 5/00 20060101ALI20221026BHJP
【FI】
H04N7/18 J
B60R1/00
G06F3/0481
G09G5/00 550C
G09G5/00 510A
G09G5/00 530T
G09G5/00 510H
【請求項の数】 7
(21)【出願番号】P 2018079196
(22)【出願日】2018-04-17
(65)【公開番号】P2019186887
(43)【公開日】2019-10-24
【審査請求日】2021-03-03
(73)【特許権者】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】100106149
【弁理士】
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【弁理士】
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【弁理士】
【氏名又は名称】久保 貴則
(74)【代理人】
【識別番号】110001933
【氏名又は名称】弁理士法人 佐野特許事務所
(72)【発明者】
【氏名】佐野 裕明
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開2004-96359(JP,A)
【文献】特開2009-188810(JP,A)
【文献】特開2004-312063(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
B60R 1/00
G06F 3/01-3/04895
G09G 5/00-5/40
(57)【特許請求の範囲】
【請求項1】
車両に搭載された表示装置の表示動作を制御する表示制御装置において、
前記車両に搭載された複数のカメラのいずれかで撮影された前記車両の周辺領域を示す撮影画像を取得する画像取得部と、
前記撮影画像を前記表示装置の画面に表示画像として表示させるとともに、前記表示画像を撮影している前記カメラの撮影方向に対応する前記表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す指標を表示させる表示制御部と、を備え
前記表示制御部は、前記カメラごとの前記撮影方向位置に前記表示画像を当該カメラの前記撮影画像に切り替えるための画像切替キーを配置させ、前記表示画像と同じ前記撮影画像に切り替えるための前記画像切替キーは選択不能にする表示制御装置。
【請求項2】
前記表示制御部は、前記カメラごとの前記撮影方向位置に前記表示画像を当該カメラの前記撮影画像に切り替えるための画像切替キーを配置可能に構成されており、前記表示画像と異なる前記撮影画像に切り替えるための前記画像切替キーは表示させる一方、前記表示画像と同じ前記撮影画像に切り替えるための前記画像切替キーは前記画面に表示させない請求項1に記載の表示制御装置。
【請求項3】
前記車両の操作状態に係る操作情報を取得する操作情報取得部と、
前記車両周辺の他の物体に係る周辺情報を取得する周辺情報取得部と、
を備え、
前記表示制御部は、前記操作情報と、前記周辺情報とに基づき前記表示画像の周囲の前記車両に対する前記物体の方向と同じ位置に前記物体を表す指標を表示させる請求項1または請求項2に記載の表示制御装置。
【請求項4】
前記表示制御部は、前記操作情報と、前記物体の位置とに基づき前記物体を表す前記指標の態様を変更させる請求項3に記載の表示制御装置。
【請求項5】
前記表示制御部は、前記操作情報と、前記車両の速度及び前記物体の速度と、前記車両から前記物体までの距離とに基づき前記物体を表す前記指標を表示させる位置を変更させる請求項3に記載の表示制御装置。
【請求項6】
前記表示制御部は、前記操作情報と、前記車両の速度及び前記物体の速度と、前記車両から前記物体までの距離とに基づき前記物体を表す前記指標の態様を変更させる請求項3に記載の表示制御装置。
【請求項7】
車両に搭載された表示装置の表示動作を制御する表示制御方法において、
前記車両に搭載された複数のカメラのいずれかで撮影された前記車両の周辺領域を示す撮影画像を取得する工程と、
前記撮影画像を前記表示装置の画面に表示画像として表示させる工程と、
前記表示画像を撮影している前記カメラの撮影方向に対応する前記表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す指標を表示させる工程と、
前記カメラごとの前記撮影方向位置に前記表示画像を当該カメラの前記撮影画像に切り替えるための画像切替キーを配置させる工程と、
前記表示画像と同じ前記撮影画像に切り替えるための前記画像切替キーを選択不能にする工程と、を含む表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置及び表示制御方法に関する。
【背景技術】
【0002】
車両に複数のカメラを搭載し、各カメラで撮影された車両の周辺領域を示す撮影画像を車室内に搭載された表示装置に表示させる技術が種々提案されている。
【0003】
例えば、特許文献1で提案された車両周辺視認装置は、モニタの画面の、カメラの撮影方向とは反対側の端部領域にマーク部を表示する。これにより、モニタの画面がカメラの撮影方向にシフトし、映像がどの方向のカメラで撮影されたものか判別することができる。また例えば、特許文献2で提案された車両周辺監視装置は、表示装置の画面に表示された画像が車両の周囲のどの範囲を撮像した画像であるかを表すアイコンを当該画像の下または横に表示する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2002-46532号公報
【文献】特開2010-147516号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術では、表示装置の画面に表示された撮影画像が、車両に対するいずれの方向の周辺領域を示す撮影画像であるのか、瞬時に判別し難いことが課題であった。
【0006】
本発明は、上記の課題に鑑みなされたものであり、表示装置の画面の表示画像が、車両に対するいずれの方向の周辺領域を示す撮影画像であるのか、一目して瞬時に判別することが可能な表示制御技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る表示制御装置は、車両に搭載された表示装置の表示動作を制御する表示制御装置において、前記車両に搭載された複数のカメラのいずれかで撮影された前記車両の周辺領域を示す撮影画像を取得する画像取得部と、前記撮影画像を前記表示装置の画面に表示画像として表示させるとともに、前記表示画像を撮影している前記カメラの撮影方向に対応する前記表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す指標を表示させる表示制御部と、を備え、前記表示制御部は、前記カメラごとの前記撮影方向位置に前記表示画像を当該カメラの前記撮影画像に切り替えるための画像切替キーを配置させ、前記表示画像と同じ前記撮影画像に切り替えるための前記画像切替キーは選択不能にする構成(第1の構成)である。
【0008】
また、上記第1の構成の表示制御装置において、前記表示制御部は、前記カメラごとの前記撮影方向位置に前記表示画像を当該カメラの前記撮影画像に切り替えるための画像切替キーを配置可能に構成されており、前記表示画像と異なる前記撮影画像に切り替えるための前記画像切替キーは表示させる一方、前記表示画像と同じ前記撮影画像に切り替えるための前記画像切替キーは前記画面に表示させない構成(第2の構成)であっても良い。
【0009】
また、上記第1または第2の構成の表示制御装置において、前記車両の操作状態に係る操作情報を取得する操作情報取得部と、前記車両周辺の他の物体に係る周辺情報を取得する周辺情報取得部と、を備え、前記表示制御部は、前記操作情報と、前記周辺情報とに基づき前記表示画像の周囲の前記車両に対する前記物体の方向と同じ位置に前記物体を表す指標を表示させる構成(第3の構成)であっても良い。
【0010】
また、上記第3の構成の表示制御装置において、前記表示制御部は、前記操作情報と、前記物体の位置とに基づき前記物体を表す前記指標の態様を変更させる構成(第4の構成)であっても良い。
【0011】
また、上記第3の構成の表示制御装置において、前記表示制御部は、前記操作情報と、前記車両の速度及び前記物体の速度と、前記車両から前記物体までの距離とに基づき前記物体を表す前記指標を表示させる位置を変更させる構成(第5の構成)であっても良い。
【0012】
また、上記第3の構成の表示制御装置において、前記表示制御部は、前記操作情報と、前記車両の速度及び前記物体の速度と、前記車両から前記物体までの距離とに基づき前記物体を表す前記指標の態様を変更させる構成(第6の構成)であっても良い。
【0013】
また、本発明に係る表示制御方法は、車両に搭載された表示装置の表示動作を制御する表示制御方法において、前記車両に搭載された複数のカメラのいずれかで撮影された前記車両の周辺領域を示す撮影画像を取得する工程と、前記撮影画像を前記表示装置の画面に表示画像として表示させる工程と、前記表示画像を撮影している前記カメラの撮影方向に対応する前記表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す指標を表示させる工程と、前記カメラごとの前記撮影方向位置に前記表示画像を当該カメラの前記撮影画像に切り替えるための画像切替キーを配置させる工程と、前記表示画像と同じ前記撮影画像に切り替えるための前記画像切替キーを選択不能にする工程と、を含む構成(第7の構成)である。
【発明の効果】
【0014】
本発明の構成によれば、表示装置の画面の表示画像が、車両に対するいずれの方向の周辺領域を示す撮影画像であるのか、一目して瞬時に判別することが可能である。
【図面の簡単な説明】
【0015】
図1】実施形態の表示制御装置の構成を示す図
図2】カメラが車両に配置される位置を例示する図
図3】車両の周辺領域を示す合成画像を生成する手法を説明するための図
図4】表示制御装置が構成する表示装置の画面表示を例示する図
図5】表示制御装置による表示装置の画面表示の動作例を示すフローチャート
図6】表示制御装置による表示装置の画面表示の動作例を示すタイミングチャート
図7】表示制御装置による表示装置の画面表示の動作状態を例示する図
【発明を実施するための形態】
【0016】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下の内容に限定されるものではない。
【0017】
また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向(前方)」とする。車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向(後方)」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の右側から左側に向かう方向を「左方向」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の左側から右側に向かう方向を「右方向」とする。
【0018】
<1.表示制御装置の概要>
図1は、実施形態の表示制御装置1の構成を示す図である。表示制御装置1は、例えば表示装置2、センサ部3、撮影部4(車載カメラ)、画像処理装置5とともに車両に搭載される。表示制御装置1は、車両に搭載された表示装置2の表示動作を制御する。表示制御装置1は、例えば表示装置2、センサ部3、撮影部4及び画像処理装置5から各種情報を取得し、表示装置2に対して表示動作に係る制御信号を送信する。
【0019】
表示装置2は、表示制御装置1から出力される表示用画像を受信する装置である。表示装置2は、例えば車両に搭載されるナビゲーション装置等の表示装置である。表示装置2は、表示部21及び操作部22を備える。表示部21は、例えば液晶表示パネルであって、表示制御装置1から出力された表示用画像を画面表示する。操作部22は、例えば表示部21の表面に配置されたタッチパネルや、表示部21の周囲に配置された機械式のボタン等を含み、外部から情報を入力することができる。
【0020】
センサ部3は、センサ部3が搭載される車両に関する各種情報を検出する複数のセンサを有する。車両6に関する情報には、車両自体の情報と、車両周辺の情報とが含まれて良い。本実施形態では、センサ部3は、例えば車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ31、車両の速度を検出する車速センサ32、ステアリングの回転角を検出する舵角センサ33、車両周辺の人や動物、車両、その他の物体を検出するクリアランスセンサ34等が含まれる。
【0021】
クリアランスセンサ34は、例えば超音波センサ(ソナー)、赤外線等を用いた光センサ、レーダなどを利用し、車両周辺の人や動物、車両、その他の物体を検出することができる。クリアランスセンサ34は、例えば車両のフロントバンパー、リアバンパー及びドアなどの複数箇所に埋設される。クリアランスセンサ34は、送信波を車両周辺に向けて送信し、人や他の車両などで反射した反射波を受信することで、人や他の車両などの有無や方向、位置を検出する。また、車両周辺の人や動物、車両、その他の物体は、撮影部4の撮影画像を用いた画像認識に基づき検出されることにしても良い。
【0022】
撮影部4は、車両周辺の状況を監視する目的で設けられる。撮影部4は、例えば4つのカメラ41~44を備える。図2は、カメラ41~44が車両6に配置される位置を例示する図である。
【0023】
カメラ41は車両6の前端に設けられる。このため、カメラ41を前カメラ41とも呼ぶ。前カメラ41の光軸41aは上からの平面視で車両6の前後方向に沿って延びる。前カメラ41は車両6の前方向を撮影する。カメラ43は車両6の後端に設けられる。このため、カメラ43を後カメラ43とも呼ぶ。後カメラ43の光軸43aは上からの平面視で車両6の前後方向に沿って延びる。後カメラ43は車両6の後方向を撮影する。前カメラ41及び後カメラ43の取付位置は、車両6の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であっても良い。
【0024】
カメラ42は車両6の右側ドアミラー61に設けられる。このため、カメラ42を右カメラ42とも呼ぶ。右カメラ42の光軸42aは上からの平面視で車両6の左右方向に沿って延びる。右カメラ42は車両6の右方向を撮影する。カメラ44は車両6の左側ドアミラー62に設けられる。このため、カメラ44を左カメラ44とも呼ぶ。左カメラ44の光軸44aは上からの平面視で車両6の左右方向に沿って延びる。左カメラ44は車両6の左方向を撮影する。
【0025】
カメラ41~44のレンズとしては、例えば魚眼レンズが使用される。カメラ41~44は、それぞれの水平方向の画角θが180度以上であるため、車両6の水平方向における全周囲を撮影することができる。
【0026】
画像処理装置5は、カメラ41~44で撮影された撮影画像を処理する装置である。画像処理装置5は、カメラを搭載する車両ごとに備えられる。本実施形態では、画像処理装置5は、撮影部4から撮影画像を取得して処理する。画像処理装置5は、画像処理装置5で生成された画像を表示制御装置1に対して出力することができる。画像処理装置5は、画像生成部51を備える。
【0027】
画像生成部51は、撮影部4で撮影された撮影画像に対して画像処理を行う。本実施形態では、画像生成部51は、各種の画像処理が可能なハードウェア回路として構成される。本実施形態では、画像生成部51は、車両6に搭載されたカメラ41~44によって撮影された撮影画像に基づき、仮想視点から見た車両6の周辺領域を示す合成画像を生成する。
【0028】
<2.合成画像の生成>
画像生成部51が、仮想視点から見た車両6の周辺領域の様子を示す合成画像を生成する手法について説明する。図3は、車両6の周辺領域を示す合成画像CPを生成する手法を説明するための図である。
【0029】
前カメラ41、右カメラ42、後カメラ43及び左カメラ44によって、車両6の前方、右側方、後方及び左側方それぞれの周辺領域を示す4つの撮影画像P41~P44が同時に撮影される。これら4つの撮影画像P41~P44には、車両6の全周囲のデータが含まれる。画像生成部51は、これら4つの撮影画像P41~P44を取得する。
【0030】
画像生成部51は、これら4つの撮影画像P41~P44に含まれるデータ(各画素の値)を、仮想的な三次元空間における立体的な曲面である投影面TSに投影する。投影面TSは、例えば略半球形状(お椀形状)をしており、その中心部(お椀の底部分)が車両6の位置として定められる。
【0031】
投影面TSでは、車両6の領域の外側の領域に、撮影画像のデータが投影される。撮影画像P41~P44に含まれる各画素の位置と、投影面TSの各画素の位置とは予め対応関係が定められる。この対応関係を示すテーブルデータは、不図示の記憶部に予め記憶される。投影面TSの各画素の値は、この対応関係と、撮影画像P41~P44に含まれる各画素の値とに基づいて決定できる。
【0032】
次に、画像生成部51は、三次元空間に対して仮想視点VPを設定する。仮想視点VPは、視点位置と視線方向とで規定される。画像生成部51は、任意の視点位置、且つ、任意の視線方向の仮想視点VPを三次元空間に設定できる。画像生成部51は、投影面TSのうち、設定された仮想視点VPから見た視野内に含まれる領域に投影されたデータを画像として切り出す。これにより、画像生成部51は、任意の仮想視点VPから見た合成画像を生成する。
【0033】
例えば、図3に示すように、視点位置を車両6の直上、視線方向を直下とした仮想視点VPaを想定した場合、車両6及び車両6の周辺領域を俯瞰する合成画像(俯瞰画像)CPaを生成することができる。
【0034】
合成画像CPa中に示す車両6の像6pは、予めビットマップなどのデータとして用意され、予め記憶される。合成画像の生成の際には、当該合成画像の仮想視点VPの視点位置と視線方向とに応じた形状の車両6の像6pのデータが読み出されて、合成画像CPa中に含められる。
【0035】
このようにして、画像生成部51は、仮想の立体的な投影面TSを用いることで、現実に近い臨場感のある合成画像CPaを生成することができる。
【0036】
また、車両6に搭載された複数のカメラ41~44それぞれで撮影された複数の撮影画像に基づき生成された、車両6の周辺領域を示す合成画像CPを用いて、車両6の周辺領域を確認することができる。これにより、ユーザーの位置から死角となる領域、例えばユーザーの位置から見て車両6によって遮蔽される領域なども確認することが可能である。
【0037】
<3.表示制御装置の詳細>
表示制御装置1は、図1に示す画像取得部11、操作情報取得部12、周辺情報取得部13、表示制御部14及び記憶部15を備える。
【0038】
画像取得部11は、カメラ41~44のいずれかで撮影された車両の周辺領域を示す撮影画像を車両から取得する。本実施形態では、カメラ41~44の数は4つである。さらに、画像取得部11は、画像処理装置5で処理された画像を取得する。
【0039】
操作情報取得部12は、車両の操作状態に係る操作情報を車両6から受信する。車両6の操作情報としては、例えば車両6の変速装置のシフトレバーの操作位置(シフト位置)、車両6の速度(車速)、ステアリングの回転角(舵角)等が含まれる。これらの操作情報は、車両6のセンサ部3から受信する。
【0040】
周辺情報取得部13は、車両周辺の他の物体に係る周辺情報を車両6から取得する。車両6の周辺情報としては、例えば車両6周辺の人や動物、車両、その他の物体等に係る情報、すなわちそれらの物体の有無や方向、位置が含まれる。これらの周辺情報は、車両6のセンサ部3から受信する。
【0041】
表示制御部14は、表示装置2の表示動作を制御する。表示制御部14は、例えばカメラ41~44のいずれかで撮影された撮影画像や、画像処理装置5によって生成された合成画像を、表示装置2の画面の所定位置に表示画像として表示させる。また、表示制御部14は、操作情報取得部12が取得した操作情報、及び周辺情報取得部13が取得した周辺情報に基づいて、表示装置2の画面の、表示画像の周囲における表示内容を制御する。表示制御装置1による表示装置2の表示動作を制御する手法の詳細については後述する。
【0042】
記憶部15は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部15は、例えばファームウェアとしてのプログラム、表示制御部14が表示装置2の表示動作を制御するための各種のデータ等を記憶する。また、記憶部15は、画像取得部11、操作情報取得部12及び周辺情報取得部13が処理を実行するために必要となる各種のデータを記憶する。
【0043】
<4.表示装置の画面表示構成>
図4は、表示制御装置1が構成する表示装置2の画面表示を例示する図である。表示装置2の表示部21の画面には、図4に示す画像表示部211及び情報表示部212が含まれる。
【0044】
画像表示部211は、表示部21の画面の所定位置、例えば中央部に配置される。すなわち、表示制御部14によって、カメラ41~44のいずれかの撮影画像が、表示部21の画面の中央部に表示画像として表示される。画像表示部211は、画像処理装置5によって生成された俯瞰画像(合成画像)が表示されることにしても良い。画像表示部211は、例えば平面視矩形で構成される。
【0045】
情報表示部212は、画像表示部211の周囲四方に配置される。情報表示部212は、車両6に係る各種情報が表示される。なお、表示部21の画面は、車両6の平面図として定義される。これにより、矩形の画像表示部211の上辺側には車両6の前方に係る情報が表示され、下辺側には車両6の後方に係る情報が表示され、右辺側には車両6の右方に係る情報が表示され、左辺側には車両6の左方に係る情報が表示される。車両6に係る各種情報としては、操作情報に基づく指標と、周辺情報に基づく指標とが表示される。これらの指標は、液晶表示パネルである表示部21の画面に表示された、例えばアイコン、ソフトキー等の画像で構成される。
【0046】
車両6に係る各種情報を表す指標は、画像切替キーF1、B1、L1、R1、表示画像アイコンF2、B2、L2、R2、前左クリアランスセンサ検出アイコンF3、L3、前右クリアランスセンサ検出アイコンF4、R3、後左クリアランスセンサ検出アイコンB3、L4、後右クリアランスセンサ検出アイコンB4、R4、接近車両検出アイコンF5、B5、L5、R5、接近者検出アイコンF6、B6、L6、R6、を含む。なお、これらの符号の「F」は前を表し、「B」は後を表し、「L」は左を表し、「R」は右を表す。
【0047】
画像切替キーF1、B1、L1、R1は、画像表示部211の表示画像をカメラ41~44のいずれかの撮影画像に切り替えるためのソフトキーアイコンである。ユーザーは、情報表示部212に表示された画像切替キーをタッチパネル(操作部22)を介してタッチして選択することで、画像表示部211の表示画像を切り替えることができる。すなわち、表示制御部14は、カメラの撮影方向に対応する表示画像の周囲の位置である撮影方向位置に、表示画像を当該カメラの撮影画像に切り替えるための操作部22を配置させる。本実施形態では、表示制御部14は、表示装置2の表示画像の周囲四方の車両6に対するカメラの撮影方向と同じ位置に表示画像を当該カメラの撮影画像に切り替えるための操作部22を配置させる。
【0048】
さらに、表示制御部14は、表示画像がいずれのカメラの撮影画像であるかに基づき操作部22の使用可否を制御する。すなわち、表示制御部14は、表示画像と同じ撮影画像に切り替えるための画像切替キーを情報表示部212に表示させない。
【0049】
表示画像アイコンF2、B2、L2、R2は、画像表示部211の表示画像が車両6に対するいずれの方向のカメラの撮影画像であるかを示す半円形状のアイコンである。情報表示部212には、画像表示部211の表示画像を撮影しているカメラの撮影方向と同じ方向の表示画像アイコンいずれかが表示される。すなわち、表示制御部14は、表示画像を撮影しているカメラの撮影方向に対応する表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す表示画像アイコンを表示させる。本実施形態では、表示制御部14は、表示装置2の画面を車両6の平面図とした場合の、表示画像の周囲四方の車両6に対する表示画像を撮影しているカメラの撮影方向と同じ位置に当該カメラの撮影方向を表す表示画像アイコンを表示させる。
【0050】
前左クリアランスセンサ検出アイコンF3、L3、前右クリアランスセンサ検出アイコンF4、R3、後左クリアランスセンサ検出アイコンB3、L4、後右クリアランスセンサ検出アイコンB4、R4はそれぞれ、車両6の前左方、前右方、後左方、後右方における他の物体の検出距離を示す円弧状のアイコンである。円弧状のアイコンは、車両6から検出した他の物体までの距離に基づき表示される同心の複数の円弧画像を含む。
【0051】
車両6への他の物体の接近について詳細に言えば、車両6への外部からの他の物体の接近は、例えば物体が車両6から所定範囲内に進入したことに基づき判定される。車両6の所定範囲としては、例えば半径10m以内などといった範囲を任意に設定することができる。
【0052】
また、車両6への外部からの他の物体の接近は、例えば車両6の速度及び物体の速度と、車両6から物体までの距離とに基づき判定される。物体の接近速度(車両6に対する物体の相対速度)と、物体までの距離とに基づいて、車両6への物体の予想到達時間が算出される。例えば、「物体までの距離」/「物体の接近速度」=「予想到達時間」が10秒以下となった場合、他の物体の車両6への接近が判定される。予想到達時間は、任意の時間に設定することができる。
【0053】
各クリアランスセンサ検出アイコンは、他の物体が車両6から所定距離を超えて離れている場合、また予想到達時間が所定時間を超えている場合、表示されない。各クリアランスセンサ検出アイコンは、他の物体が車両6から所定距離以下に接近すること、また他の物体の予想到達時間が所定時間以下になることで表示される。さらに、各クリアランスセンサ検出アイコンは、他の物体が車両6に接近するにつれて表示される円弧画像の数が増える。
【0054】
接近車両検出アイコンF5、B5、L5、R5は、車両6に他の車両が接近することを示すアイコンである。車両6に接近する物体が車両であることは、例えばカメラ41~44の撮影画像を用いた画像認識に基づき検出される。各接近車両検出アイコンは、他の車両が車両6から所定距離以下に接近すること、また他の車両の予想到達時間が所定時間以下になることで表示される。さらに、各接近車両検出アイコンは、他の車両が車両6に接近するにつれて大きさや色を変更することにしても良い。
【0055】
接近者検出アイコンF6、B6、L6、R6は、車両6に人が接近することを示すアイコンである。車両6に接近する物体が人であることは、例えばカメラ41~44の撮影画像を用いた画像認識に基づき検出される。各接近者検出アイコンは、人が車両6から所定距離以下に接近すること、また人の予想到達時間が所定時間以下になることで表示される。さらに、各接近者検出アイコンは、人が車両6に接近するにつれて大きさや色を変更することにしても良い。
【0056】
なお、本実施形態では、情報表示部212は、操作情報に基づく指標と、周辺情報に基づく指標とが、液晶表示パネルにおいてアイコン、ソフトキー等の画像で構成されることとしたが、この構成に限定されるわけではない。例えば、情報表示部212は、液晶表示パネルの周囲にLED(Light Emitting Diode)等を用いて構成した機械式の表示、ボタン等であっても良い。
【0057】
また、情報表示部212は、画像表示部211の表示画像を、車両6の周辺領域を示す俯瞰画像に切り替える画像切替キーを配置しても良い。
【0058】
<5.表示制御装置の動作フロー>
図5は、表示制御装置1による表示装置2の画面表示の動作例を示すフローチャートである。表示制御装置1による表示装置2の画面表示の動作例について、図5の処理フローを参照しつつ説明する。
【0059】
表示制御装置1は、動作を開始すると、カメラ41~44それぞれから車両6の周辺領域を示す、複数の撮影画像を取得する(ステップS101)。表示制御装置1は、カメラ41~44それぞれで撮影された撮影画像を画像取得部11を介して取得し、記憶部15に記憶させる。
【0060】
次に、車両6の操作状態の検出を行う(ステップS102)。車両6の操作状態は、操作情報取得部12が取得した車両6の操作情報に基づき検出される。車両6の操作情報は、車両6のセンサ部3のシフトセンサ31、車速センサ32、舵角センサ33等から取得することができる。これにより、表示制御装置1は、例えば車両6の進行方向を認識する(ステップS103)。
【0061】
次に、進行方向以外の画像切替キーがONであるか否かが判別される(ステップS104)。進行方向以外の画像切替キーがONではない場合(ステップS104のNo)、表示制御装置1は、進行方向の撮影画像を表示装置2の画面に表示画像として表示させる(ステップS105)。
【0062】
続いて、表示制御装置1は、表示装置2の表示画像を撮影しているカメラの撮影方向に対応する表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す表示画像アイコンを表示させる(ステップS106)。本実施形態では、表示制御装置1は、表示装置2の画面を車両6の平面図とした場合の、表示画像の周囲四方の車両6に対する表示画像を撮影しているカメラの撮影方向と同じ位置に当該カメラの撮影方向を表す表示画像アイコンを表示させる。続いて、表示制御装置1は、表示装置2の画面において、進行方向の画像切替キーの表示をOFFに、進行方向以外の他の画像切替キーの表示をONにする(ステップS107)。
【0063】
また、ステップS103において、進行方向以外の画像切替キーがONである場合(ステップS103のYes)、表示制御装置1は、ユーザーによって選択された方向の撮影画像を表示装置2の画面に表示画像として表示させる(ステップS108)。
【0064】
続いて、表示制御装置1は、表示装置2の表示画像を撮影しているカメラの撮影方向に対応する表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す表示画像アイコンを表示させる(ステップS109)。本実施形態では、表示制御装置1は、表示装置2の画面を車両6の平面図とした場合の、表示画像の周囲四方の車両6に対する表示画像を撮影しているカメラの撮影方向と同じ位置に当該カメラの撮影方向を表す表示画像アイコンを表示させる。続いて、表示制御装置1は、表示装置2の画面において、選択方向の画像切替キーの表示をOFFに、選択方向以外の他の画像切替キーの表示をONにする(ステップS110)。
【0065】
次に、表示制御装置1は、車両6への接近物があるか否かを判別する(ステップS111)。ここでは、周辺情報取得部13が取得した車両6の周辺情報に基づき判別される。車両6の周辺情報は、車両6のセンサ部3のクリアランスセンサ34、撮影部4の撮影画像を用いた画像認識等から取得することができる。これにより、表示制御装置1は、例えば車両6に接近する他の物体の有無や方向、位置に係る情報を取得する。そして、他の物体が車両6から所定距離以下に接近したか否か、また他の物体の予想到達時間が所定時間以下になったか否かが判別される。
【0066】
車両6への接近物がある場合(ステップS111のYes)、車両6の進行方向と、他の物体が接近する方向とが概ね同じであるか否かが判別される(ステップS112)。車両6の進行方向と、他の物体が接近する方向とが概ね同じである場合(ステップS112のYes)、表示制御装置1は、車両6の進行方向に関して、接近物表示、すなわちクリアランスセンサ検出アイコン、接近車両検出アイコン、接近者検出アイコンを物体までの距離や種類に基づき表示ONにする(ステップS113)。
【0067】
車両6への接近物がない場合(ステップS111のNo)、また車両6への接近物があるが、車両6の進行方向と、他の物体が接近する方向とが異なる場合(ステップS112のNo)、表示制御装置1は、クリアランスセンサ検出アイコン、接近車両検出アイコン、接近者検出アイコンといった接近物表示をOFFにする(ステップS114)。
【0068】
そして、ステップS101に戻って、表示制御装置1は、再びカメラ41~44の撮影画像を取得する。
【0069】
<6.表示制御装置による画面表示の動作例>
図6は、表示制御装置1による表示装置2の画面表示の動作例を示すタイミングチャートである。なお、ここでは、ユーザーの車両操作及び表示操作と、後方からの車両接近とに基づく表示装置2の画面表示の動作の一例について説明する。
【0070】
図6に示すように、まず時刻t1でユーザーがシフト操作を行い、シフト位置を「D」レンジにした場合、画像表示部211の表示画像は前カメラ41の撮影画像となり(on)、情報表示部212に表示画像アイコンF2が表示される。すなわち、画像表示部211に後カメラ43、左カメラ44及び右カメラ42の撮影画像は表示されず(off)、情報表示部212に表示画像アイコンB2、L2、R2は表示されない。画像切替キーの表示に関して、前カメラ41の画像切替キーF1は表示されず(off)、後カメラ43、左カメラ44及び右カメラ42の画像切替キーB1、L1、R1は表示される(on)。
【0071】
続いて、時刻t2で周辺状況が変化し、後方から車両6に接近する他の車両を検出したこととする。この場合、シフト位置が「D」レンジであり、車両6の進行方向が前方であるので、後方の接近車両検出アイコンB5が表示されることはない。
【0072】
続いて、時刻t3でユーザーがシフト操作を行い、シフト位置を「R」レンジにした場合、画像表示部211の表示画像は後カメラ43の撮影画像となり(on)、情報表示部212に表示画像アイコンB2が表示される。すなわち、画像表示部211に前カメラ41、左カメラ44及び右カメラ42の撮影画像は表示されず(off)、情報表示部212に表示画像アイコンF2、L2、R2は表示されない。画像切替キーの表示に関して、後カメラ43の画像切替キーB1は表示されず(off)、前カメラ41、左カメラ44及び右カメラ42の画像切替キーF1、L1、R1は表示される(on)。そして、車両6の進行方向が後方となったことで、後方の接近車両検出アイコンB5が表示される(on)。
【0073】
続いて、時刻t4でユーザーが表示操作を行い、画像表示部211の表示画像を前カメラ41の撮影画像に切り替えた場合、画像表示部211の表示画像は前カメラ41の撮影画像となり(on)、情報表示部212に表示画像アイコンF2が表示される。すなわち、画像表示部211に後カメラ43、左カメラ44及び右カメラ42の撮影画像は表示されず(off)、情報表示部212に表示画像アイコンB2、L2、R2は表示されない。画像切替キーの表示に関して、前カメラ41の画像切替キーF1は表示されず(off)、後カメラ43、左カメラ44及び右カメラ42の画像切替キーB1、L1、R1は表示される(on)。シフト位置は「R」レンジであり、車両6の進行方向が引き続き後方のままであるので、後方の接近車両検出アイコンB5が表示される(on)。
【0074】
続いて、時刻t5で周辺状況が変化し、後方の車両6への接近車両が検出範囲外となったこととする。この場合、シフト位置が「R」レンジであって、車両6の進行方向が後方であるが、後方の接近車両検出アイコンB5の表示は消える。
【0075】
<7.表示制御装置による画面表示の動作状態一覧>
図7は、表示制御装置1による表示装置2の画面表示の動作状態を例示する図である。なお、図7の「表示カメラ」は、画像表示部211の表示画像がいずれの方向のカメラの撮影画像であるかを示す。前述同様、「表示カメラ」の「F」は前を表し、「B」は後を表し、「L」は左を表し、「R」は右を表す。「シフト位置」の「D」はドライブレンジを表し、「R」はリバースレンジを表し、「N」はニュートラルレンジを表し、「P」はパーキングレンジのシフト位置をそれぞれ表す。
【0076】
図7によれば、例えば「case 1」は、画像表示部211の表示画像が「F」すなわち前カメラ41の撮影画像であり、シフト位置が「D」レンジであり、車速が「0」である場合を示す。このとき、情報表示部212の前方情報領域、すなわち図4の情報表示部212の上側では、画像切替キーF1は表示されず(off)、表示画像アイコンF2は表示される(on)。前左クリアランスセンサ検出アイコンF3、前右クリアランスセンサ検出アイコンF4、接近車両検出アイコンF5、接近者検出アイコンF6は表示可能な状態であり(on)、車両6の前方で他の物体を検出した場合は表示され、検出していない場合は表示されない。
【0077】
「case 1」の情報表示部212の後方情報領域、すなわち図4の情報表示部212の下側では、画像切替キーB1は表示されて選択可能であり(on)、表示画像アイコンB2は表示されない(off)。後左クリアランスセンサ検出アイコンB3、後右クリアランスセンサ検出アイコンB4、接近車両検出アイコンB5、接近者検出アイコンB6は表示されない状態であり(off)、車両6の後方で他の物体を検出しても、検出していなくても表示されない。
【0078】
「case 1」の情報表示部212の左方情報領域及び右方情報領域、すなわち図4の情報表示部212の左側及び右側それぞれでは、画像切替キーL1、R1は表示されて選択可能であり(on)、表示画像アイコンL2、R2は表示されない(off)。前左クリアランスセンサ検出アイコンL3、前右クリアランスセンサ検出アイコンR3は表示可能な状態であり(on)、車両6の前方で他の物体を検出した場合は表示され、検出していない場合は表示されない。後左クリアランスセンサ検出アイコンL4、後右クリアランスセンサ検出アイコンR4、接近車両検出アイコンL5、R5、接近者検出アイコンL6、R6は表示されない状態であり(off)、車両6の後方で他の物体を検出しても、検出していなくても表示されない。
【0079】
また、例えば「case 6」は、画像表示部211の表示画像が「F」すなわち前カメラ41の撮影画像であり、シフト位置が「R」レンジであり、車速が「>0」であり、舵角が「>0」である場合を示す。このとき、情報表示部212の前方情報領域、すなわち図4の情報表示部212の上側では、画像切替キーF1は表示されず(off)、表示画像アイコンF2は表示される(on)。車両6の後進中の外輪差が考慮されて、前左クリアランスセンサ検出アイコンF3、前右クリアランスセンサ検出アイコンF4は表示可能な状態であり(on)、車両6の前方で他の物体を検出した場合は表示され、検出していない場合は表示されない。接近車両検出アイコンF5、接近者検出アイコンF6は表示されない状態であり(off)、車両6の前方で他の物体を検出しても、検出していなくても表示されない。
【0080】
「case 6」の情報表示部212の後方情報領域、すなわち図4の情報表示部212の下側では、画像切替キーB1は表示されて選択可能であり(on)、表示画像アイコンB2は表示されない(off)。後左クリアランスセンサ検出アイコンB3、後右クリアランスセンサ検出アイコンB4、接近車両検出アイコンB5、接近者検出アイコンB6は表示可能な状態であり(on)、車両6の後方で他の物体を検出した場合は表示され、検出していない場合は表示されない。
【0081】
「case 6」の情報表示部212の左方情報領域及び右方情報領域、すなわち図4の情報表示部212の左右それぞれでは、画像切替キーL1、R1は表示されて選択可能であり(on)、表示画像アイコンL2、R2は表示されない(off)。前左クリアランスセンサ検出アイコンL3、前右クリアランスセンサ検出アイコンR3は表示されない状態であり(off)、車両6の前方で他の物体を検出しても、検出していなくても表示されない。後左クリアランスセンサ検出アイコンL4、後右クリアランスセンサ検出アイコンR4、接近車両検出アイコンL5、R5、接近者検出アイコンL6、R6は表示可能な状態であり(on)、車両6の後方で他の物体を検出した場合は表示され、検出していない場合は表示されない。
【0082】
上記のように、本実施形態の表示制御装置1は、表示制御部14によって、表示装置2の表示画像を撮影しているカメラの撮影方向に対応する表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す指標(アイコン)を表示させる。詳細に言えば、例えば表示装置2の表示画像が前カメラ41の撮影画像である場合、情報表示部212の前方情報領域、すなわち図4の情報表示部212の上側では、表示画像アイコンF2が表示される。情報表示部212の後方情報領域、左方情報領域及び右方情報領域、すなわち図4の情報表示部212の下側、左側及び右側それぞれでは、表示画像アイコンB2、L2、R2は表示されない。これにより、表示装置2の画面の表示画像が、車両6に対するいずれの方向の周辺領域を示す撮影画像であるのか、一目して瞬時に判別することが可能である。そして、表示装置2の画面の表示画像が、車両6に対するいずれの方向の周辺領域を示す撮影画像であるのかを、視線を移動することなく判別することができる。さらに、表示装置2の表示画像を切り替えた場合であっても、表示画像がいずれの方向の撮影画像であるのかを瞬時に判別することができ、視線を大きく移動させる必要がない。
【0083】
例えば、車両6がリバース(後進)のシフト位置で後進中に、ドライバが周辺を確認している際、すなわち画面から目を離した際に、助手席者が画面を操作して表示画像として前カメラ41の撮影画像を表示させることがある。このとき、実際には車両6の後方に障害物が存在するにもかかわらず、障害物が存在しない前カメラ41の撮影画像が表示される場合がある。これにより、ドライバは画面の表示画像を後カメラ43の撮影画像と勘違いして後進し、車両6の後方に存在する障害物に車両6が接触する虞がある。本実施形態の表示制御装置1は、このような車両6の進行方向と画面の表示画像の撮影方向とが異なる場合に、障害物の見落としによる接触を防止することができる。また、助手席者がいない場合でも、ドライバが画面から目を離した際に異常により画面が切り替わっても、障害物の見落としによる接触を防止することができる。
【0084】
また、表示制御部14は、カメラの撮影方向位置に表示画像を当該カメラの撮影画像に切り替えるための画像切替キー(操作部22)を配置させ、表示画像がいずれのカメラの撮影画像であるかに基づき画像切替キー(操作部22)の使用可否を制御する。詳細に言えば、例えば表示装置2の表示画像が前カメラ41の撮影画像である場合、情報表示部212の前方情報領域、すなわち図4の情報表示部212の上側では、画像切替キーF1は表示されず、選択できない。情報表示部212の後方情報領域、左方情報領域及び右方情報領域、すなわち図4の情報表示部212の下側、左側及び右側それぞれでは、画像切替キーB1、L1、R1は表示されて選択可能である。これにより、表示装置2の画面の表示画像が、車両6に対するいずれの方向の周辺領域を示す撮影画像であるのか、一目して瞬時に判別することが可能である。さらに、ユーザーは、車両6の進行方向やシフト位置がいずれであっても、任意に所望する方向の撮影画像を表示装置2に表示させることができる。
【0085】
そして、表示制御部14は、車両6の操作情報と、周辺情報とに基づき表示装置2の表示画像の周囲四方の車両6に対する物体の方向と同じ位置に物体を表す指標(アイコン)を表示させる。詳細に言えば、例えばシフト位置が「D」レンジであり、車両6の前方で他の物体を検出した場合、情報表示部212の前方情報領域、すなわち図4の情報表示部212の上側では、前左クリアランスセンサ検出アイコンF3、前右クリアランスセンサ検出アイコンF4、接近車両検出アイコンF5、接近者検出アイコンF6のいずれかが表示される。これにより、表示装置2の画面の表示画像が、車両6に対するいずれの方向の周辺領域を示す撮影画像であっても、車両6周辺の他の物体の方向を明確に把握することが可能である。さらに、表示装置2の表示画像を切り替えた場合であっても、車両6周辺の他の物体の方向を明確に把握することができ、視線を大きく移動させる必要もない。
【0086】
また、表示制御部14は、車両6の操作情報と、車両6周辺の他の物体の位置とに基づき物体を表す指標(アイコン)の態様を変更させる。詳細に言えば、例えばシフト位置が「D」レンジであり、車両6の前方で他の物体を検出した場合、情報表示部212の前方情報領域、すなわち図4の情報表示部212の上側では、前左クリアランスセンサ検出アイコンF3、前右クリアランスセンサ検出アイコンF4が表示される。クリアランスセンサ検出アイコンは、他の物体が車両6に接近するにつれて表示される円弧画像の数が増える。また他の例として、接近車両検出アイコン、接近者検出アイコンの大きさや色を、他の物体が車両6に接近するにつれて変更させる。これにより、表示装置2の画面の表示画像が、車両6に対するいずれの方向の周辺領域を示す撮影画像であっても、車両6に接近する物体の距離を明確に把握することが可能である。
【0087】
また、表示制御部14は、車両6の操作情報と、車両6の速度及び物体の速度と、車両6から物体までの距離とに基づき物体を表す指標(アイコン)を表示させる位置を変更させる。車両6への外部からの他の物体の接近は、例えば車両6の速度及び物体の速度と、車両6から物体までの距離とに基づき算出された予想到達時間で判定される。例えば、シフト位置が「D」レンジであり、車両6の前方で他の物体を検出した場合において、他の物体の予想到達時間が所定時間以下となったとき、前左クリアランスセンサ検出アイコンF3、前右クリアランスセンサ検出アイコンF4、接近車両検出アイコンF5、接近者検出アイコンF6のいずれかが表示される。これにより、表示装置2の画面の表示画像が、車両6に対するいずれの方向の周辺領域を示す撮影画像であっても、車両6に接近する物体の方向を明確に把握することが可能である。
【0088】
また、表示制御部14は、車両6の操作情報と、車両6の速度及び物体の速度と、車両6から物体までの距離とに基づき物体を表す指標(アイコン)の態様を変更させる。これにより、表示装置2の画面の表示画像が、車両6に対するいずれの方向の周辺領域を示す撮影画像であっても、車両6に接近する物体の距離を明確に把握することが可能である。
【0089】
<8.その他>
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。
【0090】
例えば、車両6の操作情報として、ウインカー操作に係る情報を用いても良い。これにより、表示制御装置1は、例えばウインカーの操作情報に基づき車両6の進行方向を認識することができる。
【0091】
また、上記実施形態では、表示装置2の表示部21の画面内において、画像表示部211の周囲に情報表示部212を設け、情報表示部212にキー及びアイコンを表示したが、表示部21の画面内に情報表示部212を設けず、表示部21の画面の周囲に情報表示部212を設け、キー及びアイコンを表示しても良い。この場合、キー及びアイコンをLED等の発光素子で構成しても良い。
【0092】
また、上記実施形態では、プログラムに従ったCPUの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。
【符号の説明】
【0093】
1 表示制御装置
2 表示装置
3 センサ部
4 撮影部
5 画像処理装置
6 車両
11 画像取得部
12 操作情報取得部
13 周辺情報取得部
14 表示制御部
15 記憶部
21 表示部
22 操作部
41、42、43、44 カメラ
211 画像表示部
212 情報表示部
図1
図2
図3
図4
図5
図6
図7