(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-19
(45)【発行日】2023-06-27
(54)【発明の名称】表示制御装置、表示制御方法及びプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20230620BHJP
B60K 35/00 20060101ALI20230620BHJP
【FI】
G08G1/16 C
B60K35/00 A
B60K35/00 Z
(21)【出願番号】P 2020073680
(22)【出願日】2020-04-16
【審査請求日】2022-04-05
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(73)【特許権者】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】水野 理央
(72)【発明者】
【氏名】大竹 一也
(72)【発明者】
【氏名】間嶋 宏
(72)【発明者】
【氏名】笹本 和希
【審査官】秋山 誠
(56)【参考文献】
【文献】特開2014-044458(JP,A)
【文献】特開2015-075890(JP,A)
【文献】特開2018-142885(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/16
B60K 35/00
(57)【特許請求の範囲】
【請求項1】
車両の外を撮像する撮像部から撮像画像を収集する収集部と、
前記車両の周辺の周辺情報に基づいて前記車両の運転者に通知すべき事象が検知された場合に、前記事象に係る前記撮像画像及び前記車両に対する前記事象が発生している方向を示す情報を含む割込画像を生成する生成部と、
前記車両の運転者が視認可能な表示装置の表示領域の一部である通知領域に
おいて前記割込画像の表示が許可されている場合に、生成された前記割込画像を
前記通知領域に表示させる処理を行う処理部と、
を備え、
前記事象は、前記車両に対する障害物の接近であり、
前記割込画像は、前記車両を俯瞰した車両画像と、前記障害物の発生方向を示し、かつ、前記障害物の接近の程度を示すレベル画像と、を含み、
前記表示領域の全体に対しては、前記通知領域と、前記通知領域とは異なる領域の情報領域とを有し、
前記処理部は、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在する場合には、前記情報領域の前記通知領域に近い側から前記割込画像をフェードインさせた後、前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行い、
前記処理部は、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在しない場合には、前記情報領域が存在しない側の前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行う、
表示制御装置。
【請求項2】
前記処理部は、
前記周辺情報に基づく前記事象の検知が終了した場合、前記表示装置において前記通知領域に表示されている前記割込画像を前記方向に向けてスライドアウトさせる表示を行う請求項
1に記載の表示制御装置。
【請求項3】
車両の外を撮像する撮像部から撮像画像を収集する収集ステップと、
前記車両の周辺の周辺情報に基づいて前記車両の運転者に通知すべき事象が検知された場合に、前記事象に係る前記撮像画像及び前記車両に対する前記事象が発生している方向を示す情報を含む割込画像を生成する生成ステップと、
前記車両の運転者が視認可能な表示装置の表示領域の一部である通知領域に
おいて前記割込画像の表示が許可されている場合に、生成された前記割込画像を
前記通知領域に表示させる処理を行う処理ステップと、
を含み、
前記事象は、前記車両に対する障害物の接近であり、
前記割込画像は、前記車両を俯瞰した車両画像と、前記障害物の発生方向を示し、かつ、前記障害物の接近の程度を示すレベル画像と、を含み、
前記表示領域の全体に対しては、前記通知領域と、前記通知領域とは異なる領域の情報領域とを有し、
前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在する場合には、前記情報領域の前記通知領域に近い側から前記割込画像をフェードインさせた後、前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行い、
前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在しない場合には、前記情報領域が存在しない側の前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行う、
表示制御方法。
【請求項4】
車両の外を撮像する撮像部から撮像画像を収集する収集ステップと、
前記車両の周辺の周辺情報に基づいて前記車両の運転者に通知すべき事象が検知された場合に、前記事象に係る前記撮像画像及び前記車両に対する前記事象が発生している方向を示す情報を含む割込画像を生成する生成ステップと、
前記車両の運転者が視認可能な表示装置の表示領域の一部である通知領域に
おいて前記割込画像の表示が許可されている場合に、生成された前記割込画像を
前記通知領域に表示させる処理を行う処理ステップと、
を含み、
前記事象は、前記車両に対する障害物の接近であり、
前記割込画像は、前記車両を俯瞰した車両画像と、前記障害物の発生方向を示し、かつ、前記障害物の接近の程度を示すレベル画像と、を含み、
前記表示領域の全体に対しては、前記通知領域と、前記通知領域とは異なる領域の情報領域とを有し、
前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在する場合には、前記情報領域の前記通知領域に近い側から前記割込画像をフェードインさせた後、前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行い、
前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在しない場合には、前記情報領域が存在しない側の前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行う、処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置に表示させる画像を制御する表示制御装置、表示制御方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、クリアランスソナーが障害物を検出した際に、カメラにより撮像された画像にディスプレイの表示を自動で切り替える周辺監視装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の周辺監視装置は、障害物の存在を運転者に知らせることはできるものの、運転者にとってどの方向に障害物があるのかが把握し難い場合がある。
【0005】
本発明は、障害物の接近等の運転者に通知すべき事象が生じた場合に、当該事象が何処で発生しているかを運転者が容易に把握可能な表示制御装置、表示制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の表示制御装置は、車両の外を撮像する撮像部から撮像画像を収集する収集部と、前記車両の周辺の周辺情報に基づいて前記車両の運転者に通知すべき事象が検知された場合に、前記事象に係る前記撮像画像及び前記車両に対する前記事象が発生している方向を示す情報を含む割込画像を生成する生成部と、前記車両の運転者が視認可能な表示装置の表示領域の一部である通知領域において前記割込画像の表示が許可されている場合に、生成された前記割込画像を前記通知領域に表示させる処理を行う処理部と、を備え、前記事象は、前記車両に対する障害物の接近であり、前記割込画像は、前記車両を俯瞰した車両画像と、前記障害物の発生方向を示し、かつ、前記障害物の接近の程度を示すレベル画像と、を含み、前記表示領域の全体に対しては、前記通知領域と、前記通知領域とは異なる領域の情報領域とを有し、前記処理部は、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在する場合には、前記情報領域の前記通知領域に近い側から前記割込画像をフェードインさせた後、前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行い、前記処理部は、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在しない場合には、前記情報領域が存在しない側の前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行う。
【0007】
請求項1に記載の表示制御装置は、収集部が撮像部により撮像された撮像画像を収集し、周辺情報に基づいて車両の運転者に通知すべき事象が検知された場合、生成部が表示装置に表示させる割込画像を生成する。この割込画像は、事象に係る撮像画像と、車両に対して当該事象が発生している方向を示す情報と、を含む。ここで、「運転者に通知すべき事象」には、運転者が運転する車両と、障害物、他の車両、及び歩行者等とが接近する場合、車両が車線からはみ出そうになる場合、新たな標識の出現や規制が存在する場合などがある。
【0008】
そして、当該表示制御装置では、処理部が表示装置の表示領域の一部である通知領域に割込画像を表示させる処理を行う。当該表示制御装置によれば、運転者に通知すべき事象が生じた場合、運転者に対して当該事象に係る画像をその発生方向と共に通知するため、運転者は当該事象が何処で発生しているか容易に把握することができる。
また、当該表示制御装置では、運転者に通知すべき事象が生じた場合、割込画像が通知領域にスライドインする処理が実行される。そのため、当該表示制御装置によれば、通知すべき事象の発生と、その発生した方向とを運転者が直感的に認識することができる。
また、当該表示制御装置では、車両に対する障害物の接近が検知された場合、割込画像において車両を俯瞰した車両画像が表示されるため、運転者は車両に対して障害物が存在する方向を正確に把握することができる。また、当該表示制御装置では、割込画像において障害物の接近の程度を示すレベル画像が表示されるため、運転者は障害物までの距離感を直感的に認識することができる。
【0011】
請求項2に記載の表示制御装置は、請求項2に記載の表示制御装置において、前記処理部は、前記周辺情報に基づく前記事象の検知が終了した場合、前記表示装置において前記通知領域に表示されている前記割込画像を前記方向に向けてスライドアウトさせる表示を行う。
【0012】
請求項2に記載の表示制御装置では、運転者に通知している事象が終了した場合、割込画像が通知領域からスライドアウトする処理が実行される。そのため、当該表示制御装置によれば、通知すべき事象の終了を運転者が直感的に認識することができる。
【0015】
請求項3に記載の表示制御方法は、車両の外を撮像する撮像部から撮像画像を収集する収集ステップと、前記車両の周辺の周辺情報に基づいて前記車両の運転者に通知すべき事象が検知された場合に、前記事象に係る前記撮像画像及び前記車両に対する前記事象が発生している方向を示す情報を含む割込画像を生成する生成ステップと、前記車両の運転者が視認可能な表示装置の表示領域の一部である通知領域において前記割込画像の表示が許可されている場合に、生成された前記割込画像を前記通知領域に表示させる処理を行う処理ステップと、を含み、前記事象は、前記車両に対する障害物の接近であり、前記割込画像は、前記車両を俯瞰した車両画像と、前記障害物の発生方向を示し、かつ、前記障害物の接近の程度を示すレベル画像と、を含み、前記表示領域の全体に対しては、前記通知領域と、前記通知領域とは異なる領域の情報領域とを有し、前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在する場合には、前記情報領域の前記通知領域に近い側から前記割込画像をフェードインさせた後、前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行い、前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在しない場合には、前記情報領域が存在しない側の前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行う。
【0016】
請求項3に記載の表示制御方法では、収集ステップにおいて撮像部により撮像された撮像画像が収集され、周辺情報に基づいて車両の運転者に通知すべき事象が検知された場合、生成ステップにおいて表示装置に表示させる割込画像が生成される。「割込画像」及び「運転者に通知すべき事象」については上述のとおりである。そして、当該表示制御方法では、処理ステップにおいて表示装置の表示領域の一部である通知領域に割込画像を表示させる処理が行われる。当該表示制御方法によれば、運転者に通知すべき事象が生じた場合、運転者に対して当該事象に係る画像をその発生方向と共に通知するため、運転者は当該事象が何処で発生しているか容易に把握することができる。
また、当該表示制御方法では、運転者に通知すべき事象が生じた場合、割込画像が通知領域にスライドインする処理が実行される。そのため、当該表示制御装置によれば、通知すべき事象の発生と、その発生した方向とを運転者が直感的に認識することができる。
また、当該表示制御方法では、車両に対する障害物の接近が検知された場合、割込画像において車両を俯瞰した車両画像が表示されるため、運転者は車両に対して障害物が存在する方向を正確に把握することができる。また、当該表示制御装置では、割込画像において障害物の接近の程度を示すレベル画像が表示されるため、運転者は障害物までの距離感を直感的に認識することができる。
【0017】
請求項4に記載のプログラムは、車両の外を撮像する撮像部から撮像画像を収集する収集ステップと、前記車両の周辺の周辺情報に基づいて前記車両の運転者に通知すべき事象が検知された場合に、前記事象に係る前記撮像画像及び前記車両に対する前記事象が発生している方向を示す情報を含む割込画像を生成する生成ステップと、前記車両の運転者が視認可能な表示装置の表示領域の一部である通知領域において前記割込画像の表示が許可されている場合に、生成された前記割込画像を前記通知領域に表示させる処理を行う処理ステップと、を含み、前記事象は、前記車両に対する障害物の接近であり、前記割込画像は、前記車両を俯瞰した車両画像と、前記障害物の発生方向を示し、かつ、前記障害物の接近の程度を示すレベル画像と、を含み、前記表示領域の全体に対しては、前記通知領域と、前記通知領域とは異なる領域の情報領域とを有し、前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在する場合には、前記情報領域の前記通知領域に近い側から前記割込画像をフェードインさせた後、前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行い、前記処理ステップでは、前記周辺情報に基づいて前記事象が検知された場合であって、かつ、前記表示装置において、前記通知領域に対する前記方向に前記情報領域が存在しない場合には、前記情報領域が存在しない側の前記方向から前記通知領域に向けて前記割込画像をスライドインさせる表示を行う、処理をコンピュータに実行させる。
【0018】
請求項4に記載のプログラムでは、コンピュータが次の処理を実行する。すなわち、当該コンピュータでは、収集ステップにおいて撮像部により撮像された撮像画像が収集され、周辺情報に基づいて車両の運転者に通知すべき事象が検知された場合、生成ステップにおいて表示装置に表示させる割込画像が生成される。「割込画像」及び「運転者に通知すべき事象」については上述のとおりである。そして、当該コンピュータでは、処理ステップにおいて表示装置の表示領域の一部である通知領域に割込画像を表示させる処理が行われる。当該プログラムによれば、運転者に通知すべき事象が生じた場合、運転者に対して当該事象に係る画像をその発生方向と共に通知するため、運転者は当該事象が何処で発生しているか容易に把握することができる。
また、当該プログラムでは、運転者に通知すべき事象が生じた場合、割込画像が通知領域にスライドインする処理が実行される。そのため、当該表示制御装置によれば、通知すべき事象の発生と、その発生した方向とを運転者が直感的に認識することができる。
また、当該プログラムでは、車両に対する障害物の接近が検知された場合、割込画像において車両を俯瞰した車両画像が表示されるため、運転者は車両に対して障害物が存在する方向を正確に把握することができる。また、当該表示制御装置では、割込画像において障害物の接近の程度を示すレベル画像が表示されるため、運転者は障害物までの距離感を直感的に認識することができる。
【発明の効果】
【0019】
本発明によれば、障害物の接近等の運転者に通知すべき事象が生じた場合に、当該事象が何処で発生しているかを運転者は容易に把握することができる。
【図面の簡単な説明】
【0020】
【
図1】実施形態に係る車両に設けられた表示システムの外観を示す図である。
【
図2】実施形態の表示システムのハードウェア構成を示すブロック図である。
【
図3】実施形態の表示制御装置におけるCPUの機能構成の例を示すブロック図である。
【
図4】実施形態の表示制御装置において実行される画像表示処理の流れを示すフローチャートである。
【
図5】実施形態のセンタディスプレイにおける表示の例であって、(A)は通常表示を示し、(B)はフェードインの様子を示し、(C)は割込表示を示し、(D)はフェードアウトの様子を示す。
【発明を実施するための形態】
【0021】
本実施形態の表示制御装置20を含む表示システム10について図を用いて説明する。なお、
図1及び
図5(A)~(D)の表示装置30の表示に対して、上下左右と表記する場合は、運転者が表示装置30を観察した場合の向きを指す。
(基本構成)
図1及び
図2に示されるように、本実施形態の表示システム10は、車両12に搭載されている。表示システム10は、表示制御装置20に加えて、表示装置30と、ADAS(Advanced Driver Assistance System、先進運転支援システム)40と、カーナビゲーションシステム50と、を含んで構成されている。
【0022】
表示制御装置20、ADAS40が有するADAS-ECU(Electronic Control Unit)42、及びカーナビゲーションシステム50が有するカーナビゲーションECU52は、外部バス22を介して相互に接続されている。
【0023】
(表示装置)
表示装置30は、センタディスプレイ32と、メータディスプレイ34と、ヘッドアップディスプレイ36と、を含んで構成されている。
【0024】
図1に示されるように、センタディスプレイ32は、ダッシュボード14の車幅方向中央に設けられた液晶ディスプレイである。センタディスプレイ32は、画面全体の表示領域32Aに対して、左側略2/3に情報領域32Bを有し、右側略1/3に通知領域32Cを有している。情報領域32Bには、カーナビゲーションシステム50に関係する画像、例えば、車両12の現在位置を示す地図画像や車両12を目的地まで案内する画像が表示される。また、通知領域32Cには、カーナビゲーションシステム50が備えるオーディオ機能に係る画像や、後述する割込画像80が表示される。センタディスプレイ32は車両12の運転者が視認可能な表示装置の一例である。
【0025】
メータディスプレイ34は、シートに着座した運転者の正面側のダッシュボード14において、センタディスプレイ32の車幅方向右側に隣接して設けられた液晶ディスプレイである。メータディスプレイ34には、車速、エンジン回転数、走行距離等、車両12の走行に関係する情報、及び、警告灯、灯火類の作動状況等、車両12の状態に係る情報が表示される。
【0026】
ヘッドアップディスプレイ36は、メータディスプレイ34の車両上方側のフロントウインドウ16上に投影面16Aを備える投影装置である。ヘッドアップディスプレイ36には、車速、車両12の進行方向、ステアリングスイッチの操作位置等、運転者に報知する情報のうち優先度の高い情報が表示される。
【0027】
(ADAS)
図2に示されるように、ADAS40は、ADAS-ECU42に加えて、撮像装置としての監視カメラ44と、監視センサ46と、を含んで構成されている。
【0028】
監視カメラ44は、フロントウインドウの上部、フロントグリル、ドアミラー下部、テールゲート等の車両12の各部に設けられ、車両12の外部を撮像する。監視センサ46は、車両12の周辺の周辺情報を検出するセンサ群である。監視センサ46は、車体の各部に設けられた複数のミリ波レーダを含み、車両12の周囲の障害物を検知する。なお、監視センサ46は、所定範囲をスキャンするライダ(Laser Imaging Detection and Ranging)を含んでもよい。
【0029】
ADAS-ECU42は、他のECUに周辺情報を提供したり、必要な場合はステアリングやブレーキを制御する機能を有している。ADAS-ECU42は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信I/F(Inter Face)及び入出力I/F(Inter Face)等を含んで構成されている。
【0030】
ADAS-ECU42は、車両12の周囲に設置された各監視センサ46から受信した検知情報に基づいて周辺情報を生成する。なお、ADAS-ECU42は、各監視センサ46の検知情報に加えて、車両12の各部に設置された監視カメラ44の撮像情報に基づいて周辺情報を生成してもよい。また、ADAS-ECU42は、生成された周辺情報に基づいて、車両12と障害物とが接近しているか否かの判定を行う。ここで、「車両12と障害物とが接近している場合」には、車両12に向かって障害物が接近する場合と、車両12が障害物に向かって接近する場合と、の両方を含む。ADAS-ECU42は、車両12と障害物とが接近していると判定した場合、接近を示す情報である接近情報を表示制御装置20に送信する。
【0031】
(カーナビゲーションシステム)
カーナビゲーションシステム50は、カーナビゲーションECU52に加えて、GPS受信機54と、ストレージ56と、を含んで構成されている。本実施形態のカーナビゲーションシステム50は、カーナビゲーション機能及びオーディオ機能の双方を少なくとも備えている。
【0032】
GPS受信機54は、複数のGPS衛星からGPS信号を受信して車両12の現在位置を測位する。
【0033】
ストレージ56は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、地図データ及び音楽データを記憶している。
【0034】
カーナビゲーションECU52は、車両12の目的地までの走行経路を生成したり、位置情報に基づいて車両12を目的地まで案内したりする機能を有している。カーナビゲーションECU52は、CPU、ROM、RAM、通信I/F及び入出力I/F等を含んで構成されている。
【0035】
本実施形態のカーナビゲーションECU52は、タッチパネルを兼ねるセンタディスプレイ32から入力された目的地情報、及びストレージ56に記憶されている地図データ等に基づいて、目的地までの経路を設定する。また、カーナビゲーションECU52は、GPS受信機54から受信した位置情報に基づき、車両12の現在位置を示す地図や車両12を目的地まで案内する画面をセンタディスプレイ32に表示させる。
【0036】
(表示制御装置)
表示制御装置20は、CPU(Central Processing Unit)20A、ROM(Read Only Memory)20B、RAM(Random Access Memory)20C、通信I/F(Inter Face)20E及び入出力I/F(Inter Face)20Fを含んで構成されている。CPU20A、ROM20B、RAM20C、通信I/F20E及び入出力I/F20Fは、内部バス20Gを介して相互に通信可能に接続されている。
【0037】
CPU20Aは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU20Aは、ROM20Bからプログラムを読み出し、RAM20Cを作業領域としてプログラムを実行する。
【0038】
ROM20Bは、各種プログラム及び各種データを記憶している。本実施形態のROM20Bには、制御プログラム200及び画像データ210が記憶されている。制御プログラム200は、後述する画像表示処理を行うためのプログラムである。画像データ210には、各表示装置30に表示されるアイコンの画像、並びにセンタディスプレイ32に表示される車両画像82及びレベル画像84等の各データが記憶されている。
【0039】
RAM20Cは、作業領域として一時的にプログラム又はデータを記憶する。
【0040】
通信I/F20Eは、ADAS-ECU42及びカーナビゲーションECU52と接続するためのインタフェースである。当該インタフェースは、CAN(Controller Area Network)プロトコルによる通信規格が用いられる。通信I/F20Eは、外部バス22に対して接続されている。なお、通信I/F20Eの通信方式はCANに限らず、イーサネット(登録商標)等のLAN規格を採用してもよい。
【0041】
入出力I/F20Fは、センタディスプレイ32、メータディスプレイ34、及びヘッドアップディスプレイ36の各表示装置30と通信するためのインタフェースである。
【0042】
図3は、表示制御装置20の機能構成の例を示すブロック図である。各機能構成は、CPU20AがROM20Bに記憶された制御プログラム200を読み出し、これを実行することによって実現される。本実施形態のCPU20Aは、制御プログラム200の実行により収集部250、取得部260、生成部270及び処理部280として機能する。
【0043】
収集部250は、車両12の外部の監視カメラ44により撮像された撮像画像を収集する機能を有している。具体的に収集部250は、各監視カメラ44により撮像された撮像画像の各々をADAS40から取得する。
【0044】
取得部260は、車両12と障害物とが接近している旨を示す接近情報を取得する機能を有している。この接近情報は、ADAS40が車両12の周辺の周辺情報に基づいて、監視センサ46の検知範囲に障害物が存在すると判定した場合に、表示制御装置20に送信される。
【0045】
接近情報には、車両12と障害物との接近の程度を示す程度情報を含む。また、取得部260は、複数の監視センサ46のうち障害物を検知した監視センサ46を特定することにより、障害物の方向を判断することができる。
【0046】
生成部270は、センタディスプレイ32の通知領域32Cに対して割り込ませる画像であって、車両12に接近している障害物に係る撮像画像と、車両12に対する障害物の方向、接近の程度を示す画像と、を含む割込画像80を生成する機能を有している。
図5(C)に示されるように、具体的に、割込画像80は車両12を俯瞰した車両画像82と、障害物の接近の程度を示すレベル画像84と、障害物そのものの対象画像86を含む。
【0047】
車両画像82は、画像データ210に記憶されている画像であって、車両12を上方から眺めたイメージ画像である。レベル画像84は、画像データ210に記憶されている扇状形状の画像であって、車両12に対して障害物がある方向に弧を有し、かつ車両12に障害物が接近するほど大きい画像が割り当てられる。割込画像80のうち車両画像82及びレベル画像84を除いた周囲の部分は、車両12の各部に設けられた複数の監視カメラ44の各撮像画像を公知の方法により合成することで得ることができる。車両画像82に対するレベル画像84の表示位置は、車両12に対する障害物の方向に等しい。本実施形態の生成部270は、取得部260がADAS40から接近情報を取得した場合に割込画像80を生成する。
【0048】
処理部280は、各表示装置30に画像を表示させる処理を実行する。本実施形態の処理部280は、センタディスプレイ32の通知領域32Cに対して、生成部270において生成された割込画像80を表示させる処理を行う。
【0049】
ここで、処理部280は、取得部260がADAS40から接近情報を取得することにより車両12と障害物とが接近していることを検知した場合、通知領域32Cに割込画像80を表示させる。詳しくは、車両12と障害物との接近の検知を契機に、処理部280は、センタディスプレイ32上において車両12に対する障害物の方向と同じ方向から通知領域32Cに向けて割込画像80をスライドインさせるアニメーションを実行する。
【0050】
また、処理部280は、取得部260が接近情報の取得を終了して車両12と障害物との接近に係る検知がされなくなった場合、通知領域32Cから割込画像80を移動させる。詳しくは、車両12と障害物との接近に係る検知の終了を契機に、処理部280は、センタディスプレイ32上において通知領域32Cに表示されている割込画像80を車両12に対する障害物の方向と同じ方向にスライドアウトさせるアニメーションを実行する。
【0051】
(制御の流れ)
本実施形態において、表示制御装置20がセンタディスプレイ32に対して実行する画像表示処理の流れを
図4のフローチャートと、
図5(A)~(D)の画面の例を用いて説明する。
図4及び
図5(A)~(D)は、車両12の左前方に障害物を検知した場合における処理の流れの例である。
【0052】
図4のステップS100において、CPU20Aはセンタディスプレイ32に対して通常表示を実行する。
図5(A)に示されるように、通常表示においては、情報領域32Bにはカーナビゲーションシステム50において生成された地図画像が表示され、通知領域32Cにはオーディオ機能に係る画像が表示されている。
【0053】
図4のステップS101において、CPU20Aは障害物を検知したか否かの判定を行う。すなわち、接近情報を受信することにより、車両12と障害物とが接近したか否かの判定を行う。CPU20Aは障害物を検知したと判定した場合、ステップS102に進む。一方、CPU20Aは障害物を検知していないと判定した場合、ステップS100に戻る。
【0054】
ステップS102において、CPU20Aは通知領域32Cに対する割込画像80の表示が許可されているか否かの判定を行う。CPU20Aは通知領域32Cに対する割込画像80の表示が許可されていると判定した場合、ステップS103に進む。一方、CPU20Aは通知領域32Cに対する割込画像80の表示が許可されていないと判定した場合、ステップS100に戻る。なお、割込画像80の表示が許可されない例としては、カーナビゲーションシステム50の設定において割込画像80の設定を禁止している場合、車両12が完全に停止し、かつサイドブレーキが作動している場合、等がある。
【0055】
ステップS103において、CPU20Aは割込画像80をスライドインさせるアニメーションを実行する。具体的には、CPU20Aは情報領域32Bの右側に割込画像80をフェードインさせた後、通知領域32Cに向けて割込画像80をスライドインさせるアニメーションを実行する。これにより、
図5(B)に示されるように、運転者は障害物の方向と同じ左側から通知領域32Cに向けて割込画像80が割り込まれたと認識することができる。
【0056】
図4のステップS104において、CPU20Aは割込画像80を通知領域32Cに表示させる割込表示を実行する。すなわち、
図5(C)に示されるように、CPU20Aは通知領域32Cにスライドインした割込画像80の表示を維持する。
【0057】
また、CPU20Aはヘッドアップディスプレイ36において、監視センサ46の検知レベルを示すレベルバー画像90を表示させる。この場合、レベルバー画像90はヘッドアップディスプレイ36において障害物の方向と同じ方向に表示される。すなわち、本図の例では、ヘッドアップディスプレイ36の投影面16Aの左端に表示される。レベルバー画像90は、接近の程度が増すほど、幅を拡大させたり、色彩を強調したりすることができる。
【0058】
図4のステップS105において、CPU20Aは障害物の検知が終了したか否かの判定を行う。CPU20Aは障害物の検知が終了したと判定した場合、ステップS106に進む。一方、CPU20Aは障害物の検知が終了していないと判定した場合、ステップS104に戻る。すなわち、CPU20Aは通知領域32Cにおける割込画像80の表示を維持する。
【0059】
ステップS106において、CPU20Aは割込画像80をスライドアウトさせるアニメーションを実行する。具体的には、CPU20Aは通知領域32Cから割込画像80をスライドアウトさせるアニメーションを実行する。これにより、
図5(D)に示されるように、運転者は通知領域32Cから障害物の方向と同じ左側に向けて割込画像80が移動したと認識することができる。
【0060】
そして、処理はステップS100に戻る。すなわち、CPU20Aは情報領域32Bの右側に移動した割込画像80をフェードアウトさせることにより、
図5(A)に示されるように、情報領域32Bに地図画像を有し、通知領域32Cにオーディオ機能に係る画像を有する通常表示を再び行う。
【0061】
(実施形態のまとめ)
本実施形態の表示制御装置20は、収集部250が監視カメラ44により撮像された撮像画像を収集し、周辺情報に基づいて車両12と障害物との接近が検知された場合、生成部270がセンタディスプレイ32に表示させる割込画像80を生成する。この割込画像80は、車両12を俯瞰した車両画像82と、車両12に対する障害物の方向及び障害物の接近の程度を示すレベル画像84と、を含んでいる。
【0062】
そして、表示制御装置20では、処理部280がセンタディスプレイ32の表示領域32Aの一部である通知領域32Cに割込画像80を表示させる処理を行う。本実施形態の表示制御装置20によれば、
図5(C)に示されるように、運転者に対して障害物の対象画像86を障害物の発生方向を示すレベル画像84と共に通知するため、運転者は障害物が車両12のどの方向に在るかを容易に把握することができる。
【0063】
特に、本実施形態では、車両12に対する障害物の接近が検知された場合、割込画像80において車両12を俯瞰した車両画像82が表示されるため、運転者は車両12に対して障害物が存在する方向を正確に把握することができる。また、本実施形態では、レベル画像84により障害物の接近の程度を示すことができ、運転者は障害物までの距離感を直感的に認識することができる。
【0064】
また、本実施形態の表示制御装置20では、車両12と障害物との接近が検知された場合、割込画像80が通知領域32Cにスライドインする処理が実行される。そのため、本実施形態によれば、障害物の接近と、その接近している方向とを運転者が直感的に認識することができる。
【0065】
さらに、本実施形態の表示制御装置20では、車両12と障害物との接近の検知が終了した場合、割込画像80が通知領域32Cからスライドアウトする処理が実行される。そのため、本実施形態によれば、障害物が車両12から離れたこと、又は危険が回避されたことを運転者が直感的に認識することができる。
【0066】
なお、上述した
図4及び
図5(A)~(D)では、車両12の左前方に障害物を検知した場合を例示したが、他の方向において障害物を検知した場合においても同様の処理が実行される。例えば、車両12の右前方に障害物を検知した場合は、通知領域32Cの右側から割込画像80がスライドインし、検知が終了した場合は、通知領域32Cの右側に向けてスライドアウトする。この場合、通知領域32Cの右側には表示領域32Aが存在しないため、割込画像80は通知領域32Cの右側から徐々に表れ、割込画像80は通知領域32Cの右側に向かって徐々に消えることとなる。また、車両12の前方や後方において障害物を検知した場合においても同様に割込画像80を上下方向にスライドイン及びスライドアウトを行うことができる。
【0067】
[備考]
本実施形態では、車両12と障害物との接近が検知された場合に、通知領域32Cに割込画像80を表示させる処理が実行されるが、「運転者に通知すべき事象」であれば、この限りではない。例えば、「運転者に通知すべき事象」としては、車両12と他の物体、例えば、他の車両、自転車、歩行者等とが接近する場合、車両が車線からはみ出そうになる場合、新たな標識の出現や規制が存在する場合などがある。本実施形態によれば、運転者に通知すべき事象を検知した場合に、通知領域32Cに割込画像80を表示させる処理を実行することができる。
【0068】
本実施形態では、ADAS40が監視センサ46の周辺情報に基づいて障害物が存在すると判定した場合に、接近情報が表示制御装置20に送信される構成であるが、この限りではない。例えば、表示制御装置20がADAS40から周辺情報を直接取得すると共に、取得した周辺情報に基づいて、障害物が存在すると判定してもよい。
【0069】
本実施形態の割込画像80における車両画像82は、車両12を俯瞰した画像であるが、この限りではなく、一の監視カメラ44による障害物の撮像画像であってもよい。
【0070】
本実施形態では、割込画像80のスライドの速度は固定化されているが、接近の程度に応じて変化させてもよい。例えば、車両12と障害物とがまだ離れている段階で障害物が検知された場合には、ゆっくりとスライドインを行い、車両12と障害物とが既に接近している段階で障害物が検知された場合には、素早くスライドインを行うことができる。また、障害物の種類、例えば、固定物か、移動物かによってスライドの速度や態様を変化させてもよい。
【0071】
なお、上記実施形態でCPU20Aがソフトウェア(プログラム)を読み込んで実行した各種処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した受付処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【0072】
また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶(インストール)されている態様で説明した。例えば、表示制御装置20において制御プログラム200は、ROM20Bに予め記憶されている。しかしこれに限らず、各プログラムは、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0073】
上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【符号の説明】
【0074】
10 表示システム
12 車両
20 表示制御装置
32 センタディスプレイ(表示装置)
32A 表示領域
32C 通知領域
44 カメラ(撮像部)
80 割込画像
82 車両画像
84 レベル画像
200 制御プログラム(プログラム)
250 収集部
270 生成部
280 処理部