特開 2024-101270 情報提供装置、表示方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024101270

(43)【公開日】2024-07-29

(54)【発明の名称】情報提供装置、表示方法及びコンピュータプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240722BHJP

【ＦＩ】

G08G1/16 C

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023005155

(22)【出願日】2023-01-17

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100167461

【弁理士】

【氏名又は名称】上木 亮平

(72)【発明者】

【氏名】佐々木 悠

(72)【発明者】

【氏名】横尾 一直

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181LL02

5H181LL04

5H181LL08

(57)【要約】

【課題】ドライバが車両の後方確認を実施したい適切なタイミングで、ドライバに車両の後方領域に存在する物標の情報を提供する。
【解決手段】情報提供装置３は、車両１００のドライバに提供する情報を表示するための情報表示画面３１と、情報表示画面３１の表示内容を制御する制御装置３２と、を備える。制御装置３２は、車両１００の周辺の状況を表す周辺データに基づいて、車両１００とその後方領域に存在する物標との位置関係を検出し、ドライバの状態を表すドライバデータに基づいてドライバの視線方向を検出し、ドライバの視線方向に基づいてドライバが車両１００の後方を確認するための後方確認装置を目視したことを検出したときに、情報表示画面に車両１００とその後方領域に存在する物標との位置関係を含む後方領域情報を表示するように構成される。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両のドライバに提供する情報を表示するための情報表示画面と、
前記情報表示画面の表示内容を制御する制御装置と、
を備える情報提供装置であって、
前記制御装置は、
前記車両の周辺の状況を表す周辺データに基づいて、前記車両と、前記車両の後方領域に存在する物標と、の位置関係を検出し、
前記ドライバの状態を表すドライバデータに基づいて、前記ドライバの視線方向を検出し、
前記ドライバの視線方向に基づいて、前記ドライバが前記車両の後方を確認するための後方確認装置を目視したことを検出したときに、前記情報表示画面に前記位置関係を含む後方領域情報を表示するように構成される、
情報提供装置。

【請求項2】

前記制御装置は、
前記情報表示画面に前記後方領域情報を表示後、前記ドライバの視線方向に基づいて前記ドライバが前記情報表示画面を目視したことを検出したときに、又は検出してから所定時間経過した後に、前記後方領域情報の表示を終了するように構成される、
請求項１に記載の情報提供装置。

【請求項3】

前記後方領域情報は、前記物標の種別に関する情報を含む、
請求項１又は請求項２に記載の情報提供装置。

【請求項4】

前記周辺データは、カメラによって撮影された前記車両の後方領域の画像である、
請求項１又は請求項２に記載の情報提供装置。

【請求項5】

前記ドライバデータは、カメラによって撮影された前記ドライバの顔の画像である、
請求項１又は請求項２に記載の情報提供装置。

【請求項6】

車両のドライバに提供する情報を制御装置によって情報表示画面に表示させる表示方法であって、
前記車両の周辺の状況を表す周辺データに基づいて、前記車両と、前記車両の後方領域に存在する物標と、の位置関係を検出し、
前記ドライバの状態を表すドライバデータに基づいて、前記ドライバの視線方向を検出し、
前記ドライバの視線方向に基づいて、前記ドライバが前記車両の後方を確認するための後方確認装置を目視したことを検出したときに、前記情報表示画面に前記位置関係を含む後方領域情報を表示する、
表示方法。

【請求項7】

車両のドライバに提供する情報を表示する情報表示画面の表示内容を制御する制御装置用のコンピュータプログラムであって、
前記制御装置に、
前記車両の周辺の状況を表す周辺データに基づいて、前記車両と、前記車両の後方領域に存在する物標と、の位置関係を検出させ、
前記ドライバの状態を表すドライバデータに基づいて、前記ドライバの視線方向を検出させ、
前記ドライバの視線方向に基づいて、前記ドライバが前記車両の後方を確認するための後方確認装置を目視したことを検出したときに、前記情報表示画面に前記位置関係を含む後方領域情報を表示させる、
ことを実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報提供装置、表示方法及びコンピュータプログラムに関する。

【背景技術】

【0002】

特許文献１には、従来の車両用表示装置として、自車両の周辺に存在する物標と、ドライバの目線と、を検出し、ドライバが注視している物標、すなわちドライバが関心を持っていると判定できる物標が存在している場合には、当該物標の挙動予測情報を表示部に表示するように構成されたものが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－２０１６４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、前述した従来の車両用表示装置では、ドライバが注視している物標、すなわちドライバが目視により確認できている物標についての情報しかドライバに提供することができなかった。そのため、ドライバが後方の確認を実施したとしても、見落としによって確認することできなかった物標が後方に存在していた場合には、当該物標の情報をドライバに提供することができないという問題点があった。

【0005】

本発明は、このような問題点に着目してなされたものであり、ドライバが車両の後方確認を実施したい適切なタイミングで、ドライバに車両の後方領域に存在する物標の情報を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の要旨は以下のとおりである。

【0007】

（１）車両のドライバに提供する情報を表示するための情報表示画面と、情報表示画面の表示内容を制御する制御装置と、を備える情報提供装置であって、制御装置は、車両の周辺の状況を表す周辺データに基づいて、車両と、車両の後方領域に存在する物標との位置関係を検出し、ドライバの状態を表すドライバデータに基づいて、ドライバの視線方向を検出し、ドライバの視線方向に基づいて、ドライバが車両の後方を確認するための後方確認装置を目視したことを検出したときに、情報表示画面に前記位置関係を含む後方領域情報を表示するように構成される、情報提供装置。

【0008】

（２）制御装置は、情報表示画面に後方領域情報を表示後、ドライバの視線方向に基づいてドライバが情報表示画面を目視したことを検出したときに、又は検出してから所定時間経過した後に、後方領域情報の表示を終了するように構成される、上記（１）に記載の情報提供装置。

【0009】

（３）後方領域情報は、物標の種別に関する情報を含む、上記（１）又は（２）に記載の情報提供装置

【0010】

（４）周辺データは、カメラによって撮影された車両の後方領域の画像である、上記（１）から（３）のいずれかに記載の情報提供装置。

【0011】

（５）ドライバデータは、ドライバモニタカメラによって撮影されたドライバの顔の画像である、上記（１）から（４）のいずれかに記載の情報提供装置。

【0012】

（６）車両のドライバに提供する情報を制御装置によって情報表示画面に表示させる表示方法であって、車両の周辺の状況を表す周辺データに基づいて、車両と、車両の後方領域に存在する物標と、の位置関係を検出し、ドライバの状態を表すドライバデータに基づいて、ドライバの視線方向を検出し、ドライバの視線方向に基づいて、ドライバが車両の後方を確認するための後方確認装置を目視したことを検出したときに、情報表示画面に前記位置関係を含む後方領域情報を表示する、表示方法。

【0013】

（７）車両のドライバに提供する情報を表示する情報表示画面の表示内容を制御する制御装置用のコンピュータプログラムであって、制御装置に、車両の周辺の状況を表す周辺データに基づいて、車両と、車両の後方領域に存在する物標と、の位置関係を検出させ、ドライバの状態を表すドライバデータに基づいて、ドライバの視線方向を検出させ、ドライバの視線方向に基づいて、ドライバが車両の後方を確認するための後方確認装置を目視したことを検出したときに、情報表示画面に位置関係を含む後方領域情報を表示させる、ことを実行させるためのコンピュータプログラム。

【発明の効果】

【0014】

本発明のこれらの態様によれば、ドライバが車両の後方確認を実施したい適切なタイミングで、ドライバに車両の後方領域に存在する物標の情報を提供することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態による表示装置を備える車両のシステム概略図である。

【図2】制御装置のハードウェア構成を示す図である。

【図3】制御装置の処理部において実行される情報提供処理の詳細について説明するフローチャートである。

【図4】情報表示画面に表示させる表示画像の一例を示す図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

【0017】

図１は、本発明の一実施形態による情報提供装置３を備える車両１００のシステム概略図である。

【0018】

車両１００は、周辺センサ１と、ドライバセンサ２と、情報提供装置３と、を備える。周辺センサ１、ドライバセンサ２、及び情報提供装置３は、それぞれコントローラエリアネットワークや車載イーサネットなどの規格に準拠した車内ネットワーク６を介して通信可能に接続される。

【0019】

周辺センサ１は、車両の周辺の状況を表す周辺データを生成するためのセンサである。本実施形態では周辺センサ１として、車両１００の真後ろ、右後側方及び左後側方を含む領域（以下「車両の後方領域」という。）を撮影可能な後方カメラ１１を備える。後方カメラ１１は、所定のフレームレート（例えば、１０［Ｈｚ］～４０［Ｈｚ］）で車両の後方領域を撮影し、その後方領域が写った後方領域画像を生成する。後方カメラ１１は、後方領域画像を生成する度に、生成した後方領域画像を、車内ネットワーク６を介して情報提供装置３の制御装置３２に送信する。

【0020】

なお後方カメラ１１に替えて、又は後方カメラ１１とあわせて、車両の後方領域に存在する車両や歩行者などの物標までの距離を計測する測距センサを周辺センサ１として備えていてもよい。測距センサとしての例としては、例えば、レーダ光を照射してその反射光に基づいて距離を計測するライダ（LiDAR；Light Detection And Ranging）や、電波を照射してその反射波に基づいて距離を計測するミリ波レーダセンサなどが挙げられる。

【0021】

ドライバセンサ２は、ドライバの状態を表すドライバデータを生成するためのセンサである。本実施形態ではドライバセンサ２として、ドライバの顔を撮影可能なドライバモニタカメラ２１を備える。ドライバモニタカメラ２１は、所定のフレームレート（例えば、１０［Ｈｚ］～４０［Ｈｚ］）でドライバの顔を撮影し、ドライバの顔が写った顔画像を生成する。ドライバモニタカメラ２１は、ドライバの顔画像を生成する度に、生成した顔画像を、車内ネットワーク６を介して情報提供装置３の制御装置３２に送信する。

【0022】

情報提供装置３は、情報表示画面３１と、情報表示画面３１の表示内容を制御する制御装置３２と、を備える。

【0023】

情報表示画面３１は、例えば、メーターディスプレイ、センターディスプレイ又はヘッドアップディスプレイなどの車両１００のドライバが視認できる位置に配置される各種のディスプレイであって、後述する制御装置３２の処理部３２３から出力された表示信号に応じた情報（例えば、文字情報や画像情報）を表示する。

【0024】

図２は、制御装置３２のハードウェア構成を示す図である。

【0025】

制御装置３２は、通信部３２１と、記憶部３２２と、処理部３２３と、を備える。

【0026】

通信部３２１は、制御装置３２を車内ネットワーク６に接続するためのインターフェース回路を備える。通信部３２１は、外部から受信したデータ（周辺データやドライバデータなど）を処理部３２３に供給する。また通信部３２１は、処理部３２３から出力された表示信号を情報表示画面３１に出力する。

【0027】

記憶部３２２は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid Disk Drive）、光記録媒体、半導体メモリ等の記憶媒体を有し、処理部３２３での処理に用いられる各種のコンピュータプログラムやデータ等を記憶する。

【0028】

処理部３２３は、一又は複数個のＣＰＵ（Central Processing Unit）及びその周辺回路を有する。処理部３２３は、記憶部３２２に格納された各種のコンピュータプログラムを実行し、情報提供装置３の全体的な動作を統括的に制御するものであり、例えばプロセッサである。以下、図３を参照して、この処理部３２３において実行される情報提供処理の詳細に付いて説明する。

【0029】

図３は、制御装置３２の処理部３２３において実行される情報提供処理の詳細について説明するフローチャートである。

【0030】

ステップＳ１において、制御装置３２は、周辺センサ１から受信した周辺データ、具体的には後方カメラ１１から受信した後方領域画像に基づいて、車両１００の後方領域に存在する物標の種別（乗用車やトラック、二輪車、歩行者など）、及び車両１００と物標との位置関係（車両１００に対する物標の位置）を検出する。これらの検出は、例えば、後方カメラ１１から受信した後方領域画像を識別器に順次入力することで検出することができる。識別器は、例えば、入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。

【0031】

ステップＳ２において、制御装置３２は、ドライバセンサ２から受信したドライバデータ、具体的にはドライバモニタカメラ２１から受信したドライバの顔画像に基づいて、ドライバの視線方向を検出する。ドライバの視線方向は、例えば、ドライバモニタカメラ２１から受信した顔画像に対して画像処理を順次施すことによって基準点となるプルキニエ像（角膜反射像）の位置と動点となる瞳孔中心の位置とを検出することで、プルキニエ像と瞳孔中心との位置関係（基準点に対する動点の位置）に基づいて検出することができる。

【0032】

ステップＳ３において、制御装置３２は、ドライバの視線方向に基づいて、車両１００の後方を確認するための後方確認装置をドライバが目視したか否かを判定する。後方確認装置としては、例えば、ルームミラーやサイドミラーを挙げることができる。本実施形態では、ルームミラー及びサイドミラーの双方を後方確認装置としているが、そのどちらか一方を後方確認装置としてもよい。

【0033】

制御装置３２は、ドライバの視線方向からドライバが後方確認装置を目視したと判定できる場合は、ステップＳ４の処理に進む。一方で制御装置３２は、ドライバの視線方向からドライバが後方確認装置を目視したと判定できない場合は、今回の処理を終了する。

【0034】

ステップＳ４において、制御装置３２は、車両１００の後方領域に存在する物標の種別、及び車両１００と物標との位置関係を含む後方領域情報を、情報表示画面３１に表示させる。本実施形態では制御装置３２は、図４に示すように、情報表示画面３１に表示させる表示画像として、車両１００とその後方領域の物標とを上方から見た画像を示し、それによって物標の種別や車両１００と物標との位置関係を示しているが、表示画像はこのような画像に限られるものではない。

【0035】

ステップＳ５において、制御装置３２は、所定のタイミングで後方領域情報の表示を終了させる。所定のタイミングは、例えば、後方領域情報を表示してから所定時間経過後とすることができる。また例えば、後方領域情報を表示してからドライバの視線方向に基づいてドライバがメーターディスプレイを目視したことを判定した後（すなわちドライバが後方領域情報を確認したことを判定できた後）の任意のタイミング（直後又は所定時間経過後）とすることができる。

【0036】

以上説明した本実施形態による情報提供装置３は、車両１００のドライバに提供する情報を表示するための情報表示画面３１と、情報表示画面３１の表示内容を制御する制御装置３２と、を備える。

【0037】

そして制御装置３２は、車両１００の周辺の状況を表す周辺データ（例えば、後方カメラ１１によって撮影された車両１００の後方領域の画像）に基づいて、車両１００と、車両１００の後方領域に存在する物標と、の位置関係を検出し、ドライバの状態を表すドライバデータ（例えば、ドライバモニタカメラ２１によって撮影されたドライバの顔の画像）に基づいてドライバの視線方向を検出し、ドライバの視線方向に基づいてドライバが車両の後方を確認するための後方確認装置を目視したことを検出したときに、情報表示画面３１に車両１００とその後方領域に存在する物標との位置関係を含む後方領域情報を表示するように構成される。

【0038】

これによりドライバは、後方確認装置としてのルームミラー又はサイドミラーに視線を向けるだけで、車両１００の後方領域に存在する物標の存在有無と、当該物標の位置とを、情報表示画面３１を介して確認することができる。

【0039】

したがって本実施形態によれば、ドライバが車両１００の後方確認を実施したい適切なタイミングで、ドライバに車両１００の後方領域に存在する物標の情報を提供することができる。そのため、例えばミラーの死角等に存在するなどの理由で見落としにより確認できていなかった物標が後方領域に存在していたとしても、その物標の情報を適切なタイミングでドライバに提供することができる。また本実施形態によれば、車両１００の後方確認を行うときに、視線を後方に向けるために振り返る必要もなくなるので、車両１００の後方確認を安易かつ安全に行うこともできる。

【0040】

また制御装置３２は、情報表示画面３１に後方領域情報を表示中に、ドライバの視線方向に基づいてドライバが情報表示画面３１を目視したことを検出したときに、又は検出してから所定時間経過した後に、後方領域情報の表示を終了するように構成される。

【0041】

これにより、ドライバが後方領域情報を確認する前に当該情報の表示を終了してしまうことを抑制することができる。

【0042】

なお本実施形態では、後方領域情報に、車両１００と、車両１００の後方領域に存在する物標と、の位置関係に加えて、物標の種別に関する情報を含ませている。これにより、一層正確な後方領域の情報をドライバに提供することができる。

【0043】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

【0044】

例えば上記の実施形態において、情報提供装置３の制御装置３２において実行されるコンピュータプログラム（情報提供処理）は、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

【符号の説明】

【0045】

３ 情報提供装置
１１ 後方カメラ（カメラ）
２１ ドライバモニタカメラ（カメラ）
３１ 情報表示画面
３２ 制御装置
１００ 車両

【図1】

【図2】

【図3】

【図4】