(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023120985
(43)【公開日】2023-08-30
(54)【発明の名称】画像表示装置及び画像表示方法
(51)【国際特許分類】
G09G 5/00 20060101AFI20230823BHJP
G09G 5/36 20060101ALI20230823BHJP
G09G 5/38 20060101ALI20230823BHJP
G09G 5/377 20060101ALI20230823BHJP
B60R 11/02 20060101ALI20230823BHJP
H04N 7/18 20060101ALI20230823BHJP
【FI】
G09G5/00 550C
G09G5/00 510A
G09G5/36 520G
G09G5/36 520C
G09G5/38 A
G09G5/00 530M
G09G5/36 520L
B60R11/02 C
H04N7/18 U
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022024155
(22)【出願日】2022-02-18
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(71)【出願人】
【識別番号】507308902
【氏名又は名称】ルノー エス.ア.エス.
【氏名又は名称原語表記】RENAULT S.A.S.
【住所又は居所原語表記】122-122 bis, avenue du General Leclerc, 92100 Boulogne-Billancourt, France
(74)【代理人】
【識別番号】110000486
【氏名又は名称】弁理士法人とこしえ特許事務所
(72)【発明者】
【氏名】河西 純
(72)【発明者】
【氏名】井上 裕史
(72)【発明者】
【氏名】志小田 雄宇
【テーマコード(参考)】
3D020
5C054
5C182
【Fターム(参考)】
3D020BA04
3D020BA20
3D020BB01
3D020BC01
3D020BE03
5C054CC02
5C054EA01
5C054EA05
5C054FC12
5C054FC15
5C054FE05
5C054FE12
5C054FF03
5C054HA30
5C182AA31
5C182AB11
5C182AB15
5C182AB25
5C182AB35
5C182AC43
5C182BA01
5C182BA03
5C182BA14
5C182BA29
5C182BA35
5C182BA46
5C182BA55
5C182BA56
5C182BA57
5C182CA21
5C182CA33
5C182CB11
5C182CB12
5C182CB14
5C182CB15
5C182CB42
5C182CB47
5C182CB55
(57)【要約】 (修正有)
【課題】画像表示による、ユーザの集中力の低下を防止できる画像表示装置を提供する。
【解決手段】画像表示装置は、車内に位置する表示装置の画面に表示画像を表示させる画像表示部110と、車内ユーザの視線方向を検出する視線検出部120と、車内ユーザが画面への表示画像の表示を受け入れる度合いを示す受容度を推定する受容度推定部130とを備え、画像表示部110は、受容度が高い場合と比較して、受容度が低い場合に、車内ユーザが視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、表示画像を画面に表示させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
車内に位置する表示装置の画面に表示画像を表示させる画像表示部と、
車内ユーザの視線方向を検出する視線検出部と、
前記車内ユーザが前記画面への前記表示画像の表示を受け入れる度合いを示す受容度を推定する受容度推定部とを備え、
前記画像表示部は、前記受容度が高い場合と比較して、前記受容度が低い場合に、前記車内ユーザが前記視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、前記表示画像を前記画面に表示させる画像表示装置。
【請求項2】
請求項1記載の画像表示装置において、
前記受容度推定部は、前記車内ユーザの状態を示すユーザ情報を取得し、前記ユーザ情報に基づき前記受容度を推定する画像表示装置。
【請求項3】
請求項1又は2記載の画像表示装置において、
前記受容度推定部は、車載機器から車両情報を取得し、前記車両情報に基づき前記受容度を推定する画像表示装置。
【請求項4】
請求項1~3のいずれか一項に記載の画像表示装置において、
前記視線検出部は、前記視線方向の先にある目視対象物の位置を推定し、
前記受容度推定部は、前記目視対象物の位置が車外である場合には、前記目視対象物の位置が車内である場合と比較して、前記受容度を低く推定する画像表示装置。
【請求項5】
請求項1~3のいずれか一項に記載の画像表示装置において、
前記視線検出部は、前記視線方向の先にある目視対象物の位置を推定し、
前記画像表示部は、前記目視対象物の位置が車外である場合には、前記受容度の大きさにかかわらず、前記視界阻害度が低くなるように前記表示画像を前記画面に表示させる、又は、前記表示画像を前記画面に表示させない画像表示装置。
【請求項6】
請求項1~5のいずれか一項に記載の画像表示装置であって、
前記画像表示部は、前記受容度が低い場合には、前記受容度が高い場合と比較して、前記表示画像の大きさを小さくして前記画面に表示させる画像表示装置。
【請求項7】
請求項1~5のいずれか一項に記載の画像表示装置であって、
前記画像表示部は、前記受容度が低い場合には、前記受容度が高い場合と比較して、前記表示画像の透過度を高くして前記画面に表示させる画像表示装置。
【請求項8】
請求項1~5のいずれか一項に記載の画像表示装置であって、
前記画像表示部は、前記受容度が低い場合には、前記受容度が高い場合と比較して、前記表示画像に含まれる仮想画像の位置を、前記車内ユーザの注視点から遠くして前記画面に表示させる画像表示装置。
【請求項9】
請求項1~8のいずれか一項に記載の画像表示装置であって、
前記画像表示部は、前記車内ユーザからの指令に応じて、前記視界阻害度が所定値より低くなるように前記表示画像を前記画面に表示させる、又は、前記表示画像を前記画面に表示させない画像表示装置。
【請求項10】
請求項1~9のいずれか一項に記載の画像表示装置であって、
前記画像表示部は、仮想画像を生成し、前記仮想画像を含む前記表示画像を前記画面に表示させる画像表示装置。
【請求項11】
請求項1~10のいずれか一項に記載の画像表示装置であって、
前記画像表示部は、
ドライバーが運転に関わる運転関係情報を認知しているか否かを判定し、
前記ドライバーが前記運転関係情報を認知していないと判定した場合には、前記受容度が低いときであっても、前記表示画像に前記運転関係情報を含めて前記画面に表示させる画像表示装置。
【請求項12】
プロセッサにより実行され、車内に位置する表示装置の画面に表示画像を表示する画像表示方法であって、
前記プロセッサは、
車内ユーザの視線方向を検出し、
前記車内ユーザが前記画面への前記表示画像の表示を受け入れる度合いを示す受容度を推定し、
前記受容度が高い場合と比較して、前記受容度が低い場合には、前記車内ユーザが前記視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、前記表示画像を前記画面に表示させる画像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示装置及び画像表示方法に関するものである。
【背景技術】
【0002】
従来より、広告サーバと車両とから構成される広告システムが知られている。(例えば特許文献1)。特許文献1記載の広告システムにおいて、広告サーバは、提示される広告の内容である広告情報と、広告を提示可能なユーザの負荷状況を含む広告枠情報とを関連づけて記憶する広告情報記憶手段と、広告情報と広告枠情報とを車両に送信する広告情報送信手段と、を有する。車両は、複数のセンサと、広告情報と広告枠情報とを広告サーバから受信する広告情報受信手段と、複数のセンサから取得される情報から、ユーザの負荷を決定する負荷決定手段と、ユーザの負荷に対応する広告枠情報を特定し、この広告枠情報と関連づけられている広告情報を提示する広告提示手段と、を有する。広告枠には、運転者の負荷状態を考慮して提供形態などの制約が課されて、運転者に掛かる負荷が大きい時には、広告提示手段は、文字数、文字の大きさ、配色等に制約をかけることで、提示する情報量を減らす。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
広告システムでは、ユーザにかかる負荷が大きい場合に、提示される情報量を減らしたとしても、提示情報がユーザの視界を妨げるような形態で表示された場合には、ユーザの集中力が低下する可能性がある。
【0005】
本発明が解決しようとする課題は、画像表示による、ユーザの集中力の低下を防止できる画像表示装置及び画像表示方法を提供することである。
【課題を解決するための手段】
【0006】
本発明は、車内ユーザの視線方向を検出し、車内ユーザが画面への表示画像の表示を受け入れる度合いを示す受容度を推定し、受容度が高い場合と比較して、受容度が低い場合には、車内ユーザが視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、表示画像を画面に表示させることによって上記課題を解決する。
【発明の効果】
【0007】
本発明によれば、画像表示によるユーザの集中力の低下を防止できる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、本実施形態における車両のブロック図である。
【
図2】
図2は、AR装置の画面に表示される画像の概念図である。
【
図3】
図3は、ドライバーの視野範囲を表す概念図である。
【
図4】
図4は、本実施形態の画像表示装置における画像表示方法の手順の一例を示すフローチャートである。
【
図5】
図5は、本発明の他の実施形態における車両のブロック図である。
【
図6】
図6は、他の実施形態の画像表示装置における画像表示方法の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
≪第1実施形態≫
本発明に係る画像表示装置の一実施形態を図面に基づいて説明する。
図1は、本実施形態に係る画像表示装置を含む車両の構成の一例を示すブロック図である。
図1で示されるように、車両1は、車載機器2、車内カメラ3、AR機器4、及びコントローラ100を備えている。なお、車両1は、
図1に示す構成に限らず、例えばエンジン、モータ等の駆動類、ナビゲーションシステムなどの補器類、及びバッテリ等を有している。本実施形態に係る画像表示装置は、コントローラ100を含む装置であって、車内のユーザに対して、アバター等の仮想画像を表示して、アバターと同乗しているようなバーチャル空間を車内ユーザに提供する。また画像表示装置は、ユーザの視線方向を検出し、アバターの表示によりユーザの視界を妨げるようなことを防止できるよう、アバターの表示に制限をかける。以下の説明では、車内ユーザをドライバーとして説明する。またバーチャル空間に表示される表示画像を、アバター等の仮想画像を含む画像として実施形態を説明する。
【0010】
車載機器2は、車両の運転状態を検出するために使用される機器であって、例えば、操舵センサ、アクセルポジションセンサ、ブレーキ圧力センサ、方向指示器、ソナーなどの対物センサである。
【0011】
車内カメラ3は、車内の様子を撮像する装置であって、少なくともドライバの視線方向を検出できるよう、ユーザの顔や目の動きを撮像する。なお、車内カメラ3も車載機器のひとつであるが、本実施形態では説明のために、別構成として説明する。
【0012】
AR機器4は、車内に位置する表示装置であって、ドライバーの頭部に装着されて、ドライバーに対して仮想空間を表示する。仮想空間の画像は、ドライバーが見ている実画像に、人を模したアバターを重畳した画像であって、実在する車外及び/車内の風景にバーチャルの視覚情報を重ねることで、実空間を仮想的に拡張させた画像である。アバターは、ユーザやアニメのキャラクター等で表され、例えば遠隔ユーザを模した人の画像で表される。またAR機器4は、AR機器4の座標位置、傾き等で示される姿勢情報をコントローラ100に出力する。
【0013】
図2は、AR機器4を介してドライバーが見ている画像を表している。車両走行中、ドライバーがAR機器4を装着した状態で正面を向いた場合には、AR機器4はアバターを表示せずに、ドライバーの正面から見える実画像を表示する。一方、例えば車両停車中に、ドライバーがAR機器4を装着した状態で助手席側を向いた場合には、AR機器4は、車内外の実際の景色に加えてアバター5を含んだ仮想画像(拡張画像)を表示する(
図2を参照)。また、AR機器4は、コントローラ100の制御の下、車載通信を介してサーバに接続されてもよく、サーバーは遠隔ユーザの操作端末と通信可能な状態で接続されている。そして、遠隔ユーザは操作端末を操作することでアバター5を動かすことができ、ドライバーは、
図2のアバター5の動きを見ることも可能である。なおアバター5は、遠隔ユーザの他に、例えば観光案内等をするガイド人を模したキャラクターでもよい。
【0014】
コントローラ100は、車載機器2から車両情報を取得し、車内カメラ3から撮像画像を取得し、AR機器4の表示画面上に表示させる表示画像を生成する。アバター(仮想画像)を表示画面に含む場合には、表示画像は、仮想画像と実画像を重ねた画像となる。またコントローラ100は、仮想画像をAR機器4の表示画面に表示する場合には、車両情報及び/又は撮像画像に基づき、仮想画像がドライバーの視界を妨げることがないように、AR機器4の表示画面上に表示画像を表示させる。コントローラ100は、機能ブロックとして、少なくとも画像表示部110と、視線検出部120と、受容度推定部130とを含む。各機能ブロックは、ソフトウェアと、ハードウェアとの協働により各機能を実行する。本実施形態では、コントローラ100が有する機能を3つのブロックとして分けた上で、各機能ブロックの機能を説明するが、コントローラ100の機能は必ずしも3つのブロックに分ける必要はなく、2つ以下の機能ブロック、あるいは、4つ以上の機能ブロックで分けてもよい。
【0015】
画像表示部110は、AR機器4の画面に表示画像を表示させる。画像表示部110は、仮想画像生成部111と、視界阻害度推定部112を含む。仮想画像生成部111は、AR機器4の画面に表示させる仮想画像を生成する。仮想画像生成部111は、ドライバーの操作等に基づき、仮想画像を表示させるための指令を取得する。仮想画像生成部111は、AR機器4と信号の送受信を行い、AR機器4を介してドライバーが見ている視線方向及び/又は視野範囲を特定する。仮想画像生成部111は、遠隔ユーザを模したアバターを仮想画像として表示させる場合には、アバターの動きを作るための動作情報を車外から取得する。そして、仮想画像生成部111は、特定された視線方向及び/又は視野範囲に応じて仮想画像を生成する。また仮想画像に動きを付与する場合には、仮想画像生成部111は、車外から取得した動作情報を用いて仮想画像を生成する。なお、動作情報は必ずしも車外から取得する必要はなく、例えば、ドライバーとアバターとの会話を通じて、アバターに動きを持たせるようなアニメーションを予め付与し、ドライバーとの会話に応じて、アバターに動きを付与してもよい。
【0016】
視界阻害度推定部112は、後述する視線検出部120から、ドライバーの視線方向を示す情報を取得し、取得した情報に基づき、視界阻害度を推定する。視界阻害度は、ドライバーが視線方向を見た時の視界を妨げる度合いを示したパラメータ(指標)である。言い換えると、実画像(実際の車内外の風景画像)をみているユーザに対して、実画像に仮想画像を重ねて表示する際に、仮想画像がユーザの視野範囲及び/又は視野範囲の周囲に表示されることで、ユーザの視界が妨げる程度、あるいは、ユーザの視界に制限がかかる程度を、視界阻害度は表している。
【0017】
ここで、視界阻害度について、
図3を参照して説明する。
図3は、ドライバーの注視点を中心とした視野範囲の概念図である。
図3において、点Oがドライバーの注視点である。例えば、運転シーンの一例として、車両が交差点の手前を走行している状態で、歩行者が、車両前方の横断歩道を歩行している場合(以下、「歩行者有シーン」と称す)には、ドライバーは、その歩行者に視線を合わせる。この場合に、ドライバーの視野範囲における歩行者の位置が、ドライバーの注視点となる。
【0018】
図3の領域Pは視野角0度から50度までの範囲を示し、領域Qは視野角50度から100度までの範囲を示し、領域Rは100度から120度までの範囲を示す。なお、領域P~Rを規定する視野角の値は任意の角度に設定可能である。一般的に、人間の視野角は100度程度であり、領域Pが有効視野の範囲に相当し、領域Qが周辺視野に相当する。例えば、上述した運転シーンにおいて、ドライバーはAR機器4を介して車両の正面を見ている状態で、仮想画像(アバター)が領域P内に表示された場合に運転の妨げになる。また、仮想画像(アバター)が領域Q内に表示された場合には、運転に対する集中力が低下する可能性があり、あるいは、運転中の疲労度が増す可能性がある。上記の歩行者有シーンを想定した場合には、車両の正面を向いており、アバターを助手席の位置に表示させたときには、アバターはドライバーの周辺視野(領域Q)に表示されるため、運転に対するドライバーの集中力が低下するおそれがある。すなわち、領域Pや領域Qの範囲内に、仮想画像が表示された場合には、ドライバーの視界を妨げることになり、視界阻害度が高くなる。
【0019】
一方、領域Rはドライバーの視野範囲外のため、仮想画像が領域Rに表示されたとしても、仮想画像がドライバーの視界を妨げる可能性は低く、視界阻害度が低い。このように、視界阻害度は、ドライバーの注視点を中心点とした視野角で定められる範囲と対応させた値としてもよい。例えば、注視点に近い範囲では、視界阻害度が高く、注視点から遠い範囲では視界阻害度が低くなるよう、視界阻害度が推定される。なお、視界阻害度は、視野角に限らず、例えば視野範囲における注視点からの距離に応じて推定されてもよい。さらに、視界阻害度は、仮想画像の位置に限らず、仮想画像の形状、大きさ、色彩、透過度等から推定されてよい。例えば、仮想画像が、
図3の領域Qの範囲内に表示する場合に、仮想画像の透過度を大きくしたり、あるいは、仮想画像の大きさを小さくしたりすることで、仮想画像がドライバーの視界を妨げないようにすることができる。このように仮想画像を表示する場合には、視界阻害度が低くなる。
【0020】
また視界阻害度は、仮想画像の位置、仮想画像の形状、大きさ、色彩、及び透過度等、ドライバーの視界を妨げる要素を複数組み合わせて推定されてもよい。例えば、視界阻害度は、仮想画像の透過度と、ドライバーの視線方向から上下左右方向の視野角とを組み合わせたパラメータとしてもよい。あるいは、例えば、視界阻害度は、仮想画像の透過度と、ドライバーの視野範囲における仮想画像の位置とを組み合わせたパラメータとしてもよい。
【0021】
画像表示部110は、ドライバーの視線方向に応じて、ドライバーが見ている実画像に対して、仮想画像生成部111により生成された仮想画像を重ねて表示画像を生成する。例えば、助手席の位置に仮想画像(アバター)を表示して、ドライバーがアバターと同乗しているようなバーチャル空間を実現させる場合に、ドライバーが車両の正面を向いている場合には、画像表示部110は、実画像を表示画像として生成する。また、ドライバーが助手席側を向いた場合には、画像表示部110は、実画像に仮想画像を重ねて表示画像を生成する。また、画像表示部110は、受容度が高い場合と比較して、受容度が低い場合には、視界阻害度が低くなるような表示画像を生成する。受容度については後述する。
【0022】
すなわち、画像表示部110は、視界阻害度が低くなるように、仮想画像に対して画像処理を行う。画像処理には、画像生成と表示形態の決定が含まれる。具体的には、画像表示部110は、例えば、仮想画像の位置を視線方向から遠ざける、仮想画像の透過度を大きく、仮想画像の大きさを小さくする、仮想画像を目立たない形状とする、仮想画像を目立たない色彩にする、仮想画像を表示させない、等の画像処理を行う。なお、仮想画像の大きさを小さくするには、例えば同じ形状を保ちつつ小さくする(縮小)、あるいは、別の形状に変えた上で小さくしてもよい。そして、画像表示部110は、画像処理後の仮想画像を実画像に重ねて表示画像を生成し、生成した表示画像を、AR機器4の画面に表示させる。
【0023】
視線検出部120は、車内ユーザ(ドライバー)の視線方向を検出する。具体的には、視線検出部120は、車内カメラ3の撮像画像を取得し、取得された撮像画像からドライバーの目を特定し、ドライバーが見ている位置からドライバーの視線方向を検出する。また、視線検出部120は、両眼球の中心の離間距離を測定し、離間距離に基づき、注視点に位置する目視対象物の位置を推定してもよい。そして、視線検出部120は、ドライバーの位置から目視対象物の位置までの距離が車内空間内であるか否かで、目視対象物の位置が車外であるか車内であるかを推定できる。ドライバーがAR機器4を装着している場合には、視線検出部120はAR機器4と信号の送受信を行い、AR機器4を介してドライバーが見ている視線方向を検出してもよい。
【0024】
受容度推定部130は受容度を推定する。受容度は、ドライバーがAR機器4の画面への表示画像の表示を受け入れる度合いを表している。例えば、ドライバーが運転している場合、車内の他のユーザと会話している場合、ドライバーの疲労度が高い場合、ドライバーがアバターとの会話以外の他の行為に集中している場合など、仮想画像をAR機器4の画面に表示しても、ドライバーが、仮想画像が表示されることを受け入れない。言い換えると、仮想画像の表示が、ドライバーの行為を阻害することになる場合がある。受容度推定部130は、仮想画像を含んだ表示画像の表示の受け入れやすさを、受容度として推定する。受容度の値が大きい程、ドライバーがAR機器4の画面への表示画像の表示を受け入れやすくなる。
【0025】
受容度推定部130は、ユーザ情報及び/又は車両情報を取得し、取得した情報に基づき受容度を推定する。ユーザ情報は、ユーザの状態を示す情報であって、ユーザの視線方向、注視点の位置、表情、動き(腕や頭部などの動き)、音声、生体情報(脳波、心拍等)で示される。受容度推定部130は、車内カメラ3の撮像画像から、ユーザの視線方向、注視点の位置、表情、動きを検出することで、ユーザ情報を取得する。受容度推定部130は、車内のスピーカから音声情報を取得する。受容度推定部130は、ドライバーに装着される脈波センサや心拍センサを用いて生体情報を取得する。なお、ユーザ情報は、ユーザ視線方向や注視点の位置など、上記に列挙した全ての情報を含む必要はなく、列挙した情報のうち少なくとも1つの情報を含んでいればよい。
【0026】
受容度推定部130は、取得されたユーザ情報に基づき受容度を推定する。受容度推定部130は、ユーザ情報に含まれるユーザの視線方向又は注視点の位置から、ドライバーが車外又は車内のどちらを見ているか、を特定する。ドライバーが車外を見ている場合には、運転中の可能性が高く、運転中に仮想画像を表示しても、ドライバーには受け入れられない可能性が高い。そのため、受容度推定部130は、ドライバーが車外をみていることを特定した場合には、ドライバーが車内をみている場合と比較して、受容度を低くする。視線検出部120が目視対象物の位置を推定する場合には、受容度推定部130は、目視対象物の位置が車外か車内であるかに応じて、受容度を推定してもよい。すなわち、受容度推定部130は、目視対象物の位置が車外である場合には、目視対象物の位置が車内である場合と比較して、受容度を低く推定する。
【0027】
また受容度推定部130は、ユーザ情報に含まれる、ユーザの表情や動き、音声から、ドライバーがアバターとの会話以外のことに集中しているか否か特定する。例えば、アバター表示前に、ドライバーの表情が笑顔になっていたり、ドライバーが後部先を振り向いている場合には、ドライバーが他のユーザ(例えば、電話で話す、又は、後部座席のユーザと話す)と会話しており、その状態でアバターを表示しても、ドライバーはアバターを注視しない、あるいは、アバターを表示させることでドライバーと他のユーザと会話の邪魔になる可能性がある。このような場合には、受容度推定部130は受容度を低くする。なお、ドライバーが他のユーザと会話していることは、ユーザ情報に含まれる音声情報の解析から特定してもよい。
【0028】
また受容度推定部130は、ユーザ情報に含まれる生体情報から、ドライバーが緊張状態であるか否か特定する。例えば、ドライバーが負荷の大きな運転をしている最中など、ドライバーが緊張状態である場合には、アバターを表示しても、ドライバーはアバターを注視しない、あるいは、アバターを表示させることでドライバーの集中力が低下する可能性がある。そのため、受容度推定部130は、生体情報からドライバーが緊張状態であることを特定した場合には、受容度を低くする。
【0029】
受容度推定部130は、車載機器2から車両情報を取得し、取得された車両情報に基づき受容度を推定する。受容度推定部30は、車両情報に含まれる、操舵センサ、アクセルポジションセンサ、ブレーキ圧力センサ、又は、対物センサの検出情報、あるいは、方向指示器の動作状態の情報から、車両の走行状態を特定する。車両が走行中である場合には、ドライバーは運転している可能性が高く、運転中に仮想画像を表示しても、ドライバーには受け入れられない可能性が高い。そのため、受容度推定部130は、車両が走行中の場合には、車両が停車中の場合と比較して、受容度を低くする。
【0030】
そして、画像表示部110は、受容度が高い場合と比較して、受容度が低い場合には、視界阻害度が低くなるような表示画像を生成し、AR機器4の画面に表示する。視界阻害度が低くなるような表示画像は、例えば以下の方法で生成される。画像表示部110は、受容度推定部130により推定された受容度に応じて、視界阻害度閾値を設定する。視界阻害度閾値は、仮想画像の表示により、許容される視界阻害度の上限値である。例えば、車両の停車中など、ドライバーの負荷が小さい場合には、受容度が高くなるため、視界阻害度閾値は高い値に設定される。次に、画像表示部110は、仮想画像を生成する際に、仮想画像の表示と視界阻害度を対応させて、視界阻害度が視界阻害度閾値よりも低くなるような、仮想画像の生成及び表示形態を決定する。視界阻害度閾値が高い値に設定された場合には、ユーザの視界を妨げる度合い高い表示画面を表示できるため、仮想画像生成部111は透過度の低い仮想画像を生成し、画像表示部110は、仮想画像を注視点の近くに仮想画像が表示されるように、仮想画像を実画像に重ねる。
【0031】
一方、視界阻害度閾値が低い値に設定された場合には、ユーザの視界を妨げる度合いの高い表示画面を表示できないため、仮想画像生成部111は透過度の高い仮想画像を生成する。画像表示部110は、生成された仮想画像の表示位置を注視点から離すことで、仮想画像を表示した時の視界阻害度を低くする。そして、画像表示部110は、仮想画像を表示した時の視界阻害度が視界阻害度閾値未満になるような位置で、仮想画像を実画像に重ねる。これにより、画像表示部110は、受容度が高い場合と比較して、受容度が低い場合には、視界阻害度が低くなるような表示画像を生成し、AR機器4の画面に表示させる。なお、視界阻害度閾値は必ずしも設定する必要はなく、また、視界阻害度が低くなる、又は、視界阻害度が高くなるような表示画像の生成方法は上記に限らず、他の方法でもよい。
【0032】
次に、
図4を参照して、コントローラ100により実行される、表示画像の表示方法を説明する。
図4は、コントローラ100の画像表示制御の処理フローを示すフローチャートである。コントローラ100は、車内ユーザの操作、又は、車外から受信する制御指令に基づき、AR機器4を装着した車内ユーザに対して、画像表示を開始する指令を特定した場合に、以下の制御フローを開始する。
【0033】
ステップS1にて、仮想画像生成部111は仮想画像を生成する。この仮想画像は、視界阻害度を低くするための画像処理を施していない画像である。ステップS2にて、視線検出部120は、車内カメラ3の撮像画像、及び/又は、AR機器4の姿勢情報に基づき、ドライバーの視線方向を検出する。
【0034】
ステップS3にて、受容度推定部130はドライバーの受容度を推定する。ステップS4にて、視界阻害度推定部112は視界阻害度を推定する。まず、視界阻害度推定部112は、視線検出部120から、ドライバーの視線方向を示す情報を取得する。視界阻害度推定部112は、ドライバーの視線方向から特定される視野範囲及び/又は視野範囲の周囲において、仮想画像を表示したときの視界阻害度を推定する。視界阻害度は、仮想画像の表示形態に応じて推定される。例えば、仮想画像を注視点に近い位置に表示する、及び/又は、透過度の低い仮想画像を表示するような表示形態に対して、視界阻害度は高い値で推定される。また、例えば、仮想画像を注視点に遠い位置に表示する、及び/又は、透過度の高い仮想画像を表示するような表示形態に対して、視界阻害度は低い値で推定される。
【0035】
ステップS5にて、画像表示部110は、AR機器4の画面に表示される表示画像を生成する。まず、画像表示部110は、推定された受容度と、推定された視界阻害度に基づき、推定された受容度に応じた仮想画像の表示形態を決定する。画像表示部110は、受容度が高い場合には、視界阻害度が高くなるような仮想画像の表示形態を決定する。画像表示部110は、受容度が低い場合には、視界阻害度が低くなるような仮想画像の表示形態を決定する。画像表示部110は、決定した表示形態に合うように、仮想画像に対して画像処理を行う。さらに、画像表示部110は、画像処理後の仮想画像を実画像に重ねることで、表示画像を生成する。
【0036】
ステップS6にて、画像表示部110は、生成された表示画像を含む信号をAR機器4に送信する。これにより、画像表示部110は、受容度が高い場合と比較して、受容度が低い場合に、視界阻害度が低くなるように、表示画像をAR機器4の画面に表示させる。
【0037】
上記のように本実施形態において、コントローラ100は、車内ユーザの視線方向を検出し、車内ユーザが、車内に位置する表示装置の画面への表示画像の表示を受け入れる度合いを示す受容度を推定し、受容度が高い場合と比較して、受容度が低い場合には、車内ユーザが視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、表示画像を画面に表示させる。これにより、車両ユーザの受容度と視線方向を考慮して視界阻害度を低減するように画像表示を変化させるので、車内の画像表示により、車両ユーザの運転への集中力が低下することを防止できる。
【0038】
また本実施形態において、受容度推定部130は、車内ユーザの状態を示すユーザ情報を取得し、ユーザ情報に基づき受容度を推定する。これにより、ユーザの動きやユーザの音声から受容度を推定できる。
【0039】
また本実施形態において、受容度推定部130は、車両1の車載機器2から車両情報を取得し、取得された車両情報に基づき受容度を推定する。これにより、車両情報を基に車両ユーザの受容度を推定することができる。
【0040】
また本実施形態において、視線検出部120は、車内ユーザの視線方向の先にある目視対象物の位置を推定し、受容度推定部130は、目視対象物の位置が車外である場合には、目視対象物の位置が車内である場合と比較して、受容度を低く推定する。これにより、車両の走行状態を車内ユーザの視線方向から特定した上で、受容度を推定できる。
【0041】
また本実施形態において、画像表示部110は、受容度が低い場合には、受容度が高い場合と比較して、表示画像の大きさを小さくして画面に表示させる。これにより、車内ユーザの視界を確保できる。
【0042】
また本実施形態において、画像表示部110は、受容度が低い場合には、受容度が高い場合と比較して、表示画像の透過度を高くして画面に表示させる。これにより、車内ユーザの視界を確保できる。
【0043】
また本実施形態において、画像表示部110は、受容度が低い場合には、受容度が高い場合と比較して、表示画像に含まれる仮想画像の位置を、車内ユーザの注視点から遠くして画面に表示させる。これにより、車内ユーザの視界を確保できる。
【0044】
なお、本実施形態の変形例として、画像表示部110は、目視対象物の位置が車外である場合には、受容度の大きさにかかわらず、視界阻害度が低くなるように表示画像を画面に表示させる、又は、表示画像を前記画面に表示させないようにしてもよい。目視対象物の位置が車外である場合には、車両運転中の可能性が高いため、このような場合には、視界阻害度が低くなるように表示画像を画面に表示させる、あるいは、強制的に仮想画像の表示を禁止する。これにより、車内ユーザの受容度に関わらず、車内ユーザの視野を強制的に確保できる。
【0045】
また本実施形態の変形例として、画像表示部110は、視界阻害度が所定値より低くなるように表示画像を前記画面に表示させる、又は、表示画像を前記画面に表示させないようにしてもよい。コントローラ100は、車内ユーザからの操作に基づき、強制的に視野を確保するように、AR機器4の表示画像を制御する。例えば、車内ユーザは、運転に集中したい時には、アバターの表示を消す、あるいは、アバター表示が視野を妨げないようにするために、アバター表示を制限する制限操作を実行する。制限操作は、例えば、車内のスイッチ操作、AR機器4のボタン操作や、音声認識処理を利用した音声入力により行われる。
【0046】
コントローラ100は、制限操作に基づく制御指令を受信した場合には、仮想画像を表示することによる視界阻害度が所定値より低くなるように、仮想画像に対して画像処理を実行する。所定値は、仮想画像の位置を強制的に視野範囲の周囲に遠ざける、仮想画像の透過度を大幅に高くするなど、受容度とは関係なく仮想画像の表示により車内ユーザの視野を妨げないようにするための、視界阻害度の下限値である。また、コントローラ100は、制限操作に基づく制御指令を受信した場合には、強制的に仮想画像の表示を禁止し、実画像のみをAR機器4に表示させる。これにより、車内ユーザの受容度に関わらず、強制的に視界を確保する指令を受け付ける構成になっているので、車内ユーザの視野を強制的に確保できる。
【0047】
また本実施形態の変形例として、受容度推定部130は、目視対象物の種類に応じて受容度を推定してもよい。例えば、目視対象物の種類が歩行者である場合には、運転中の可能性が高い。あるいは、目視対象物の種類が車内のナビゲーションシステム用の画面である場合や、サイドガラス越しに風景を見ている場合には、運転中の可能性が低い。受容度推定部130は、車内カメラ、及び/又は、車外カメラの撮像画像と、視線検出部120により推定された目視対象物に基づいて、ユーザが目視している対象物の種類を特定する。特定された目視対象物の種類が、車両の運転に関係するもの(例えば、他車両、標識、障害物等)である場合には、受容度推定部130は受容度を低くする。これにより、車内ユーザの視覚情報に基づき、任意の対象物注視しているかを判断し、受容度を下げることができるので、車内ユーザの視界を確保できる。
【0048】
なお本実施形態において、受容度は、車内ユーザが現在行っているタスク(以下、現在タスクと称す)に応じて、レベル1、レベル2、及びレベル3などのようにレベル分けで表されてよい。現在タスクは、ドライバー現在の行為を表しており、例えば、車両運転中、他人との会話中、映像鑑賞中などである。現在タスクは、車両情報及び/又はユーザ情報に基づき特定される。そして、受容度は、現在タスクとは異なるタスクを、車内ユーザが受け入れるかの度合いを表している。例えば、現在タスクが車両運転中である場合には、ドライバーは、アバターとの会話等の他のタスクを受け入れる可能性は低い。このような場合には、受容度推定部130は、受容度レベルを「1」とする。一方、例えば、現在タスクが映像鑑賞中である場合には、ドライバーは、アバターとの会話等の他のタスクを受け入れる可能性は、車両運転中より高くなる。このような場合には、受容度推定部130は、受容度レベルを「3」とする。そして、画像表示部110は、受容度が高い場合と比較して、受容度が低い場合には、視界阻害度が低くなるように、表示画像を画面に表示させる。これにより、車内ユーザの現在タスクの内容を考慮して視界阻害度を低減するように画像表示を変化させるので、車内の画像表示により、車両ユーザの集中力が低下することを防止できる。
【0049】
なお、本実施形態において、表示画像は、AR機器4の画面に限らず、例えばナビゲーションシステム用の車載ディスプレイ、車内ユーザが所有するユーザ端末のディスプレイ等、車内に位置するディスプレイに表示されてもよい。
【0050】
なお、本実施形態において、コントローラ100は、仮想画像に対して画像処理を行い、視界阻害度が低くなるように表示画像を画面に表示させるが、視界阻害度が低くする表示画像に、必ずしも仮想画像を含める必要は無く、実画像に対して画像処理を行い、視界阻害度が低くなるように表示画像を画面に表示させてよい。例えば、車載ディスプレイに映像を表示する際に、車両運転中等、受容度の低い場合は、車載ディスプレイの表示画面が、車内ユーザの視線方向によって視野範囲に含まれてしまう場合がある。このような場合には、コントローラ100は、表示画面を目立たないような色合いにするなど、視界阻害度が低くなるような画像処理を実画像に行う。このように、コントローラ100は、実画像に対して画像処理を行い、視界阻害度が低くなるように表示画像を画面に表示させてもよい。
【0051】
≪第2実施形態≫
次に、第2実施形態に係る画像表示装置について説明する。第2実施形態では、コントローラ100が運転関係情報取得部140を含む点、及び、画像表示部110の制御の一部が異なる。なお、以下に説明する点において第1実施形態に係る画像表示装置と異なること以外は、第1実施形態と同様の構成を有し、第1実施形態と同様に動作又は作用するものであって、第1実施形態の記載を適宜、援用する。
【0052】
本実施形態に係る画像表示装置は、受容度が低いときであっても、車両の走行シーン及びドライバーの状態に応じて運転関係情報を含む仮想画像を、AR機器4の画面に表示させる。例えば、車両が交差点に入り右折しようとするような走行シーンにおいて、ドライバーの注視点が対向車の位置にあり、右折先の横断歩道上の歩行者がドライバーの視野範囲に含まれていない時には、コントローラ100は、ドライバーに対して歩行者の存在を注意喚起するために、歩行者の仮想画像をAR機器4の画面に表示させる。すなわち、ドライバーが運転に集中している時には、受容度推定部130により推定される受容度は低くなる。しかしながら、ドライバーが歩行者などの運転関係情報を認知していない場合には、運転関係情報を含む画像を積極的に表示した方がよい。本実施形態では、ドライバーが運転関係情報を認知しているか否かを判定し、ドライバーが運転関係情報を認知していないと判定した場合には、受容度が低いときであっても、表示画像に前記運転関係情報を含めてAR機器4の画面に表示させる。
【0053】
コントローラ100は、画像表示部110等に加えて、運転関係情報取得部140を含んでいる。運転関係情報取得部140は、車載機器2に含まれる測距センサ又は車外カメラ等、車両外部を検出するセンサを用いて、車両周辺の運転関係情報を取得する。運転関係情報は、車両の運転において必要となる情報であって、例えば、他車両、歩行者、標識、障害物などの情報である。運転関係情報は、対象物の形や大きさ、又は、対象物の位置などを示しており、センサで検出される車両周辺の物体情報、信号機などの交通装置の情報、標識の情報等、エンターテイメントやナビゲーション情報以外の運転に関係する情報である。例えば運転関係情報で示される対象物が歩行者である場合には、運転関係情報は、少なくとも歩行者の位置を含んでいる。運転関係情報取得部140は、車両の走行シーンに応じて、運転関係情報を取得してもよい。例えばドライバーが右折するために方向指示器を操作した場合には、運転関係情報取得部140は、方向指示器の操作をトリガとして、センサを用いて、右折先の道路の状況を検出し、検出されたデータから運転関係情報を取得する。また運転関係情報取得部140は、車両の右左折に限らず、車線変更等の走行シーンの時に運転関係情報を取得してもよい。
【0054】
運転関係情報を取得した場合には、画像表示部110は、視線検出部120から、ドライバーの視線方向を示す情報を取得し、ドライバーが運転関係情報を認知しているか否かを判定する。具体的には、画像表示部110は、運転関係情報で示される対象物とその対象物の位置を特定し、ドライバーの視線方向からドライバーの視野範囲を特定する。特定された対象物がドライバーの視野範囲内にある場合には、画像表示部110は、ドライバーが運転関係情報を認知していると判定する。一方、特定された対象物がドライバーの視野範囲内にない場合には、画像表示部110は、ドライバーが運転関係情報を認知していないと判定する。あるいは、画像表示部110は、ドライバーの注視点が、運転関係情報で示される対象物にフォーカスされたか否かに応じて、ドライバーが運転関係情報を認知しているか否か判定してもよい。
【0055】
ドライバー運転関係情報を認知していないと判定した場合には、仮想画像生成部111は、運転関係情報を示す仮想画像を生成する。例えば、運転関係情報が示す対象物が歩行者である場合には、仮想画像生成部111は、人を模したアバターを仮想画像として生成する。画像表示部110は、運転関係情報を示す仮想画像がAR機器4の画面に表示されるよう、AR機器4の表示画面を生成する。このとき、例えば、アバターとの同乗しているようなバーチャル空間を実現するための仮想画像(運転に関連しない仮想画像)を表示する場合には、第1実施形態のように、受容度に応じて視界阻害度を調整して、AR機器4の表示画面に表示させてもよく、特に受容度が低い場合には、コントローラ100は、運転に関連しない仮想画像はAR機器4の表示画面に表示せず、ドライバーが認知していない情報であり、運転に関連する仮想画像を、AR機器4の表示画面に表示してもよい。運転に関係する仮想画像の表示位置は、少なくともドライバーの視野範囲(
図3の領域P又は領域Q)であり、ドライバーの注視点の位置又は注視点の近くにすればよい。また仮想画像生成部111は、運転関係情報を示す仮想画像がAR機器4の画面に表示させる場合には、仮想画像を強調して表示させてもい。画像表示部110は、色合いや大きさなどの表示形態、及び/又は、仮想画像の表示位置を調整することで、仮想画像を強調させてもよい。これにより、例えば、ドライバーの受容度が低い場合に、ドライバーの視野範囲に入っていない、歩行者などの運連関連情報を、AR機器4の表示画面に表示することができる。
【0056】
次に、
図6を参照して、コントローラ100により実行される、表示画像の表示方法を説明する。
図6は、コントローラ100の画像表示制御の処理フローを示すフローチャートである。
【0057】
ステップS11及びステップS12の制御処理は、第1実施形態におけるステップS1及びステップS2と同様であり、説明を省略する。ステップS13にて、運転関係情報取得部140はセンサを用いて運転関係情報を取得する。ステップS14にて、画像表示部110は、視線検出部120で検出されるドライバーの視線方向の情報と、取得された運転関係情報に基づき、ドライバーが運転関係情報を認知しているか否か判定する。ドライバーが運転関係情報を認知していると判定した場合には、コントローラ100はステップS16の制御処理を実行する。
【0058】
ドライバーが運転関係情報を認知していない場合には、ステップS15にて、仮想画像生成部111は、運転関係情報を示す仮想画像(運転関係画像)を生成する。ステップS16~ステップS19の制御処理は、第1実施形態におけるステップS3~S6と同様であり、説明を省略する。ただし、ステップS15の制御処理で、運転に関係する仮想画像を生成した場合には、ステップS18にて、画像表示部110は運転に関係する仮想画像を含めてAR機器4の表示画像を生成し、ステップS18にて、画像表示部110は生成された表示画像を含む信号をAR機器4に送信する。
【0059】
上記のように本実施形態において、コントローラ100は、ドライバーが運転に関わる運転関係情報を認知しているか否かを判定し、ドライバーが運転関係情報を認知していないと判定した場合には、受容度が低いときであっても、表示画像に運転関係情報を含めて画面に表示させる。これにより、ドライバーが、運転に関係する情報を認知しているか否判定した上で、運転に関係する情報を積極的に表示し、ドライバーに注意喚起できる。
【0060】
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【符号の説明】
【0061】
1…車両
2…車載機器
3…車内カメラ
4…AR機器
100…コントローラ
110…画像表示部
120…視線検出部
130…受容度推定部