特開 2024-2230 画像表示装置、画像表示方法及び画像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024002230

(43)【公開日】2024-01-11

(54)【発明の名称】画像表示装置、画像表示方法及び画像表示システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231228BHJP

   G09G 5/377 20060101ALI20231228BHJP

   G09G 5/00 20060101ALI20231228BHJP

   G09G 5/36 20060101ALI20231228BHJP

   G09G 5/38 20060101ALI20231228BHJP

【ＦＩ】

G06F3/01 510

G09G5/36 520M

G09G5/00 550C

G09G5/00 550H

G09G5/00 530D

G09G5/36 520B

G09G5/00 555D

G09G5/00 510V

G09G5/38 A

G09G5/00 550B

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022101302

(22)【出願日】2022-06-23

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(71)【出願人】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】志小田 雄宇

【テーマコード（参考）】

5C182

5E555

【Ｆターム（参考）】

5C182AB15

5C182AB25

5C182AB34

5C182AB35

5C182AC02

5C182AC03

5C182AC43

5C182AC46

5C182BA01

5C182BA03

5C182BA14

5C182BA29

5C182BA35

5C182BA47

5C182BA54

5C182BA56

5C182BA66

5C182BB03

5C182BB11

5C182BC03

5C182BC11

5C182BC14

5C182BC25

5C182BC26

5C182CB42

5C182CB47

5C182CB54

5C182DA52

5C182DA65

5E555AA21

5E555AA76

5E555BA23

5E555BA38

5E555BB23

5E555BB38

5E555BC06

5E555BC17

5E555BE10

5E555CA42

5E555CB65

5E555DA08

5E555DA09

5E555DB18

5E555DB41

5E555DC09

5E555DC11

5E555FA00

(57)【要約】

【課題】ユーザが、表示されたテキスト画像に含まれるテキストを読み終えた場合に、当該テキスト画像がユーザの視界の妨げになることを防止できる画像表示装置、画像表示方法及び画像表示システムを提供することである。
【解決手段】ユーザが視認する現実空間又は現実空間に対応する画像に重畳してテキスト画像を表示し、ユーザの視線方向を認識し、表示されたテキスト画像と、認識された視線方向とに基づいて、ユーザが、テキスト画像に含まれるテキストを読み終わったか否かを判定し、ユーザがテキストを読み終わったと判定された場合には、テキスト画像の表示を制限する。
【選択図】 図２

【特許請求の範囲】

【請求項1】

ユーザに画像を表示するコントローラを備える画像表示装置であって、
前記コントローラは、
前記ユーザが視認する現実空間又は前記現実空間に対応する画像に重畳してテキスト画像を表示する画像表示制御部と、
前記ユーザの視線方向を認識するユーザ動作認識部と、
前記画像表示制御部によって表示された前記テキスト画像と、前記ユーザ動作認識部によって認識された前記視線方向とに基づいて、前記ユーザが、前記テキスト画像に含まれるテキストを読み終わったか否かを判定する読了判定部と、を備え、
前記画像表示制御部は、前記読了判定部によって前記ユーザが前記テキストを読み終わったと判定された場合には、前記テキスト画像の表示を制限する画像表示装置。

【請求項2】

前記読了判定部は、前記ユーザが前記テキストを読み終わったと判定した場合には、前記ユーザが前記テキストを読み終わったとの判定結果を外部のサーバに送信し、
前記画像表示制御部は、前記サーバから、前記テキスト画像とは別のテキスト画像を表示させる制御指示を受信した場合には、前記別のテキスト画像を表示し、
前記サーバは、
前記ユーザが複数いる場合には、複数の前記ユーザ全員が前記テキストを読み終わったと判定されたときに、前記制御指示を送信する請求項１に記載の画像表示装置。

【請求項3】

前記画像表示制御部は、
前記現実空間に存在し、前記ユーザに案内するべき案内対象に関する前記テキスト画像を表示する請求項１又は２に記載の画像表示装置。

【請求項4】

前記画像表示制御部は、前記読了判定部によって前記ユーザが前記テキストを読み終わったと判定された場合には、前記テキスト画像の表示位置を移動させる請求項１又は２に記載の画像表示装置。

【請求項5】

前記画像表示制御部は、前記読了判定部によって前記ユーザが前記テキストを読み終わったと判定された場合には、前記テキスト画像の表示位置を前記ユーザの注視点の位置から離れるように移動させる請求項４に記載の画像表示装置。

【請求項6】

前記画像表示制御部は、
前記現実空間に存在し、前記ユーザに案内するべき案内対象に関する前記テキスト画像を表示し、
前記読了判定部によって前記ユーザが前記テキストを読み終わったと判定された場合には、前記テキスト画像の表示位置を前記案内対象の位置から離れるように移動させる請求項４に記載の画像表示装置。

【請求項7】

前記画像表示制御部は、前記読了判定部によって前記ユーザが前記テキストを読み終わったと判定された場合には、前記テキスト画像の代わりに、前記テキストの内容に応じたアイコン画像を表示する請求項１又は２に記載の画像表示装置。

【請求項8】

前記画像表示制御部は、前記読了判定部によって前記ユーザが前記テキストを読み終わったと判定された場合には、前記テキスト画像を非表示にする請求項１又は２に記載の画像表示装置。

【請求項9】

前記画像表示制御部は、
前記読了判定部によって前記ユーザが前記テキストを読み終わったと判定された場合には、前記テキスト画像の表示位置を移動させ、又は、前記テキスト画像の代わりに、前記テキストの内容に応じたアイコン画像を表示し、
前記ユーザに前記テキストを再度読む意思があるか否かを推定し、
前記ユーザに前記テキストを再度読む意思がないと推定された場合には、表示されている前記テキスト画像又は前記アイコン画像を非表示にする請求項１又は２に記載の画像表示装置。

【請求項10】

前記画像表示制御部は、前記読了判定部によって前記ユーザが前記テキストを読み終わったと判定された場合、判定がされてから所定の時間が経過するまでの間に、前記ユーザによる前記テキストを再度読むとの意思表示がなかったときに、前記ユーザに前記テキストを再度読む意思がないと推定する請求項９に記載の画像表示装置。

【請求項11】

前記読了判定部は、前記ユーザの注視点が、前記テキストに含まれるすべての文字の表示位置上を移動した場合に、前記ユーザが前記テキストを読み終わったと判定する請求項１又は２に記載の画像表示装置。

【請求項12】

前記テキスト画像は、前記ユーザの属性に応じて生成される請求項１又は２に記載の画像表示装置。

【請求項13】

ユーザに画像を表示するコントローラによって実行される画像表示方法であって、
前記コントローラは、
前記ユーザが視認する現実空間又は前記現実空間に対応する画像に重畳してテキスト画像を表示し、
前記ユーザの視線方向を認識し、
表示された前記テキスト画像と、認識された前記視線方向とに基づいて、前記ユーザが、前記テキスト画像に含まれるテキストを読み終わったか否かを判定し、
前記ユーザが前記テキストを読み終わったと判定された場合には、前記テキスト画像の表示を制限する画像表示方法。

【請求項14】

外部のサーバから取得した画像をユーザに表示するコントローラを備える画像表示システムであって、
前記コントローラは、
前記サーバからテキスト画像を取得し、
前記ユーザが視認する現実空間又は前記現実空間に対応する画像に重畳して前記テキスト画像を表示し、
前記ユーザの視線方向を認識し、
表示された前記テキスト画像と、認識された前記視線方向とに基づいて、前記ユーザが、前記テキスト画像に含まれるテキストを読み終わったか否かを判定し、
前記ユーザが前記テキストを読み終わったと判定された場合には、前記テキスト画像の表示を制限する画像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像表示装置、画像表示方法及び画像表示システムに関するものである。

【背景技術】

【0002】

実空間を撮像することにより生成される入力画像に映る実物体を認識し、実物体の位置に従って、拡張現実のための仮想オブジェクトの表示位置を決定し、仮想オブジェクトの出力画像を表示装置に出力し、表示位置に出力画像を表示させる技術が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－２３５３７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術では、仮想オブジェクトとしてテキスト画像が表示される場合、ユーザがテキストを読み終えた後に当該テキスト画像がそのまま表示され続けると、ユーザの視界の妨げになるという問題がある。

【0005】

本発明が解決しようとする課題は、ユーザが、表示されたテキスト画像に含まれるテキストを読み終えた場合に、当該テキスト画像がユーザの視界の妨げになることを防止できる画像表示装置、画像表示方法及び画像表示システムを提供することである。

【課題を解決するための手段】

【0006】

本発明は、ユーザが視認する現実空間又は現実空間に対応する画像に重畳してテキスト画像を表示し、ユーザの視線方向を認識し、表示されたテキスト画像と、認識された視線方向とに基づいて、ユーザが、テキスト画像に含まれるテキストを読み終わったか否かを判定し、ユーザがテキストを読み終わったと判定された場合には、テキスト画像の表示を制限することによって上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、ユーザが、表示されたテキスト画像に含まれるテキストを読み終えた場合に、当該テキスト画像がユーザの視界の妨げになることを防止できる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の実施形態に係る画像表示方法の適用例を示す図である。

【図2】図２は、本実施形態に係る画像表示システムの構成の一例を示す図である。

【図3】図３は、本実施形態に係る画像表示方法の制御手順の一例を示すフローチャート図である。

【図4】図４は、本実施形態に係る画像表示の一例を示す図である。

【図5】図５は、本実施形態に係る画像表示の制限の一例を示す図である。

【図6】図６は、本実施形態に係る画像表示の制限の一例を示す図である。

【発明を実施するための形態】

【0009】

本発明に係る画像表示装置を含む画像表示システムの一実施形態を図面に基づいて説明する。本実施形態に係る画像表示システムは、現実空間に対して、現実空間に存在しない仮想オブジェクトの画像を画像表示装置のディスプレイに重畳して表示させることで、ディスプレイを介して、ユーザに現実空間に重畳する仮想オブジェクトを視認させるシステム、いわゆる拡張現実（ＡＲ）の技術を用いたシステムである。仮想オブジェクトは、２次元又は３次元モデルであって、コンピュータを用いて生成された画像である。仮想オブジェクトには、静止画及び動画のいずれも含まれる。仮想オブジェクトは、例えば、テキストを含むテキスト画像、図形や記号を含むアイコン画像である。

【0010】

図１を用いて本実施形態に係る画像表示方法の適用例を説明する。図１は、本実施形態に係る画像表示方法の適用例を示す図である。図１では、車両２の車室内において、車両２の乗客であるユーザに観光案内に関するコンテンツ情報を観光案内サービスとして提供する場合の一例が示されている。観光案内サービスを受けるユーザＰｓ１及びＰｓ２はそれぞれ画像表示装置１０a及び１０ｂを装着している。車両２が観光スポットなどの案内対象に近付いた場合には、当該案内対象の観光案内に関するテキスト画像が仮想オブジェクトとして画像表示装置１０a及び１０ｂのディスプレイに表示される。これにより、ユーザは、視界に映る車内外の実際の景色の上にテキスト画像が重畳された拡張現実空間を見ることができる。画像表示装置１０a及び１０ｂは、例えば、ヘッドマウントディスプレイなどのＡＲデバイスである。

【0011】

なお、図１では、ユーザが複数人、画像表示装置が複数ある場合を想定しているが、これに限らず、ユーザが一人で、画像表示装置がひとつという場合を想定してもよい。また、車両２は運転者Ｄｒが運転する観光タクシーを想定しているが、これに限らず、大型観光バスや自動運転車であってもよい。また、車両に限らず、その他の移動体にユーザが搭乗してもよい。例えば、電車、船、飛行機等であってもよい。また、仮想オブジェクトの画像は、テキストが含まれるテキスト画像であれば、観光スポットなどの案内対象に関するテキスト画像に限定されず、ユーザの移動のためのナビゲーションに関するテキスト画像、受信したメールの本文やユーザのスケジュール等を記載したテキスト画像であってもよい。

【0012】

図２を用いて本実施形態に係る画像表示システムの構成を説明する。図２は、本実施形態に係る画像表示システムの構成の一例を示すブロック図である。画像表示システム１は、画像表示装置１０と、通信装置１１と、ナビゲーションシステム１２と、コンテンツサーバ１３と、コンテンツデータベース１４とを備える。画像表示装置１０と、通信装置１１と、ナビゲーションシステム１２は、車両２に搭載された装置及びシステムであって、車載ネットワーク１５を介して、お互いに情報の授受を行う。また、通信装置１１とコンテンツサーバ１３は、ＷＡＮを含む無線通信網等の外部ネットワーク１６を介して、お互いに情報の授受を行う。また、本実施形態では、コンテンツサーバ１３は、車両２の外部に位置するサーバとして説明するが、これに限らず、車両２の車載のサーバであってもよい。図２に記載の画像表示装置１０は、図１に記載の画像表示装置１０a及び１０ｂに対応する。

【0013】

画像表示装置１０は、車両２に搭乗しているユーザに装着される装置である。画像表示装置１０は、コントローラ１００と、入力装置１１０と、センサ群１２０と、表示装置１３０とを備える。画像表示装置１０は、例えば、メガネ型又はゴーグル型のヘッドマウントディスプレイであって、ディスプレイ等である表示装置１３０に、ユーザが視認する現実空間に重畳させるように仮想オブジェクトの画像を表示させる。画像表示装置１０は、ユーザによる身体の挙動を推定し、推定された身体の挙動に基づいて、表示装置１３０における画像表示を制御する。身体の挙動は、例えば、ユーザの頭部の向き及び視線方向である。例えば、画像表示装置１０は、ユーザの身体の挙動の変化を認識し、認識した身体の挙動の変化に応じた画像をユーザに提示する。画像表示装置１０は、複数あってもよい。ユーザが複数いる場合には、それぞれが異なる画像表示装置１０を装着して利用することも可能であり、同じ仮想オブジェクトがディスプレイに表示されて拡張現実空間を共有し合うことも可能となる。

【0014】

コントローラ１００は、ハードウェア及びソフトウェアを有するコンピュータを備えており、このコンピュータはプログラムを格納したＲＯＭと、ＲＯＭに格納されたプログラムを実行するＣＰＵと、アクセス可能な記憶装置として機能するＲＡＭを含むものである。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡなどを用いることができる。コントローラ１００は、機能ブロックとして、ユーザ動作認識部１０１と、読了判定部１０２と、興味度推定部１０３と、画像表示制御部１０４と、タイマー１０５とを含んで構成され、上記各機能を実現する又は各処理を実行するためのソフトウェアと、ハードウェアとの協働により各機能を実行する。なお、本実施形態では、コントローラ１００が有する機能を５つのブロックとして分けた上で、各機能ブロックの機能を説明するが、コントローラ１００の機能は必ずしも５つのブロックに分ける必要はなく、４以下の機能ブロック、あるいは、６つ以上の機能ブロックで分けてもよい。

【0015】

ユーザ動作認識部１０１は、ユーザの動作を認識する。ユーザ動作認識部１０１は、センサ群１２０から、ユーザの頭部の動き及びユーザの眼球の動きを取得し、ユーザの視線方向を認識する。ユーザ動作認識部１０１は、視線方向に基づいて、拡張現実空間においてユーザが注視している注視点を特定する。注視点は、ディスプレイ上のユーザが注視している位置である。また、ユーザ動作認識部１０１は、ユーザの頭部の向きを認識し、ユーザの頭部の向きを基準とした視野の範囲を認識する。

【0016】

また、ユーザ動作認識部１０１は、センサ群１２０から、ユーザの眼球を撮像した眼球画像を取得し、眼球画像に対して画像認識処理を実行し、瞳孔の開き具合を示す瞳孔開度を認識する。

【0017】

また、ユーザ動作認識部１０１は、センサ群１２０からユーザの音声を取得し、ユーザの音声に対して音声認識処理を実行して、ユーザの会話内容を認識する。

【0018】

読了判定部１０２は、表示されたテキスト画像と、認識されたユーザの視線方向とに基づいて、ユーザがテキスト画像に含まれるテキストを読み終わったか否かを判定する。読了判定部１０２は、ユーザの注視点が、テキストに含まれるすべての文字の表示位置上を移動した場合に、ユーザがテキストを読み終わったと判定する。例えば、読了判定部１０２は、ユーザの注視点の位置とテキストに含まれる各文字の表示位置とを比較し、ユーザの注視点が文字の表示位置又は文字の表示位置から所定範囲に移動した場合に、ユーザが当該文字を読んだと判定する。文字の表示位置は、ディスプレイ上の位置（座標）として特定される。そして、読了判定部１０２は、ユーザの注視点が、テキストの最初の文字から最後の文字まで移動した、すなわち、ユーザがテキストに含まれる全ての文字を読んだ場合に、ユーザがテキストを読み終わったと判定する。

【0019】

読了判定部１０２は、ユーザがテキストを読み終わったと判定した場合には、ユーザがテキストを読み終わったとの判定結果をコンテンツサーバ１３に送信する。

【0020】

興味度推定部１０３は、ユーザ動作認識部１０１で取得したユーザの動作と、テキスト画像を表示してからの経過時間とに基づいて、ユーザのテキスト画像に対する興味度を推定する。例えば、興味度推定部１０３は、ユーザの眼球の瞳孔開度が小さいほど、興味度を低く推定する。興味度推定部１０３は、認識したユーザの会話内容に基づいて、会話内容がテキスト画像に関係した話題ではないと判定した場合には、会話内容がテキスト画像に関係した話題であると判定した場合よりも、興味度を低く推定する。また、興味度推定部１０３は、経過時間が長いほど、興味度を低く推定する。また、興味度推定部１０３は、ユーザの注視点がテキスト画像の位置にない場合には、ユーザの注視点がテキスト画像の位置にある場合よりも、興味度を低く推定する。興味度推定部１０３は、推定した興味度をコンテンツサーバ１３に送信する。

【0021】

画像表示制御部１０４は、ユーザが視認する現実空間又は現実空間に対応する画像に重畳してテキスト画像を表示する。テキスト画像は、例えば、案内対象に関するテキストを含む画像である。案内対象は、現実空間に存在し、ユーザに案内するべき対象であって、例えば、観光スポットである。画像表示制御部１０４は、コンテンツサーバ１３から、当該案内対象に関するテキスト画像を表示させる制御指示を受信した場合には、テキスト画像を表示させる制御指示を表示装置１３０に出力する。表示装置１３０に送信される制御指示は、ディスプレイ上におけるテキスト画像の表示位置を含む。テキスト画像の表示位置は、ユーザの視野の範囲内であって、例えば、ユーザの視野の範囲内に映る案内対象の位置又は案内対象から所定範囲内の位置である。

【0022】

画像表示制御部１０４は、ユーザ動作認識部１０１によって認識されたユーザの頭部の動きに基づいて、表示装置１３０に表示されるテキスト画像の表示位置の制御を行う。画像表示制御部１０４は、まず、ユーザによる頭部の動きによって変化するユーザの頭部の状態、すなわち、拡張現実空間における相対的な頭部の位置、向き及び傾きを特定する。次に、画像表示制御部１０４は、ユーザの頭部の状態に基づいて、ユーザの視野の範囲を認識し、ユーザの視野の範囲に映る現実空間又は現実空間に対応する画像に重なるように、テキスト画像の表示位置を設定する。そして、画像表示制御部１０４は、設定された表示位置に基づいてテキスト画像を表示させる制御指示を生成し、当該制御指示を表示装置１３０に出力する。

【0023】

また、画像表示制御部１０４は、読了判定部１０２によってユーザがテキストを読み終わったと判定した場合には、テキスト画像の表示を制限する。すなわち、画像表示制御部１０４は、ユーザに表示する仮想オブジェクトの画像の情報量を小さくする制御を行う。例えば、画像表示制御部１０４は、テキスト画像の表示位置を移動させる、又は、テキスト画像の代わりに、テキストの内容に応じたアイコン画像を表示する。

【0024】

画像表示制御部１０４は、ユーザの視野の範囲外にテキスト画像の表示位置を移動させる。画像表示制御部１０４は、ユーザの頭部の向きに基づいて、拡張現実空間におけるユーザの視野の範囲を認識し、ユーザの視野の範囲外の位置であって、ユーザの頭部の向きを基準とした所定範囲内の位置にテキスト画像の表示位置を設定する。また、画像表示制御部１０４は、テキスト画像の表示位置をユーザの注視点の位置又は案内対象の位置から離れるように移動させてもよい。例えば、画像表示制御部１０４は、ユーザの注視点の位置又は案内対象の位置から所定距離離れた位置にテキスト画像の表示位置を設定する。画像表示制御部１０４は、表示位置を設定すると、設定した表示位置を含む制御指示を表示装置１３０に出力する。

【0025】

また、画像表示制御部１０４は、テキスト画像の代わりに、アイコン画像を表示する。アイコン画像は、案内対象を単純化したイラストなど、テキストで示されている案内対象が特定できる画像であって、テキスト画像よりも情報量の少ない画像である。アイコン画像は、案内対象の名称、案内対象を撮像した画像などを含む画像であってもよい。画像表示制御部１０４は、通信装置１１を介して、コンテンツサーバ１３に、テキストの内容に応じたアイコン画像を要求する要求指示を送信する。画像表示制御部１０４は、コンテンツサーバ１３から、アイコン画像を取得した場合には、アイコン画像を表示させる制御指示を表示装置１３０に出力する。

【0026】

また、画像表示制御部１０４は、読了判定部１０２によってユーザがテキストを読み終わったと判定された場合には、テキスト画像を非表示にしてもよい。

【0027】

また、画像表示制御部１０４は、ユーザがテキストを読み終わった場合ではなく、ユーザがテキストに興味がない場合に、テキスト画像の表示を制限することとしてもよい。例えば、画像表示制御部１０４は、興味度推定部１０３によって推定されたユーザの興味度に基づいて、ユーザの興味度が閾値以下であるか否かを判定し、ユーザの興味度が閾値以下であると判定された場合、テキスト画像の表示を制限する。興味度の閾値は、事前に実験を行い、被験者の解析データから求めることとしてもよい。

【0028】

また、画像表示制御部１０４は、テキスト画像の表示位置を移動させた後、又は、テキスト画像の代わりにアイコン画像を表示した後、ユーザにテキストを再度読む意思があるか否かを推定する。ユーザにテキストを再度読む意思がないと推定された場合には、画像表示制御部１０４は、表示されているテキスト画像又はアイコン画像を非表示にする。ユーザにテキストを再度読む意思があると推定した場合には、画像表示制御部１０４は、テキスト画像を再表示にする。すなわち、画像表示制御部１０４は、テキスト画像を移動させていた場合には、テキスト画像をユーザの視野の範囲内に再表示する。また、画像表示制御部１０４は、テキスト画像の代わりにアイコン画像を表示していた場合には、アイコン画像の代わりにテキスト画像を再表示する。

【0029】

例えば、画像表示制御部１０４は、テキスト画像の表示位置を移動させた後、又は、アイコン画像を表示した後、所定の時間が経過するまでの間、ユーザによるテキストを再度読む意思表示があるか否かを判定する。そして、画像表示制御部１０４は、所定の時間が経過するまでの間に、ユーザによるテキストを再度読む意思表示があった場合に、ユーザにテキストを再度読む意思があると推定する。また、画像表示制御部１０４は、所定の時間が経過するまでの間に、ユーザによるテキストを再度読む意思表示がない場合に、ユーザにテキストを再度読む意思がないと推定する。ユーザによるテキストを再度読む意思表示は、例えば、ユーザによる意思表示を示す操作入力である。

【0030】

また、画像表示制御部１０４は、ユーザの属性に応じてテキスト画像を表示してもよい。例えば、画像表示制御部１０４は、ユーザの属性を取得し、テキスト画像を要求する要求信号にユーザの属性を含めてコンテンツサーバ１３に送信する。画像表示制御部１０４は、コンテンツサーバ１３から、ユーザの属性に応じたテキスト画像を取得した場合には、当該テキスト画像を表示させる制御指示を表示装置１３０に送信する。ユーザの属性は、例えば、ユーザの年齢、ユーザの第１言語である。本実施形態では、ユーザが子供である場合には、子供向けのテキストを含むテキスト画像が表示される。また、ユーザの第１言語で記載されたテキストを含むテキスト画像が表示される。

【0031】

また、画像表示制御部１０４は、コンテンツサーバ１３から、テキスト画像とは別のテキスト画像を表示させる制御指示を受信した場合には、別のテキスト画像を表示させる制御指示を表示装置１３０に出力する。

【0032】

タイマー１０５は、タイマー起動時から時間を計測する。タイマー１０５は、テキスト画像が表示された時点から起動し、テキスト画像が表示されてからの経過時間を計測する。また、タイマー１０５は、テキスト画像の表示が制限された時点から起動し、テキスト画像の表示が制限されてからの経過時間を計測する。

【0033】

なお、図２に記載の画像表示装置１０は、電子計算装置が搭載されて単独で動作するスタンドアローン型の装置を想定しているが、電子計算装置が搭載されていない表示機能のみを備えた装置でもよい。その場合、車載ネットワーク１５には、ナビゲーションシステム１２やコンテンツサーバ１３との通信および画像表示装置１０の表示演算処理等を行う電子計算機が別途接続される。

【0034】

入力装置１１０は、ユーザが情報を入力することが可能な装置である。入力装置１１０は、例えば、ユーザの音声による入力が可能なマイクなどの装置が挙げられる。また、入力装置１１０は、ユーザの手操作による入力が可能なスイッチ又はジョイスティックを備えるＶＲトラッカーであってもよい。ユーザは、テキストを再度読む意思がある場合に、入力装置１１０に対して、テキストを再度読む意思表示を示す入力操作を行う。また、ユーザは、入力装置１１０に対して、ユーザの属性の情報を入力する。入力装置１１０は、ユーザが入力した入力情報をコントローラ１００に出力する。

【0035】

センサ群１２０は、画像表示装置１０に搭載され、画像表示装置１０を装着しているユーザの動作を検出する。センサ群１２０で検出された各種情報は、コントローラ１００に出力される。

【0036】

センサ群１２０は、ユーザの眼球の動きを検出する。例えば、センサ群１２０は、カメラを含む。例えば、カメラは、赤外線ＬＥＤと赤外線カメラを用いたカメラデバイス等が用いられる。カメラは、ユーザの眼球の動きを撮像するように設置される。カメラは、一定の時間間隔で、ユーザの眼球を撮像する。また、カメラは、ユーザの眼球の瞳孔を撮像する。

【0037】

また、センサ群１２０は、ユーザの頭部の動きを検出する。センサ群１２０は、加速度センサとジャイロセンサとを含む。加速度センサは、ユーザの頭部の加速度を検出する。具体的には、加速度センサは、お互いに直交するＸ軸、Ｙ軸、Ｚ軸の３軸について、それぞれの軸方向に沿った加速度を検出する。ジャイロセンサは、ユーザの頭部の角速度を検出する。具体的には、ジャイロセンサは、上述のそれぞれの軸を中心とした角速度を検出する。

【0038】

センサ群１２０は、ユーザが発する音声を検出する。センサ群１２０は、例えば、ユーザの音声を集音するマイクを含む。

【0039】

表示装置１３０は、仮想オブジェクトの画像を表示するための画像表示装置１０の部位である。表示装置１３０は、例えば、ディスプレイやゴーグルなどが挙げられる。表示装置１３０は、コントローラ１００により送信された制御指示に基づいて、ディスプレイ上の表示位置に仮想オブジェクトの画像を表示する。これにより、画像表示装置１０を装着しているユーザは、表示装置１３０を介して仮想オブジェクトが重畳された現実空間、すなわち、拡張現実空間を視認することができる。

【0040】

表示装置１３０は、例えば、透過型ディスプレイである。この場合、ユーザは、ディスプレイの先に見える実風景を直接見ることができ、さらに、ディスプレイ上に仮想オブジェクトを表示することで、拡張現実（ＡＲ）を見ることができる。また、表示装置１３０は、例えば、非透過型ディスプレイである。この場合、表示装置１３０は、ユーザが視認する現実空間に対応する画像を表示し、当該画像に重畳して仮想オブジェクトを表示する。現実空間に対応する画像は、ユーザが視認する現実空間の情報に基づき構築した、ユーザ周囲の実風景を背景とした画像である。

【0041】

通信装置１１は、ＣＡＮ等の車載ネットワーク１５を介して、画像表示装置１０及びナビゲーションシステム１２と互いに情報の授受を行う。画像表示装置１０は、無線通信機能により車載ネットワークに接続する。

【0042】

ナビゲーションシステム１２は、車両２の走行経路等をドライバーにナビゲーションするシステムである。ナビゲーションシステム１２は、車両２の現在位置や進行方向、車速などの車両情報を取得する。また、本実施形態では、ナビゲーションシステム１２は、通信装置１１及び外部ネットワーク１６を介して、コンテンツサーバ１３に車両情報を送信する。

【0043】

コンテンツサーバ１３は、車両２及びユーザの状態に応じて、ユーザへの仮想オブジェクトの表示を管理するサーバである。コンテンツサーバ１３は、外部ネットワーク１６を介して車両２の通信装置１１との間で情報の授受を行う。本実施形態では、コンテンツサーバ１３は、通信装置１１から、車両２の車両情報、ユーザの動作情報を受信する。また、コンテンツサーバ１３は、通信装置１１から、ユーザがテキストを読み終わったと判定との判定結果、ユーザのテキスト画像に対する興味度とを受信する。また、コンテンツサーバ１３は、通信装置１１に、仮想オブジェクトの画像を表示させる制御指示を送信する。仮想オブジェクトは、テキスト画像及びアイコン画像を含む。特に、コンテンツサーバ１３は、複数のユーザがそれぞれ別々の画像表示装置１０を装着している場合に、複数のユーザに表示する仮想オブジェクトを統一的に制御する。なお、本実施形態では、コンテンツサーバ１３は、制御指示を送信することに限らず、仮想オブジェクトの画像のみを送信することとしてもよい。

【0044】

コンテンツサーバ１３は、ユーザに表示するのに適したテキスト画像がコンテンツデータベース１４にあるか否か検索し、適したテキスト画像がある場合、当該テキスト画像を表示させる制御指示を通信装置１１に送信する。例えば、コンテンツサーバ１３は、車両２の現在位置と地図データとに基づいて、車両２が地図データ上の観光スポットなどの案内対象から所定範囲内に到達したか否かを判定する。地図データは、コンテンツサーバ１３のデータベースに格納されたものであってもよいし、外部のデータベースにアクセスして取得されたものであってもよい。

【0045】

コンテンツサーバ１３は、車両２が案内対象から所定範囲内に到達したと判定した場合には、当該案内対象に関するテキスト画像がコンテンツデータベース１４にあるか否かを検索する。当該案内対象に関するテキスト画像がコンテンツデータベース１４にある場合には、コンテンツサーバ１３は、コンテンツデータベース１４から、当該テキスト画像を取得し、通信装置１１にテキスト画像を表示させる制御指示を送信する。画像表示装置１０は、コンテンツサーバ１３から送信されたテキスト画像を表示装置１３０のディスプレイに表示する。

【0046】

また、コンテンツサーバ１３は、通信装置１１から、表示しているテキストの内容に応じたアイコン画像を要求する要求信号を受信した場合には、テキストの内容に応じたアイコン画像をコンテンツデータベース１４から取得し、取得したアイコン画像を表示させる制御指示を通信装置１１に送信する。

【0047】

また、コンテンツサーバ１３は、ユーザが複数いる場合に、複数のユーザ全員がテキストを読み終わったと判定されたときに、表示しているテキスト画像とは別のテキスト画像を表示させる制御指示を複数の画像表示装置１０それぞれに送信する。コンテンツサーバ１３は、複数のユーザが装着しているそれぞれの画像表示装置１０から、ユーザがテキストを読み終わったとの判定結果を取得し、複数のユーザ全員の当該判定結果を取得した場合に、複数のユーザ全員がテキストを読み終わったと判定する。別のテキスト画像は、例えば、次にユーザに案内するべき案内対象に関するテキスト画像である。例えば、コンテンツサーバ１３は、車両２が別の案内対象に近づいている場合には、当該別の案内対象に関するテキスト画像を表示させる制御指示を送信する。すなわち、コンテンツサーバ１３は、すでに表示している案内対象のテキスト画像をユーザ全員が読み終わった後に、別の案内対象に関するテキスト画像を表示させる。

【0048】

また、コンテンツサーバ１３は、ユーザが複数いる場合に、複数のユーザ全員がテキストに対して興味がないと判定したときには、複数のユーザそれぞれが装着している画像表示装置１０に、別のテキスト画像を表示させる制御指示を送信する。例えば、コンテンツサーバ１３は、複数のユーザが装着しているそれぞれの画像表示装置１０から、ユーザのテキスト画像に対する興味度を取得し、複数のユーザ全員の興味度が閾値以下である場合に、複数のユーザ全員がテキストに対して興味がないと判定する。これにより、複数のユーザ全員に表示しているテキスト画像を統一的に別のテキスト画像に移行させる。

【0049】

また、本実施形態では、コンテンツサーバ１３は、複数のユーザ全員が読み終わったか否か、複数のユーザ全員がテキストに対して興味がないか否かに関係なく、強制的にテキスト画像の表示を別のテキスト画像の表示に移行させてもよい。例えば、コンテンツサーバ１３は、テキスト画像を表示してからの経過時間と車両２の現在位置とに基づいて、強制的に別のテキスト画像を移行させてもよい。例えば、コンテンツサーバ１３は、経過時間が所定時間以上になる、かつ、車両２の現在位置が別の案内対象から所定範囲内に到達した場合に、強制的に別の案内対象に関するテキスト画像を表示させる制御指示を送信する。これにより、車両２が次の案内対象に近づいていても、ユーザ全員が、既に表示されている前の案内対象に関するテキスト画像を読み終わらない、又は、前の案内対象に興味がないと判定されないという場合に、次の案内対象に関するテキスト画像を表示できる。

【0050】

コンテンツデータベース１４は、仮想オブジェクトの画像を記憶する。例えば、コンテンツデータベース１４は、観光スポットなどの案内対象に関するテキスト画像と、テキスト画像で示されているテキストの内容に応じたアイコン画像とを記憶する。コンテンツデータベース１４は、ユーザの属性ごとに、ユーザの属性に適したテキスト画像を記憶する。コンテンツデータベース１４は、コンテンツサーバ１３から、テキスト画像又はアイコン画像を要求する要求信号を受信した場合には、要求信号に基づいて、要求されたテキスト画像又はアイコン画像をコンテンツサーバ１３に送信する。

【0051】

次に、図３を用いて、本実施形態に係る画像表示方法の手順の一例を説明する。図３は、本実施形態に係る画像表示方法の手順の一例を示すフローチャート図である。本実施形態では、ユーザが画像表示装置１０を装着して、自動車向け観光案内サービスを受けるために、表示装置１３０に仮想オブジェクトの画像を表示させるＡＲシステムを起動させると、ステップＳ１から制御フローを開始する。

【0052】

ステップＳ１では、コントローラ１００は、テキスト画像を表示する制御指示を受信したか否かを判定する。例えば、車両２が観光スポットなどの案内対象に近づいた場合には、コンテンツサーバ１３から当該案内対象に関するテキスト画像を表示させる制御指示が通信装置１１を介してコントローラ１００に送信される。コントローラ１００は、テキスト画像を表示させる制御指示を受信した場合には、ステップＳ２に進む。テキスト画像を表示させる制御指示を受信していない場合には、コントローラ１００は、ステップＳ１に戻り、以下フローを繰り返す。

【0053】

ステップＳ２では、コントローラ１００は、ユーザが視認する現実空間又は現実空間に対応する画像に重畳してテキスト画像を表示する。ステップＳ３では、コントローラ１００は、ユーザの視線方向を認識する。ステップＳ４では、コントローラ１００は、ユーザがテキスト画像に含まれるテキストを読み終わったか否かを判定する。ユーザがテキストを読み終わったと判定した場合、コントローラ１００は、ステップＳ６に進む。ユーザがテキストを読み終わったと判定していない場合には、コントローラ１００は、ステップＳ５に進む。ステップＳ５では、コントローラ１００は、ユーザのテキスト画像に対する興味度が閾値以下か否かを判定する。ユーザのテキスト画像に対する興味度が閾値以下と判定した場合に、コントローラ１００は、ステップＳ６に進む。ユーザのテキスト画像に対する興味度が閾値以下ではないと判定した場合に、コントローラ１００は、ステップＳ３に戻り、以下フローを繰り返す。

【0054】

ステップＳ６では、コントローラ１００は、テキスト画像の表示を制限する。例えば、コントローラ１００は、テキスト画像をユーザの視野外に移動させる、又は、テキスト画像の代わりに、テキストに応じたアイコン画像を表示する。ステップＳ７では、コントローラ１００は、テキスト画像の表示を制限してから所定時間が経過したか否かを判定する。所定時間が経過したと判定した場合には、コントローラ１００は、ステップＳ８に進む。所定時間が経過していないと判定した場合には、コントローラ１００は、ステップＳ９に進む。ステップＳ８では、コントローラ１００は、テキスト画像を非表示にする。

【0055】

ステップＳ９では、コントローラ１００は、ユーザからテキストを再度読む意思表示があるか否かを判定する。テキストを再度読む意思表示があると判定した場合には、コントローラ１００は、テキスト画像を再表示する。テキストを再度読む意思表示がないと判定した場合には、ステップＳ７に戻り、以下フローを繰り返す。すなわち、本実施形態では、テキスト画像の表示を制限した後、所定時間が経過するまでの間に、ユーザからテキストを再度読む意思表示があった場合には、テキスト画像を再表示し、意思表示がなかった場合には、テキスト画像を非表示にする。テキスト画像が再表示されると、コントローラ１００は、ステップＳ３に戻り、以下フローを繰り返す。

【0056】

図４、図５及び図６は、本発明の実施形態に係る表示装置１３０にテキスト画像を表示する方法およびテキスト画像の表示を制限する方法の一例を示す図である。図４、図５及び図６に示される画面は、表示装置１３０に表示される画面である。

【0057】

図４は、テキスト画像を表示する方法の一例を示す図である。図４では、ユーザが乗車する車両が案内対象２０２に接近したときに、コントローラ１００は、コンテンツサーバ１３から取得した案内対象２０２に関するテキスト画像２０１をユーザの視野２００の範囲内に重畳して表示している。ユーザの視野２００は、ユーザの視線方向に映る現実空間の範囲であって、表示装置１３０のディスプレイにテキスト画像２０１が表示されているときの、ユーザの視界の様子を示している。テキスト画像２０１には、案内対象２０２に関連する画像及び映像が含まれることとしてもよい。本実施形態では、コントローラ１００は、ユーザの視線方向から、ディスプレイ上においてユーザが注視している注視点２０３を特定し、注視点２０３とテキスト画像２０１に含まれるテキストとに基づいて、ユーザがテキストを読み終わったか否かを判定する。

【0058】

図５は、テキスト画像の表示を制限する方法の一例を示す図である。ユーザがテキストを読み終わったと判定した場合、コントローラ１００は、テキスト画像を非表示にして、テキストの内容に応じたアイコン画像２０４をユーザの視野２００の範囲内に重畳して表示する。これにより、他の仮想オブジェクトを表示するための領域やユーザの視界を確保できる。また、本実施形態では、ユーザによるテキストを再度読む意思表示があった場合には、コントローラ１００は、テキスト画像領域２０１ａに元のテキスト画像を再表示する。

【0059】

図６は、テキスト画像の表示を制限する方法の一例を示す図である。ユーザがテキストを読み終わったと判定された場合、コントローラ１００は、テキスト画像２０１をユーザの視野２００の外の視野外領域２０５に移動させる。テキスト画像２０１を移動させる方向は、案内対象２０２から離れる方向、又は、ユーザの注視点２０３から離れる方向であってもよい。例えば、図６に示されるように、視野２００内にあるユーザの注視点２０３がある場合に、テキスト画像２０１を視野２００外に移動させることで、ユーザの注視点２０３から離れる方向にテキスト画像を移動させる。テキスト画像２０１を再度読みたい場合には、ユーザは、テキスト画像２０１が移動した方向に頭部を動かすことでテキスト画像２０１を見ることができる。また、ユーザによるテキスト画像を再度読む意思表示があった場合には、コントローラ１００は、テキスト画像領域２０１ａにテキスト画像を移動させる。

【0060】

以上のように、本実施形態では、コントローラは、ユーザが視認する現実空間又は現実空間に対応する画像に重畳してテキスト画像を表示し、ユーザの視線方向を認識し、表示されたテキスト画像と、認識された視線方向とに基づいて、ユーザが、テキスト画像に含まれるテキストを読み終わったか否かを判定し、ユーザがテキストを読み終わったと判定された場合には、テキスト画像の表示を制限する。これにより、ユーザが、表示されたテキスト画像に含まれるテキストを読み終えた場合に、当該テキスト画像がユーザの視界の妨げになることを防止できる。

【0061】

また、本実施形態では、コントローラは、ユーザがテキストを読み終わったと判定された場合には、ユーザがテキストを読み終わったとの判定結果を外部のサーバに送信し、サーバから、テキスト画像とは別のテキスト画像を表示させる制御指示を受信した場合には、別のテキスト画像を表示し、サーバは、ユーザが複数いる場合には、複数のユーザ全員がテキストを読み終わったと判定されたときに、制御指示を送信する。これにより、ユーザが複数いる場合に、テキストを読む進捗具合を合わせることができ、ユーザ同士のコミュニケーションを円滑にすることができる。

【0062】

また、本実施形態では、コントローラは、現実空間に存在し、ユーザに案内するべき案内対象に関するテキスト画像を表示する。これにより、ユーザは、案内対象を見ながら、案内対象に関するテキストを閲覧することができる。

【0063】

また、本実施形態では、コントローラは、ユーザがテキストを読み終わったと判定された場合には、テキスト画像の表示位置を移動させる。これにより、ユーザの視界を妨げないようにすることができ、他のコンテンツ画像を表示する領域を拡張できる。

【0064】

また、本実施形態では、コントローラは、ユーザがテキストを読み終わったと判定された場合には、テキスト画像の表示位置をユーザの注視点の位置から離れるように移動させる。これにより、ユーザの視界を妨げないようにすることができ、他のコンテンツ画像を表示する領域を拡張できる。

【0065】

また、本実施形態では、コントローラは、現実空間に存在し、ユーザに案内するべき案内対象に関するテキスト画像を表示し、ユーザがテキストを読み終わったと判定された場合には、テキスト画像の表示位置を案内対象の位置から離れるように移動させる。これにより、ユーザの視界を妨げないようにすることができ、他のコンテンツ画像を表示する領域を拡張できる。

【0066】

また、本実施形態では、コントローラは、ユーザがテキストを読み終わったと判定された場合には、テキスト画像の代わりに、テキストの内容に応じたアイコン画像を表示する。これにより、ユーザに表示される画像の情報量を小さくすることができ、ユーザの視界を妨げないようにすることができる。

【0067】

また、本実施形態では、コントローラは、ユーザがテキストを読み終わったと判定された場合には、テキスト画像を非表示にする。これにより、ユーザに表示される画像の情報量を小さくすることができ、ユーザの視界を妨げないようにすることができる。

【0068】

また、本実施形態では、コントローラは、ユーザがテキストを読み終わったと判定された場合には、テキスト画像の表示位置を移動させ、又は、テキスト画像の代わりに、テキストの内容に応じたアイコン画像を表示し、ユーザにテキストを再度読む意思があるか否かを推定し、ユーザにテキストを再度読む意思がないと推定された場合には、表示されているテキスト画像又はアイコン画像を非表示にする。これにより、ユーザにとって不必要な情報の表示を自動的に消去することができる。

【0069】

また、本実施形態では、コントローラは、ユーザがテキストを読み終わったと判定された場合、判定がされてから所定の時間が経過するまでの間に、ユーザによるテキストを再度読むとの意思表示がなかったときに、ユーザにテキストを再度読む意思がないと推定する。これにより、ユーザの興味が低いテキスト情報の表示を消去することで、ユーザにとって不必要な情報の表示を自動的に消去することができる。

【0070】

また、本実施形態では、コントローラは、ユーザの注視点が、テキストに含まれるすべての文字の表示位置上を移動した場合に、ユーザがテキストを読み終わったと判定する。これにより、ユーザがテキスト情報を読み終えたと判定したタイミングで、ユーザにとって不必要な情報の表示を自動的に消去することができる。

【0071】

また、本実施形態では、テキスト画像は、ユーザの属性に応じて生成される。これにより、ユーザの属性に応じたテキスト画像を表示することができる。

【0072】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【符号の説明】

【0073】

１…画像表示システム
１０…画像表示装置
１００…コントローラ
１０１…ユーザ動作認識部
１０２…読了判定部
１０３…興味度推定部
１０４…画像表示制御部
１０５…タイマー
１３…コンテンツサーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】