ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-08
(45)【発行日】2024-07-17
(54)【発明の名称】表示装置、および表示制御方法、並びにプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240709BHJP
G06F 3/0481 20220101ALI20240709BHJP
G06F 3/0346 20130101ALI20240709BHJP
G06F 3/038 20130101ALI20240709BHJP
G02B 27/01 20060101ALI20240709BHJP
G09G 5/00 20060101ALI20240709BHJP
G09G 5/32 20060101ALI20240709BHJP
G09G 5/14 20060101ALI20240709BHJP
B60K 35/23 20240101ALI20240709BHJP
【ＦＩ】
G06F3/01 510
G06F3/0481
G06F3/0346 423
G06F3/038 310
G02B27/01
G09G5/00 550C
G09G5/00 550B
G09G5/00 510H
G09G5/00 530M
G09G5/32 610
G09G5/32 610Z
G09G5/00 510A
G09G5/14 C
B60K35/23
【請求項の数】
10
(21)【出願番号】P 2020556657
(86)(22)【出願日】2019-09-19
(86)【国際出願番号】 JP2019036738
(87)【国際公開番号】W WO2020100422
(87)【国際公開日】2020-05-22
【審査請求日】2022-08-05
(31)【優先権主張番号】P 2018211959
(32)【優先日】2018-11-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】安田 亮平
(72)【発明者】
【氏名】河野 真一
【審査官】木内 康裕
(56)【参考文献】
【文献】特開２００６－０５９１４７（ＪＰ，Ａ）
【文献】国際公開第２０１７／０６９１７６（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１３／０３２６３６４（ＵＳ，Ａ１）
【文献】特表２００９－５１４０９０（ＪＰ，Ａ）
【文献】特開２０１８－０４５４５９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０３３－ ３／０３９
Ｇ０６Ｆ ３／０４８－ ３／０４８９５
Ｇ０２Ｂ ２７／００ －３０／６０
Ｇ０９Ｇ ５／００ ー ５／４２
Ｂ６０Ｋ ３５／００ －３７／２０
(57)【特許請求の範囲】
【請求項1】
ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有する表示装置であり、
前記制御部は、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定し、
前記ユーザ注視点の滞留時間が、予め規定した規定時間ｔ以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する処理を実行し、
前記表示装置に対するユーザの入力処理に応じて、前記規定時間ｔを変更する表示装置。
【請求項2】
前記表示装置は、固定表示領域の前方に前記視点追従表示領域を観察可能とした三次元表示装置である請求項１に記載の表示装置。
【請求項3】
前記制御部は、前記表示装置に対するユーザの入力処理を検出した場合、前記規定時間ｔを、通常設定より短い時間に変更する請求項１に記載の表示装置。
【請求項4】
ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有する表示装置であり、前記制御部は、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行し、
前記表示装置は、
固定表示領域に入力選択可能な文字列を表示し、前記固定表示領域の前方に入力済み文字列を表示するテキストボックスとして、前記視点追従表示領域を観察可能とした三次元表示装置である表示装置。
【請求項5】
ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有する表示装置であり、前記制御部は、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行し、
前記表示装置は、
ヘッドアップディスプレイの表示領域に前記視点追従表示領域を設定した装置であり、
前記視点追従表示領域は、車両のフロントガラスに表示される構成であり、
前記制御部は、
前記車両のフロントガラス越しに前方を見ている前記車両の運転手のユーザ注視点の滞留時間が、予め規定した規定時間ｔ以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する表示装置。
【請求項6】
前記制御部は、前記運転手のハンドル操作情報に応じて、前記規定時間ｔを変更する請求項５に記載の表示装置。
【請求項7】
前記制御部は、前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記規定時間ｔを、通常設定より長い時間に変更する請求項６に記載の表示装置。
【請求項8】
前記制御部は、前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記視点追従表示領域の表示位置の変更処理、または表示停止処理を実行する請求項６に記載の表示装置。
【請求項9】
表示装置において実行する表示制御方法であり、前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部が、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定し、
前記ユーザ注視点の滞留時間が、予め規定した規定時間ｔ以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する処理を実行し、
前記表示装置に対するユーザの入力処理に応じて、前記規定時間ｔを変更する表示制御方法。
【請求項10】
表示装置において表示制御を実行させるプログラムであり、前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記プログラムは、前記制御部に、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理と、
前記ユーザ注視点の滞留時間が、予め規定した規定時間ｔ以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する処理と、
前記表示装置に対するユーザの入力処理に応じて、前記規定時間ｔを変更する処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示装置、および表示制御方法、並びにプログラムに関する。さらに詳細には、視点追従型の表示領域の表示制御を行う表示装置、および表示制御方法、並びにプログラムに関する。
【背景技術】
【0002】
昨今、３次元表示装置（３Ｄ表示装置）の利用が進んでいる。３次元表示装置は、左右の目に異なる画像、いわゆる距離に応じた視差画像を観察させることで奥行感のある画像を表示するものである。
【0003】
さらに、ユーザの注視点を検出して検出注視点に応じた処理、例えば画面に表示された操作ボタンをユーザが注視した場合、そのボタンを押下した処理を実行させるといったユーザ視線による処理を可能とした構成についても提案されている。
例えば特許文献１（特許６０８１８３９号公報）には、３次元表示装置に奥行の異なる複数の画像面を表示し、前方の画像面に操作ボタンを表示して、ユーザがその操作ボタンを注視したことを検出した場合に、操作ボタンを押下したと判定する構成について開示している。
例えば特許文献１（特許６０８１８３９号公報）には、３次元表示装置に奥行の異なる複数の画像面を表示し、前方の画像面に操作ボタンを表示して、ユーザがその操作ボタンを注視したことを検出した場合に、操作ボタンを押下したと判定する構成について開示している。
【0004】
さらに、１つの表示領域をユーザの視点移動に追従するように移動させて表示する制御を行う構成についても提案されている。
例えば、奥行距離の遠い第１の画像面に画像を表示し、さらに奥行距離の近い第２の画像面にも異なる画像を表示し、手前の第２の画像面をユーザ視点の移動に追従させた移動して表示する。
例えば、この視点追従型表示画面をユーザ視点の左側に表示し、ユーザ視点が右側に移動すれば、視点追従型表示面も右側に移動し、左に移動すれば左に移動させるといった構成である。
例えば、奥行距離の遠い第１の画像面に画像を表示し、さらに奥行距離の近い第２の画像面にも異なる画像を表示し、手前の第２の画像面をユーザ視点の移動に追従させた移動して表示する。
例えば、この視点追従型表示画面をユーザ視点の左側に表示し、ユーザ視点が右側に移動すれば、視点追従型表示面も右側に移動し、左に移動すれば左に移動させるといった構成である。
【0005】
しかし、このような視点追従型の表示領域を持つ構成における問題点として、ユーザが視点追従型表示画面の表示情報を見たいときに、視点追従型表示画面がユーザ視点の移動に伴い逃げてしまい、ユーザが視点追従型表示画面の内容を見ることができないという問題がある。
すなわち、ユーザ視点の左側に表示した視点追従型表示画面を、ユーザが見ようとすると、視点を左に移動させることになるが、この視点移動に伴い、視点追従型表示画面も左に移動してしまうため、ユーザは視点追従型表示画面の内容を見ることができなくなってしまう。
すなわち、ユーザ視点の左側に表示した視点追従型表示画面を、ユーザが見ようとすると、視点を左に移動させることになるが、この視点移動に伴い、視点追従型表示画面も左に移動してしまうため、ユーザは視点追従型表示画面の内容を見ることができなくなってしまう。
【先行技術文献】
【特許文献】
【0006】
【文献】特許６０８１８３９号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示は、例えば、上記問題点に鑑みてなされたものであり、ユーザ視点に追従して移動する表示領域を持つ表示装置において、視点追従型の表示領域の表示情報を容易に確認することを可能とした表示装置、表示制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示の第１の側面は、
ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部は、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示装置にある。
ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部は、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示装置にある。
【0009】
さらに、本開示の第２の側面は、
表示装置において実行する表示制御方法であり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部が、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示制御方法にある。
表示装置において実行する表示制御方法であり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部が、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示制御方法にある。
【0010】
さらに、本開示の第３の側面は、
表示装置において表示制御を実行させるプログラムであり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記プログラムは、前記制御部に、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行させるプログラムにある。
表示装置において表示制御を実行させるプログラムであり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記プログラムは、前記制御部に、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行させるプログラムにある。
【0011】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0012】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【0013】
本開示の一実施例の構成によれば、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
具体的には、例えば、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部は、視点追従表示領域をユーザ注視点に追従させるか、追従を停止させるかをユーザ注視点の滞留時間に応じて決定する。表示装置は固定表示領域前方に視点追従表示領域を観察可能とした三次元表示装置や、ＨＵＤとして構成される。制御部はユーザ注視点の滞留時間が予め規定した規定時間ｔ以上となった場合、視点追従表示領域をユーザ注視点に追従させず固定して表示する。規定時間ｔは表示装置に対するユーザ入力や車両のハンドル操作に応じて変更される。
本構成により、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部は、視点追従表示領域をユーザ注視点に追従させるか、追従を停止させるかをユーザ注視点の滞留時間に応じて決定する。表示装置は固定表示領域前方に視点追従表示領域を観察可能とした三次元表示装置や、ＨＵＤとして構成される。制御部はユーザ注視点の滞留時間が予め規定した規定時間ｔ以上となった場合、視点追従表示領域をユーザ注視点に追従させず固定して表示する。規定時間ｔは表示装置に対するユーザ入力や車両のハンドル操作に応じて変更される。
本構成により、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0014】
【図1】三次元画像の表示処理と、視点追従表示処理の概要について説明する図である。
【図2】視点追従表示領域を有する三次元画像表示装置の例を示す図である。
【図3】視点追従表示領域を有する三次元画像表示装置の例を示す図である。
【図4】視点追従表示領域の視点追従時の問題点について説明する図である。
【図5】本開示の表示装置の実行する処理の概要について説明する図である。
【図6】本開示の表示装置の実行する処理の概要について説明する図である。
【図7】ユーザ視線の輻輳距離について説明する図である。
【図8】本開示の表示装置一例について説明する図である。
【図9】表示装置の構成と処理例について説明する図である。
【図10】表示装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図11】表示装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図12】本開示の表示装置の実行する処理の概要について説明する図である。
【図13】本開示の表示装置の実行する処理の概要について説明する図である。
【図14】表示装置の構成と処理例について説明する図である。
【図15】表示装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図16】表示装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図17】表示装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【0015】
以下、図面を参照しながら本開示の表示装置、および表示制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．三次元画像の表示処理と、視点追従表示処理の概要について
２．本開示の表示装置の実行する処理の概要について
３．本開示の表示装置の構成と処理の詳細について
４．車両のＨＵＤ（ヘッドアップディスプレイ）の表示部に視点追従表示領域を設定した実施例について
５．その他の実施例について
６．表示装置のハードウェア構成例について
７．本開示の構成のまとめ
１．三次元画像の表示処理と、視点追従表示処理の概要について
２．本開示の表示装置の実行する処理の概要について
３．本開示の表示装置の構成と処理の詳細について
４．車両のＨＵＤ（ヘッドアップディスプレイ）の表示部に視点追従表示領域を設定した実施例について
５．その他の実施例について
６．表示装置のハードウェア構成例について
７．本開示の構成のまとめ
【0016】
［１．三次元画像の表示処理と、視点追従表示処理の概要について］
まず、三次元画像の表示処理と、視点追従表示処理の概要について説明する。
まず、三次元画像の表示処理と、視点追従表示処理の概要について説明する。
【0017】
【0018】
図１は、３次元表示装置に表示される画像の概念図を示した図である。図１には、３次元表示装置に表示される奥行の異なる複数の画像面を示している。
データ表示画面Ａ１１と、データ表示画面Ｂ１２である。
視聴者であるユーザ２０は、データ表示画面Ａ１１がデータ表示画面Ｂ１２の手前に位置すると視覚的に認識する。
これは、各画面Ａ，Ｂをそれぞれ異なる視差量を持つ画像として設定することで実現できる。
データ表示画面Ａ１１と、データ表示画面Ｂ１２である。
視聴者であるユーザ２０は、データ表示画面Ａ１１がデータ表示画面Ｂ１２の手前に位置すると視覚的に認識する。
これは、各画面Ａ，Ｂをそれぞれ異なる視差量を持つ画像として設定することで実現できる。
【0019】
ユーザ２０は、前方にあるデータ表示画面Ａ１１に表示された操作ボタン（ＯＫ）を注視すると、システムがユーザ２０が操作ボタン（ＯＫ）を注視したことを検出し、データ表示画面Ａ１１に表示された操作ボタン（ＯＫ）を押下したと同様の処理を実行する。
このように、三次元画像表示装置を利用して視線入力を行うことで、様々な処理を行うことが可能となる。
このように、三次元画像表示装置を利用して視線入力を行うことで、様々な処理を行うことが可能となる。
【0020】
さらに、１つの表示領域をユーザの視点移動に追従するように移動させて表示する制御を行う構成がある。
図２に、視点追従表示領域を有する三次元画像表示装置の例を示す。
図２に、視点追従表示領域を有する三次元画像表示装置の例を示す。
【0021】
図２に示す表示装置３０は、オンスクリーンキーボード（ＯＳＫ：Ｏｎ Ｓｃｒｅｅｎ Ｋｅｙｂｏａｒｄ）である。
表示装置３０は、固定表示領域３１と視点追従表示領域３２を有する。ユーザ２０は、コントローラ２１を有しており、コントローラ２１を用いて、固定表示領域３１上の文字選択カーソル３４を移動させて、固定表示領域３１に表示された文字列から特定の文字を選択し、コントローラ２１の入力決定ボタンを押下して文字を入力する。
入力された文字列は、視点追従表示領域３２に表示される。
表示装置３０は、固定表示領域３１と視点追従表示領域３２を有する。ユーザ２０は、コントローラ２１を有しており、コントローラ２１を用いて、固定表示領域３１上の文字選択カーソル３４を移動させて、固定表示領域３１に表示された文字列から特定の文字を選択し、コントローラ２１の入力決定ボタンを押下して文字を入力する。
入力された文字列は、視点追従表示領域３２に表示される。
【0022】
表示装置３０の制御部は、ユーザ２０が、視点追従表示領域３２を固定表示領域３１の手前の位置、すなわちユーザ２０に近い位置において観察できるように各表示領域の三次元表示制御を実行する。
【0023】
表示装置３０は、例えばカメラ３３等を用いてユーザの目を観察し、ユーザの注視点を算出する。図に示すユーザ注視点４１である。
表示装置３０の制御部は、視点追従表示領域３２をユーザ注視点４１に追従させて移動させる制御を行う。
表示装置３０の制御部は、視点追従表示領域３２をユーザ注視点４１に追従させて移動させる制御を行う。
【0024】
例えば、図に示すように、視点追従表示領域３２をユーザ注視点４１の左側に表示し、ユーザ注視点４１が右側に移動すれば、視点追従表示領域３２も右側に移動し、左に移動すれば左に移動させるといった処理を行う。
【0025】
図３は、図２に示す表示装置３０を正面から見た図である。表示装置３０には固定表示領域３１が表示され、その手前側に入力したテキストを表示するテキスト入力ボックスとしての視点追従表示領域３２が表示される。
視点追従表示領域３２は、ユーザ注視点４１の隣接位置に表示される。図に示す例はユーザ注視点４１の左側に表示されている。
視点追従表示領域３２は、ユーザ注視点４１の隣接位置に表示される。図に示す例はユーザ注視点４１の左側に表示されている。
【0026】
図４を参照して視点追従表示領域３２の視点追従時の問題点について説明する。
図４（１）に示す例は、ユーザ２０が固定表示領域３１の表示情報Ｂを確認中の状態であり、ユーザ注視点４１が固定表示領域３１上にある。この状態で、視点追従表示領域３２はユーザ注視点４１の左側に表示されている。
この状態は、何も問題がない。
図４（１）に示す例は、ユーザ２０が固定表示領域３１の表示情報Ｂを確認中の状態であり、ユーザ注視点４１が固定表示領域３１上にある。この状態で、視点追従表示領域３２はユーザ注視点４１の左側に表示されている。
この状態は、何も問題がない。
【0027】
図４（２）は、ユーザ２０が、ユーザ注視点４１の左側にある視点追従表示領域３２に表示されたデータである情報Ａを見ようとして、ユーザ注視点４１を左側に移動させた状態を示している。ユーザ注視点４１を左側に移動させると、視点追従表示領域３２もユーザ注視点４１の移動に追従して左側に移動してしまう。
【0028】
すなわち、ユーザ２０が視点追従型表示画面自体を見たいときにユーザ注視点４１を視点追従表示領域３２側に移動させると、視点追従表示領域３２もユーザ注視点４１の移動に伴い逃げてしまう。結果として、ユーザ２０が視点追従表示領域３２の内容、すなわち情報Ａを見ることができなくなる。
【0029】
［２．本開示の表示装置の実行する処理の概要について］
次に、本開示の表示装置の実行する処理の概要について説明する。
次に、本開示の表示装置の実行する処理の概要について説明する。
【0030】
本開示の表示装置は、図４を参照して説明した問題点、すなわち、視点追従表示領域がユーザ注視点の移動に伴い逃げてしまい、ユーザが視点追従表示領域の内容を見ることができなくなるという問題を解決するものである。
【0031】
【0032】
図５（１）に示す例は、ユーザ２０が固定表示領域３１の表示情報Ｂを確認中の状態であり、ユーザ注視点４１が固定表示領域３１上にある。この状態で、視点追従表示領域３２はユーザ注視点４１の左側に表示されている。
【0033】
図５（２）に示す例は、ユーザ２０がユーザ注視点４１を右側に移動させながら、固定表示領域３１の表示情報Ｂを継続して確認中の状態であり、ユーザ注視点４１が固定表示領域３１上にある。この状態で、視点追従表示領域３２はユーザ注視点４１の右方向への移動に追従して右方向に移動し、ユーザ注視点４１の左隣接位置に移動して表示される。
図５に示す例は、ユーザは、継続して固定表示領域３１の表示情報Ｂを確認中であり、何の問題もない。
図５に示す例は、ユーザは、継続して固定表示領域３１の表示情報Ｂを確認中であり、何の問題もない。
【0034】
次に、図６を参照して、ユーザが視点追従表示領域３２に表示された情報Ａを確認しようとした場合の処理について説明する。
図６も、図５と同様、固定表示領域３１と視点追従表示領域３２を有する三次元表示装置の表示例を示している。
図６も、図５と同様、固定表示領域３１と視点追従表示領域３２を有する三次元表示装置の表示例を示している。
【0035】
図６（１）に示す例は、ユーザ２０が固定表示領域３１の表示情報Ｂを確認中の状態であり、ユーザ注視点４１が固定表示領域３１上にある。この状態で、視点追従表示領域３２はユーザ注視点４１の左側に表示されている。
【0036】
図６（２）に示す例は、ユーザ２０がユーザ注視点４１を左に移動させて視点追従表示領域３２の情報Ａを確認している状態である。
本開示の表示装置は、ある条件の下で視点追従表示領域３２をユーザ注視点４１に追従させない制御を実行する。
本開示の表示装置は、ある条件の下で視点追従表示領域３２をユーザ注視点４１に追従させない制御を実行する。
【0037】
すなわち、視点追従表示領域３２の追従処理を所定条件の下で停止させる。この制御により、ユーザは、視点追従表示領域３２にユーザ注視点４１をスムーズに移動させて視点追従表示領域３２の情報Ａを確認することができる。
【0038】
本開示の表示装置は、この視点追従表示領域３２の追従処理の実行と停止制御を行うため、ユーザ注視点の３次元位置やユーザ視線の輻輳距離を利用した制御を実行する。
【0039】
ユーザ視線の輻輳距離について図７を参照して説明する。
図７には、ユーザ２０とユーザ注視点４１との距離の異なる２つの図を示している。
図７（ａ）は、ユーザ２０とユーザ注視点４１との距離が遠く、図７（ｂ）は、ユーザ２０とユーザ注視点４１との距離が近い。
図７には、ユーザ２０とユーザ注視点４１との距離の異なる２つの図を示している。
図７（ａ）は、ユーザ２０とユーザ注視点４１との距離が遠く、図７（ｂ）は、ユーザ２０とユーザ注視点４１との距離が近い。
【0040】
ユーザ２０は注視点４１を左右２つの目で見ている。この時、
左目とユーザ注視点４１とを結ぶ直線と、右目とユーザ注視点４１とを結ぶ直線とのなす角を輻輳角と呼ぶ。
また、ユーザ２０の目からユーザ注視点４１までの距離を輻輳距離と呼ぶ。
左目とユーザ注視点４１とを結ぶ直線と、右目とユーザ注視点４１とを結ぶ直線とのなす角を輻輳角と呼ぶ。
また、ユーザ２０の目からユーザ注視点４１までの距離を輻輳距離と呼ぶ。
【0041】
輻輳角は、ユーザ注視点がユーザから離れるほど小さくなり、近づくほど大きくなる。輻輳距離は、ユーザ注視点がユーザから離れるほど大きくなり、近づくほど小さくなる。
【0042】
図７に示す例では、ユーザ注視点がユーザから遠い（ａ）における輻輳角θａと輻輳距離Ｌａ、およびユーザ注視点がユーザに近いい（ｂ）における輻輳角θｂと輻輳距離Ｌｂとの関係は以下の通りとなる。
θａ＜θｂ
Ｌａ＞Ｌｂ
θａ＜θｂ
Ｌａ＞Ｌｂ
【0043】
輻輳角や輻輳距離は、例えば、ユーザ２０の左目と右目のカメラ撮影画像から解析される両目の視線方向から算出することができる。
本開示の表示装置は、表示装置に備えられたカメラを用いてユーザの両目の視線方向を解析し、ユーザ注視点の３次元位置や輻輳距離を算出する。
この算出結果を利用して、視線追従表示領域の移動制御を実行する。
本開示の表示装置は、表示装置に備えられたカメラを用いてユーザの両目の視線方向を解析し、ユーザ注視点の３次元位置や輻輳距離を算出する。
この算出結果を利用して、視線追従表示領域の移動制御を実行する。
【0044】
［３．本開示の表示装置の構成と処理の詳細について］
次に、本開示の表示装置の構成と処理の詳細について説明する。
次に、本開示の表示装置の構成と処理の詳細について説明する。
【0045】
図８は、本開示の表示装置１００の一例の外観を示す図である。
図８に示す表示装置１００は、先に図２を参照して説明したと同様のオンスクリーンキーボード（ＯＳＫ：Ｏｎ Ｓｃｒｅｅｎ Ｋｅｙｂｏａｒｄ）である。
図８に示す表示装置１００は、先に図２を参照して説明したと同様のオンスクリーンキーボード（ＯＳＫ：Ｏｎ Ｓｃｒｅｅｎ Ｋｅｙｂｏａｒｄ）である。
【0046】
表示装置１００は、固定表示領域１０１と視点追従表示領域１０２を有する。ユーザ１２０は、コントローラ１２１を有しており、コントローラ１２１を用いて、固定表示領域１０１上の文字選択カーソル１０４を移動させて、固定表示領域１０１に表示された文字列から特定の文字を選択し、コントローラ１２１の入力決定ボタンを押下して文字を入力する。
入力された文字列は、視点追従表示領域１０２に表示される。
入力された文字列は、視点追従表示領域１０２に表示される。
【0047】
表示装置１００の制御部は、ユーザ１２０が、視点追従表示領域１０２を固定表示領域１０１の手前の位置、すなわちユーザ１２０に近い位置において観察できるように各表示領域の三次元表示制御を実行する。
【0048】
表示装置１００は、例えばカメラ１０３等を用いてユーザの目を観察し、ユーザ注視点１２１の３次元位置、具体的には輻輳距離を含むユーザ注視点１２１の３次元位置を算出する。
なお、図８左に示すように表示領域の表示面に平行な水平右方向をＸ軸、表示面に平行な垂直上方向をＹ軸、表示領域の表示面に垂直な方向（ユーザ１２０から表示面へ向かう方向）をＺ軸とする。
なお、図８左に示すように表示領域の表示面に平行な水平右方向をＸ軸、表示面に平行な垂直上方向をＹ軸、表示領域の表示面に垂直な方向（ユーザ１２０から表示面へ向かう方向）をＺ軸とする。
【0049】
図には、時間（ｔａ）におけるユーザ注視点１２１ａと時間（ｔ２）におけるユーザ注視点１２１ｂの２つの注視点を示している。これらは異なる時間のユーザ注視点を参考として示しているものである。
ユーザ１２０は、固定表示領域１０１の表示情報と、視点追従表示領域１０２の表示情報の双方を、不自由なく観察することが可能となる。
ユーザ１２０は、固定表示領域１０１の表示情報と、視点追従表示領域１０２の表示情報の双方を、不自由なく観察することが可能となる。
【0050】
表示装置１００の制御部は、視点追従表示領域１０２をユーザ注視点１２１に追従させて移動させる制御を行う。
図８に示す例では、視点追従表示領域１０２をユーザ注視点１２１の左側に表示している。表示装置１００の制御部は、ユーザ注視点１２１が右側に移動すれば、視点追従表示領域１０２も右側に移動させる。左に移動すれば左に移動させるといった処理を行う。
図８に示す例では、視点追従表示領域１０２をユーザ注視点１２１の左側に表示している。表示装置１００の制御部は、ユーザ注視点１２１が右側に移動すれば、視点追従表示領域１０２も右側に移動させる。左に移動すれば左に移動させるといった処理を行う。
【0051】
ただし、本開示の表示装置１００の制御部は、予め規定した条件を満たす場合には、視点追従表示領域１０２をユーザ注視点１２１に追従させず、固定させる処理を行う。
この制御により、ユーザは注視点を視点追従表示領域１０２の上に移動させて、視点追従表示領域１０２上のデータを確認することができる。
この制御により、ユーザは注視点を視点追従表示領域１０２の上に移動させて、視点追従表示領域１０２上のデータを確認することができる。
【0052】
なお、本実施例として図８に示している表示装置１００は、先に図２を参照して説明した構成と同様、固定表示領域１０１には、ユーザ１２０が入力可能な文字列を表示する。ユーザ１２０は、手持ちのコントローラ１２１を操作して、文字選択カーソル１０４を移動させて、固定表示領域１０１に表示された文字列から特定の文字を選択し、コントローラ１２１の入力決定ボタンを押下して文字を入力する。入力された文字列は、視点追従表示領域１０２に表示される。
【0053】
次に、図９を参照して、表示装置１００の構成について説明する。
図９に示すように、本開示の表示装置１００は、視線検出部１５１、注視点３次元位置（輻輳距離等）算出部１５２、視点追従表示領域移動制御部１５３、コントローラ操作情報入力部１５４、ユーザ操作対応処理実行部１５５、視点追従表示領域情報生成部１５６、固定表示領域表示情報生成部１５７、表示部１５８を有する。
図９に示すように、本開示の表示装置１００は、視線検出部１５１、注視点３次元位置（輻輳距離等）算出部１５２、視点追従表示領域移動制御部１５３、コントローラ操作情報入力部１５４、ユーザ操作対応処理実行部１５５、視点追従表示領域情報生成部１５６、固定表示領域表示情報生成部１５７、表示部１５８を有する。
【0054】
視線検出部１５１はユーザ１２０の視線を検出する。例えばカメラであり、ユーザの左目と右目の眼球を撮影し、その眼球方向から各目の視線方向を検出可能な画像を撮影する。
なお、視線検出部１５１はカメラに限らず、その他の様々な視線検出手法が利用可能である。例えば眼球の電位計測を行うＥＯＧ（Ｅｌｅｃｔｒｏ－Ｏｃｕｌｏｇｒａｍ）等のセンサーを用いて視線検出を行う構成としてもよい。
なお、視線検出部１５１はカメラに限らず、その他の様々な視線検出手法が利用可能である。例えば眼球の電位計測を行うＥＯＧ（Ｅｌｅｃｔｒｏ－Ｏｃｕｌｏｇｒａｍ）等のセンサーを用いて視線検出を行う構成としてもよい。
【0055】
視線検出部１５１の検出情報は、注視点３次元位置（輻輳距離等）算出部１５２に入力される。
注視点３次元位置（輻輳距離等）算出部１５２は、視線検出部１５１から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点（ユーザ注視点）の３次元位置を算出する。
注視点３次元位置（輻輳距離等）算出部１５２は、視線検出部１５１から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点（ユーザ注視点）の３次元位置を算出する。
【0056】
ユーザ注視点は、ユーザの左目の視線方向と右目の視線方向との交点として求めることができる。注視点３次元位置（輻輳距離等）算出部１５２は、注視点の３次元位置（ｘ，ｙ，ｚ）を算出する。
【0057】
例えばユーザの顔の位置を原点（ｘ，ｙ，ｚ）＝（０，０，０）として、表示装置の表示面に平行な水平右方向をｘ軸、表示装置の表示面に平行な上方向をｙ軸、ユーザから表示装置の表示面に向かう方向ｚ軸とする。
この設定において、注視点の３次元位置（ｘ，ｙ，ｚ）中のｚは輻輳距離に相当する。
この設定において、注視点の３次元位置（ｘ，ｙ，ｚ）中のｚは輻輳距離に相当する。
【0058】
注視点３次元位置（輻輳距離等）算出部１５２の算出した注視点の３次元位置（ｘ，ｙ，ｚ）情報は、視点追従表示領域移動制御部１５３に入力される。
【0059】
視点追従表示領域移動制御部１５３は、注視点３次元位置（輻輳距離等）算出部１５２の算出した注視点の３次元位置（ｘ，ｙ，ｚ）情報を利用して、視点追従表示領域１０２の移動制御を行う。具体的にはユーザ注視点１２１に追従させて移動させる制御と、追従させずに固定する制御を切り替えて実行する。
なお、視点追従表示領域移動制御部１５３は、コントローラ操作情報入力部１５４が入力するユーザ操作情報に応じて制御態様を変更する。
この処理の具体的シーケンスについては、後段でフローチャートを参照して説明する。
なお、視点追従表示領域移動制御部１５３は、コントローラ操作情報入力部１５４が入力するユーザ操作情報に応じて制御態様を変更する。
この処理の具体的シーケンスについては、後段でフローチャートを参照して説明する。
【0060】
コントローラ操作情報入力部１５４は、ユーザ１２０の有するコントローラ１２１の操作情報を入力する。具体的には、例えばカーソルの移動や入力文字の決定情報等の操作情報である。
入力情報はユーザ操作対応処理実行部１５５に入力される。さらに、視点追従表示領域移動制御部１５３にも入力される。
入力情報はユーザ操作対応処理実行部１５５に入力される。さらに、視点追従表示領域移動制御部１５３にも入力される。
【0061】
ユーザ操作対応処理実行部１５５は、コントローラ操作情報入力部１５４から入力したユーザ操作情報に従った処理を実行する。具体的には、例えばカーソルの移動や入力文字の決定情報等の操作情報に従い、固定表示領域表示情報生成部１５７上のカーソル位置の表示位置を決定し、また、入力文字の決定情報に従い、視点追従表示領域情報生成部１５６に表示する文字列を決定する処理などを行う。
このユーザ操作対応処理実行部１５５の実行結果は、視点追従表示領域情報生成部１５６と、固定表示領域表示情報生成部１５７に入力される。
このユーザ操作対応処理実行部１５５の実行結果は、視点追従表示領域情報生成部１５６と、固定表示領域表示情報生成部１５７に入力される。
【0062】
視点追従表示領域情報生成部１５６と、固定表示領域表示情報生成部１５７は、それぞれ各表示領域に対応する表示情報を生成する。すなわち、ユーザ操作対応処理実行部１５５の実行結果を反映した表示情報を生成する。
【0063】
表示部１５８は、視点追従表示領域情報生成部１５６と、固定表示領域表示情報生成部１５７が生成した各表示領域に対応する表示情報を各表示領域に表示する。
【0064】
次に、視点追従表示領域移動制御部１５３が実行する視点追従表示領域１０２の制御シーケンスについて説明する。
図１０～図１１は、視点追従表示領域１０２の制御シーケンスについて説明するフローチャートである。
図１０は、視点追従表示領域１０２の移動制御の基本シーケンスである。
図１１は、図１０に示すステップＳ１０１のユーザ注視点の滞留時間の調整処理の詳細シーケンスである。
図１０～図１１は、視点追従表示領域１０２の制御シーケンスについて説明するフローチャートである。
図１０は、視点追従表示領域１０２の移動制御の基本シーケンスである。
図１１は、図１０に示すステップＳ１０１のユーザ注視点の滞留時間の調整処理の詳細シーケンスである。
【0065】
図１０～図１１に示すフローに従った処理は、表示装置１００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
以下、図１０に示すフローの各ステップの処理について説明する。
以下、図１０に示すフローの各ステップの処理について説明する。
【0066】
（ステップＳ１０１）
まず、ステップＳ１０１において、視点追従表示領域１０２の追従条件調整処理を実行する。
この処理は、視点追従表示領域移動制御部１５３が実行する。
以下のステップＳ１０２～Ｓ１０５の処理は、このステップＳ１０１で設定した追従条件に従って実行される。
まず、ステップＳ１０１において、視点追従表示領域１０２の追従条件調整処理を実行する。
この処理は、視点追従表示領域移動制御部１５３が実行する。
以下のステップＳ１０２～Ｓ１０５の処理は、このステップＳ１０１で設定した追従条件に従って実行される。
【0067】
このステップＳ１０１における追従条件調整処理、すなわち視点追従表示領域１０２の追従条件調整処理の詳細シーケンスについて図１１に示すフローチャートを参照して説明する。
【0068】
（ステップＳ２０１）
まず、視点追従表示領域移動制御部１５３は、ステップＳ２０１において、コントローラ操作情報入力部１５４に新たなユーザ操作情報が入力されたか否かを判定する。
入力されていない場合は、ステップＳ２０２に進み、入力された場合は、ステップＳ２０４に進む。
まず、視点追従表示領域移動制御部１５３は、ステップＳ２０１において、コントローラ操作情報入力部１５４に新たなユーザ操作情報が入力されたか否かを判定する。
入力されていない場合は、ステップＳ２０２に進み、入力された場合は、ステップＳ２０４に進む。
【0069】
（ステップＳ２０２）
ステップＳ２０１において、コントローラ操作情報入力部１５４に新たなユーザ操作情報が入力されていないと判定した場合、ステップＳ２０２において、ユーザの最後のコントローラに対する入力操作からの経過時間が、予め規定したしきい値時間、例えば３秒以上となったか否かを判定する。
ステップＳ２０１において、コントローラ操作情報入力部１５４に新たなユーザ操作情報が入力されていないと判定した場合、ステップＳ２０２において、ユーザの最後のコントローラに対する入力操作からの経過時間が、予め規定したしきい値時間、例えば３秒以上となったか否かを判定する。
【0070】
経過時間が予め規定したしきい値時間、例えば３秒以上となったと判定した場合はステップＳ２０３に進む。
経過時間が予め規定したしきい値時間、例えば３秒以上になっていないと判定した場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
経過時間が予め規定したしきい値時間、例えば３秒以上になっていないと判定した場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
【0071】
（ステップＳ２０３）
ステップＳ２０２において、ユーザの最後のコントローラに対する入力操作からの経過時間が、予め規定したしきい値時間、例えば３秒以上となったと判定した場合は、ステップＳ２０３の処理を実行する。
ステップＳ２０２において、ユーザの最後のコントローラに対する入力操作からの経過時間が、予め規定したしきい値時間、例えば３秒以上となったと判定した場合は、ステップＳ２０３の処理を実行する。
【0072】
視点追従表示領域移動制御部１５３は、ステップＳ２０３において、視点追従表示領域の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．５秒）に設定する。
【0073】
（ステップＳ２０４）
一方、ステップＳ２０１において、コントローラ操作情報入力部１５４に新たなユーザ操作情報が入力されたと判定した場合、ステップＳ２０４の処理を実行する。
一方、ステップＳ２０１において、コントローラ操作情報入力部１５４に新たなユーザ操作情報が入力されたと判定した場合、ステップＳ２０４の処理を実行する。
【0074】
視点追従表示領域移動制御部１５３は、ステップＳ２０４において、視点追従表示領域の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．５秒）より短い時間（例えばｔ＝０．２秒）に設定する。
【0075】
図１０に示すフローのステップＳ１０１では、この図１１に示すフローに従った処理が実行される。
図１１に示すフローによって実行される処理は、視点追従表示領域の追従停止判定時間である視点滞留時間ｔの設定変更処理である。具体的には、以下の処理が行われる。
図１１に示すフローによって実行される処理は、視点追従表示領域の追従停止判定時間である視点滞留時間ｔの設定変更処理である。具体的には、以下の処理が行われる。
【0076】
（ａ）新たなユーザ操作が検出された場合、視点追従表示領域１０２の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．５秒）より短い時間（例えばｔ＝０．２秒）に設定する。
（ｂ）新たなユーザ操作が検出されず、操作なしの状態が規定時間（例えば３秒）以上、継続した場合、視点追従表示領域１０２の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．５秒）に設定する。
これら（ａ），（ｂ）の処理が実行されることになる。
（ｂ）新たなユーザ操作が検出されず、操作なしの状態が規定時間（例えば３秒）以上、継続した場合、視点追従表示領域１０２の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．５秒）に設定する。
これら（ａ），（ｂ）の処理が実行されることになる。
【0077】
なお、ユーザ注視点の滞留状態とは、ユーザ視点が完全に固定されている場合に限らず、ある程度の狭い範囲でとどまっている場合も含む。
例えば、図８に示す固定表示領域に表示された１つの文字の中心附近にユーザ注視点がある場合、その隣接文字の中心まで移動しない限り、ユーザ注視点は滞留状態にあると判定する。
例えば、図８に示す固定表示領域に表示された１つの文字の中心附近にユーザ注視点がある場合、その隣接文字の中心まで移動しない限り、ユーザ注視点は滞留状態にあると判定する。
【0078】
図１０に示すフローのステップＳ１０２以下では、上記（ａ），（ｂ）いずれかの設定、すなわち、視点追従表示領域の追従停止判定時間である視点滞留時間ｔが、
視点滞留時間ｔ＝標準時間（例えばｔ＝０．５秒）、または
視点滞留時間ｔ＝標準時間より短い時間（例えばｔ＝０．２秒）、
これらいずれかの設定の下で処理が実行される。
ステップＳ１０２以下の処理について説明する。
視点滞留時間ｔ＝標準時間（例えばｔ＝０．５秒）、または
視点滞留時間ｔ＝標準時間より短い時間（例えばｔ＝０．２秒）、
これらいずれかの設定の下で処理が実行される。
ステップＳ１０２以下の処理について説明する。
【0079】
【0080】
注視点３次元位置（輻輳距離等）算出部１５２は、視線検出部１５１から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点（ユーザ注視点）の３次元位置を算出する。
【0081】
前述したように、ユーザ注視点は、ユーザの左目の視線方向と右目の視線方向との交点として求めることができる。注視点３次元位置（輻輳距離等）算出部１５２は、例えばユーザの顔の位置を原点（ｘ，ｙ，ｚ）＝（０，０，０）として、注視点の３次元位置（ｘ，ｙ，ｚ）を算出する。ｚは輻輳距離に相当する。
【0082】
（ステップＳ１０３）
次に、ステップＳ１０３において、ユーザの注視点の滞留時間、すなわちユーザ注視点が固定表示領域１０１、または視点追従表示領域１０２上で動かずに留まっている滞留時間が、ステップＳ１０１で設定した滞留時間ｔ以上であるか否かを判定する。
次に、ステップＳ１０３において、ユーザの注視点の滞留時間、すなわちユーザ注視点が固定表示領域１０１、または視点追従表示領域１０２上で動かずに留まっている滞留時間が、ステップＳ１０１で設定した滞留時間ｔ以上であるか否かを判定する。
【0083】
ユーザ注視点の滞留時間が、ステップＳ１０１で設定した滞留時間ｔ以上である場合は、ステップＳ１０４に進む。
一方、ユーザ注視点の滞留時間が、ステップＳ１０１で設定した滞留時間ｔ以上でない場合、すなわち、時間ｔ未満の時間でユーザ注視点が移動している場合は、ステップＳ１０５に進む。
一方、ユーザ注視点の滞留時間が、ステップＳ１０１で設定した滞留時間ｔ以上でない場合、すなわち、時間ｔ未満の時間でユーザ注視点が移動している場合は、ステップＳ１０５に進む。
【0084】
（ステップＳ１０４）
ステップＳ１０３において、ユーザ注視点の滞留時間が、ステップＳ１０１で設定した滞留時間ｔ以上である場合は、ステップＳ１０４に進む。
視点追従表示領域移動制御部１５３は、ステップＳ１０４において、視点追従表示領域１０２を固定する。すなわち、ユーザ注視点の移動に追従させず、現在の表示領域に固定して表示する処理を行う。
ステップＳ１０３において、ユーザ注視点の滞留時間が、ステップＳ１０１で設定した滞留時間ｔ以上である場合は、ステップＳ１０４に進む。
視点追従表示領域移動制御部１５３は、ステップＳ１０４において、視点追従表示領域１０２を固定する。すなわち、ユーザ注視点の移動に追従させず、現在の表示領域に固定して表示する処理を行う。
【0085】
このタイミングでユーザは注視点を固定表示領域１０１から視点追従表示領域１０２に移動させることで、視点追従表示領域１０２の表示情報を確認することができる。
【0086】
（ステップＳ１０５）
一方、ステップＳ１０３において、ユーザ注視点の滞留時間が、ステップＳ１０１で設定した滞留時間ｔ未満である場合は、ステップＳ１０５に進む。
視点追従表示領域移動制御部１５３は、ステップＳ１０５において、視点追従表示領域１０２をユーザ注視点の移動に追従させて移動する制御を実行する。
一方、ステップＳ１０３において、ユーザ注視点の滞留時間が、ステップＳ１０１で設定した滞留時間ｔ未満である場合は、ステップＳ１０５に進む。
視点追従表示領域移動制御部１５３は、ステップＳ１０５において、視点追従表示領域１０２をユーザ注視点の移動に追従させて移動する制御を実行する。
【0087】
【0088】
【0089】
図１２（１）に示す例は、ユーザ１２０が固定表示領域１０１の表示情報Ｂを確認中の状態であり、ユーザ注視点１２１が固定表示領域１０１上にある。この状態で、視点追従表示領域１０２はユーザ注視点１２１の左側に表示されている。
【0090】
この状態で、ユーザ１２０はユーザ注視点１２１を、規定の滞留時間ｔ、例えば０．５秒間、移動させることなく停止させる。この注視点の滞留処理により、視点追従表示領域１０２はユーザ注視点１２１に遅滞する追従移動が停止され、固定される。
【0091】
その後、ユーザ１２０はユーザ注視点１２１を左側、すなわち、視点追従表示領域１０２の情報表示領域に移動させる。
この状態が、図１２（２）に示す状態である。
この処理により、ユーザ１２０は、視点追従表示領域１０２の情報を確認することができる。
この状態が、図１２（２）に示す状態である。
この処理により、ユーザ１２０は、視点追従表示領域１０２の情報を確認することができる。
【0092】
なお、規定の滞留時間ｔは、ユーザ１２０によるコントローラ１２１の操作入力状態によって変更される。
先に図１１のフローを参照して説明したように、ユーザ１２０によるコントローラ１２１の操作入力状態によって以下のいずれかの設定に変更される。
（ａ）新たなユーザ操作が検出された場合、視点追従表示領域１０２の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．５秒）より短い時間（例えばｔ＝０．２秒）に設定する。
（ｂ）新たなユーザ操作が検出されず、操作なしの状態が規定時間（例えば３秒）以上、継続した場合、視点追従表示領域１０２の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．５秒）に設定する。
これら（ａ），（ｂ）の処理が実行されることになる。
先に図１１のフローを参照して説明したように、ユーザ１２０によるコントローラ１２１の操作入力状態によって以下のいずれかの設定に変更される。
（ａ）新たなユーザ操作が検出された場合、視点追従表示領域１０２の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．５秒）より短い時間（例えばｔ＝０．２秒）に設定する。
（ｂ）新たなユーザ操作が検出されず、操作なしの状態が規定時間（例えば３秒）以上、継続した場合、視点追従表示領域１０２の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．５秒）に設定する。
これら（ａ），（ｂ）の処理が実行されることになる。
【0093】
この変更処理によって、ユーザがコントローラを介した入力操作を実行している間は、視点追従表示領域１０２の追従停止判定時間である視点滞留時間ｔは短く設定される。例えば、入力操作中は０．２秒の滞留時間が検出されると、視点追従表示領域１０２を固定する。
ユーザ１２０は、固定表示領域１０１上の文字を選択しながらテキストを入力している間は、視点追従表示領域１０２に視点を移動して入力文字を、確認することが多く、この場合には、視点滞留時間ｔを短く設定することで、固定、移動を頻繁に切り替えて、テキスト入力と確認を交互にスムーズに行うことが可能となる。
ユーザ１２０は、固定表示領域１０１上の文字を選択しながらテキストを入力している間は、視点追従表示領域１０２に視点を移動して入力文字を、確認することが多く、この場合には、視点滞留時間ｔを短く設定することで、固定、移動を頻繁に切り替えて、テキスト入力と確認を交互にスムーズに行うことが可能となる。
【0094】
一方、所定時間、例えば３秒以上、ユーザ１２０によるコントローラ１２１を介した操作入力がない場合は、視点追従表示領域１０２の追従停止判定時間である視点滞留時間ｔは標準時間、例えば０．５秒に設定される。
これは、例えば、固定表示領域１０１から入力文字を選択するのに時間がかかっている場合や、入力文を考えている場合等に対応した処理であり、このような場合は、視点追従表示領域１０２の追従と停止の切り替えを頻繁に実行させない設定として、無駄な切り替え処理を低減する構成としている。
これは、例えば、固定表示領域１０１から入力文字を選択するのに時間がかかっている場合や、入力文を考えている場合等に対応した処理であり、このような場合は、視点追従表示領域１０２の追従と停止の切り替えを頻繁に実行させない設定として、無駄な切り替え処理を低減する構成としている。
【0095】
このように、本開示の表示装置１００は、図１０、図１１に示すフローを参照して説明した処理を実行する。すなわち、視点追従表示領域１０２のユーザ注視点１２１への追従移動と停止処理を切り替えて実行する構成としたので、ユーザ１２０は、固定表示領域１０１、および視点追従表示領域１０２の情報を、ユーザの意思に従って確実に確認することが可能となる。
【0096】
［４．車両のＨＵＤ（ヘッドアップディスプレイ）の表示部に視点追従表示領域を設定した実施例について］
次に４．車両のＨＵＤ（ヘッドアップディスプレイ）の表示部に視点追従表示領域を設定した実施例について説明する。
次に４．車両のＨＵＤ（ヘッドアップディスプレイ）の表示部に視点追従表示領域を設定した実施例について説明する。
【0097】
図１３に示すように運転席の前方のウィンドウ部分にＨＵＤ（ヘッドアップディスプレイ）として視点追従表示領域２０１を表示する。
視点追従表示領域２０１には例えば地図データが表示される。
視点追従表示領域２０１には例えば地図データが表示される。
【0098】
視点追従表示領域２０１は、基本的には運転者であるユーザのユーザ注視点２１１に追従するように移動制御がなされる。
この基本構成は、先に図８以下を参照して説明したオンスクリーンキーボード（ＯＳＫ）の例と同様である。
この基本構成は、先に図８以下を参照して説明したオンスクリーンキーボード（ＯＳＫ）の例と同様である。
【0099】
本実施例においても、ユーザ注視点２１１を所定時間以上、すなわち予め規定した滞留時間ｔ以上、特定個所に滞留させることで視点追従表示領域２０１の視点追従を停止させて、固定領域に表示する制御を行う。
この結果、図１３（ａ）のユーザ注視点２１１を図１３（ｂ）のように右に移動させて視点追従表示領域２０１に表示された地図を確認することができる。
この結果、図１３（ａ）のユーザ注視点２１１を図１３（ｂ）のように右に移動させて視点追従表示領域２０１に表示された地図を確認することができる。
【0100】
ただし、例えば、図に示すように視点追従表示領域２０１がユーザ注視点２１１の右側にある場合、運転者が車両を右方向にカーブさせようとすると、視点追従表示領域２０１によって右方向の前方視界が遮られてしまうという問題が発生する。
【0101】
本実施例では、この問題を解決するため、ユーザ（運転者）のハンドル操作情報を入力して、視点追従表示領域２０１の表示領域の変更や表示／非表示の変更を実行する。
【0102】
図１４は、本実施例における表示装置２００の構成例を示すブロック図である。
図１４に示す表示装置２００の構成について説明する。
表示装置２００は、視線検出部２５１、注視点３次元位置（輻輳距離等）算出部２５２、視点追従表示領域移動制御部２５３、視点追従表示領域情報生成部２５６、表示部（ＨＵＤ）２５８、ハンドル操作情報入力部２６１を有する。
図１４に示す表示装置２００の構成について説明する。
表示装置２００は、視線検出部２５１、注視点３次元位置（輻輳距離等）算出部２５２、視点追従表示領域移動制御部２５３、視点追従表示領域情報生成部２５６、表示部（ＨＵＤ）２５８、ハンドル操作情報入力部２６１を有する。
【0103】
視線検出部２５１は運転者（ユーザ）の視線を検出する。例えばカメラであり、ユーザの左目と右目の眼球を撮影し、その眼球方向から各目の視線方向を検出可能な画像を撮影する。
なお、視線検出部２５１はカメラに限らず、その他の様々な視線検出手法が利用可能である。例えば眼球の電位計測を行うＥＯＧ（Ｅｌｅｃｔｒｏ－Ｏｃｕｌｏｇｒａｍ）等のセンサーを用いて視線検出を行う構成としてもよい。
なお、視線検出部２５１はカメラに限らず、その他の様々な視線検出手法が利用可能である。例えば眼球の電位計測を行うＥＯＧ（Ｅｌｅｃｔｒｏ－Ｏｃｕｌｏｇｒａｍ）等のセンサーを用いて視線検出を行う構成としてもよい。
【0104】
視線検出部２５１の検出情報は、注視点３次元位置（輻輳距離等）算出部２５２に入力される。
注視点３次元位置（輻輳距離等）算出部２５２は、視線検出部２５１から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点（ユーザ注視点）の３次元位置を算出する。
注視点３次元位置（輻輳距離等）算出部２５２は、視線検出部２５１から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点（ユーザ注視点）の３次元位置を算出する。
【0105】
前述したようにユーザ注視点は、ユーザの左目の視線方向と右目の視線方向との交点として求めることができる。注視点３次元位置（輻輳距離等）算出部２５２は、注視点の３次元位置（ｘ，ｙ，ｚ）を算出する。ユーザの顔の位置を原点（ｘ，ｙ，ｚ）＝（０，０，０）として注視点の３次元位置（ｘ，ｙ，ｚ）を求める。ｚは輻輳距離に相当する。
【0106】
注視点３次元位置（輻輳距離等）算出部２５２の算出した注視点の３次元位置（ｘ，ｙ，ｚ）情報は、視点追従表示領域移動制御部２５３に入力される。
【0107】
視点追従表示領域移動制御部２５３は、注視点３次元位置（輻輳距離等）算出部２５２の算出した注視点の３次元位置（ｘ，ｙ，ｚ）情報を利用して、表示部（ＨＵＤ）２５８（＝視点追従表示領域２０１）の移動制御を行う。具体的にはユーザ注視点１２１に追従させて移動させる制御と、追従させずに固定する制御を切り替えて実行する。
【0108】
さらに、視点追従表示領域移動制御部２５３は、ハンドル操作情報入力部２６１から入力するユーザのハンドル操作情報に応じて表示部（ＨＵＤ）２５８（＝視点追従表示領域２０１）の移動制御や表示制御を行う。
例えば、ユーザがハンドルを右に回したときは、図１３に示すようにユーザ注視点２１１の右側に表示されている視点追従表示領域２０１をユーザ注視点２１１の上側や下側に移動させて表示する。あるいは、視点追従表示領域２０１の表示を停止する。すなわち非表示とする等の処理を行う。
この処理によって、ユーザ（運転者）は、進行方向の様子を視点追従表示領域２０１に邪魔されることなく見ることが可能となる。
例えば、ユーザがハンドルを右に回したときは、図１３に示すようにユーザ注視点２１１の右側に表示されている視点追従表示領域２０１をユーザ注視点２１１の上側や下側に移動させて表示する。あるいは、視点追従表示領域２０１の表示を停止する。すなわち非表示とする等の処理を行う。
この処理によって、ユーザ（運転者）は、進行方向の様子を視点追従表示領域２０１に邪魔されることなく見ることが可能となる。
【0109】
ハンドル操作情報入力部２６１は、ユーザ（運転者）のハンドル操作情報を視点追従表示領域移動制御部２５３に入力する。
【0110】
視点追従表示領域情報生成部２５６は、表示部（ＨＵＤ）２５８（＝視点追従表示領域２０１）に表示する表示情報を生成する。
表示部（ＨＵＤ）２５８（＝視点追従表示領域２０１）は、視点追従表示領域情報生成部２５６が生成した表示情報、例えば地図情報を表示する。
表示部（ＨＵＤ）２５８（＝視点追従表示領域２０１）は、視点追従表示領域情報生成部２５６が生成した表示情報、例えば地図情報を表示する。
【0111】
次に、視点追従表示領域移動制御部２５３が実行する表示部（ＨＵＤ）２５８（＝視点追従表示領域２０１）の制御シーケンスについて説明する。
図１５～図１６は、視点追従表示領域２０１の制御シーケンスについて説明するフローチャートである。
図１５は、視点追従表示領域２０１の移動制御の基本シーケンスである。
図１６は、図１５に示すステップＳ２０１のユーザ注視点の滞留時間の調整処理の詳細シーケンスである。
図１５～図１６は、視点追従表示領域２０１の制御シーケンスについて説明するフローチャートである。
図１５は、視点追従表示領域２０１の移動制御の基本シーケンスである。
図１６は、図１５に示すステップＳ２０１のユーザ注視点の滞留時間の調整処理の詳細シーケンスである。
【0112】
図１５～図１６に示すフローに従った処理は、表示装置２００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
以下、図１５に示すフローの各ステップの処理について説明する。
以下、図１５に示すフローの各ステップの処理について説明する。
【0113】
（ステップＳ３０１）
まず、ステップＳ３０１において、視点追従表示領域２０１の追従条件調整処理を実行する。
この処理は、視点追従表示領域移動制御部２５３が実行する。
以下のステップＳ３０２～Ｓ３０５の処理は、このステップＳ３０１で設定した追従条件に従って実行される。
まず、ステップＳ３０１において、視点追従表示領域２０１の追従条件調整処理を実行する。
この処理は、視点追従表示領域移動制御部２５３が実行する。
以下のステップＳ３０２～Ｓ３０５の処理は、このステップＳ３０１で設定した追従条件に従って実行される。
【0114】
このステップＳ３０１における追従条件調整処理、すなわち視点追従表示領域２０１の追従条件調整処理の詳細シーケンスについて図１６に示すフローチャートを参照して説明する。
【0115】
（ステップＳ４０１）
まず、視点追従表示領域移動制御部２５３は、ステップＳ４０１において、ハンドル操作情報入力部２６１からユーザによるハンドル操作情報として、予め規定した回転角度以上のハンドル操作情報が入力されたか否かを判定する。
入力された場合は、ステップＳ４０２に進み、入力されない場合は、ステップＳ４０４に進む。
まず、視点追従表示領域移動制御部２５３は、ステップＳ４０１において、ハンドル操作情報入力部２６１からユーザによるハンドル操作情報として、予め規定した回転角度以上のハンドル操作情報が入力されたか否かを判定する。
入力された場合は、ステップＳ４０２に進み、入力されない場合は、ステップＳ４０４に進む。
【0116】
（ステップＳ４０２）
ステップＳ４０１において、ハンドル操作情報入力部２６１から予め規定した回転角度以上のハンドル操作情報が入力されたと判定した場合、視点追従表示領域移動制御部２５３は、ステップＳ４０２において、視点追従表示領域２０１が車両の進行方向と同じ方向に表示中か否かを判定する。
ステップＳ４０１において、ハンドル操作情報入力部２６１から予め規定した回転角度以上のハンドル操作情報が入力されたと判定した場合、視点追従表示領域移動制御部２５３は、ステップＳ４０２において、視点追従表示領域２０１が車両の進行方向と同じ方向に表示中か否かを判定する。
【0117】
視点追従表示領域２０１が車両の進行方向と同じ方向に表示中である場合はステップＳ４０３に進む。
視点追従表示領域２０１が車両の進行方向と同じ方向に表示中でない場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
視点追従表示領域２０１が車両の進行方向と同じ方向に表示中でない場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
【0118】
（ステップＳ４０３）
ステップＳ４０２において、視点追従表示領域２０１が車両の進行方向と同じ方向に表示中であると判定した場合、ステップＳ４０３を実行する。
ステップＳ４０２において、視点追従表示領域２０１が車両の進行方向と同じ方向に表示中であると判定した場合、ステップＳ４０３を実行する。
【0119】
視点追従表示領域移動制御部２５３は、ステップＳ４０３において、視点追従表示領域の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．２秒）より長い時間（例えばｔ＝１．０秒）に設定する。さらに、必要に応じて視点追従表示領域２０１の表示位置の変更、表示停止を実行する。
【0120】
視点追従表示領域２０１の表示位置の変更、表示停止とは、先に図１３を参照して説明したように、ユーザが回したハンドル方向に表示されている視点追従表示領域２０１をユーザ注視点２１１の上側や下側に移動させて表示する処理や視点追従表示領域２０１の表示を停止する処理である。
この処理によって、ユーザ（運転者）は、進行方向の様子を視点追従表示領域２０１に邪魔されることなく見ることが可能となる。
この処理によって、ユーザ（運転者）は、進行方向の様子を視点追従表示領域２０１に邪魔されることなく見ることが可能となる。
【0121】
（ステップＳ４０４）
一方、ステップＳ４０１において、ハンドル操作情報入力部２６１から予め規定した回転角度以上のハンドル操作情報が入力されていないと判定した場合、視点追従表示領域移動制御部２５３は、ステップＳ４０４の処理を実行する。
一方、ステップＳ４０１において、ハンドル操作情報入力部２６１から予め規定した回転角度以上のハンドル操作情報が入力されていないと判定した場合、視点追従表示領域移動制御部２５３は、ステップＳ４０４の処理を実行する。
【0122】
視点追従表示領域移動制御部２５３は、ステップＳ４０４において、ユーザがハンドルを中立状態に戻した後の経過時間が、予め規定したしきい値時間、例えば３秒以上となったか否かを判定する。
【0123】
経過時間が予め規定したしきい値時間、例えば３秒以上となったと判定した場合はステップＳ４０５に進む。
経過時間が予め規定したしきい値時間、例えば３秒以上になっていないと判定した場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
経過時間が予め規定したしきい値時間、例えば３秒以上になっていないと判定した場合は、そのまま処理を終了する。この場合は現在の設定がそのまま継続される。
【0124】
（ステップＳ４０５）
ステップＳ４０４において、ユーザがハンドルを中立状態に戻した後の経過時間が、予め規定したしきい値時間、例えば３秒以上となったと判定した場合、ステップＳ４０５の処理を実行する。
ステップＳ４０４において、ユーザがハンドルを中立状態に戻した後の経過時間が、予め規定したしきい値時間、例えば３秒以上となったと判定した場合、ステップＳ４０５の処理を実行する。
【0125】
視点追従表示領域移動制御部２５３は、ステップＳ４０５において、視点追従表示領域の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．２秒）に設定する。
【0126】
図１５に示すフローのステップＳ２０１では、この図１６に示すフローに従った処理が実行される。
図１５に示すフローによって実行される処理は、視点追従表示領域の追従停止判定時間である視点滞留時間ｔの設定変更処理である。具体的には、以下の処理が行われる。
図１５に示すフローによって実行される処理は、視点追従表示領域の追従停止判定時間である視点滞留時間ｔの設定変更処理である。具体的には、以下の処理が行われる。
【0127】
（ａ）ユーザ（運転手）がハンドルを中立位置から所定角度以上、回転し、その回転方向に視点追従表示領域２０１が表示されている場合、視点追従表示領域２０１の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．２秒）より長い時間（例えばｔ＝１．０秒）に設定する。
さらに、必要に応じて視点追従表示領域２０１の表示位置の変更、表示停止を実行する。
（ｂ）ユーザ（運転手）がハンドルを中立位置から所定角度以上、回転させず、かつハンドルを中立位置に戻してから規定時間（例えば３秒）以上、経過した場合、視点追従表示領域２０１の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．２秒）に設定する。
これら（ａ），（ｂ）の処理が実行されることになる。
さらに、必要に応じて視点追従表示領域２０１の表示位置の変更、表示停止を実行する。
（ｂ）ユーザ（運転手）がハンドルを中立位置から所定角度以上、回転させず、かつハンドルを中立位置に戻してから規定時間（例えば３秒）以上、経過した場合、視点追従表示領域２０１の追従停止判定時間である視点滞留時間ｔを標準時間（例えばｔ＝０．２秒）に設定する。
これら（ａ），（ｂ）の処理が実行されることになる。
【0128】
図１５に示すフローのステップＳ３０２以下では、上記（ａ），（ｂ）いずれかの設定、すなわち、視点追従表示領域の追従停止判定時間である視点滞留時間ｔが、
視点滞留時間ｔ＝標準時間（例えばｔ＝０．２秒）、または
視点滞留時間ｔ＝標準時間より長い時間（例えばｔ＝１．０秒）、
これらいずれかの設定の下で処理が実行される。
ステップＳ３０２以下の処理について説明する。
視点滞留時間ｔ＝標準時間（例えばｔ＝０．２秒）、または
視点滞留時間ｔ＝標準時間より長い時間（例えばｔ＝１．０秒）、
これらいずれかの設定の下で処理が実行される。
ステップＳ３０２以下の処理について説明する。
【0129】
【0130】
注視点３次元位置（輻輳距離等）算出部２５２は、視線検出部２１から入力するユーザの両目の視線方向情報に基づいて、ユーザが見ている注視点（ユーザ注視点）の３次元位置を算出する。
【0131】
前述したように、ユーザ注視点は、ユーザの左目の視線方向と右目の視線方向との交点として求めることができる。注視点３次元位置（輻輳距離等）算出部２５２は、例えばユーザの顔の位置を原点（ｘ，ｙ，ｚ）＝（０，０，０）として、注視点の３次元位置（ｘ，ｙ，ｚ）を算出する。ｚは輻輳距離に相当する。
【0132】
（ステップＳ３０３）
次に、ステップＳ３０３において、ユーザの注視点の滞留時間、すなわちユーザ注視点が動かずに留まっている滞留時間が、ステップＳ３０１で設定した滞留時間ｔ以上であるか否かを判定する。
次に、ステップＳ３０３において、ユーザの注視点の滞留時間、すなわちユーザ注視点が動かずに留まっている滞留時間が、ステップＳ３０１で設定した滞留時間ｔ以上であるか否かを判定する。
【0133】
ユーザ注視点の滞留時間が、ステップＳ３０１で設定した滞留時間ｔ以上である場合は、ステップＳ３０４に進む。
一方、ユーザ注視点の滞留時間が、ステップＳ３０１で設定した滞留時間ｔ以上でない場合、すなわち、時間ｔ未満の時間でユーザ注視点が移動している場合は、ステップＳ３０５に進む。
一方、ユーザ注視点の滞留時間が、ステップＳ３０１で設定した滞留時間ｔ以上でない場合、すなわち、時間ｔ未満の時間でユーザ注視点が移動している場合は、ステップＳ３０５に進む。
【0134】
（ステップ３２０４）
ステップＳ３０３において、ユーザ注視点の滞留時間が、ステップＳ３０１で設定した滞留時間ｔ以上である場合は、ステップＳ３０４に進む。
視点追従表示領域移動制御部２５３は、ステップＳ３０４において、視点追従表示領域２０１を固定する。すなわち、ユーザ注視点の移動に追従させず、現在の表示領域に固定して表示する処理を行う。
ステップＳ３０３において、ユーザ注視点の滞留時間が、ステップＳ３０１で設定した滞留時間ｔ以上である場合は、ステップＳ３０４に進む。
視点追従表示領域移動制御部２５３は、ステップＳ３０４において、視点追従表示領域２０１を固定する。すなわち、ユーザ注視点の移動に追従させず、現在の表示領域に固定して表示する処理を行う。
【0135】
このタイミングでユーザは注視点を視点追従表示領域２０１に移動させることで、視点追従表示領域２０１の表示情報、例えば地図を確認することができる。
【0136】
（ステップＳ３０５）
一方、ステップＳ３０３において、ユーザ注視点の滞留時間が、ステップＳ３０１で設定した滞留時間ｔ未満である場合は、ステップＳ３０５に進む。
視点追従表示領域移動制御部２５３は、ステップＳ３０５において、視点追従表示領域２０１をユーザ注視点の移動に追従させて移動する制御を実行する。
さらに、必要に応じて視点追従表示領域２０１の表示位置の変更、表示停止を実行する。
一方、ステップＳ３０３において、ユーザ注視点の滞留時間が、ステップＳ３０１で設定した滞留時間ｔ未満である場合は、ステップＳ３０５に進む。
視点追従表示領域移動制御部２５３は、ステップＳ３０５において、視点追従表示領域２０１をユーザ注視点の移動に追従させて移動する制御を実行する。
さらに、必要に応じて視点追従表示領域２０１の表示位置の変更、表示停止を実行する。
【0137】
【0138】
また、ハンドルを回してカーブしようとする方向に視点追従表示領域２０１が存在する場合は、視点の滞留時間は短くなり、ステップＳ３０４の処理が実行される。ここでは、ユーザの注視点の動きに応じて視点追従表示領域２０１も車両の進行方向に逃げるように移動する。さらに、必要に応じて視点追従表示領域２０１の表示位置の変更、表示停止も実行される。
【0139】
ここで、「必要に応じて」とは、例えば、ユーザ注視点の移動が速く視点追従表示領域２０１に追いついてしまうと判定された場合等である。このような場合、視点追従表示領域移動制御部２５３は、視点追従表示領域２０１の表示位置の変更、表示停止処理を行う。
【0140】
具体的には、先に図１３を参照して説明したように、ユーザが回したハンドル方向に表示されている視点追従表示領域２０１をユーザ注視点２１１の上側や下側に移動させて表示する処理や視点追従表示領域２０１の表示を停止する処理である。
この処理によって、ユーザ（運転者）は、進行方向の様子を視点追従表示領域２０１に邪魔されることなく見ることが可能となる。
この処理によって、ユーザ（運転者）は、進行方向の様子を視点追従表示領域２０１に邪魔されることなく見ることが可能となる。
【0141】
［５．その他の実施例について］
次に、その他の実施例について説明する。
次に、その他の実施例について説明する。
【0142】
上述した実施例では、ユーザ注視点の滞留状態に基づいて、視点追従表示領域の移動制御を行う構成としたが、この他、例えば、ユーザのジェスチャや声により、固定表示領域と視点追従表示領域のどちらの情報を見るかを指定する構成としてもよい。
【0143】
上述した実施例では、ＯＳＫ（オンスクリーンキーボード）とＨＵＤ（ヘッドアップディスプレイ）を用いた実施例について説明したが、本開示の構成や処理は、その他、様々な表示装置において利用可能である。
例えば、ゲーム機などにおいて、メニュー選択（武器選択など）画面を視点追従領域に設定といった利用も可能である。
例えば、ゲーム機などにおいて、メニュー選択（武器選択など）画面を視点追従領域に設定といった利用も可能である。
【0144】
また、ユーザ注視点を画面に表示する構成とし、その表示画面の距離を固定表示領域、視点追従表示領域各々について表示する構成としてもよい。例えば、ｍやｉｎｃｈを切り替えて表示可能とする等の設定が可能である。
【0145】
また、固定表示領域と、追従表示領域のどちらを見るかについて、選択可能な情報領域を選択可能な情報表示を実行して、選ぶ際にユーザ視点の輻輳距離を持ついる構成としてもよい。
【0146】
なお、上述した実施例では、ユーザ注視点の３次元情報中のｚ、すなわち輻輳距離を利用する構成として説明したが、輻輳角を利用して制御を行う構成としてもよい。
また、ユーザ視線から輻輳距離や輻輳角が計測できない場合には、視線位置を利用して制御を行う構成としてもよい。
また、ユーザ視線から輻輳距離や輻輳角が計測できない場合には、視線位置を利用して制御を行う構成としてもよい。
【0147】
上述した実施例において説明した視点追従表示領域は、固定表示領域の手前に表示する設定としているが、表示領域の距離（表示深度）は様々な設定に変更可能である。
予めテストと調整を行っておいてもよいし、視線がウィンドウを追跡し続ける状態を検出したら自動調整するといった方法を適用してもよい。
予めテストと調整を行っておいてもよいし、視線がウィンドウを追跡し続ける状態を検出したら自動調整するといった方法を適用してもよい。
【0148】
なお、視点追従表示領域を表示するための奥行きが取れない場合には、異なる提示方法を利用してもよい、例えば周辺視野の固定位置に表示するなどである。
【0149】
［６．表示装置のハードウェア構成例について］
次に、図１７を参照して、表示装置のハードウェア構成の一構成例について説明する。
次に、図１７を参照して、表示装置のハードウェア構成の一構成例について説明する。
【0150】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
【0151】
ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、マウス、マイクロフォン、カメラ、センサーなどよりなる入力部３０６、ディスプレイ、スピーカーなどよりなる出力部３０７が接続されている。ＣＰＵ３０１は、入力部３０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
【0152】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【0153】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
【0154】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0155】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部は、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示装置。
（１） ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部は、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示装置。
【0156】
（２） 前記表示装置は、
固定表示領域の前方に前記視点追従表示領域を観察可能とした三次元表示装置である（１）に記載の表示装置。
固定表示領域の前方に前記視点追従表示領域を観察可能とした三次元表示装置である（１）に記載の表示装置。
【0157】
（３） 前記制御部は、
前記ユーザ注視点の滞留時間が、予め規定した規定時間ｔ以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する（１）または（２）に記載の表示装置。
前記ユーザ注視点の滞留時間が、予め規定した規定時間ｔ以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する（１）または（２）に記載の表示装置。
【0158】
（４） 前記制御部は、
前記表示装置に対するユーザの入力処理に応じて、前記規定時間ｔを変更する（３）に記載の表示装置。
前記表示装置に対するユーザの入力処理に応じて、前記規定時間ｔを変更する（３）に記載の表示装置。
【0159】
（５） 前記制御部は、
前記表示装置に対するユーザの入力処理を検出した場合、前記規定時間ｔを、通常設定より短い時間に変更する（３）または（４）に記載の表示装置。
前記表示装置に対するユーザの入力処理を検出した場合、前記規定時間ｔを、通常設定より短い時間に変更する（３）または（４）に記載の表示装置。
【0160】
（６） 前記表示装置は、
固定表示領域に入力選択可能な文字列を表示し、前記固定表示領域の前方に入力済み文字列を表示するテキストボックスとして、前記視点追従表示領域を観察可能とした三次元表示装置である（１）～（５）いずれかに記載の表示装置。
固定表示領域に入力選択可能な文字列を表示し、前記固定表示領域の前方に入力済み文字列を表示するテキストボックスとして、前記視点追従表示領域を観察可能とした三次元表示装置である（１）～（５）いずれかに記載の表示装置。
【0161】
（７） 前記表示装置は、
ヘッドアップディスプレイの表示領域に前記視点追従表示領域を設定した装置である（１）～（６）いずれかに記載の表示装置。
ヘッドアップディスプレイの表示領域に前記視点追従表示領域を設定した装置である（１）～（６）いずれかに記載の表示装置。
【0162】
（８） 前記視点追従表示領域は、車両のフロントガラスに表示される構成である（７）に記載の表示装置。
【0163】
（９） 前記制御部は、
前記車両のフロントガラス越しに前方を見ている前記車両の運転手のユーザ注視点の滞留時間が、予め規定した規定時間ｔ以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する（８）に記載の表示装置。
前記車両のフロントガラス越しに前方を見ている前記車両の運転手のユーザ注視点の滞留時間が、予め規定した規定時間ｔ以上となった場合に、前記視点追従表示領域を前記ユーザ注視点に追従させず固定して表示する（８）に記載の表示装置。
【0164】
（１０） 前記制御部は、
前記運転手のハンドル操作情報に応じて、前記規定時間ｔを変更する（９）に記載の表示装置。
前記運転手のハンドル操作情報に応じて、前記規定時間ｔを変更する（９）に記載の表示装置。
【0165】
（１１） 前記制御部は、
前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記規定時間ｔを、通常設定より長い時間に変更する（１０）に記載の表示装置。
前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記規定時間ｔを、通常設定より長い時間に変更する（１０）に記載の表示装置。
【0166】
（１２） 前記制御部は、
前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記視点追従表示領域の表示位置の変更処理、または表示停止処理を実行する（１０）または（１１）に記載の表示装置。
前記運転手のハンドル操作を検出し、ハンドル操作方向に前記視点追従表示領域が表示されている場合、前記視点追従表示領域の表示位置の変更処理、または表示停止処理を実行する（１０）または（１１）に記載の表示装置。
【0167】
（１３） 表示装置において実行する表示制御方法であり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部が、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示制御方法。
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記制御部が、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する表示制御方法。
【0168】
（１４） 表示装置において表示制御を実行させるプログラムであり、
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記プログラムは、前記制御部に、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行させるプログラム。
前記表示装置は、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部を有し、
前記プログラムは、前記制御部に、
前記視点追従表示領域を前記ユーザ注視点に対して追従させるか、または追従を停止させるかを、前記ユーザ注視点の滞留時間に応じて決定する処理を実行させるプログラム。
【0169】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0170】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0171】
以上、説明したように、本開示の一実施例の構成によれば、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
具体的には、例えば、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部は、視点追従表示領域をユーザ注視点に追従させるか、追従を停止させるかをユーザ注視点の滞留時間に応じて決定する。表示装置は固定表示領域前方に視点追従表示領域を観察可能とした三次元表示装置や、ＨＵＤとして構成される。制御部はユーザ注視点の滞留時間が予め規定した規定時間ｔ以上となった場合、視点追従表示領域をユーザ注視点に追従させず固定して表示する。規定時間ｔは表示装置に対するユーザ入力や車両のハンドル操作に応じて変更される。
本構成により、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
具体的には、例えば、ユーザ注視点の移動に伴い移動する視点追従表示領域の移動制御を実行する制御部は、視点追従表示領域をユーザ注視点に追従させるか、追従を停止させるかをユーザ注視点の滞留時間に応じて決定する。表示装置は固定表示領域前方に視点追従表示領域を観察可能とした三次元表示装置や、ＨＵＤとして構成される。制御部はユーザ注視点の滞留時間が予め規定した規定時間ｔ以上となった場合、視点追従表示領域をユーザ注視点に追従させず固定して表示する。規定時間ｔは表示装置に対するユーザ入力や車両のハンドル操作に応じて変更される。
本構成により、視点追従表示領域の移動制御を実行して、視点追従表示領域の表示情報を容易に確認可能とした構成が実現される。
【符号の説明】
【0172】
１１，１２ データ表示画面
２０ ユーザ
２１ コントローラ
３０ 表示装置
３１ 固定表示領域
３２ 視点追従表示領域
３３ カメラ
３４ 文字選択カーソル
４１ ユーザ注視点
１００ 表示装置
１０１ 固定表示領域
１０２ 視点追従表示領域
１０３ カメラ
１０４ 文字選択カーソル
１２１ ユーザ注視点
１５１ 視線検出部
１５２ 注視点３次元位置（輻輳距離等）算出部
１５３ 視点追従表示領域移動制御部
１５４ コントローラ操作情報入力部
１５５ ユーザ操作対応処理実行部
１５６ 視点追従表示領域情報生成部
１５７ 固定表示領域表示情報生成部
１５８ 表示部
２００ 表示装置
２０１ 始点追従表示領域
２１１ ユーザ注視点
２５１ 視線検出部
２５２ 注視点３次元位置（輻輳距離等）算出部
２５３ 視点追従表示領域移動制御部
２５６ 視点追従表示領域情報生成部
２５８ 表示部
２６１ ハンドル操作情報入力部
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記憶部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブルメディア
２０ ユーザ
２１ コントローラ
３０ 表示装置
３１ 固定表示領域
３２ 視点追従表示領域
３３ カメラ
３４ 文字選択カーソル
４１ ユーザ注視点
１００ 表示装置
１０１ 固定表示領域
１０２ 視点追従表示領域
１０３ カメラ
１０４ 文字選択カーソル
１２１ ユーザ注視点
１５１ 視線検出部
１５２ 注視点３次元位置（輻輳距離等）算出部
１５３ 視点追従表示領域移動制御部
１５４ コントローラ操作情報入力部
１５５ ユーザ操作対応処理実行部
１５６ 視点追従表示領域情報生成部
１５７ 固定表示領域表示情報生成部
１５８ 表示部
２００ 表示装置
２０１ 始点追従表示領域
２１１ ユーザ注視点
２５１ 視線検出部
２５２ 注視点３次元位置（輻輳距離等）算出部
２５３ 視点追従表示領域移動制御部
２５６ 視点追従表示領域情報生成部
２５８ 表示部
２６１ ハンドル操作情報入力部
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記憶部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブルメディア
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】