IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社NTTドコモの特許一覧

<>
  • 特許-ヘッドマウントディスプレイ 図1
  • 特許-ヘッドマウントディスプレイ 図2
  • 特許-ヘッドマウントディスプレイ 図3
  • 特許-ヘッドマウントディスプレイ 図4
  • 特許-ヘッドマウントディスプレイ 図5
  • 特許-ヘッドマウントディスプレイ 図6
  • 特許-ヘッドマウントディスプレイ 図7
  • 特許-ヘッドマウントディスプレイ 図8
  • 特許-ヘッドマウントディスプレイ 図9
  • 特許-ヘッドマウントディスプレイ 図10
  • 特許-ヘッドマウントディスプレイ 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-31
(45)【発行日】2024-06-10
(54)【発明の名称】ヘッドマウントディスプレイ
(51)【国際特許分類】
   G06F 3/01 20060101AFI20240603BHJP
【FI】
G06F3/01 510
【請求項の数】 4
(21)【出願番号】P 2022531887
(86)(22)【出願日】2021-06-16
(86)【国際出願番号】 JP2021022928
(87)【国際公開番号】W WO2021256520
(87)【国際公開日】2021-12-23
【審査請求日】2022-10-17
(31)【優先権主張番号】P 2020104755
(32)【優先日】2020-06-17
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】西▲崎▼ 達哉
(72)【発明者】
【氏名】市川 一興
(72)【発明者】
【氏名】松本 望
(72)【発明者】
【氏名】水田 怜央
【審査官】滝谷 亮一
(56)【参考文献】
【文献】特開2017-059062(JP,A)
【文献】特開2018-142336(JP,A)
【文献】特開2012-008290(JP,A)
【文献】特開2009-037434(JP,A)
【文献】特開平09-081309(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
ヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイがユーザの頭部に装着される状態において、前記ユーザの視野内に位置する表示面と、
前記表示面に、第1入力欄を表す第1画像が表示される場合、前記ユーザが行う操作に応じて文字を入力するための入力装置から前記第1入力欄に文字を入力可能であるか否かを判定する入力判定部と、
前記ユーザの視野の第1部分を示す画像データに基づいて、前記入力装置が第1状態において前記第1部分に存在するか否かを判定する存在判定部と、
前記入力判定部の判定結果が肯定であるという入力条件と、前記存在判定部の判定結果が肯定であるという存在条件と、を含む第1条件が成立するか否かを判定する第1条件判定部と、
前記第1条件判定部の判定結果が肯定である場合、前記表示面において前記第1画像を表示する代わりに、前記表示面のうち前記入力装置と重ならない領域に、前記入力装置から文字が入力される第2入力欄を表す第2画像を表示させる表示制御部と、
前記ユーザの視線の方向を示す視線データに基づいて、前記ユーザが前記入力装置を見ているか否かを判定する視線判定部と、
を含み、
前記第1条件は、前記視線判定部の判定結果が肯定であるという視線条件をさらに含む、
ヘッドマウントディスプレイ。
【請求項2】
前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第1角度以上、下向きであるか否かを判定する向き判定部をさらに含み、
前記第1条件は、前記向き判定部の判定結果が肯定であるという向き条件をさらに含む、
請求項1に記載のヘッドマウントディスプレイ。
【請求項3】
ヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイがユーザの頭部に装着される状態において、前記ユーザの視野内に位置する表示面と、
前記表示面に、第1入力欄を表す第1画像が表示される場合、前記ユーザが行う操作に応じて文字を入力するための入力装置から前記第1入力欄に文字を入力可能であるか否かを判定する入力判定部と、
前記ユーザの視野の第1部分を示す画像データに基づいて、前記入力装置が第1状態において前記第1部分に存在するか否かを判定する存在判定部と、
前記入力判定部の判定結果が肯定であるという入力条件と、前記存在判定部の判定結果が肯定であるという存在条件と、を含む第1条件が成立するか否かを判定する第1条件判定部と、
前記第1条件判定部の判定結果が肯定である場合、前記表示面において前記第1画像を表示する代わりに、前記表示面のうち前記入力装置と重ならない領域に、前記入力装置から文字が入力される第2入力欄を表す第2画像を表示させる表示制御部と、
前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第1角度以上、下向きであるか否かを判定する向き判定部と、
を含み、
前記第1条件は、前記向き判定部の判定結果が肯定であるという向き条件をさらに含む、
ヘッドマウントディスプレイ。
【請求項4】
前記表示制御部は、前記第1条件判定部の判定結果が否定である場合、前記ヘッドマウントディスプレイの向きを示す向きデータによって特定される前記ヘッドマウントディスプレイの向きの変化に基づいて、前記表示面における前記第1画像の位置を調整する、
請求項1から3のいずれか1項に記載のヘッドマウントディスプレイ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドマウントディスプレイに関する。
【背景技術】
【0002】
特許文献1は、カメラを備えるHMD(ヘッドマウントディスプレイ)を開示する。このHMDは、カメラによって生成される画像にキーボードとユーザの手との両方が写っている場合、キーボードと重ならない位置に文字入力欄を表示する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2017-59062号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載のHMDは、ユーザが文字の入力を意図しない状況において、偶然、カメラによって生成される画像にキーボードとユーザの手との両方が写っている場合、キーボードと重ならない位置に文字入力欄を表示してしまう。すなわち、このHDMは、ユーザの意図に反して、文字入力欄をキーボードと重ならない位置に表示してしまうおそれがある。このため、ユーザの意図に反して文字の入力欄をキーボード等の入力装置と重ならない位置に表示することを制限可能な技術が望まれる。
【0005】
本発明の目的は、ユーザの意図に反して文字の入力欄を入力装置と重ならない位置に表示することを制限可能な技術を提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様に係るヘッドマウントディスプレイは、前記ヘッドマウントディスプレイがユーザの頭部に装着される状態において、前記ユーザの視野内に位置する表示面と、前記表示面に、第1入力欄を表す第1画像が表示される場合、前記ユーザが行う操作に応じて文字を入力するための入力装置から前記第1入力欄に文字を入力可能であるか否かを判定する入力判定部と、前記ユーザの視野の第1部分を示す画像データに基づいて、前記入力装置が第1状態において前記第1部分に存在するか否かを判定する存在判定部と、前記入力判定部の判定結果が肯定であるという入力条件と、前記存在判定部の判定結果が肯定であるという存在条件と、を含む第1条件が成立するか否かを判定する第1条件判定部と、前記第1条件判定部の判定結果が肯定である場合、前記表示面において前記第1画像を表示する代わりに、前記表示面のうち前記入力装置と重ならない領域に、前記入力装置から文字が入力される第2入力欄を表す第2画像を表示させる表示制御部と、を含む。
【0007】
本発明の他の態様に係るヘッドマウントディスプレイは、前記ヘッドマウントディスプレイがユーザの頭部に装着される状態において、前記ユーザの視野内に位置する表示面と、前記ユーザの視線の方向を示す視線データに基づいて、前記ユーザが、前記ユーザが行う操作に応じて文字を入力するための入力装置を見ているか否かを判定する視線判定部と、前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第1角度以上、下向きであるか否かを判定する向き判定部と、前記視線判定部の判定結果が肯定であるという視線条件と、前記向き判定部の判定結果が肯定であるという向き条件と、を含む第2条件が成立するか否かを判定する第2条件判定部と、前記表示面に第1入力欄を表す第1画像が表示される状況において前記第2条件判定部の判定結果が肯定である場合、前記表示面において前記第1画像を表示する代わりに、前記表示面に、前記入力装置から文字が入力される第2入力欄を表す第2画像であって前記第1画像よりも小さい前記第2画像を表示させる表示制御部と、を含む。
【0008】
本発明のさらに他の態様に係るヘッドマウントディスプレイは、前記ヘッドマウントディスプレイがユーザの頭部に装着された状態において、前記ユーザの視野内に位置する表示面と、前記表示面に、第1入力欄を表す第1画像が表示される場合、前記ユーザが行う操作に応じて文字を入力するための入力装置から前記第1入力欄に文字を入力可能であるか否かを判定する入力判定部と、前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第1角度以上、下向きであるか否かを判定する向き判定部と、前記入力判定部の判定結果が肯定であるという入力条件と、前記向き判定部の判定結果が肯定であるという向き条件と、を含む第3条件が成立するか否かを判定する第3条件判定部と、前記表示面に前記第1画像が表示される状況において前記第3条件判定部の判定結果が肯定である場合、前記表示面において前記第1画像を表示する代わりに、前記表示面に、前記入力装置から文字が入力される第2入力欄を表す第2画像であって前記第1画像よりも小さい前記第2画像を表示させる表示制御部と、を含む。
【発明の効果】
【0009】
本発明の一態様によれば、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することを制限できる。
【図面の簡単な説明】
【0010】
図1】表示入力システム1を示す図である。
図2】装着状態の一例を示す図である。
図3】第1画像G1を示す図である。
図4】第2画像G2を示す図である。
図5】HMD100の一例を示すブロック図である。
図6】HMD100の動作を説明するためのフローチャートである。
図7】表示面Bに表示される第2画像G2の一例を示す図である。
図8】表示面Bに表示される第1画像G1の例を示す図である。
図9】表示面Bに表示される第1画像G1の例を示す図である。
図10】第1変形例の動作の一例を説明するためのフローチャートである。
図11】領域R3に位置する第1画像G1の一例を示す図である。
【発明を実施するための形態】
【0011】
<A:第1実施形態>
<A1:表示入力システム1>
以下、図面を参照しながら実施の形態を説明する。図面において、各部の寸法及び縮尺は実際のものと適宜異なる。図1は、表示入力システム1を示す図である。表示入力システム1は、HMD(Head Mounted Display:ヘッドマウントディスプレイ)100と、キーボード200と、を含む。
【0012】
HMD100は、例えば、光学シースルー形式を採用する眼鏡型の表示装置である。HMD100は、ビデオシースルー形式を採用する眼鏡型の表示装置でもよい。図2に示すように、ユーザUは、HMD100を眼鏡と同様にユーザUの頭部U2に装着する。ユーザUがHMD100を装着した状態を「装着状態」と称する。
【0013】
HMD100は、表示部120と、視野カメラ130と、視線カメラ140と、タッチ操作部160と、を含む。
【0014】
表示部120は、装着状態においてユーザUと対向する対向面120aと、対向面120aの反対側の外面120bと、を含む。
【0015】
図1に示すように、対向面120aは、右目用の第1表示面B1と、左目用の第2表示面B2と、を有する。第1表示面B1と第2表示面B2とを相互に区別する必要がない場合、第1表示面B1と第2表示面B2とをまとめて「表示面B」と称する。表示面Bは、装着状態において、ユーザUの視野内に位置する。表示面Bは、種々の画像を表示する。
【0016】
HMD100が、光学シースルー形式を採用する眼鏡型の表示装置である場合、表示部120は、画像生成部と、ハーフミラーと、を含む。画像生成部は、例えば、液晶表示装置又は有機EL(Electronic Luminescent)表示装置である。画像生成部は、表示画像を生成する。ハーフミラーは、画像生成部が出力する表示画像を示す光を表示面Bに向けて反射する。さらに、ハーフミラーは、外面120b側からユーザUの目U1に向かう光を通す。ユーザUは、ハーフミラーを通る光によって形成される像と、画像生成部が生成する表示画像とを、表示面Bを介して視認する。表示画像は、ハーフミラーを通る光によって形成される像に重畳される。
【0017】
HMD100が、ビデオシースルー形式を採用する眼鏡型の表示装置である場合、表示部120は、ディスプレイを含む。この場合、表示面Bは、ディスプレイの画面である。表示部120は、表示面Bに、視野カメラ130によって生成される視野画像データが示す視野画像と、視野画像とは異なる表示画像と、を表示する。表示画像は、視野画像に重畳される。ユーザUは、視野画像と表示画像とを視認する。
【0018】
視野カメラ130は、撮像レンズと、イメージセンサと、を含む。イメージセンサは、例えば、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。
【0019】
視野カメラ130は、外面120bに設けられる。視野カメラ130の撮像方向は、対向面120aから外面120bに向かう方向である。対向面120aから外面120bに向かう方向が撮像方向として用いられれば、視野カメラ130は、HMD100において外面120bとは異なる部分に設けられてもよい。
【0020】
視野カメラ130は、視野カメラ130の撮像範囲を撮像することによって、視野画像を示す視野画像データを生成する。視野画像は、視野カメラ130の撮像範囲を表す。さらに言えば、視野画像は、視野カメラ130の撮像範囲に存在する物体の像を表す。
【0021】
HMD100が、光学シースルー形式を採用する眼鏡型の表示装置である場合、視野カメラ130の撮像範囲は、ユーザUの視野の一部分である。この場合、視野カメラ130の撮像範囲は、ユーザUの視野の第1部分の一例となる。
【0022】
HMD100が、ビデオシースルー形式を採用する眼鏡型の表示装置である場合、視野画像データが示す視野画像は、表示面Bに表示される。表示面Bは、ユーザUの視野の一部分に位置する。このため、HMD100が、ビデオシースルー形式を採用する眼鏡型の表示装置である場合、表示面Bが、ユーザUの視野の第1部分の一例となる。
【0023】
視野画像データは、ユーザUの視野の第1部分を示す画像データの一例である。
【0024】
視線カメラ140は、撮像レンズと、イメージセンサと、を含む。視線カメラ140の撮像レンズは、例えば、魚眼レンズである。視線カメラ140は、対向面120aに設けられる。
【0025】
視線カメラ140は、ユーザUの目U1を撮像することによって、目もと撮像データを生成する。目もと撮像データは、ユーザUの2つの目U1のうち少なくとも一方を表す。目もと撮像データは、ユーザUの視線の方向を示す視線データの一例である。視線カメラ140が2つの目U1のうち少なくとも一方の目U1を撮像できれば、視線カメラ140は、HMD100において対向面120aとは異なる部分に設けられてもよい。
【0026】
タッチ操作部160は、例えば、圧力センサである。タッチ操作部160は、操作ボタンを含んでもよい。タッチ操作部160は、ユーザUが行うタッチ操作等を受ける。
【0027】
HMD100は、キーボード200と無線通信する。キーボード200は、ユーザUが行う操作に応じて文字を入力するための入力装置の一例である。入力装置は、キーボードに限らず適宜変更可能である。
【0028】
<A2:表示画像>
図3は、表示画像の一例である第1画像G1を示す図である。第1画像G1は、キーボード200から文字等が入力される第1入力欄A1を含む。第1入力欄A1は、例えば、入力ボックスである。第1入力欄A1が選択されると、ユーザUがキーボード200から第1入力欄A1に文字等を入力可能な状況が発生する。
【0029】
第1画像G1は、第1入力欄A1の他に、第1画像G1を説明するための説明情報C1を含む。第1画像G1は、説明情報C1を含まなくてもよい。第1画像G1は、例えば、検索サイトの画像である。
HMD100は、第1画像G1を示す第1画像データを、インターネット等のネットワークを介して、検索サイト等から取得する。
例えば、HMD100は、スマートフォン等の端末装置を介さずにインターネットに接続した状態においてユーザUがHMD100に対して行う操作に応じて、第1画像データを検索サイト等から取得する。スマートフォンは、情報処理装置の一例である。情報処理装置は、スマートフォンに限らず、例えば、タブレット端末装置又はパーソナルコンピュータでもよい。
HMD100は、インターネットに接続したスマートフォンを介して、第1画像データを取得してもよい。この場合、スマートフォンは、インターネットに接続した状態においてユーザUがスマートフォンに対して行う操作に応じて、第1画像データを検索サイト等から取得し、当該第1画像データをHMD100に送信する。
第1画像G1は、検索サイトの画像に限らない。
【0030】
図4は、表示画像の他の例である第2画像G2を示す図である。第2画像G2は、キーボード200から文字等が入力される第2入力欄A2を含む。第2入力欄A2は、第1入力欄A1が有する機能と同一の機能を有する。第2入力欄A2は、例えば、入力ボックスである。第2画像G2は、第2入力欄A2のみを示す画像である。第2画像G2は、第2入力欄A2の他に、第2画像G2を説明するための説明情報を含んでもよい。
【0031】
第2画像G2の面積は、第1画像G1の面積よりも小さい。第2画像G2のうち第2入力欄A2とは異なる部分G2aの面積は、第1画像G1のうち第1入力欄A1とは異なる部分G1aの面積よりも小さい。第2入力欄A2の面積は、例えば、第1入力欄A1の面積以上である。このため、ユーザUは、第1入力欄A1よりも第2入力欄A2に対して文字を入力しやすい。第2画像G2は、文字等の入力に特化した画像とも称される。第2入力欄A2の面積は、第1入力欄A1の面積よりも小さくてもよい。
【0032】
<A3:HMD100の一例>
図5は、HMD100の一例を示すブロック図である。HMD100は、表示部120と、視野カメラ130と、視線カメラ140と、タッチ操作部160とに加えて、通信部110と、向きセンサ150と、記憶装置170と、処理装置180と、を含む。
【0033】
通信部110は、種々の無線通信機器を備える。通信部110は、キーボード200と無線通信する。例えば、通信部110は、キーボード200とBluetooth(登録商標)によって無線通信する。通信部110とキーボード200との無線通信の方式は、Bluetoothに限らず、例えば、赤外線通信方式又はWi-Fi(登録商標)でもよい。Bluetooth、赤外線通信方式及びWi-Fiは、近距離無線方式の一例である。通信部110とキーボード200との無線通信の方式は、近距離無線方式に限らず他の通信方式でもよい。
通信部110は、スマートフォン等の端末装置とも無線通信可能である。通信部110は、スマートフォンを介して、キーボード200と通信してもよい。この場合、スマートフォンは、ユーザUが行う操作に応じてキーボード200と接続し、さらに、ユーザUが行う操作に応じてHMD100と接続する。
通信部110は、インターネット等のネットワークを介して、検索サイト等から第1画像データを取得してもよい。
【0034】
向きセンサ150は、例えば、加速度センサとジャイロセンサとを含む。向きセンサ150は、HMD100の向きを示す向きデータを生成する。HMD100の向きは、装着状態におけるユーザUの頭部U2の向きを意味する。
【0035】
記憶装置170は、処理装置180が読み取り可能な記録媒体である。記憶装置170は、例えば、不揮発性メモリーと、揮発性メモリーと、を含む。不揮発性メモリーは、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)及びEEPROM(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリーは、例えば、RAM(Random Access Memory)である。記憶装置170は、プログラムと、種々のデータと、を記憶する。
【0036】
処理装置180は、例えば、1又は2以上のプロセッサによって構成される。一例を挙げると、処理装置180は、1又は2以上のCPU(Central Processing Unit)によって構成される。処理装置180が有する機能の一部又は全部は、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等の回路によって構成されてもよい。
【0037】
処理装置180は、記憶装置170からプログラムを読み取る。処理装置180は、当該プログラムを実行することによって、入力判定部181、存在判定部182、視線判定部183、向き判定部184、条件判定部185、及び表示制御部186として機能する。
【0038】
入力判定部181は、表示面Bに第1画像G1が表示される場合、キーボード200から第1入力欄A1に文字を入力可能であるか否かを判定する。入力判定部181は、入力判定部181と同様の機能を有する入力判定回路によって構成されてもよい。
【0039】
存在判定部182は、視野画像データに基づいて、視野カメラ130の撮像範囲にキーボード200が存在する状況においてキーボード200が第1状態にあるか否かを判定する。換言すると、存在判定部182は、視野画像データに基づいて、第1状態のキーボード200が視野カメラ130の撮像範囲に存在するか否かを判定する。
【0040】
第1状態は、例えば、ユーザUから文字等を入力する操作を受けられる状態である。
第1状態の一例は、視野画像データが示すキーボード200の画像と、ユーザUが文字等を入力する操作を実行できる状態のキーボード200を示す参照画像と、の一致度が閾値以上である状態である。以下、視野画像データが示すキーボード200と、参照画像が示すキーボード200と、の一致度を、「画像一致度」とも称する。
ユーザUが文字等を入力する操作を実行できる状態のキーボード200は、例えば、キーを上に向けた状態において机の上に置かれたキーボード200である。裏返しの状態において机の上に置かれたキーボード200は、ユーザUが文字等を入力する操作を実行できる状態ではない。
参照画像は、参照画像データによって示される。参照画像データは、例えば、予め記憶装置170に記憶される。この場合、存在判定部182は、記憶装置170に記憶される参照画像データと、視野画像データと、を用いることによって、視野カメラ130の撮像範囲に第1状態のキーボード200が存在するか否かを判定する。存在判定部182は、存在判定部182と同様の機能を有する存在判定回路によって構成されてもよい。
【0041】
存在判定部182は、視野画像データと学習済みモデルとを用いて、第1状態(ユーザUから文字等を入力する操作を受けられる状態)のキーボード200が、視野カメラ130の撮像範囲に存在するか否かを判定してもよい。
学習済みモデルは、過去の視野画像データと、ユーザUから文字等を入力する操作を受けられる状態のキーボード200が視野カメラ130の撮像範囲に存在するか否かを示す情報と、の対応関係を学習済みである。
この場合、存在判定部182は、まず、学習済みモデルへ視野画像データを入力する。続いて、存在判定部182は、視野画像データの入力に応じて学習済みモデルが出力する情報に基づいて、第1状態のキーボード200が、視野カメラ130の撮像範囲に存在するか否かを判定する。
学習済みモデルが出力する情報が、ユーザUから文字等を入力する操作を受けられる状態のキーボード200が視野カメラ130の撮像範囲に存在することを示す場合、存在判定部182は、第1状態のキーボード200が視野カメラ130の撮像範囲に存在すると判定する。
学習済みモデルが出力する情報が、ユーザUから文字等を入力する操作を受けられる状態のキーボード200が視野カメラ130の撮像範囲に存在しないことを示す場合、存在判定部182は、第1状態のキーボード200が視野カメラ130の撮像範囲に存在しないと判定する。
【0042】
視線判定部183は、目もと撮像データに基づいて、ユーザUがキーボード200を見ているか否かを判定する。視線判定部183は、視線判定部183と同様の機能を有する視線判定回路によって構成されてもよい。
【0043】
向き判定部184は、向きデータに基づいて、HMD100が水平線に対して第1角度以上、下向きであるか否かを判定する。第1角度は、例えば10度である。第1角度は10度に限らず、例えば、0度から90度までの範囲内の角度であればよい。向き判定部184は、向き判定部184と同様の機能を有する向き判定回路によって構成されてもよい。
【0044】
条件判定部185は、所定条件が成立するか否かを判定する。所定条件は、以下の条件を含む。
(1)入力判定部181の判定結果が肯定であるという入力条件。
(2)存在判定部182の判定結果が肯定であるという存在条件。
(3)視線判定部183の判定結果が肯定であるという視線条件。
(4)向き判定部184の判定結果が肯定であるという向き条件。
【0045】
所定条件が成立するとは、当然のことながら、所定条件に含まれるすべての条件が成立することを意味する。所定条件は、第1条件、第2条件及び第3条件の各々の一例である。条件判定部185は、第1条件判定部、第2条件判定部及び第3条件判定部の各々の一例である。条件判定部185は、条件判定部185と同様の機能を有する条件判定回路によって構成されてもよい。
【0046】
表示制御部186は、表示面Bにおける表示を制御する。表示制御部186は、条件判定部185の判定結果が肯定である場合、表示面Bに第1画像G1を表示する代わりに、表示面Bのうちキーボード200と重ならない領域に第2画像G2を表示させる。表示制御部186は、表示制御部186と同様の機能を有する表示制御回路又は表示コントローラによって構成されてもよい。
【0047】
<A4:動作の説明>
図6は、HMD100の動作を説明するためのフローチャートである。HMD100は、図6に示す動作を繰り返す。
【0048】
ステップS101において入力判定部181は、表示面Bに第1画像G1が表示される場合、第1入力欄A1がキーボード200から文字等を入力可能な状態になっているか否かを判定する。第1入力欄A1がキーボード200から文字等を入力可能な状態は、第1入力欄A1がキーボード200から文字等を受付可能な状態と称することもできる。第1入力欄A1は、第1入力欄A1を選択する選択操作によって、キーボード200から文字等を受付可能な状態になる。
【0049】
選択操作は、ユーザUによって実行される。例えば、ユーザUは、タッチ操作部160を操作することによって選択操作を実行する。一例を挙げると、ユーザUは、まず、タッチ操作部160を操作することによって、表示面B上のカーソルを第1入力欄A1に移動する。続いて、ユーザUは、タッチ操作部160を操作することによって、第1入力欄A1を選択するためのクリック操作を実行する。ユーザUは、キーボード200を操作することによって選択操作を実行してもよい。
【0050】
続いて、ステップS102において存在判定部182は、視野画像データに基づいて、視野カメラ130の撮像範囲に上述の第1状態(ユーザUから文字等を入力する操作を受けられる状態)のキーボード200が存在するか否かを判定する。
【0051】
例えばステップS102では、存在判定部182は、まず、視野カメラ130から視野画像データを取得する。続いて、存在判定部182は、記憶装置170から、参照画像を示す参照画像データを取得する。
【0052】
続いて、存在判定部182は、視野画像データが、閾値以上の画像一致度を有するキーボード200を示すか否かを判定する。画像一致度は、視野画像データが示すキーボード200と、参照画像が示すキーボード200と、の一致度である。
【0053】
視野画像データが、閾値以上の画像一致度を有するキーボード200を示す場合、存在判定部182は、視野カメラ130の撮像範囲に第1状態のキーボード200が存在すると判定する。
【0054】
視野画像データが、閾値以上の画像一致度を有するキーボード200を示さない場合、存在判定部182は、視野カメラ130の撮像範囲に第1状態のキーボード200が存在しないと判定する。例えば、視野画像データが、キーボード200を示さない場合、存在判定部182は、視野カメラ130の撮像範囲に第1状態のキーボード200が存在しないと判定する。また、視野画像データが、裏返しの状態のキーボード200を示す場合、存在判定部182は、視野カメラ130の撮像範囲に第1状態のキーボード200が存在しないと判定する。
なお、存在判定部182は、上述のように視野画像データと学習済みモデルとを用いて、第1状態(ユーザUから文字等を入力する操作を受けられる状態)のキーボード200が、視野カメラ130の撮像範囲に存在するか否かを判定してもよい。
【0055】
続いて、ステップS103において視線判定部183は、目もと撮像データに基づいて、ユーザUがキーボード200を見ているか否かを判定する。
【0056】
例えばステップS103では、視線判定部183は、まず、視野カメラ130から視野画像データを取得し、且つ、視線カメラ140から目もと撮像データを取得する。
【0057】
続いて、視線判定部183は、視野画像データと目もと撮像データとに基づいて、ユーザUがキーボード200を見ているか否かを判定する。
【0058】
一例を挙げると、視線判定部183は、まず、視野画像データに基づいて、視野カメラ130の撮像範囲にキーボード200が存在するか否かを判定する。
【0059】
視線判定部183は、視野カメラ130の撮像範囲にキーボード200が存在すると判定すると、目もと撮像データに基づいて、ユーザUの目U1の基準点(例えば、目頭)と、ユーザUの目U1の特定点(瞳孔等)と、を検出する。
【0060】
続いて、視線判定部183は、基準点と特定点との位置関係に基づいて、ユーザUの視線の方向を推定する。例えば、視線判定部183は、基準点と特定点との位置関係と、ユーザUの視線の方向と、の対応関係を示すテーブルを用いることによって、ユーザUの視線の方向を推定する。
【0061】
続いて、視線判定部183は、視野画像データに基づいて、視野カメラ130の撮像範囲におけるキーボード200の位置を特定する。続いて、視線判定部183は、ユーザUの視線の方向にキーボード200が位置するか否か、すなわち、ユーザUがキーボード200を見ているか否かを判定する。
【0062】
視線判定部183は、ユーザUの視線の方向が、キーボード200が存在すると想定される領域(存在想定領域)を向いている場合に、ユーザUがキーボード200を見ていると判定してもよい。視線判定部183は、ユーザUの視線の方向が、キーボード200が存在すると想定される領域(存在想定領域)を向いていない場合に、ユーザUがキーボード200を見ていないと判定してもよい。このような場合、視線判定部183は、視野画像データを用いることなく、目もと撮像データと、存在想定領域を示すデータと、を用いることによって、ユーザUがキーボード200を見ているか否かを判定できる。存在想定領域を示すデータは、例えば、予め記憶装置170に記憶される。
【0063】
続いて、ステップS104において向き判定部184は、HMD100(ユーザUの頭部U2)が、水平線に対して第1角度以上、下向きであるか否かを判定する。
【0064】
例えばステップS104では向き判定部184は、まず、向きセンサ150から向きデータを取得する。続いて、向き判定部184は、向きデータに基づいて、HMD100が水平線に対して第1角度以上、下向きであるか否かを判定する。
【0065】
ステップS101からステップS104までの順序は変更されてもよい。例えば、ステップS101がステップS102の完了後に実行されてもよい。
【0066】
続いて、ステップS105において条件判定部185は、所定条件が成立するか否かを判定する。所定条件は、上述の通り以下の条件を含む。
(1)入力判定部181の判定結果が肯定であるという入力条件。
(2)存在判定部182の判定結果が肯定であるという存在条件。
(3)視線判定部183の判定結果が肯定であるという視線条件。
(4)向き判定部184の判定結果が肯定であるという向き条件。
【0067】
続いて、ステップS106において表示制御部186は、条件判定部185の判定結果が肯定であるか否か、すなわち、所定条件が成立するか否かを判定する。
【0068】
条件判定部185の判定結果が肯定である場合、すなわち、所定条件が成立する場合、表示制御部186は、ステップS107を実行する。
【0069】
ステップS107では、表示制御部186は、表示面Bに第1画像G1を表示させることなく、表示面Bのうちキーボード200と重ならない領域R2に第2画像G2を表示させる。表示制御部186は、第2画像G2を示す第2画像データを、第1画像G1を示す第1画像データに基づいて生成する。表示制御部186は、第2画像データを用いることによって、第2画像G2を表示させる。
【0070】
図7は、表示面Bに表示される第2画像G2の一例を示す図である。第2画像G2が表示される領域R2は、例えば、キーボード200が位置する領域を基準に設定される。例えば、表示制御部186は、領域R2を、キーボード200が位置する領域から所定方向に所定距離だけ離れた位置に設定する。所定方向は、例えば、表示面Bにおける上方向である。所定方向は、表示面Bにおける上方向に限らない。所定距離は適宜設定される。
【0071】
第2画像G2が表示されることによって、HMD100は、文字等の入力に特化したモードになってもよい。
【0072】
説明を図6に戻す。条件判定部185の判定結果が否定である場合、すなわち、所定条件が成立しない場合、表示制御部186は、ステップS108を実行する。
【0073】
ステップS108では、表示制御部186は、まず、視野カメラ130から視野画像データを取得する。続いて、表示制御部186は、視野画像データが示す視野画像が所定の物体(例えば、ホワイトボード又はスクリーン)の画像を含むか否かを判定する。所定の物体は、ホワイトボード又はスクリーンに限らず適宜変更可能である。例えば、所定の物体は、予め定められた基準物体(棚等)よりも、上、下、右又は左に存在する物体でもよい。
【0074】
視野画像が所定の物体の画像を含む場合、表示制御部186は、ステップS109を実行する。
【0075】
ステップS109では、表示制御部186は、表示面Bのうち所定の物体と重なる領域R1に、第1画像G1の少なくとも一部を表示させる。領域R1は、表示面Bのうち所定の物体(例えば、ホワイトボード)を表す領域である。
【0076】
図8及び図9は、表示面Bに表示される第1画像G1の例を示す図である。視野画像において所定の物体(例えば、ホワイトボード)が存在する領域R1、すなわち、視野画像において第1画像G1が表示される領域は、HMD100の向きの変化に基づいて変化する。このため、条件判定部185の判定結果が否定である場合、表示制御部186は、向きデータによって特定されるHMD100の向きの変化に基づいて、表示面Bにおける第1画像G1の位置を調整する。
【0077】
一例を挙げると、向きデータに基づいてHMD100の向きの左方向への変化が生じた場合、表示制御部186は、表示面Bにおける第1画像G1の位置を、左方向とは逆方向の右方向に移動する。また、向きデータに基づいてHMD100の向きの上方向への変化が生じた場合、表示制御部186は、表示面Bにおける第1画像G1の位置を、上方向とは逆方向の下方向に移動する。このように、表示制御部186は、HMD100の向きにおける変化の方向とは逆方向に、表示面Bにおける第1画像G1の位置を移動する。
【0078】
視野画像が所定の物体(例えば、ホワイトボード)の画像を含まない場合、表示制御部186は、表示面Bに、第1画像G1及び第2画像G2のいずれも表示させない。
【0079】
上述の図6に示す動作は繰り返し実行される。このため、表示面Bに表示される画像は、第1画像G1から第2画像G2に切り換わり、その後、第1画像G1に切り換わることがある。
【0080】
<A5:第1実施形態のまとめ>
第1入力欄A1が選択され、視野画像にキーボード200が存在し、ユーザUがキーボード200を見ており、且つ、HMD100が下に傾く状況では、表示制御部186は、表示面Bのうちキーボード200と重ならない領域R2に第2入力欄A2を表示する。
【0081】
第1入力欄A1の選択は、ユーザUが文字の入力を意図するときに実行される可能性が高い。また、ユーザUがキーボード200を見ることは、ユーザUが文字の入力を意図するときに実行される可能性が高い。このため、ユーザUの意図に反して文字の入力欄を入力装置と重ならない位置に表示することを制限できる。
【0082】
<B:変形例>
上述の実施形態における変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
【0083】
<B1:第1変形例>
第1実施形態では、表示面Bに表示される第1画像G1は、実空間に存在する所定の物体(例えば、ホワイトボード)の位置に基づいて、実空間において固定される。しかしながら、表示面Bに表示される第1画像G1は、実空間に存在する所定の物体の位置に基づいて実空間において固定されなくてもよい。
【0084】
図10は、第1変形例の動作の一例を説明するためのフローチャートである。図10において、図6に示した処理と実質的に同一の処理には同一の符号を付してある。以下、図10に示す処理において、図6に示した処理と異なる点を中心に説明する。
【0085】
ステップS106において所定条件が成立しない場合、ステップS201において表示制御部186は、表示面Bのうち、予め設定された領域R3に、第1画像G1を表示させる。
【0086】
図11は、領域R3に位置する第1画像G1の一例を示す図である。表示面Bにおける領域R3の位置は、図11に示す位置に限らず適宜変更可能である。
【0087】
第1変形例によれば、表示制御部186は、所定条件が成立しない場合、表示面Bにおいて第1画像G1の位置を固定できる。
【0088】
<B2:第2変形例>
第1実施形態及び第1変形例において、所定条件は、追加条件を含んでもよい。
【0089】
(1)追加条件の一例
第1実施形態においては、ユーザUが、第1入力欄A1を選択した直後に別の作業を思い出し、第1画像G1ではなく紙の資料を参照し始める状況が想定される。このような状況において、第1入力欄A1の選択時からある程度の時間が経過した後にキーボード200が認識されることによって表示面Bに第2画像G2が表示されることは、一部のユーザUには不必要と認識される可能性がある。
【0090】
このため、表示制御部186は、第1入力欄A1の選択時から所定時間が経過した場合、ステップS106をスキップしてもよい。所定時間は、例えば10秒である。所定時間は、10秒よりも短くてもよいし、10秒よりも長くてもよい。この場合、第1入力欄A1の選択時から所定時間が経過していないという経過条件が、所定条件に加えられる。条件判定部185は、経過条件を含む所定条件が成立したか否かを判定する。
【0091】
(2)追加条件の他の例
ユーザUが頭部U2を回す運動をする場合、HMD100が繰り返し下に傾く。このため、所定条件が向き条件を含む状況においてユーザUが頭部U2を回す運動を行うと、表示面Bに表示される画像が頻繁に切り替わるおそれがある。このような頻繁な画像の切り替わりは、一部のユーザUには不必要と認識される可能性がある。
【0092】
このため、表示制御部186は、ユーザUの頭部U2が動いている間、ステップS106をスキップしてもよい。この場合、ユーザUの頭部U2が停止しているという停止条件が、所定条件に加えられる。条件判定部185は、停止条件を含む所定条件が成立したか否かを判定する。例えば、条件判定部185は、向きデータに基づいて、停止条件が成立するか否かを判定する。
【0093】
<B3:第3変形例>
第1実施形態、第1変形例及び第2変形例において、所定条件は、入力条件と存在条件を含み、入力条件と存在条件とのいずれとも異なる条件を含まなくてもよい。この場合、視線カメラ140と向きセンサ150と視線判定部183と向き判定部184を省略できる。この場合、所定条件は、第1条件の一例である。
【0094】
<B4:第4変形例>
第1実施形態、第1変形例及び第2変形例において、所定条件は、入力条件と存在条件と視線条件を含み、入力条件と存在条件と視線条件とのいずれとも異なる条件を含まなくてもよい。この場合、向きセンサ150と向き判定部184を省略できる。この場合、所定条件は、第1条件の一例である。
【0095】
<B5:第5変形例>
第1実施形態、第1変形例及び第2変形例において、所定条件は、視線条件と向き条件を含み、視線条件と向き条件とのいずれとも異なる条件を含まなくてもよい。この場合、入力判定部181と存在判定部182を省略できる。この場合、所定条件は、第2条件の一例である。
【0096】
<B6:第6変形例>
第1実施形態、第1変形例及び第2変形例において、所定条件は、視線条件と向き条件と入力条件を含み、視線条件と向き条件と入力条件とのいずれとも異なる条件を含まなくてもよい。この場合、存在判定部182を省略できる。この場合、所定条件は、第2条件の一例である。
【0097】
<B7:第7変形例>
第1実施形態、第1変形例及び第2変形例において、所定条件は、視線条件と向き条件と存在条件を含み、視線条件と向き条件と存在条件とのいずれとも異なる条件を含まなくてもよい。この場合、入力判定部181を省略できる。この場合、所定条件は、第2条件の一例である。
【0098】
<B8:第8変形例>
第1実施形態、第1変形例及び第2変形例において、所定条件は、入力条件と向き条件を含み、入力条件と向き条件とのいずれとも異なる条件を含まなくてもよい。この場合、視野カメラ130と視線カメラ140と存在判定部182と視線判定部183を省略できる。この場合、所定条件は、第3条件の一例である。
【0099】
<C:その他>
(1)第1実施形態及び第1変形例~第8変形例の各々においては、記憶装置170は、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、CD-ROM(Compact Disc-ROM)、レジスタ、リムーバブルディスク、ハードディスク、フロッピー(登録商標)ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体を含んでもよい。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。
【0100】
(2)第1実施形態及び第1変形例~第8変形例の各々は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G、5G、FRA(Future Radio Access)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。
【0101】
(3)第1実施形態及び第1変形例~第8変形例の各々において説明した情報などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、情報などは、電圧、電流、電磁波、磁界、磁性粒子、光場、光子、又はこれらの任意の組み合わせにて表されてもよい。
なお、本明細書において説明した用語及び/又は本明細書の理解に必要な用語は、同一の又は類似する意味を有する用語と置き換えられてもよい。
【0102】
(4)第1実施形態及び第1変形例~第8変形例の各々において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルによって管理されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0103】
(5)第1実施形態及び第1変形例~第8変形例の各々において、判定は、1ビットによって表される値(0か1か)に基づいて行われてもよいし、真偽値(Boolean:true又はfalse)に基づいて行われてもよいし、数値の比較(例えば、所定の値との比較)に基づいて行われてもよい。
【0104】
(6)第1実施形態及び第1変形例~第8変形例の各々において例示した処理手順、シーケンス、又はフローチャート等は、矛盾のない限り、順序を入れ替えてもよい。例えば、本明細書において説明した方法については、例示的な順序において様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0105】
(7)図5に例示された各機能は、ハードウェア及びソフトウェアの任意の組み合わせによって実現される。また、各機能は、単体の装置によって実現されてもよいし、相互に別体にて構成された2以上の装置によって実現されてもよい。
【0106】
(8)第1実施形態及び第1変形例~第8変形例の各々において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。
また、ソフトウェア、又は命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
【0107】
(9)第1実施形態及び第1変形例~第8変形例の各々において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0108】
(10)第1実施形態及び第1変形例~第8変形例の各々において、HMD100は、移動局でもよい。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語を用いて称される場合もある。
【0109】
(11)第1実施形態及び第1変形例~第8変形例の各々において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0110】
(12)本明細書において使用する「第1」及び「第2」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書において使用され得る。したがって、第1及び第2の要素への参照は、2つの要素のみが採用され得ること又は何らかの形において第1要素が第2要素に先行しなければならないことを意味しない。
【0111】
(13)第1実施形態及び第1変形例~第8変形例の各々において「含む(including)」、「含んでいる(comprising)」、及びそれらの変形が、本明細書あるいは特許請求の範囲において使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
【0112】
(14)本願の全体において、例えば、英語におけるa、an及びtheのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。
【0113】
(15)本明細書において、「装置」という用語は、回路、デバイス又はユニット等の他の用語に読み替えられてもよい。
【0114】
(16)本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。
【0115】
<D:上述の形態又は変形例から把握される態様>
上述の形態又は変形例の少なくとも1つから以下の態様が把握される。
【0116】
<D1:第1態様>
第1態様に係るヘッドマウントディスプレイは、表示面と、入力判定部と、存在判定部と、第1条件判定部と、表示制御部と、を含む。
表示面は、前記ヘッドマウントディスプレイがユーザの頭部に装着される状態において、前記ユーザの視野内に位置する。
入力判定部は、前記表示面に、第1入力欄を表す第1画像が表示される場合、前記ユーザが行う操作に応じて文字を入力するための入力装置から前記第1入力欄に文字を入力可能であるか否かを判定する。
存在判定部は、前記ユーザの視野の第1部分に存在する物体の像を示す画像データに基づいて、前記入力装置が第1状態において前記第1部分に存在するか否かを判定する。
第1条件判定部は、前記入力判定部の判定結果が肯定であるという入力条件と、前記存在判定部の判定結果が肯定であるという存在条件と、を含む第1条件が成立するか否かを判定する。
表示制御部は、前記第1条件判定部の判定結果が肯定である場合、前記表示面において前記第1画像を表示する代わりに、前記表示面のうち前記入力装置と重ならない領域に、前記入力装置から文字が入力される第2入力欄を表す第2画像を表示させる。
【0117】
入力装置から第1入力欄に文字を入力可能である状況は、ユーザが文字の入力を意図する操作によって実現される可能性が高い。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することを制限できる。
【0118】
<D2:第2態様>
第1態様の例(第2態様)において、前記表示制御部は、前記第1条件判定部の判定結果が否定である場合、前記ヘッドマウントディスプレイの向きを示す向きデータによって特定される前記ヘッドマウントディスプレイの向きの変化に基づいて、前記表示面における前記第1画像の位置を調整する。この態様によれば、表示制御部は、表示面における第1画像の位置を、ヘッドマウントディスプレイの向きに基づいて変更できる。
【0119】
<D3:第3態様>
第1態様又は第2態様の例(第3態様)において、前記ユーザの視線の方向を示す視線データに基づいて、前記ユーザが前記入力装置を見ているか否かを判定する視線判定部をさらに含み、前記第1条件は、前記視線判定部の判定結果が肯定であるという視線条件をさらに含む。
【0120】
ユーザが入力装置を見ることは、ユーザが文字の入力を意図するときに実行される可能性が高い。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することを制限できる。
【0121】
<D4:第4態様>
第1態様から第3態様のいずれかの例(第4態様)において、前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第1角度以上、下向きであるか否かを判定する向き判定部をさらに含み、前記第1条件は、前記向き判定部の判定結果が肯定であるという向き条件をさらに含む。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することをさらに制限できる。
【0122】
<D5:第5態様>
第5態様に係るヘッドマウントディスプレイは、表示面と、視線判定部と、向き判定部と、第2条件判定部と、表示制御部と、を含む。
表示面は、前記ヘッドマウントディスプレイがユーザの頭部に装着される状態において、前記ユーザの視野内に位置する。
視線判定部は、前記ユーザの視線の方向を示す視線データに基づいて、前記ユーザが、前記ユーザが行う操作に応じて文字を入力するための入力装置を見ているか否かを判定する。
向き判定部は、前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第1角度以上、下向きであるか否かを判定する。
第2条件判定部は、前記視線判定部の判定結果が肯定であるという視線条件と、前記向き判定部の判定結果が肯定であるという向き条件と、を含む第2条件が成立するか否かを判定する。
表示制御部は、前記表示面に第1入力欄を表す第1画像が表示される状況において前記第2条件判定部の判定結果が肯定である場合、前記表示面において前記第1画像を表示する代わりに、前記表示面に、前記入力装置から文字が入力される第2入力欄を表す第2画像であって前記第1画像よりも小さい前記第2画像を表示させる。
【0123】
ユーザが入力装置を見ることは、ユーザが文字の入力を意図するときに実行される可能性が高い。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することを制限できる。
【0124】
<D6:第6態様>
第5態様の例(第6態様)において、前記表示制御部は、前記第2条件判定部の判定結果が否定である場合、前記表示面のうち予め設定された領域に、前記第1画像を表示させる。この態様によれば、表示制御部は、第2条件判定部の判定結果が否定である場合、表示面のうち予め設定された領域に第1画像を固定できる。
【0125】
<D7:第7態様>
第5態様又は第6態様の例(第7態様)において、前記第1入力欄に前記入力装置から文字を入力可能であるか否かを判定する入力判定部をさらに含み、前記第2条件は、前記入力判定部の判定結果が肯定であるという入力条件をさらに含む。
【0126】
入力装置から第1入力欄に文字を入力可能である状況は、ユーザが文字の入力を意図する操作によって実現される可能性が高い。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することを制限できる。
【0127】
<D8:第8態様>
第5態様から第7態様のいずれかの例(第8態様)において、前記ユーザの視野の第1部分を示す画像データに基づいて、前記入力装置が第1状態において前記第1部分に存在するか否かを判定する存在判定部をさらに含む。前記第2条件は、前記存在判定部の判定結果が肯定であるという存在条件をさらに含む。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することをさらに制限できる。
【0128】
<D9:第9態様>
第9態様に係るヘッドマウントディスプレイは、表示面と、入力判定部と、向き判定部と、第3条件判定部と、表示制御部と、を含む。
表示面は、前記ヘッドマウントディスプレイがユーザの頭部に装着された状態において、前記ユーザの視野内に位置する。
入力判定部は、前記表示面に、第1入力欄を表す第1画像が表示される場合、前記ユーザが行う操作に応じて文字を入力するための入力装置から前記第1入力欄に文字を入力可能であるか否かを判定する。
向き判定部は、前記ヘッドマウントディスプレイの向きを示す向きデータに基づいて、前記ヘッドマウントディスプレイが水平線に対して第1角度以上、下向きであるか否かを判定する。
第3条件判定部は、前記入力判定部の判定結果が肯定であるという入力条件と、前記向き判定部の判定結果が肯定であるという向き条件と、を含む第3条件が成立するか否かを判定する。
表示制御部は、前記表示面に前記第1画像が表示される状況において前記第3条件判定部の判定結果が肯定である場合、前記表示面において前記第1画像を表示する代わりに、前記表示面に、前記入力装置から文字が入力される第2入力欄を表す第2画像であって前記第1画像よりも小さい前記第2画像を表示させる。
【0129】
入力装置から第1入力欄に文字を入力可能である状況は、ユーザが文字の入力を意図する操作によって実現される可能性が高い。この態様によれば、ヘッドマウントディスプレイは、ユーザの意図に反して入力欄を入力装置と重ならない位置に表示することを制限できる。
【0130】
<D10:第10態様>
第9態様の例(第10態様)において、前記表示制御部は、前記第3条件判定部の判定結果が否定である場合、前記表示面のうち予め設定された領域に、前記第1画像を表示させる。この態様によれば、表示制御部は、第3条件判定部の判定結果が否定である場合、表示面のうち予め設定された領域に第1画像を固定できる。
【符号の説明】
【0131】
1…表示入力システム、100…HMD、110…通信部、120…表示部、120a…対向面、120b…外面、130…視野カメラ、140…視線カメラ、150…向きセンサ、160…タッチ操作部、170…記憶装置、180…処理装置、181…入力判定部、182…存在判定部、183…視線判定部、184…向き判定部、185…条件判定部、186…表示制御部、200…キーボード、A1…第1入力欄、A2…第2入力欄、B…表示面、B1…第1表示面、B2…第2表示面、G1…第1画像、G2…第2画像、U…ユーザ。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11