知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024014883
(43)【公開日】2024-02-01
(54)【発明の名称】表示装置及び表示装置の制御方法
(51)【国際特許分類】
G09G 5/00 20060101AFI20240125BHJP
G09G 5/38 20060101ALI20240125BHJP
G06F 3/01 20060101ALI20240125BHJP
G06F 3/04845 20220101ALI20240125BHJP
H04N 5/64 20060101ALI20240125BHJP
H04M 1/00 20060101ALI20240125BHJP
H04M 1/72 20210101ALI20240125BHJP
【ＦＩ】
G09G5/00 510V
G09G5/00 555D
G09G5/00 530D
G09G5/38
G09G5/00 550C
G09G5/00 550D
G06F3/01 510
G06F3/04845
H04N5/64 511A
H04M1/00 U
H04M1/72
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023187626
(22)【出願日】2023-11-01
(62)【分割の表示】P 2023001587の分割
【原出願日】2018-06-25
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】渡辺 光信
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】川前 治
(72)【発明者】
【氏名】益岡 信夫
(72)【発明者】
【氏名】吉澤 和彦
(72)【発明者】
【氏名】清水 宏
(57)【要約】
【課題】ユーザにとって有用なタイミングで携帯情報端末の画面を表示装置に表示し、操作性が良好な表示装置と携帯情報端末との連携技術を提供する。
【解決手段】
表示装置と携帯情報端末は、同じアプリケーションソフトウェアを備え、表示装置の制御部は、表示装置の表示部の表示領域内に携帯情報端末が含まれていない場合、携帯情報端末の表示画面を表示部に表示するよう制御し、表示装置が備えるアプリケーションソフトウェアが、携帯情報端末のアプリケーションソフトウェアと同期して実行されるように制御し、表示領域内に携帯情報端末が含まれるようになった場合、表示部への表示画面の表示を終了し、表示部に表示画面を表示していた終了位置を記憶するように制御し、表示領域内に携帯情報端末が含まれなくなった場合、記憶していた終了位置に表示画面の表示を再開させる。
【選択図】図１
【解決手段】
表示装置と携帯情報端末は、同じアプリケーションソフトウェアを備え、表示装置の制御部は、表示装置の表示部の表示領域内に携帯情報端末が含まれていない場合、携帯情報端末の表示画面を表示部に表示するよう制御し、表示装置が備えるアプリケーションソフトウェアが、携帯情報端末のアプリケーションソフトウェアと同期して実行されるように制御し、表示領域内に携帯情報端末が含まれるようになった場合、表示部への表示画面の表示を終了し、表示部に表示画面を表示していた終了位置を記憶するように制御し、表示領域内に携帯情報端末が含まれなくなった場合、記憶していた終了位置に表示画面の表示を再開させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
表示装置であって、
表示部と、
携帯情報端末と通信を行う通信モジュールと、
制御部と、
を備え、
前記表示装置と前記携帯情報端末は、同じアプリケーションソフトウェアを備え、
前記制御部は、
前記表示部の表示領域内に前記携帯情報端末が含まれていない場合、前記携帯情報端末の表示画面を前記表示部に表示するよう制御し、前記表示装置が備える前記アプリケーションソフトウェアが、前記携帯情報端末の前記アプリケーションソフトウェアと同期して実行されるように制御し、
前記表示領域内に前記携帯情報端末が含まれるようになった場合、前記表示部への前記表示画面の表示を終了し、前記表示画面の表示を終了した前記表示部の位置を記憶するように制御し、
前記表示領域内に前記携帯情報端末が含まれなくなった場合、前記記憶していた終了位置に前記表示画面の表示を再開させるように制御する、
ことを特徴とする表示装置。
表示部と、
携帯情報端末と通信を行う通信モジュールと、
制御部と、
を備え、
前記表示装置と前記携帯情報端末は、同じアプリケーションソフトウェアを備え、
前記制御部は、
前記表示部の表示領域内に前記携帯情報端末が含まれていない場合、前記携帯情報端末の表示画面を前記表示部に表示するよう制御し、前記表示装置が備える前記アプリケーションソフトウェアが、前記携帯情報端末の前記アプリケーションソフトウェアと同期して実行されるように制御し、
前記表示領域内に前記携帯情報端末が含まれるようになった場合、前記表示部への前記表示画面の表示を終了し、前記表示画面の表示を終了した前記表示部の位置を記憶するように制御し、
前記表示領域内に前記携帯情報端末が含まれなくなった場合、前記記憶していた終了位置に前記表示画面の表示を再開させるように制御する、
ことを特徴とする表示装置。
【請求項2】
請求項１に記載の表示装置であって、
前記表示装置は使用者の視線を検出する視線検出部を備え、
前記制御部は、
前記視線検出部によって検出した使用者の視線と前記表示部とが交わる位置に前記表示画面を表示するよう制御する、
ことを特徴とする表示装置。
前記表示装置は使用者の視線を検出する視線検出部を備え、
前記制御部は、
前記視線検出部によって検出した使用者の視線と前記表示部とが交わる位置に前記表示画面を表示するよう制御する、
ことを特徴とする表示装置。
【請求項3】
請求項１に記載の表示装置であって、
前記制御部は、
前記携帯情報端末の表示画面を前記表示部に表示する処理を終了するとき、前記携帯情報端末との接続を維持するように制御する、
ことを特徴とする表示装置。
前記制御部は、
前記携帯情報端末の表示画面を前記表示部に表示する処理を終了するとき、前記携帯情報端末との接続を維持するように制御する、
ことを特徴とする表示装置。
【請求項4】
請求項１に記載の表示装置であって、
前記制御部は、
前記携帯情報端末の表示画面を前記表示部に表示する処理を終了するとき、前記携帯情報端末との接続を解除するように制御する、
ことを特徴とする表示装置。
前記制御部は、
前記携帯情報端末の表示画面を前記表示部に表示する処理を終了するとき、前記携帯情報端末との接続を解除するように制御する、
ことを特徴とする表示装置。
【請求項5】
表示部と、
携帯情報端末と通信を行う通信モジュールと、
制御部と、
を備える、表示装置の制御方法であって、
前記表示装置と前記携帯情報端末は、同じアプリケーションソフトウェアを備え、
前記制御部は、
前記表示部の表示領域内に前記携帯情報端末が含まれていない場合、前記携帯情報端末の表示画面を前記表示部に表示するよう制御し、前記表示装置が備える前記アプリケーションソフトウェアが、前記携帯情報端末の前記アプリケーションソフトウェアと同期して実行されるように制御し、
前記表示領域内に前記携帯情報端末が含まれるようになった場合、前記表示部への前記表示画面の表示を終了し、前記表示画面の表示を終了した前記表示部の位置を記憶するように制御し、
前記表示領域内に前記携帯情報端末が含まれなくなった場合、前記記憶していた終了位置に前記表示画面の表示を再開させるように制御する、
ことを特徴とする表示装置の制御方法。
携帯情報端末と通信を行う通信モジュールと、
制御部と、
を備える、表示装置の制御方法であって、
前記表示装置と前記携帯情報端末は、同じアプリケーションソフトウェアを備え、
前記制御部は、
前記表示部の表示領域内に前記携帯情報端末が含まれていない場合、前記携帯情報端末の表示画面を前記表示部に表示するよう制御し、前記表示装置が備える前記アプリケーションソフトウェアが、前記携帯情報端末の前記アプリケーションソフトウェアと同期して実行されるように制御し、
前記表示領域内に前記携帯情報端末が含まれるようになった場合、前記表示部への前記表示画面の表示を終了し、前記表示画面の表示を終了した前記表示部の位置を記憶するように制御し、
前記表示領域内に前記携帯情報端末が含まれなくなった場合、前記記憶していた終了位置に前記表示画面の表示を再開させるように制御する、
ことを特徴とする表示装置の制御方法。
【請求項6】
請求項５に記載の表示装置の制御方法であって、
前記表示装置は使用者の視線を検出する視線検出部を備え、
前記制御部は、
前記視線検出部によって検出した使用者の視線と前記表示部とが交わる位置に前記表示画面を表示するよう制御する、
ことを特徴とする表示装置の制御方法。
前記表示装置は使用者の視線を検出する視線検出部を備え、
前記制御部は、
前記視線検出部によって検出した使用者の視線と前記表示部とが交わる位置に前記表示画面を表示するよう制御する、
ことを特徴とする表示装置の制御方法。
【請求項7】
請求項５に記載の表示装置の制御方法であって、
前記制御部は、
前記携帯情報端末の表示画面を前記表示部に表示する処理を終了するとき、前記携帯情報端末との接続を維持するように制御する、
ことを特徴とする表示装置の制御方法。
前記制御部は、
前記携帯情報端末の表示画面を前記表示部に表示する処理を終了するとき、前記携帯情報端末との接続を維持するように制御する、
ことを特徴とする表示装置の制御方法。
【請求項8】
請求項５に記載の表示装置の制御方法であって、
前記制御部は、
前記携帯情報端末の表示画面を前記表示部に表示する処理を終了するとき、前記携帯情報端末との接続を解除するように制御する、
ことを特徴とする表示装置の制御方法。
前記制御部は、
前記携帯情報端末の表示画面を前記表示部に表示する処理を終了するとき、前記携帯情報端末との接続を解除するように制御する、
ことを特徴とする表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置及び表示装置の制御方法に関し、一例としてヘッドマウントディスプレイ（以下「ＨＭＤ」と略記する）の表示技術に関する。
【背景技術】
【0002】
本技術分野の背景技術として、特許文献１には「ヘッドマウントディスプレイから取得
するカメラ画像と、カメラ画像に対するヘッドマウントディスプレイの装着者の注視点と
から、一次情報に対する装着者の注視点の位置情報を算出して、この位置情報に関連する
二次情報を選択して表示するとともに、装着者が一次情報を見ている場合と、一次情報を
見ていない場合とで、表示する二次情報の表示方法を変更する（要約抜粋）」システムが
開示されている。
するカメラ画像と、カメラ画像に対するヘッドマウントディスプレイの装着者の注視点と
から、一次情報に対する装着者の注視点の位置情報を算出して、この位置情報に関連する
二次情報を選択して表示するとともに、装着者が一次情報を見ている場合と、一次情報を
見ていない場合とで、表示する二次情報の表示方法を変更する（要約抜粋）」システムが
開示されている。
【0003】
また、特許文献２には「使用者が虚像と外景を視認可能な頭部装着型表示装置は、頭部
装着型表示装置に接続されている外部装置の表示画像である第１の画像と、頭部装着型表
示装置が有する第２の画像と、を含む一覧画像を生成する生成部と、生成された一覧画像
を表す虚像を形成する画像表示部とを備える（要約抜粋）」システムが開示されている。
装着型表示装置に接続されている外部装置の表示画像である第１の画像と、頭部装着型表
示装置が有する第２の画像と、を含む一覧画像を生成する生成部と、生成された一覧画像
を表す虚像を形成する画像表示部とを備える（要約抜粋）」システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１７／１０４０８９号
【特許文献2】特開２０１５－２２２８９１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１、２ではヘッドマウントディスプレイ（以下「ＨＭＤ」と略記する）と外部表示装置とが通信接続すると表示画像がＨＭＤに共有される。よって、通信機能を有する携帯情報端末及びＨＭＤに上記先行技術を適用した場合、ＨＭＤと携帯情報端末とのリンクが確立すると携帯情報端末の表示画面がＨＭＤに表示されることから、ユーザが予期しないときや不要なときにも携帯情報端末の画面がＨＭＤに表示されることがあり、利用上の不便さがある。
【0006】
本発明は上記実情に鑑みてなされたものであり、ユーザにとって有用なタイミングで携
帯情報端末の画面を表示装置に表示し、操作性が良好な表示装置を提供することを目的とする。
帯情報端末の画面を表示装置に表示し、操作性が良好な表示装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明は、特許請求の範囲に記載の構成を備える。その一例をあげるならば、表示装置であって、表示部と、携帯情報端末と通信を行う通信モジュールと、制御部と、を備え、前記表示装置と前記携帯情報端末は、同じアプリケーションソフトウェアを備え、前記制御部は、前記表示部の表示領域内に前記携帯情報端末が含まれていない場合、前記携帯情報端末の表示画面を前記表示部に表示するよう制御し、前記表示装置が備える前記アプリケーションソフトウェアが、前記携帯情報端末の前記アプリケーションソフトウェアと同期して実行されるように制御し、前記表示領域内に前記携帯情報端末が含まれるようになった場合、前記表示部への前記表示画面の表示を終了し、前記表示画面の表示を終了した前記表示部の位置を記憶するように制御し、前記表示領域内に前記携帯情報端末が含まれなくなった場合、前記記憶していた終了位置に前記表示画面の表示を再開させるように制御する、ことを特徴とする。
【発明の効果】
【0008】
本発明によれば、ユーザにとって有用なタイミングで携帯情報端末の画面を表示装置に表示し、操作性が良好な表示装置を提供することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0009】
【図1】ＨＭＤ連携システムの概要構成図
【図2】ＨＭＤのハードウェア構成図
【図3】ＨＭＤのソフトウェア構成図
【図4】携帯情報端末のハードウェア構成図
【図5】携帯情報端末のソフトウェア構成図
【図6】第１実施形態におけるＨＭＤ連携システムのシーケンス例を示す図
【図7】第１実施形態に係るアプリ画面表示制御処理の流れを示すフローチャート
【図8】視認領域と携帯情報端末との位置関係（アプリ画面非表示）を示す図
【図9】アプリ画面非表示の場合のディスプレイを介した情景を示す図
【図10】視認領域と携帯情報端末との位置関係（アプリ画面表示）を示す図
【図11】アプリ画面表示の場合のディスプレイを介した情景を示す図
【図12】第２実施形態に係るアプリ画面表示開始条件のバリエーションを示す図
【図13】フレームアウト後の再表示位置を示す図
【図14】第４実施形態におけるＨＭＤ連携システムのシーケンス例を示す図
【図15】ＨＭＤの画面遷移を示す図
【発明を実施するための形態】
【0010】
以下、図面を用いて本発明の実施形態について説明する。全図を通じて同一の構成には
同一の符号を付して重複説明を省略する。
同一の符号を付して重複説明を省略する。
【0011】
＜第１実施形態＞
第１実施形態は、ＨＭＤと携帯情報端末としてのスマートフォンとを通信接続し、ＨＭ
Ｄを装着した使用者の視認領域に携帯情報端末が入っていない場合に、携帯情報端末のア
プリ画面をＨＭＤに表示する実施形態である。ここでいう「アプリ画面」とは、携帯情報
端末上で実行されるアプリケーションソフトの実行状態が表示された画面を意味する。
第１実施形態は、ＨＭＤと携帯情報端末としてのスマートフォンとを通信接続し、ＨＭ
Ｄを装着した使用者の視認領域に携帯情報端末が入っていない場合に、携帯情報端末のア
プリ画面をＨＭＤに表示する実施形態である。ここでいう「アプリ画面」とは、携帯情報
端末上で実行されるアプリケーションソフトの実行状態が表示された画面を意味する。
【0012】
図１はＨＭＤ連携システム１００の概要構成図である。ＨＭＤ連携システム１００は、
ＨＭＤ１０と携帯情報端末８０とを無線通信接続して構成される。携帯情報端末８０とし
てスマートフォンを図示しているが、タブレット端末やスマートウォッチでもよく、携帯
可能な画像表示装置であればその種類を問わない。
ＨＭＤ１０と携帯情報端末８０とを無線通信接続して構成される。携帯情報端末８０とし
てスマートフォンを図示しているが、タブレット端末やスマートウォッチでもよく、携帯
可能な画像表示装置であればその種類を問わない。
【0013】
ＨＭＤ１０は、主に装着体１、ディスプレイ２、外側カメラ３、内側カメラ４及びＨＭ
Ｄ制御装置５を備える。
Ｄ制御装置５を備える。
【0014】
装着体１は、ＨＭＤ１０の使用者Ｍ（図８、図１０参照）の頭部にＨＭＤ１０を装着さ
せた状態を維持し、他のＨＭＤ１０のコンポーネントを保持する部材である。図１では眼
鏡形状で図示したが、形状はこれに限定されない。
せた状態を維持し、他のＨＭＤ１０のコンポーネントを保持する部材である。図１では眼
鏡形状で図示したが、形状はこれに限定されない。
【0015】
ディスプレイ２は、透過性を有する液晶ディスプレイであり、装着体１における使用者
Ｍの眼の前に配置される。
Ｍの眼の前に配置される。
【0016】
外側カメラ３は、装着体１における使用者Ｍの顔と対向する側を内側、その反対側を外
側と定義した場合に、装着体１の前面外側に設けられたＣＣＤやＣＭＯＳを搭載したカメ
ラである。外側カメラ３は、使用者Ｍの視認領域を画角に含む位置及び向きで装着体１に
設けられる。
側と定義した場合に、装着体１の前面外側に設けられたＣＣＤやＣＭＯＳを搭載したカメ
ラである。外側カメラ３は、使用者Ｍの視認領域を画角に含む位置及び向きで装着体１に
設けられる。
【0017】
内側カメラ４は、装着体１の内側に使用者Ｍの眼の動きを撮像できる位置及び向きで設
けられたＣＣＤやＣＭＯＳを搭載したカメラである。
けられたＣＣＤやＣＭＯＳを搭載したカメラである。
【0018】
ＨＭＤ制御装置５は、携帯情報端末８０との通信制御及びディスプレイ２への表示制御
を行うプロセッサやサーキットを用いて構成される。本実施形態では、汎用のコンピュー
タを用い、本実施形態に係るＨＭＤ連携方法の機能を実現するソフトウェアを実行する構
成を例に挙げて説明する。
を行うプロセッサやサーキットを用いて構成される。本実施形態では、汎用のコンピュー
タを用い、本実施形態に係るＨＭＤ連携方法の機能を実現するソフトウェアを実行する構
成を例に挙げて説明する。
【0019】
図２はＨＭＤ１０のハードウェア構成図である。
【0020】
図２に示すように、ＨＭＤ１０は、ＨＭＤ制御装置５、撮像部１２０、音声部１３０、
操作部１４０、通信モジュール１５０、センサ部１６０、拡張Ｉ／Ｆ１７０、表示部１８
０がシステムバス１０２により互いに接続されて構成される。
操作部１４０、通信モジュール１５０、センサ部１６０、拡張Ｉ／Ｆ１７０、表示部１８
０がシステムバス１０２により互いに接続されて構成される。
【0021】
ＨＭＤ制御装置５は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only
Memory）１０３、ＲＡＭ（Random Access Memory）１０４、ＨＤＤ（Hard Disk Drive）
やフラッシュメモリ等の半導体メモリを備えたＳＳＤ(Solid State Drive)からなるスト
レージ１１０を含んで構成される。
Memory）１０３、ＲＡＭ（Random Access Memory）１０４、ＨＤＤ（Hard Disk Drive）
やフラッシュメモリ等の半導体メモリを備えたＳＳＤ(Solid State Drive)からなるスト
レージ１１０を含んで構成される。
【0022】
撮像部１２０は、外側カメラ３及び内側カメラ４と、各カメラの出力信号を画像信号に
変換する画像信号処理部１２１とを含む。
変換する画像信号処理部１２１とを含む。
【0023】
音声部１３０は、音声を入力するマイク１３１、マイク１３１からの音声信号のノイズ
処理や増幅処理を含む音声信号処理部１３２、及び着信音や音声を再生するスピーカ１３
３を含む。
処理や増幅処理を含む音声信号処理部１３２、及び着信音や音声を再生するスピーカ１３
３を含む。
【0024】
操作部１４０は、操作ボタンや操作スイッチからなり、ＨＭＤ１０の主電源のＯＮ／Ｏ
ＦＦボタンやボリュームダイヤル等の操作部材により構成される。各操作部材は、使用者
の操作を受け付けて入力操作があったことを検出する部材なので、操作検出センサとして
の機能を有する。
ＦＦボタンやボリュームダイヤル等の操作部材により構成される。各操作部材は、使用者
の操作を受け付けて入力操作があったことを検出する部材なので、操作検出センサとして
の機能を有する。
【0025】
通信モジュール１５０は、Ｗｉ‐Ｆｉ（登録商標）、赤外線通信等の無線ＬＡＭに接続
するための無線ＬＡＮ通信部１５１と、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いた近接
無線通信部１５２とを含む。
するための無線ＬＡＮ通信部１５１と、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いた近接
無線通信部１５２とを含む。
【0026】
センサ部１６０は、ＧＰＳ(Global Positioning System)１６１、回転や向きの変化を
検知するジャイロセンサ１６２、方位を計測するための地磁気センサ１６３、傾きや動き
、振動や衝撃に関するデータを検出する加速度センサ１６４、ＨＭＤ１０の周辺の明るさ
を検知する照度センサ１６５、近接センサ１６６、距離センサ１６７、及び視線検出セン
サ１６８を含む。ジャイロセンサ１６２、加速度センサ１６４、視線検出センサ１６８は
各実施形態において使用者Ｍの視認領域を検出する視認領域検出センサとして用いられる
。
検知するジャイロセンサ１６２、方位を計測するための地磁気センサ１６３、傾きや動き
、振動や衝撃に関するデータを検出する加速度センサ１６４、ＨＭＤ１０の周辺の明るさ
を検知する照度センサ１６５、近接センサ１６６、距離センサ１６７、及び視線検出セン
サ１６８を含む。ジャイロセンサ１６２、加速度センサ１６４、視線検出センサ１６８は
各実施形態において使用者Ｍの視認領域を検出する視認領域検出センサとして用いられる
。
【0027】
表示部１８０は、ディスプレイ２と、ディスプレイ２への表示用データの生成や出力制
御を行う表示制御部１８２とを含む。
御を行う表示制御部１８２とを含む。
【0028】
図３はＨＭＤ１０のソフトウェア構成図である。
【0029】
ＲＯＭ１０３には、ＨＭＤ１０の基本動作プログラム１０３ａとその他のプログラム１
０３ｂとを含む。基本動作プログラム１０３ａは、ＨＭＤ１０の起動プログラムや、通常
起動処理の途中に表示されるトップ画面（図１５のトップ画面１５０１参照）の表示制御
プログラム、また携帯情報端末８０との通信プログラムを含む。
０３ｂとを含む。基本動作プログラム１０３ａは、ＨＭＤ１０の起動プログラムや、通常
起動処理の途中に表示されるトップ画面（図１５のトップ画面１５０１参照）の表示制御
プログラム、また携帯情報端末８０との通信プログラムを含む。
【0030】
ＲＡＭ１０４は、ＲＯＭ１０３やストレージ１１０に記憶されたプログラムをＣＰＵ１
０１が実行時にロードする領域である。各プログラムの実行中、ＲＡＭ１０４には、基本
動作実行部１０４ａ、情報表示実行部１０４ｂ、及び一時記憶領域１０４ｃが生成される
。情報表示実行部１０４ｂは、携帯情報端末８０のアプリ画面をＨＭＤ１０に表示又は非
表示する画面移動ミドル１０４ｂ１と、操作実行部１０４ｂ２とを含む。
０１が実行時にロードする領域である。各プログラムの実行中、ＲＡＭ１０４には、基本
動作実行部１０４ａ、情報表示実行部１０４ｂ、及び一時記憶領域１０４ｃが生成される
。情報表示実行部１０４ｂは、携帯情報端末８０のアプリ画面をＨＭＤ１０に表示又は非
表示する画面移動ミドル１０４ｂ１と、操作実行部１０４ｂ２とを含む。
【0031】
画面移動ミドル１０４ｂ１は、アプリ画面をＨＭＤ１０のディスプレイ２に表示制御す
るプログラムである。本実施形態ではミドルウェアとして構成するが、ＯＳ上で動くデー
モンやドライバにより構成してもよい。また、画面移動ミドル１０４ｂ１の代わりに、携
帯情報端末８０のアプリケーションに個々に対応したＨＭＤ１０上で動作するアプリケー
ションにより構成してもよい。
るプログラムである。本実施形態ではミドルウェアとして構成するが、ＯＳ上で動くデー
モンやドライバにより構成してもよい。また、画面移動ミドル１０４ｂ１の代わりに、携
帯情報端末８０のアプリケーションに個々に対応したＨＭＤ１０上で動作するアプリケー
ションにより構成してもよい。
【0032】
ストレージ１１０は各種情報データ記憶領域１１０ａ、情報表示プログラム１１０ｂ、
及びその他のプログラム１１０ｃを格納する。後述する画面移動フラグ（図７参照）は、
各種情報データ記憶領域１１０ａに形成してもよいし、ＲＡＭ１０４の一時記憶領域１０
４ｃに形成してもよい。また後述するディスプレイ２を複数の小領域に分割して管理する
小領域管理データも各種情報データ記憶領域１１０ａに記憶される。
及びその他のプログラム１１０ｃを格納する。後述する画面移動フラグ（図７参照）は、
各種情報データ記憶領域１１０ａに形成してもよいし、ＲＡＭ１０４の一時記憶領域１０
４ｃに形成してもよい。また後述するディスプレイ２を複数の小領域に分割して管理する
小領域管理データも各種情報データ記憶領域１１０ａに記憶される。
【0033】
図４は携帯情報端末８０のハードウェア構成図である。ＨＭＤ１０のハードウェア構成
と同じ構成要素は同一の名称で表し、符号２０１～２８２を用いて図示する。ＨＭＤ１０
のハードウェア構成と異なる点は、ＨＭＤ１０には備えていた視線検出センサ１６８は備
えない点と、端末通信モジュール２５０が、３Ｇ、４Ｇ回線に接続するための電話網通信
部２５３を備える点である。なお、携帯情報端末８０における内側カメラ２２４とは、携
帯情報端末８０において端末ディスプレイ２８１が備えられる面と同一な面（前面）に設
けられた、所謂自撮りが行えるカメラであり、外側カメラ２２３とは背面に設けられたカ
メラである。
と同じ構成要素は同一の名称で表し、符号２０１～２８２を用いて図示する。ＨＭＤ１０
のハードウェア構成と異なる点は、ＨＭＤ１０には備えていた視線検出センサ１６８は備
えない点と、端末通信モジュール２５０が、３Ｇ、４Ｇ回線に接続するための電話網通信
部２５３を備える点である。なお、携帯情報端末８０における内側カメラ２２４とは、携
帯情報端末８０において端末ディスプレイ２８１が備えられる面と同一な面（前面）に設
けられた、所謂自撮りが行えるカメラであり、外側カメラ２２３とは背面に設けられたカ
メラである。
【0034】
図５は携帯情報端末８０のソフトウェア構成図である。ＨＭＤ１０のソフトウェア構成
同じ構成要素は同一の名称で表し、符号２０１～２１０ｃを用いて図示する。ＨＭＤ１０
のソフトウェア構成と異なる点は、画面移動ミドル１０４ｂ１を備えない点と、ＨＭＤ１
０と連携してアプリ画面をＨＭＤ１０に表示させるためのソフトウェアである移動対応ア
プリ２０４ｄを備える点である。移動対応アプリ２０４ｄは、携帯情報端末８０にインス
トールされる個々のアプリケーションソフトの内、アプリ画面をＨＭＤ１０に表示させる
機能を有するアプリケーションソフトであり、地図ナビゲーションアプリや電子ブックア
プリ等、移動対応アプリの機能は限定されない。本実施形態では、移動対応アプリ２０４
ｄを用いて説明するが、個々のアプリが画面移動に対応するのではなく、携帯情報端末８
０上で画面移動ミドルウェアを実行させ、携帯情報端末８０の端末ディスプレイ２８１上
に表示される画面をＨＭＤ１０に表示させてもよい。
同じ構成要素は同一の名称で表し、符号２０１～２１０ｃを用いて図示する。ＨＭＤ１０
のソフトウェア構成と異なる点は、画面移動ミドル１０４ｂ１を備えない点と、ＨＭＤ１
０と連携してアプリ画面をＨＭＤ１０に表示させるためのソフトウェアである移動対応ア
プリ２０４ｄを備える点である。移動対応アプリ２０４ｄは、携帯情報端末８０にインス
トールされる個々のアプリケーションソフトの内、アプリ画面をＨＭＤ１０に表示させる
機能を有するアプリケーションソフトであり、地図ナビゲーションアプリや電子ブックア
プリ等、移動対応アプリの機能は限定されない。本実施形態では、移動対応アプリ２０４
ｄを用いて説明するが、個々のアプリが画面移動に対応するのではなく、携帯情報端末８
０上で画面移動ミドルウェアを実行させ、携帯情報端末８０の端末ディスプレイ２８１上
に表示される画面をＨＭＤ１０に表示させてもよい。
【0035】
また移動対応アプリ２０４ｄは、携帯情報端末８０やＨＭＤ１０の表示能力、利用シー
ンに合わせ高解像度、低解像の表示を用意してもよいし、詳細表示、簡略表示等を用意し
てもよい。
ンに合わせ高解像度、低解像の表示を用意してもよいし、詳細表示、簡略表示等を用意し
てもよい。
【0036】
ＨＭＤ１０と携帯情報端末８０とは近接無線通信や無線ＬＡＮを介して接続してもよい
。またピアツーピアで1対1で通信してもよいし、クラウド経由で通信してもよい。
。またピアツーピアで1対1で通信してもよいし、クラウド経由で通信してもよい。
【0037】
携帯情報端末８０からＨＭＤ１０にアプリ画面を移動させる態様として、携帯情報端末
８０の端末ディスプレイ２８１に表示されたアプリ画面をキャプチャして送信してもよい
。この場合は、静止画像を移動させる。画面をキャプチャする場合には画面を定期的に更
新してもよい。また携帯情報端末８０及びＨＭＤ１０のどちらも移動対応アプリ２０４ｄ
を格納しておき、移動対応アプリ２０４ｄの動作を連携させることで画面データを転送す
るのではなく、ＨＭＤ１０に記憶した移動対応アプリ２０４ｄと携帯情報端末８０に記憶
した移動対応アプリ２０４ｄとを同期させ、端末ディスプレイ２８１の画面と同じ内容の
画面をＨＭＤ１０のディスプレイ２に表示させてもよい。更に移動対応アプリ２０４ｄか
らＨＭＤ１０に対してストリーミング等の手段により動画表示を移動させてもよい。
８０の端末ディスプレイ２８１に表示されたアプリ画面をキャプチャして送信してもよい
。この場合は、静止画像を移動させる。画面をキャプチャする場合には画面を定期的に更
新してもよい。また携帯情報端末８０及びＨＭＤ１０のどちらも移動対応アプリ２０４ｄ
を格納しておき、移動対応アプリ２０４ｄの動作を連携させることで画面データを転送す
るのではなく、ＨＭＤ１０に記憶した移動対応アプリ２０４ｄと携帯情報端末８０に記憶
した移動対応アプリ２０４ｄとを同期させ、端末ディスプレイ２８１の画面と同じ内容の
画面をＨＭＤ１０のディスプレイ２に表示させてもよい。更に移動対応アプリ２０４ｄか
らＨＭＤ１０に対してストリーミング等の手段により動画表示を移動させてもよい。
【0038】
図６～図１１を参照して、ＨＭＤ連携システム１００の処理の概要を説明する。図６は
ＨＭＤ連携システム１００の処理の流れを示すフローチャートである。図７は第１実施形
態に係るアプリ画面表示制御処理の流れを示すフローチャートである。図８は視認領域と
携帯情報端末８０との位置関係（アプリ画面非表示）を示す図である。図９はアプリ画面
非表示の場合のディスプレイ２を介した情景を示す。図１０は視認領域と携帯情報端末８
０との位置関係（アプリ画面表示）を示す図である。図１１はアプリ画面表示の場合のデ
ィスプレイ２を介した情景を示す。以下、図６のステップ順に沿って説明する。
ＨＭＤ連携システム１００の処理の流れを示すフローチャートである。図７は第１実施形
態に係るアプリ画面表示制御処理の流れを示すフローチャートである。図８は視認領域と
携帯情報端末８０との位置関係（アプリ画面非表示）を示す図である。図９はアプリ画面
非表示の場合のディスプレイ２を介した情景を示す。図１０は視認領域と携帯情報端末８
０との位置関係（アプリ画面表示）を示す図である。図１１はアプリ画面表示の場合のデ
ィスプレイ２を介した情景を示す。以下、図６のステップ順に沿って説明する。
【0039】
携帯情報端末８０及びＨＭＤ１０が共に起動する（Ｓ０１、Ｓ０２）。ＨＭＤ１０及び
携帯情報端末８０のどちらが先に起動してもよいし、同時に起動してもよいが、図６の説
明では携帯情報端末８０が先に起動しているものとする。
携帯情報端末８０のどちらが先に起動してもよいし、同時に起動してもよいが、図６の説
明では携帯情報端末８０が先に起動しているものとする。
【0040】
携帯情報端末８０からＨＭＤ１０に対して接続要求を行い（Ｓ０３）、リンクが確立す
る（Ｓ０４）。
る（Ｓ０４）。
【0041】
リンク確立後、携帯情報端末８０に格納されたアプリケーションソフトであって、携帯
情報端末８０の移動対応アプリ２０４ｄが起動し（Ｓ０５）、移動対応アプリ２０４ｄは
ＨＭＤ１０に対して移動対応アプリ２０４ｄが起動したことを示すアプリ起動通知を送信
する（Ｓ０６）。
情報端末８０の移動対応アプリ２０４ｄが起動し（Ｓ０５）、移動対応アプリ２０４ｄは
ＨＭＤ１０に対して移動対応アプリ２０４ｄが起動したことを示すアプリ起動通知を送信
する（Ｓ０６）。
【0042】
アプリ起動通知を受領したＨＭＤ制御装置５は、ＨＭＤ１０に格納された画面移動ミド
ル１０４ｂ１を起動させる（Ｓ０７）。
ル１０４ｂ１を起動させる（Ｓ０７）。
【0043】
画面移動ミドル１０４ｂ１は、ＨＭＤ１０の外側カメラ３に対して撮像を開始させ、外
側カメラ３がＨＭＤ制御装置５に画像の出力を開始する（Ｓ０８）。外側カメラ３は画角
がＨＭＤ１０の使用者の視認領域を含むので、本説明では外側カメラ３の撮像領域はＨＭ
Ｄ１０の使用者Ｍの視認領域と擬制する。
側カメラ３がＨＭＤ制御装置５に画像の出力を開始する（Ｓ０８）。外側カメラ３は画角
がＨＭＤ１０の使用者の視認領域を含むので、本説明では外側カメラ３の撮像領域はＨＭ
Ｄ１０の使用者Ｍの視認領域と擬制する。
【0044】
ＨＭＤ制御装置５は、ディスプレイ２にアプリ画面を表示させる処理（アプリ画面表示
制御処理）を実行する（Ｓ０９）。第１実施形態では、外側カメラ３の画像に携帯情報端
末８０が写っているか否かをアプリ画面の表示開始条件（トリガ）として用いる。
制御処理）を実行する（Ｓ０９）。第１実施形態では、外側カメラ３の画像に携帯情報端
末８０が写っているか否かをアプリ画面の表示開始条件（トリガ）として用いる。
【0045】
図７に示すように、画面移動アプリ１０４ｄ１は、外側カメラ３の画像を取り込み（Ｓ
０９１）、画像の被写体（オブジェクト）が携帯情報端末８０であるか否かを認識する画
像認識処理（Ｓ０９２）を実行する。画像認識処理の具体的なアルゴリズムはいくつかあ
るが、例えば携帯情報端末８０の前面を外側カメラ３で予め撮像し、この撮像で得られる
前面画像を教師データとし保持しておく。そして外側カメラ３からの画像に対して被写体
抽出処理を行い、被写体と教師データとのパターンマッチング処理を実行し、一致度が予
め定められた閾値以上あれば携帯情報端末８０は被写体であると判断してもよい。前面画
像を用いれば、外側カメラ３の画像に携帯情報端末８０が裏返しで写っていたり、横倒し
、また物陰に置かれて一部遮蔽されている場合は、被写体が携帯情報端末８０であるとは
認識しないように処理を実行させることもできる。
０９１）、画像の被写体（オブジェクト）が携帯情報端末８０であるか否かを認識する画
像認識処理（Ｓ０９２）を実行する。画像認識処理の具体的なアルゴリズムはいくつかあ
るが、例えば携帯情報端末８０の前面を外側カメラ３で予め撮像し、この撮像で得られる
前面画像を教師データとし保持しておく。そして外側カメラ３からの画像に対して被写体
抽出処理を行い、被写体と教師データとのパターンマッチング処理を実行し、一致度が予
め定められた閾値以上あれば携帯情報端末８０は被写体であると判断してもよい。前面画
像を用いれば、外側カメラ３の画像に携帯情報端末８０が裏返しで写っていたり、横倒し
、また物陰に置かれて一部遮蔽されている場合は、被写体が携帯情報端末８０であるとは
認識しないように処理を実行させることもできる。
【0046】
被写体が携帯情報端末８０であると判断されると（Ｓ０９３／Ｙｅｓ）、即ち図８のよ
うに視認領域内に携帯情報端末８０があると判断されると、ＨＭＤ制御装置５は画面移動
フラグの値を「０」に設定して（Ｓ０９４）、アプリ画面をディスプレイ２には表示しな
い。この場合、図９に示すように、使用者Ｍは、ＨＭＤ１０のディスプレイ２を透過して
携帯情報端末８０が視認できる。よって、使用者Ｍはディスプレイ２に表示されたアプリ
画面ではなく、ディスプレイ２を介して直接端末ディスプレイ２８１に表示されたアプリ
画面を視認する。
うに視認領域内に携帯情報端末８０があると判断されると、ＨＭＤ制御装置５は画面移動
フラグの値を「０」に設定して（Ｓ０９４）、アプリ画面をディスプレイ２には表示しな
い。この場合、図９に示すように、使用者Ｍは、ＨＭＤ１０のディスプレイ２を透過して
携帯情報端末８０が視認できる。よって、使用者Ｍはディスプレイ２に表示されたアプリ
画面ではなく、ディスプレイ２を介して直接端末ディスプレイ２８１に表示されたアプリ
画面を視認する。
【0047】
被写体が携帯情報端末８０ではないと判断される（Ｓ０９３／Ｎｏ）、即ち図１０のよ
うに視認領域内に携帯情報端末８０がないと判断されると、ＨＭＤ制御装置５は画面移動
フラグの値を「１」に設定して（Ｓ０９５）、アプリ画面をディスプレイ２には表示する
。この場合、図１１に示すように、使用者Ｍは、ディスプレイ２に表示されたアプリ画面
を視認する。
うに視認領域内に携帯情報端末８０がないと判断されると、ＨＭＤ制御装置５は画面移動
フラグの値を「１」に設定して（Ｓ０９５）、アプリ画面をディスプレイ２には表示する
。この場合、図１１に示すように、使用者Ｍは、ディスプレイ２に表示されたアプリ画面
を視認する。
【0048】
アプリ画面をＨＭＤ１０のディスプレイ２に表示中、携帯情報端末８０の端末ディスプ
レイ２８１のアプリ画面は非表示であってもよいし、アプリ画面を表示し続けてもよい。
携帯情報端末８０がアプリ画面を表示又は非表示としたり、表示からスリープ動作（非表
示にして画面を暗くする動作）へ遷移させたりする処理は、携帯情報端末８０が有する画
面制御機能により実行されてもよいし、移動対応アプリ２０４ｄに画面制御機能を持たせ
てもよい。
レイ２８１のアプリ画面は非表示であってもよいし、アプリ画面を表示し続けてもよい。
携帯情報端末８０がアプリ画面を表示又は非表示としたり、表示からスリープ動作（非表
示にして画面を暗くする動作）へ遷移させたりする処理は、携帯情報端末８０が有する画
面制御機能により実行されてもよいし、移動対応アプリ２０４ｄに画面制御機能を持たせ
てもよい。
【0049】
画面移動ミドル１０４ｂ１は、アプリ画面制御処理の終了条件を充足すると（Ｓ０９６
／Ｙｅｓ）、アプリ画面制御処理を終了する。アプリ画面制御処理の終了条件を充足しな
ければ（Ｓ０９６／Ｎｏ）、Ｓ０９１へもどり、外側カメラ３からの画像取込みを繰り返
す。これにより、リンク確立中に終了条件を満たさない限り、使用者ＭはＨＭＤ１０を装
着して携帯情報端末８０を見ると携帯情報端末８０の実際のアプリ画面を視認し、携帯情
報端末８０を視認領域から外す、例えば携帯情報端末８０を把持する手を下ろしたり、携
帯情報端末８０をポケットやバッグにいれたりすると、アプリ画面がＨＭＤ１０に表示さ
れる。
／Ｙｅｓ）、アプリ画面制御処理を終了する。アプリ画面制御処理の終了条件を充足しな
ければ（Ｓ０９６／Ｎｏ）、Ｓ０９１へもどり、外側カメラ３からの画像取込みを繰り返
す。これにより、リンク確立中に終了条件を満たさない限り、使用者ＭはＨＭＤ１０を装
着して携帯情報端末８０を見ると携帯情報端末８０の実際のアプリ画面を視認し、携帯情
報端末８０を視認領域から外す、例えば携帯情報端末８０を把持する手を下ろしたり、携
帯情報端末８０をポケットやバッグにいれたりすると、アプリ画面がＨＭＤ１０に表示さ
れる。
【0050】
アプリ画面制御処理の終了条件を充足すると、ＨＭＤ１０及び携帯情報端末８０のリン
クを解除してもよいし、リンクは維持し画面移動ミドル１０４ｂ１だけを終了させてもよ
い。これにより、再度、移動対応アプリ２０４ｄの起動通知がＨＭＤ１０に送信されると
、アプリ画面の移動表示をすぐに開始することができる。
クを解除してもよいし、リンクは維持し画面移動ミドル１０４ｂ１だけを終了させてもよ
い。これにより、再度、移動対応アプリ２０４ｄの起動通知がＨＭＤ１０に送信されると
、アプリ画面の移動表示をすぐに開始することができる。
【0051】
終了条件は、例えば画面移動ミドル１０４ｂ１又は移動対応アプリ２０４ｄを終了させ
る操作を検出したことでもよいし、携帯情報端末８０やＨＭＤ１０の主電源がＯＦＦにす
る操作を検出したことでもよい。
る操作を検出したことでもよいし、携帯情報端末８０やＨＭＤ１０の主電源がＯＦＦにす
る操作を検出したことでもよい。
【0052】
図６では携帯情報端末８０の移動対応アプリ２０４ｄがマスタ、画面移動ミドル１０４
ｂ１がスレーブとして説明したが、画面移動ミドル１０４ｂ１がマスタ、移動対応アプリ
２０４ｄがスレーブであってもよい。又はどちらもマスタとなる通信制御方式を使用して
もよい。即ち画面移動ミドル１０４ｂ１から携帯情報端末８０に対して接続要求を行いリ
ンクを確立した後、移動対応アプリ２０４ｄの起動通知を携帯情報端末８０からＨＭＤ１
０に送信してもよい。
ｂ１がスレーブとして説明したが、画面移動ミドル１０４ｂ１がマスタ、移動対応アプリ
２０４ｄがスレーブであってもよい。又はどちらもマスタとなる通信制御方式を使用して
もよい。即ち画面移動ミドル１０４ｂ１から携帯情報端末８０に対して接続要求を行いリ
ンクを確立した後、移動対応アプリ２０４ｄの起動通知を携帯情報端末８０からＨＭＤ１
０に送信してもよい。
【0053】
＜第２実施形態＞
第２実施形態は、アプリ画面の表示開始条件が第１実施形態とは異なる。第１実施形態
では、表示開始条件として、外側カメラ３の画像に携帯情報端末８０が写っているか、即
ち、使用者Ｍの視認領域に携帯情報端末８０が含まれているか否かを条件として用いたが
、表示開始条件はこれに限定されない。図１２は第２実施形態に係るアプリ画面表示開始
条件のバリエーションを示す図である。
第２実施形態は、アプリ画面の表示開始条件が第１実施形態とは異なる。第１実施形態
では、表示開始条件として、外側カメラ３の画像に携帯情報端末８０が写っているか、即
ち、使用者Ｍの視認領域に携帯情報端末８０が含まれているか否かを条件として用いたが
、表示開始条件はこれに限定されない。図１２は第２実施形態に係るアプリ画面表示開始
条件のバリエーションを示す図である。
【0054】
第２実施形態では以下をアプリ画面表示開始条件として用いる。
【0055】
設定条件：アプリ画面がＨＭＤ１０のディスプレイ２に自動的に表示される設定になっ
ているか？（Ｓ０９１１）。自動的に表示される設定になっていれば、アプリ画面が視認
領域内に含まれていない場合にアプリ画面をディスプレイ２に表示させてもよい。
ているか？（Ｓ０９１１）。自動的に表示される設定になっていれば、アプリ画面が視認
領域内に含まれていない場合にアプリ画面をディスプレイ２に表示させてもよい。
【0056】
操作条件：ＨＭＤ１０に備えられた本体ボタン操作、リモコン操作、ジェスチャー等に
よるユーザ操作が行われたことを検出したか？（Ｓ０９１２）。操作検出センサがユーザ
の操作を検出すると、アプリ画面をディスプレイ２に表示させてもよい。
よるユーザ操作が行われたことを検出したか？（Ｓ０９１２）。操作検出センサがユーザ
の操作を検出すると、アプリ画面をディスプレイ２に表示させてもよい。
【0057】
体動条件：ＨＭＤ１０のジャイロセンサ１６２、加速度センサ１６４からの出力や、外
側カメラ３や内側カメラ４から出力される各画像を用いてＨＭＤ１０の動きを検出し、そ
の動きを使用者の首（頭）の動きと擬制することで、使用者の首（頭）の動きを検出した
か？（Ｓ０９１３）。体動条件は、非表示状態において首の動きを検出すると表示に遷移
させる表示開始条件として説明しているが、アプリ画面が表示されている状態で首の動き
を検出すると、携帯情報端末８０を見るために首を動かすこともあるので、その場合には
表示から非表示に遷移させる条件として用いてもよい。ＨＭＤ制御装置５は、ジャイロセ
ンサ１６２からの出力に含まれる角速度や加速度センサ１６４からの出力に含まれる加速
度が、首を動かしたと判断するために設定された所定の閾値以上の場合に、アプリ画面を
ディスプレイ２に表示から非表示、又は非表示から表示へと遷移させる。また画像を用い
る場合は、例えば前後の時間に撮像された画像の差分量が所定の閾値以上の場合は見てい
る場所が変化した、即ち別の場所を見るために首を動かしたと判断してアプリ画面をディ
スプレイ２に表示から非表示、又は非表示から表示へと遷移させてもよい。図１２では体
動検出前は非表示であることを前提に図示している。
側カメラ３や内側カメラ４から出力される各画像を用いてＨＭＤ１０の動きを検出し、そ
の動きを使用者の首（頭）の動きと擬制することで、使用者の首（頭）の動きを検出した
か？（Ｓ０９１３）。体動条件は、非表示状態において首の動きを検出すると表示に遷移
させる表示開始条件として説明しているが、アプリ画面が表示されている状態で首の動き
を検出すると、携帯情報端末８０を見るために首を動かすこともあるので、その場合には
表示から非表示に遷移させる条件として用いてもよい。ＨＭＤ制御装置５は、ジャイロセ
ンサ１６２からの出力に含まれる角速度や加速度センサ１６４からの出力に含まれる加速
度が、首を動かしたと判断するために設定された所定の閾値以上の場合に、アプリ画面を
ディスプレイ２に表示から非表示、又は非表示から表示へと遷移させる。また画像を用い
る場合は、例えば前後の時間に撮像された画像の差分量が所定の閾値以上の場合は見てい
る場所が変化した、即ち別の場所を見るために首を動かしたと判断してアプリ画面をディ
スプレイ２に表示から非表示、又は非表示から表示へと遷移させてもよい。図１２では体
動検出前は非表示であることを前提に図示している。
【0058】
視線条件：携帯情報端末８０から視線が外れたことを検出したか？（Ｓ０９１４）。外
側カメラ３の画像に対して画像認識処理を実行し、画像のどの領域に携帯情報端末８０が
表示されているかを検出する。外側カメラ３、内側カメラ４及びディスプレイ２は装着体
１に固定されているので、ディスプレイ２において外側カメラ３の画像に含まれる各画像
内の位置（画素位置）とディスプレイ２の表示位置との関係は、予めキャリブレーション
を行い、外側カメラ位置合わせデータを生成・記憶しておく。
側カメラ３の画像に対して画像認識処理を実行し、画像のどの領域に携帯情報端末８０が
表示されているかを検出する。外側カメラ３、内側カメラ４及びディスプレイ２は装着体
１に固定されているので、ディスプレイ２において外側カメラ３の画像に含まれる各画像
内の位置（画素位置）とディスプレイ２の表示位置との関係は、予めキャリブレーション
を行い、外側カメラ位置合わせデータを生成・記憶しておく。
【0059】
また視線検出センサ１６８は、内側カメラ４で撮像した画像から使用者の眼を検出し、
目の位置の変化を追跡することで視線の動きを検出する。内側カメラ４の画像内の位置と
ディスプレイ２の表示位置との関係も関係付けられるので、予めそれらを関係付けた内側
カメラ位置合わせデータを生成・記憶しておく。
目の位置の変化を追跡することで視線の動きを検出する。内側カメラ４の画像内の位置と
ディスプレイ２の表示位置との関係も関係付けられるので、予めそれらを関係付けた内側
カメラ位置合わせデータを生成・記憶しておく。
【0060】
そして、外側カメラ３の画像（携帯情報端末８０が撮像されている）及び内側カメラ４
の画像（使用者の眼が撮像されている）の其々を外側カメラ位置合わせデータ及び内側カ
メラ位置合わせデータの其々に照合することで、使用者Ｍの視線が携帯情報端末８０から
外れたことを検出する。そして、携帯情報端末８０が視認領域に含まれかつ視線が端末デ
ィスプレイ２上にある場合はアプリ画面を非表示、携帯情報端末８０が視認領域に含まれ
かつ視線が端末ディスプレイ２上にない場合はアプリ画面をディスプレイ２に表示しても
よい。この場合、そもそも視認領域に携帯情報端末８０が含まれない場合もディスプレイ
２にアプリ画面を表示してもよい。
の画像（使用者の眼が撮像されている）の其々を外側カメラ位置合わせデータ及び内側カ
メラ位置合わせデータの其々に照合することで、使用者Ｍの視線が携帯情報端末８０から
外れたことを検出する。そして、携帯情報端末８０が視認領域に含まれかつ視線が端末デ
ィスプレイ２上にある場合はアプリ画面を非表示、携帯情報端末８０が視認領域に含まれ
かつ視線が端末ディスプレイ２上にない場合はアプリ画面をディスプレイ２に表示しても
よい。この場合、そもそも視認領域に携帯情報端末８０が含まれない場合もディスプレイ
２にアプリ画面を表示してもよい。
【0061】
画面移動ミドル１０４ｂ１は、図１２に示すように設定条件（Ｓ０９１１）、操作条件
（Ｓ０９１２）、体動条件（Ｓ０９１３）、視線条件（Ｓ０９１４）のいずれか一つを充
たすと判断すると（Ｓ０９１１～Ｓ０９１４／いずれがＹｅｓ）、アプリ画面表示フラグ
の値を１に設定し（Ｓ０９１６）処理を終了する。一方、いずれの表示開始条件（Ｓ０９
１１～Ｓ０９１４）も充足していないと判断すると（Ｓ０９１１～Ｓ０９１４／全てＮｏ
）、アプリ画面表示フラグの値を０に設定し（Ｓ０９１５）、アプリ画面制御処理の終了
条件の充足判断へと進む（Ｓ０９１７）。上記各表示開始条件の充足判定順序は、図１２
の順序に限定されない。また、図１２ではいずれか一つを充足する場合にステップＳ０９
１６へ進んだが、少なくとも一つを充たす、即ち、各条件のうちのいずれか一つ又は複数
の組み合わせを充足した場合にステップＳ０９１６に進むように構成してもよい。
（Ｓ０９１２）、体動条件（Ｓ０９１３）、視線条件（Ｓ０９１４）のいずれか一つを充
たすと判断すると（Ｓ０９１１～Ｓ０９１４／いずれがＹｅｓ）、アプリ画面表示フラグ
の値を１に設定し（Ｓ０９１６）処理を終了する。一方、いずれの表示開始条件（Ｓ０９
１１～Ｓ０９１４）も充足していないと判断すると（Ｓ０９１１～Ｓ０９１４／全てＮｏ
）、アプリ画面表示フラグの値を０に設定し（Ｓ０９１５）、アプリ画面制御処理の終了
条件の充足判断へと進む（Ｓ０９１７）。上記各表示開始条件の充足判定順序は、図１２
の順序に限定されない。また、図１２ではいずれか一つを充足する場合にステップＳ０９
１６へ進んだが、少なくとも一つを充たす、即ち、各条件のうちのいずれか一つ又は複数
の組み合わせを充足した場合にステップＳ０９１６に進むように構成してもよい。
【0062】
本実施形態によれば、第１実施形態で説明した視認領域内の携帯情報端末８０の有無と
は異なる表示開始条件を用いてアプリ画面の表示又は非表示の制御が行えるので、使用目
的や使用状況、また使用者Ｍが条件設定を行わせることで、使用者Ｍの好みにあった操作
環境を提供できる。なお、第２実施形態においても、視認領域内の携帯情報端末８０の有
無を表示開始条件として組み合わせてもよい。
は異なる表示開始条件を用いてアプリ画面の表示又は非表示の制御が行えるので、使用目
的や使用状況、また使用者Ｍが条件設定を行わせることで、使用者Ｍの好みにあった操作
環境を提供できる。なお、第２実施形態においても、視認領域内の携帯情報端末８０の有
無を表示開始条件として組み合わせてもよい。
【0063】
＜第３実施形態＞
第３実施形態はアプリ画面の表示位置に関するバリエーションを示す実施形態である。
アプリ画面をＨＭＤ１０のディスプレイ２のどの位置に表示するかは、様々な態様が考え
られる。以下、列挙する。
第３実施形態はアプリ画面の表示位置に関するバリエーションを示す実施形態である。
アプリ画面をＨＭＤ１０のディスプレイ２のどの位置に表示するかは、様々な態様が考え
られる。以下、列挙する。
【0064】
（１）設定位置への表示：アプリ画面をディスプレイ２の例えば右端といった予め決め
られた位置に表示してもよい。また、ＨＭＤ制御装置５がアプリ画面表示制御処理（Ｓ０
９）を前回終了させたときにアプリ画面が表示されていた位置を記憶しておき、次にアプ
リ画面表示制御処理（Ｓ０９）を再開した際に、前回の終了位置にアプリ画面を表示させ
てもよい。
られた位置に表示してもよい。また、ＨＭＤ制御装置５がアプリ画面表示制御処理（Ｓ０
９）を前回終了させたときにアプリ画面が表示されていた位置を記憶しておき、次にアプ
リ画面表示制御処理（Ｓ０９）を再開した際に、前回の終了位置にアプリ画面を表示させ
てもよい。
【0065】
（２）アプリの種類に応じた位置への表示：移動対応アプリ２０４ｄの種類に応じてデ
ィスプレイ２のどの位置に表示するかを予め定めてもよい。例えば、地図ナビゲーション
アプリであれば、目の前の視界を確保するために視線の中心から外れたディスプレイ２の
右端又は左端にアプリ画面を表示してもよい。一方電子ブックアプリであれば、読書しや
すいようにディスプレイ２の中央にアプリ画面を表示させるなど、移動対応アプリ２０４
ｄの機能に応じて表示位置を変えてもよい。
ィスプレイ２のどの位置に表示するかを予め定めてもよい。例えば、地図ナビゲーション
アプリであれば、目の前の視界を確保するために視線の中心から外れたディスプレイ２の
右端又は左端にアプリ画面を表示してもよい。一方電子ブックアプリであれば、読書しや
すいようにディスプレイ２の中央にアプリ画面を表示させるなど、移動対応アプリ２０４
ｄの機能に応じて表示位置を変えてもよい。
【0066】
（３）視線トラッキング：内側カメラ４の画像を基に視線検出センサ１６８が使用者Ｍ
の視線を検出し続け、ディスプレイ２と視線とが交差する位置にアプリ画面を表示するよ
うにしてもよい。例えば移動対応アプリ２０４ｄが地図ナビゲーションアプリの場合、Ｈ
ＭＤ１０を装着しながら歩行すると、視線上に地図が表示され、ナビゲーションが示す道
と実際の道との同定が容易となり、ナビ情報の理解が容易になる。
の視線を検出し続け、ディスプレイ２と視線とが交差する位置にアプリ画面を表示するよ
うにしてもよい。例えば移動対応アプリ２０４ｄが地図ナビゲーションアプリの場合、Ｈ
ＭＤ１０を装着しながら歩行すると、視線上に地図が表示され、ナビゲーションが示す道
と実際の道との同定が容易となり、ナビ情報の理解が容易になる。
【0067】
（４）ＨＭＤ１０の視野内にある携帯情報端末８０が視野外に出た後の再表示する位置
について：図１３は、フレームアウト後の再表示位置を示す図である。図１３に示すよう
に外側カメラ３が時系列に沿った複数フレームを生成して動画を撮像する場合、動画を構
成するフレームの外縁を形成する各辺とディスプレイ２の各辺ａ、ｂ、ｃ、ｄとディスプ
レイ２の小領域１，２，３，４とを予め対応付けておく。小領域１，２，３，４の其々は
、各辺ａ、ｂ、ｃ、ｄに隣接する領域である。画面移動ミドル１０４ｂ１は、第１フレー
ムに撮像されていた携帯情報端末８０が、それよりも後に撮像された第２フレームにおい
てどの辺（外縁）を横切ってフレームアウトしたかを取得し、その辺に対応付けられたデ
ィスプレイ２の小領域内にアプリ画面を表示するようにしてもよい。
について：図１３は、フレームアウト後の再表示位置を示す図である。図１３に示すよう
に外側カメラ３が時系列に沿った複数フレームを生成して動画を撮像する場合、動画を構
成するフレームの外縁を形成する各辺とディスプレイ２の各辺ａ、ｂ、ｃ、ｄとディスプ
レイ２の小領域１，２，３，４とを予め対応付けておく。小領域１，２，３，４の其々は
、各辺ａ、ｂ、ｃ、ｄに隣接する領域である。画面移動ミドル１０４ｂ１は、第１フレー
ムに撮像されていた携帯情報端末８０が、それよりも後に撮像された第２フレームにおい
てどの辺（外縁）を横切ってフレームアウトしたかを取得し、その辺に対応付けられたデ
ィスプレイ２の小領域内にアプリ画面を表示するようにしてもよい。
【0068】
例えば図１３のよう、外側カメラ３が撮像したフレームの上辺からフレームアウトした
場合、ディスプレイ２の辺ａからフレームアウトしたように使用者Ｍには見えるので、ア
プリ画面は小領域１に表示する。また外側カメラ３が撮像したフレームの底辺からフレー
ムアウトした場合、ディスプレイ２の辺ｃからフレームアウトしたように使用者Ｍには見
えるので、アプリ画面は小領域３に表示する。
場合、ディスプレイ２の辺ａからフレームアウトしたように使用者Ｍには見えるので、ア
プリ画面は小領域１に表示する。また外側カメラ３が撮像したフレームの底辺からフレー
ムアウトした場合、ディスプレイ２の辺ｃからフレームアウトしたように使用者Ｍには見
えるので、アプリ画面は小領域３に表示する。
【0069】
また、携帯情報端末８０がディスプレイ２の外へ移動する直前に表示されていた位置を
取得し、その位置にアプリ画面を表示してもよい。
取得し、その位置にアプリ画面を表示してもよい。
【0070】
（５）アプリ画面の位置調整：ＨＭＤ１０にアプリ画面を移動した後の表示位置を、調
整する手段を設けてもよい。例えば、携帯情報端末８０の端末ディスプレイ２８１上でス
ワイプ操作を行うと、ＨＭＤ１０のディスプレイ２のアプリ画面がスワイプ操作に連動し
てディスプレイ２内における表示位置が変わるように構成してもよい。
整する手段を設けてもよい。例えば、携帯情報端末８０の端末ディスプレイ２８１上でス
ワイプ操作を行うと、ＨＭＤ１０のディスプレイ２のアプリ画面がスワイプ操作に連動し
てディスプレイ２内における表示位置が変わるように構成してもよい。
【0071】
本実施形態によれば、アプリ画面の表示位置を使用用途やユーザの好みに応じて調整で
きるので、より視認性が高いＨＭＤ連携システム１００を提供できる。
きるので、より視認性が高いＨＭＤ連携システム１００を提供できる。
【0072】
＜第４実施形態＞
第４実施形態は、移動対応アプリ２０４ｄを起動後に、ＨＭＤ１０を起動した場合のＨ
ＭＤトップ画面の表示制御に関する。図１４は、本実施形態におけるＨＭＤ連携システム
１００のシーケンス例を示す図である。図１５は、ＨＭＤ１０の画面遷移を示す図である
。
第４実施形態は、移動対応アプリ２０４ｄを起動後に、ＨＭＤ１０を起動した場合のＨ
ＭＤトップ画面の表示制御に関する。図１４は、本実施形態におけるＨＭＤ連携システム
１００のシーケンス例を示す図である。図１５は、ＨＭＤ１０の画面遷移を示す図である
。
【0073】
ＨＭＤ１０が通常起動する場合、ディスプレイ２にはＨＭＤ１０のトップ画面１５０１
が表示され、次いでＨＭＤ１０の処理に関する画面が表示される。
が表示され、次いでＨＭＤ１０の処理に関する画面が表示される。
【0074】
しかし、ＨＭＤ連携システム１００において図１４に示すように、携帯情報端末８０が
起動後（Ｓ１１）、移動対応アプリ２０４ｄが起動し（Ｓ１２）、接続要求（Ｓ１３）、
移動対応アプリ起動通知送信（Ｓ１４）を行った後に、ＨＭＤ１０を起動した場合（Ｓ１
５）、トップ画面１５０１を表示することなく、連携通知画面１５０２からアプリ画面表
示中画面１５０３、又はアプリ画面非表示中の待機画面１５０４へと遷移させてもよい。
起動後（Ｓ１１）、移動対応アプリ２０４ｄが起動し（Ｓ１２）、接続要求（Ｓ１３）、
移動対応アプリ起動通知送信（Ｓ１４）を行った後に、ＨＭＤ１０を起動した場合（Ｓ１
５）、トップ画面１５０１を表示することなく、連携通知画面１５０２からアプリ画面表
示中画面１５０３、又はアプリ画面非表示中の待機画面１５０４へと遷移させてもよい。
【0075】
即ち、ＨＭＤ起動（Ｓ１５）において、通常起動処理ではトップ画面１５０１がディス
プレイ２に表示されるが、移動対応アプリ起動通知を受けてＨＭＤ１０が起動した場合は
、その後にＨＭＤ１０と携帯情報端末８０との連携処理が続くので、トップ画面１５０１
を表示することなく、リンクを確立し（Ｓ１６）、画面移動ミドル１０４ｂ１を起動（Ｓ
１７）する。画面移動ミドル１０４ｂ１はリンク確立を受けて連携通知画面１５０２を表
示し、外側カメラ３による撮像を開始し（Ｓ１８）、アプリ画面表示制御処理（Ｓ１９）
へと処理を進めてもよい。
プレイ２に表示されるが、移動対応アプリ起動通知を受けてＨＭＤ１０が起動した場合は
、その後にＨＭＤ１０と携帯情報端末８０との連携処理が続くので、トップ画面１５０１
を表示することなく、リンクを確立し（Ｓ１６）、画面移動ミドル１０４ｂ１を起動（Ｓ
１７）する。画面移動ミドル１０４ｂ１はリンク確立を受けて連携通知画面１５０２を表
示し、外側カメラ３による撮像を開始し（Ｓ１８）、アプリ画面表示制御処理（Ｓ１９）
へと処理を進めてもよい。
【0076】
本実施形態は、携帯情報端末８０を操作して移動対応アプリ２０４ｄを使い始めた後に
、ＨＭＤ１０で画面連携を行いたいと思った使用者ＭがＨＭＤ１０を起動するという使用
場面を想定したものであるが、この場合、使用者Ｍはより早くアプリ画面のＨＭＤ１０に
表示させたいと要望している。上記のようにトップ画面１５０１を表示せず、連携通知画
面１５０２を表示させることで、使用者Ｍが見たいとは欲していないトップ画面１５０１
を見せられることによる不快感を与えず、アプリ画面の表示を待つ間の焦燥感を緩和する
ことができる。
、ＨＭＤ１０で画面連携を行いたいと思った使用者ＭがＨＭＤ１０を起動するという使用
場面を想定したものであるが、この場合、使用者Ｍはより早くアプリ画面のＨＭＤ１０に
表示させたいと要望している。上記のようにトップ画面１５０１を表示せず、連携通知画
面１５０２を表示させることで、使用者Ｍが見たいとは欲していないトップ画面１５０１
を見せられることによる不快感を与えず、アプリ画面の表示を待つ間の焦燥感を緩和する
ことができる。
【0077】
更に焦燥感を緩和させるための処理として、連携通知画面１５０２もスキップしてアプ
リ画面表示中画面１５０３を表示させてもよい。但し、アプリ画面表示開始条件を非充足
の場合は、アプリ画面表示中画面１５０３が表示されないので、使用者Ｍは連携ができた
かどうかを確認できない。そこで、アプリ画面表示開始条件が充足している場合は、ＨＭ
Ｄ１０の起動後すぐにアプリ画面表示中画面１５０３を表示し、アプリ画面表示開始条件
が非充足の場合だけ、連携通知画面１５０２を表示させてもよい。この場合、画面移動ミ
ドル１０４ｂ１はステップＳ１７では連携通知画面１５０２を表示せず、アプリ画面表示
制御処理（Ｓ１９）における処理にてアプリ画面をディスプレイ２に非表示にすると判断
された場合に連携通知画面１５０２を表示するように構成してもよい。
リ画面表示中画面１５０３を表示させてもよい。但し、アプリ画面表示開始条件を非充足
の場合は、アプリ画面表示中画面１５０３が表示されないので、使用者Ｍは連携ができた
かどうかを確認できない。そこで、アプリ画面表示開始条件が充足している場合は、ＨＭ
Ｄ１０の起動後すぐにアプリ画面表示中画面１５０３を表示し、アプリ画面表示開始条件
が非充足の場合だけ、連携通知画面１５０２を表示させてもよい。この場合、画面移動ミ
ドル１０４ｂ１はステップＳ１７では連携通知画面１５０２を表示せず、アプリ画面表示
制御処理（Ｓ１９）における処理にてアプリ画面をディスプレイ２に非表示にすると判断
された場合に連携通知画面１５０２を表示するように構成してもよい。
【0078】
本実施形態によれば、ＨＭＤ連携システム１００においてＨＭＤ１０のトップ画面が不
要な場合は非表示にし、使用者Ｍの焦燥感を緩和して利便性を向上させることができる。
要な場合は非表示にし、使用者Ｍの焦燥感を緩和して利便性を向上させることができる。
【0079】
上記各実施形態は、本発明を限定するものではなく、本発明の趣旨を逸脱しない範囲で
様々な変更態様があり、これらも本発明の技術的範囲に属する。例えば上記第１～第４実
施形態を任意に組み合わせてもよい。
様々な変更態様があり、これらも本発明の技術的範囲に属する。例えば上記第１～第４実
施形態を任意に組み合わせてもよい。
【符号の説明】
【0080】
１：装着体
２：ディスプレイ
３：外側カメラ
４：内側カメラ
５：ＨＭＤ制御装置
１０：ＨＭＤ
８０：携帯情報端末
１００：ＨＭＤ連携システム
２：ディスプレイ
３：外側カメラ
４：内側カメラ
５：ＨＭＤ制御装置
１０：ＨＭＤ
８０：携帯情報端末
１００：ＨＭＤ連携システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】