特許7372401ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-23
(45)【発行日】2023-10-31
(54)【発明の名称】ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置
(51)【国際特許分類】
G09G 5/00 20060101AFI20231024BHJP
G09G 5/14 20060101ALI20231024BHJP
G06F 3/01 20060101ALI20231024BHJP
H04N 5/64 20060101ALI20231024BHJP
【ＦＩ】
G09G5/00 550C
G09G5/00 510A
G09G5/00 530M
G09G5/14 A
G09G5/00 550B
G09G5/00 530D
G09G5/00 510V
G06F3/01 510
H04N5/64 511A
【請求項の数】
4
(21)【出願番号】P 2022119394
(22)【出願日】2022-07-27
(62)【分割の表示】P 2019239005の分割
【原出願日】2015-12-18
(65)【公開番号】P2022166023
(43)【公開日】2022-11-01
【審査請求日】2022-07-27
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】関口 隆昭
(72)【発明者】
【氏名】松原 孝志
(72)【発明者】
【氏名】金丸 隆
(72)【発明者】
【氏名】内田 尚和
(72)【発明者】
【氏名】若林 正樹
(72)【発明者】
【氏名】森 直樹
【審査官】西島 篤宏
(56)【参考文献】
【文献】特開２００６－１１９２９７（ＪＰ，Ａ）
【文献】国際公開第２０１５／１０７６２５（ＷＯ，Ａ１）
【文献】国際公開第２０１３／１７９４２７（ＷＯ，Ａ１）
【文献】特開２０１５－１７７４０４（ＪＰ，Ａ）
【文献】特開２０１１－０４８４４０（ＪＰ，Ａ）
【文献】特開２００１－２１５９２０（ＪＰ，Ａ）
【文献】特開２００９－２５３７８６（ＪＰ，Ａ）
【文献】特開２０１２－２３３９６２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｇ ５／００ － ５／４２
Ｇ０６Ｆ ３／０１
Ｈ０４Ｎ ５／６４
(57)【特許請求の範囲】
【請求項1】
一次情報を表示する表示装置と前記一次情報を撮像するヘッドマウントディスプレイ装置とを含むヘッドマウントディスプレイ連携表示システムにおけるヘッドマウントディスプレイ装置であって、装着者が閲覧可能な情報を表示する表示部と、
前記装着者が向いている方向のカメラ画像を撮像する撮像部と、
前記装着者の視線方向に基づいてカメラ画像内注視点を検出するカメラ画像内注視点検出部と、
前記表示装置と通信可能な通信部と、
制御部を備え、
前記表示装置は、前記通信部を介して受信した前記カメラ画像と前記カメラ画像内注視点にもとづいて前記一次情報に対する前記装着者の注視点の位置情報を算出し、該位置情報が前記一次情報の領域である一次情報領域にあると判断した場合に、前記一次情報の注視点位置に関連する二次情報を出力し、
前記制御部は、前記二次情報を前記通信部により受信すると、該二次情報を前記表示部に表示し、
前記二次情報が前記表示部に表示されているときに、前記表示装置が、前記位置情報が前記一次情報領域にないと判断した場合に、前記二次情報の属性に応じて設定された時間経過後に前記二次情報を消去する消去指示を出力し、
前記制御部は、前記消去指示を前記通信部により受信すると、前記二次情報を消去するように前記表示部を制御することを特徴とするヘッドマウントディスプレイ装置。
【請求項2】
請求項１に記載のヘッドマウントディスプレイ装置であって、周囲の音を音声データとして取得する音声取得部を備え、
前記表示装置は、前記通信部を介して受信した前記音声データにおいて特定のキーワードが検出された場合に前記キーワードに関連する情報を前記二次情報として出力し、
前記制御部は、前記二次情報を前記通信部により受信すると、前記キーワードに関連する二次情報を前記表示部に表示することを特徴とするヘッドマウントディスプレイ装置。
【請求項3】
一次情報を表示する表示装置と前記一次情報を撮像するヘッドマウントディスプレイ装置とを含むヘッドマウントディスプレイ連携表示システムにおけるヘッドマウントディスプレイ装置であって、装着者が閲覧可能な情報を表示する表示部と、
前記装着者が向いている方向のカメラ画像を撮像する撮像部と、
前記装着者の視線方向に基づいてカメラ画像内注視点を検出するカメラ画像内注視点検出部と、
前記表示装置と通信可能な通信部と、
制御部を備え、
前記表示装置は、前記通信部を介して受信した前記カメラ画像と前記カメラ画像内注視点にもとづいて前記一次情報に対する前記装着者の注視点の位置情報を算出し、該位置情報が前記一次情報の領域である一次情報領域にあると判断した場合に、前記一次情報の注視点位置に関連する二次情報を出力し、
前記制御部は、前記二次情報を前記通信部により受信すると、該二次情報を前記表示部に表示し、
前記二次情報が前記表示部に表示されているときに、前記表示装置が、前記位置情報が前記一次情報領域にないと判断した場合に、前記二次情報の属性に応じて設定された前記二次情報の透過率変更指示を出力し、
前記制御部は、前記二次情報の透過率変更指示を前記通信部により受信すると、前記二次情報の透過率を変更するように前記表示部を制御することを特徴とするヘッドマウントディスプレイ装置。
【請求項4】
請求項３に記載のヘッドマウントディスプレイ装置であって、周囲の音を音声データとして取得する音声取得部を備え、
前記表示装置は、前記通信部を介して受信した前記音声データにおいて特定のキーワードが検出された場合に前記キーワードに関連する情報を前記二次情報として出力し、
前記制御部は、前記二次情報を前記通信部により受信すると、前記キーワードに関連する二次情報を前記表示部に表示することを特徴とするヘッドマウントディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドマウントディスプレイを利用した表示システム及び表示装置に関するものである。
【背景技術】
【0002】
主たる表示装置に表示された第一の情報（以降、一次情報と称する）に関連する第二の情報（以降、二次情報と称する）を、頭部装着型の表示装置（ヘッドマウントディスプレイ、Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以降ＨＭＤ）に表示する技術が考案されている。
【0003】
本技術分野の背景技術として、特開２００１－２１５９２０号公報（特許文献１）がある。特許文献１では、ＨＭＤの装着者が主たる表示装置の画面に表示された一次情報を閲覧する際、ＨＭＤによって検出した装着者の頭部の方向や視線方向に応じて、当該方向に存在する一次情報に関連する二次情報をＨＭＤに表示する技術について述べている。この技術により、主たる表示装置に表示する情報（一次情報）が削減されて装置の大型化を回避できるとともに、装着者は頭部あるいは視線を動かすだけで必要な情報（二次情報）を確認できるため、装置の操作性を向上することができる。
【0004】
また、特開２０１０－２３７５２２号公報（特許文献２）がある。特許文献２では、ＨＭＤの装着者が大型スクリーンに投射された一次情報を閲覧する際、装着者の座席とスクリーンの位置関係に基づいて一次情報に隣接する適切な位置に二次情報を表示する技術について述べている。この技術により、映画（一次情報）の視聴時等においてＨＭＤの装着者のみが見えるように母国語による字幕（二次情報）を表示する等を実現できる。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２００１－２１５９２０号公報
【文献】特開２０１０－２３７５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１は、ＨＭＤによって検出した装着者の注視点に存在する情報の二次情報を表示する旨を記載している。しかしながら、ＨＭＤが検出する注視点は、装着者の視界での位置を示すものである。すなわち、この視界は、主たる表示装置が表示する一次情報の他に周囲の風景も含み、また、装着者が主たる表示装置の正面にいるとは限らないため、装着者の立ち位置に応じて一次情報は異なった形状になる。そのため、装着者が一次情報の内部のどこを注視しているかを知るためには、ＨＭＤによって検出した注視点を何らかの手段によって一次情報内の座標に変換する必要があるが、特許文献１ではその手段について何ら開示されていない。
【0007】
また、特許文献２は、装着者の座席とスクリーンの位置関係をもとに座標変換を行い、ＨＭＤでの二次情報の表示位置を計算するものであるが、装着者が座席を離れ別の位置から一次情報を閲覧する場合には対応できない。
【0008】
また、特許文献１および２のいずれも、一次情報を閲覧中にのみ二次情報を表示するものであるため、装着者が一次情報から目を離すと二次情報を閲覧することができない。
【0009】
本発明は上記課題に鑑みてなされたものであり、ＨＭＤの装着者が移動する場合や主たる表示装置から目を離す場合でも、主たる表示装置に表示される一次情報の二次情報をＨＭＤに適切に表示する手段を開示するものである。
【課題を解決するための手段】
【0010】
上記課題を解決するため、本発明は、その一例を挙げるならば、表示装置とヘッドマウントディスプレイとを含むシステムであって、表示装置は、画像を表示可能な第１の表示部または画像を投射可能な投射部を備え、ヘッドマウントディスプレイと通信可能な第１の通信部を備え、ヘッドマウントディスプレイは、ヘッドマウントディスプレイの装着者が観賞可能な画像を表示する第２の表示部と、ヘッドマウントディスプレイの装着者の視線方向を検出する視線検出部とを備え、表示装置と通信可能な第２の通信部を備え、第１の通信部および第２の通信部を介して送受信した情報にもとづいて、表示装置の第１の表示部に表示された画像または投射部により投射された画像に対するヘッドマウントディスプレイの装着者の視線の注視点の位置を検出する注視点検出部を、表示装置またはヘッドマウントディスプレイのいずれかに備え、注視点検出部は、注視点が画像上にある場合に注視点の位置に対応する画像内の位置情報を算出し、ヘッドマウントディスプレイは、画像において算出された位置に表示されている対象データに関する関連データを、表示装置との通信またはその他の通信を介して取得し、第２の表示部に表示するように構成する。
【発明の効果】
【0011】
本発明によれば、ＨＭＤの装着者の位置や視線の方向に関わらず適切な二次情報を選択し表示できるため、ＨＭＤの装着者の行動の自由度を高め、より自然な態様で二次情報を閲覧できるという効果がある。
【図面の簡単な説明】
【0012】
【図1】実施例１におけるＨＭＤ連携型表示システムの動作概要を説明する図である。
【図2】実施例１におけるＨＭＤ連携型表示システムの全体構成図である。
【図3】実施例１における一次情報データベースの構成図である。
【図4】実施例１における二次情報データベースの構成図である。
【図5】実施例１における一次情報の選択操作を説明する図である。
【図6】実施例１における一次情報の選択処理のフローチャートである。
【図7】実施例１におけるカメラ画像およびカメラ画像内注視点を説明する図である。
【図8】実施例１における注視点による二次情報の選択処理のフローチャートである。
【図9】実施例１における一次情報内注視点の計算処理のフローチャートである。
【図10】実施例１における射影変換の概要を説明する図である。
【図11】実施例１における射影変換の概要を説明する他の図である。
【図12】実施例１における二次情報の消去処理のフローチャートである。
【図13】実施例１における音声で二次情報を選択する動作概要を説明する図である。
【図14】実施例１における音声による二次情報の選択処理のフローチャートである。
【図15】実施例２におけるＨＭＤ連携型表示システムの動作概要を説明する図である。
【図16】実施例２におけるＨＭＤ連携型表示システムの全体像を示す図である。
【図17】実施例２におけるＨＭＤ連携型表示システムの全体構成図である。
【図18】実施例２における二次情報データベースの構成を説明する図である。
【図19】実施例２におけるカメラ画像およびカメラ画像内注視点を説明する図である。
【図20】実施例２における注視点による二次情報の選択処理のフローチャートである。
【発明を実施するための形態】
【0013】
以下、図面を用いて本発明の実施例について説明する。
【実施例1】
【0014】
本実施例は、教育現場において、プロジェクタでスクリーンに投影した教育用コンテンツ（一次情報）に関連する補足情報（二次情報）を、教師が装着したＨＭＤに表示する例について説明する。本実施例により、教師は生徒に対して自然な態様で授業を行いつつ、教育用コンテンツに関連した補足情報を閲覧することが可能となる。
【0015】
図１は、本実施例におけるＨＭＤ連携型表示システムの動作の概要を説明する図である。図１において、投射装置１００は、教育用コンテンツ（例では世界地図）をスクリーン９３０に投射している。教師９１０は、ＨＭＤ３００を介して投射されたコンテンツと生徒９２０を交互に見つつ授業を行っている。この時、ＨＭＤ３００を介して教師９１０が見る光景は、最初は画面３５１に示すように、教育用コンテンツ（世界地図）と、コンテンツの表示を操作するためのボタン（例では「前」「次」）のみである。次に教師９１０が世界地図上のグリーンランド付近を注視すると、画面３５２に示すように、補足情報（例では国名、主都、公用語）が表示される。次に教師９１０が生徒９２０の方向を見ると、画面３５３に示すように、コンテンツの表示を操作するボタンは消去される一方、世界地図を見ていなくても補足情報は表示され続ける。その後、一定時間が経過すると、画面３５４に示すように、補足情報も消去される。このような動作により、例えば補足情報を得るために逐一教育用コンテンツの方向を見直して該当箇所を注視するといった不自然な動作を行わずに授業を行うことができる。
【0016】
図２は、本実施例におけるＨＭＤ連携型表示システムの全体構成図である。図２において、本システムは、投射装置１００、表示装置２００、およびＨＭＤ３００から構成される。投射装置１００と表示装置２００、および表示装置２００とＨＭＤ３００は、通信により接続されている。
【0017】
投射装置１００は、表示する一次情報を入力するための信号入力部１１０、表示を制御する制御部１２０、およびスクリーンに一次情報を投射する表示部１３０から構成される。
【0018】
表示装置２００は、一次情報データベース５１０および二次情報データベース５２０を格納する記録部２１０、一次情報や二次情報の出力等の各種処理を行う制御部２２０、投射装置１００に一次情報を出力する信号出力部２３０、ＨＭＤ３００と通信を行う通信部２４０、ＨＭＤ３００から取得した情報をもとに、一次情報内における注視点の位置を検出する注視点検出部であり、注視点の位置情報である座標を計算し算出する注視点計算部２５０、ＨＭＤ装着者等の音声を認識する音声認識部２６０、表示装置２００の操作を行うための操作部２７０、および表示部２８０から構成される。なお、注視点計算部２５０、および音声認識部２６０は、専用のハードウェアとして実現する構成としても良いし、制御部２２０が実行するソフトウェアモジュールとして実現する構成としても良い。また、注視点計算部２５０は、ＨＭＤ３００に設けても良い。
【0019】
ＨＭＤ３００は、装着者が見ている方向の風景を撮像する撮像部３１０、撮像したカメラ画像内における、装着者の視線方向を検出する視線検出部である、注視点を検出するカメラ画像内注視点検出部３２０、ＨＭＤ装着者等の音声を取得する音声取得部３３０、取得したカメラ画像５４０やカメラ画像内注視点５５０や音声データ５６０を表示装置２００に送信する等の各種制御処理を行う制御部３４０、表示装置２００と通信を行う通信部３５０、および表示装置から取得した二次情報５７０を装着者が閲覧または観賞可能な画像として表示する表示部３６０から構成される。
【0020】
なお、本実施例においては、投射装置１００はプロジェクタに相当し、表示装置２００はプロジェクタに接続するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に相当するが、プロジェクタを用いた形態に限るものではなく、投射装置１００が一般的なディスプレイ装置である場合や、投射装置１００と表示装置２００を一体化した専用の装置を用いる場合にも応用可能である。また、ＨＭＤ３００は、頭部に装着して主に表示を行う装置と、腰などに装着して主にＨＭＤのコントロールを行う装置に分かれた構成としても良い。
【0021】
図３は、本実施例における一次情報データベース５１０の構造図である。図３において、一次情報データベース５１０は、一次情報識別子５１１、一次情報の名称５１２、一次情報を格納しているファイルの名称５１３、および一次情報が表示中か否かを示す表示中フラグ５１４から構成される。なお、表示中フラグ５１４は、表示中は‘１’、非表示の場合は‘０’として以降説明する。
【0022】
図４の上図は、本実施例における二次情報データベース５２０の構造図である。図４上図において、二次情報データベース５２０は、関連する一次情報を識別する一次情報識別子５２１、ＨＭＤ装着者の注視点に基づき二次情報を選択するための注視点範囲５２２、音声に基づき二次情報を選択するためのキーワード５２３、二次情報５２４、および二次情報の属性５２５から構成される。なお、図４下に例示した地図が示すとおり、本実施例において一次情報の座標系は左上が（０、０）、右下が（１９２０、１０８０）で定義され、図４上図の二次情報データベースの１行目の注視点範囲（１６８０、７０）～（１８８０、２５０）はグリーンランド付近、２行目の注視点範囲（７００、７２０）～（１０００，８７０）はオーストラリア付近を示す座標を意味している。二次情報データベースの３行目、および４行目での注視点範囲（０、０）～（１９２０、１０８０）は、注視点が一次情報の範囲内にあれば常に二次情報（例では「前」ボタンおよび「次」ボタン）を表示することを意味している。
【0023】
以上が、本実施例のＨＭＤ連携型表示システムの構成である。以下、本システムの動作の流れに沿って本実施例を説明する。
【0024】
図５は、本実施例における表示装置の表示部２８０に表示される、スクリーン９３０に投射する教育用コンテンツ（一次情報）の選択操作を説明する図である。図５において、画面２８１は教育用コンテンツの選択画面であり、世界地図を表示するためのアイコン２８２を含む、複数のアイコンを表示している。ここでアイコン２８２を選択すると、図５下に示すように、世界地図２８３が表示される。なお、世界地図２８３において、四隅に、斜線で示したマーカー２８４が表示されている。これは、一次情報の表示領域を特定するための識別情報であり、詳細は後述する。
【0025】
図６は、本実施例における、一次情報の選択時における制御部２２０の処理のフローチャートである。図６において、制御部２２０は、一次情報データベース５１０から一次情報の一覧を読み込み、各コンテンツを意味するアイコンからなる選択画面２８１に表示する（ステップＳ２２０１）。次に、ステップＳ２２０２で、ユーザがコンテンツを選択するまで待つ。次に、ユーザが選択した一次情報に対応するファイル５１３を読み込み、信号出力部２３０および投射装置１００を介してスクリーン９３０に投射する（ステップＳ２２０３）。最後に、選択した一次情報の表示中フラグ５１４を１にセットし、終了する（ステップＳ２２０４）。
【0026】
図７は、図６のステップＳ２２０３において教育用コンテンツが投射されたスクリーン９３０を、教師９１０がＨＭＤ３００を介して閲覧した際に、ＨＭＤ３００の撮像部３１０およびカメラ画像内注視点検出部３２０が取得するカメラ画像５４０およびカメラ画像内注視点５５０を示したものである。図は、教師９１０がスクリーン９３０に向かって少し右側の位置から一次情報を閲覧しており、グリーンランド付近を注視している様子を示している。
【0027】
図８は、本実施例における、図７に示したカメラ画像５４０およびカメラ画像内注視点５５０をＨＭＤ３００から受信した際に表示装置２００の制御部２２０において実行される、二次情報を選択する処理のフローチャートである。図８において、制御部２２０は、まず、一次情報データベース５１０を参照し、表示中フラグが１にセットされている一次情報があるかを判断する（ステップＳ２２１１）。なお、図５で示した操作により、一次情報データベース５１０の１行目（世界地図）の表示中フラグが１にセットされている。次に、カメラ画像内注視点５５０が一定時間同一であったか否か、すなわち、教師９１０の注視点がある特定の場所に滞留しているか否かを判断する（ステップＳ２２１２）。この判断は、例えば、前回受信したカメラ画像内注視点との距離差が所定の閾値未満である状態が一定時間続いたか否かを判定する等の処理によって実現できる。次に、注視点計算部２５０を用いて一次情報内注視点を計算する（ステップＳ２２１３）。この処理の詳細は後述する。
【0028】
次に、一次情報内注視点の計算に成功したか否かを判定する（ステップＳ２２１４）。一次情報内注視点の計算に成功した場合、すなわち、教師９１０の注視点が一次情報の方向（すなわち、スクリーン９３０の方向）にある場合、ステップＳ２２１３で計算した一次情報内注視点を記憶する（ステップＳ２２１５）。次に、二次情報データベース５２０を参照し、表示中の一次情報に関係する二次情報のうち、ステップＳ２２１３で記憶した一次情報内注視点が、二次情報データベース５２０の注視点範囲５２２の範囲内に存在する二次情報を表示する（ステップＳ２２１６）。一方、ステップＳ２２１４において一次情報内注視点の計算に失敗した場合、すなわち、1次情報のマーカー範囲外を注視している場合は、ステップＳ２２１５において記憶した一次情報内注視点に対応する二次情報（すなわち、現在表示している二次情報）に対して、二次情報の属性５２５に応じて消去タイマーをセットする（ステップＳ２２１７）。消去タイマーとは、ＨＭＤ３００に表示した二次情報を消去するまでの時間であり、例えば、二次情報の属性５２５がテキストの場合は６０秒後に消去し、二次情報の属性５２５がボタンの場合は０秒後（すなわちすぐに）消去するようにセットする。これによって、教師９１０が生徒９２０の方向を見た場合、ボタンは即座に消去されるが、テキストは一定時間表示され続ける、といった動作になる。なお、本二次情報選択フローの1番最初に一次情報内注視点の計算に失敗した場合は、記憶している一次情報内注視点はないので、消去タイマーをセットしない。このように、装着者の注視点の位置情報が一次情報にあると判断した場合と、一次情報にないと判断した場合とで、二次情報を継続表示するか即消去するかといった表示方法を変更する。言い換えれば、表示レイアウトまたは表示メニューを変更するようにしても良い。
【0029】
図９は、前述したステップＳ２２１３で実行される、注視点計算部２５０を用いて一次情報内注視点を計算する処理を示したフローチャートである。注視点計算部２５０は、まず、一次情報の四隅に付与されたマーカー２８４を検出する（ステップＳ２５０１）。次に、マーカーを検出できたか判定する（ステップＳ２５０２）。マーカーを検出できなかった場合は計算に失敗したとして終了し、検出できた場合は、後述する射影変換により一次情報内での注視点の座標を算出し（ステップＳ２５０３）、終了する。
【0030】
図１０は、前述のステップＳ２５０３で実行される、射影変換の概要を説明する図である。以降で説明する計算により、カメラ画像での座標系２５１における注視点の座標が、一次情報内での座標系２５２における座標に変換することができる。
【0031】
図１０において、カメラ画像での座標系２５１を、左上が（０、０）、右下が（１００、１００）となる平面とする。一方、一次情報内での座標系２５２を、左上が（０、０）、右下が（１９２０、１０８０）となる平面とする。ここで、ステップＳ２５０１で検出した４隅のマーカーによって特定されるカメラ画像内での一次情報の領域２５３を、一次情報内での座標系での領域に変換する。この変換の計算式としては様々なものがあるが、本実施例では、一般的な射影変換の式２５４を使用する。ここで、（ｘ、ｙ）は変換前（カメラ画像での座標系２５１）の座標、（ｕ、ｖ）は変換後（一次情報内での座標系２５２）の座標である。射影変換の式２５４は、未知数が８つ（ａ１、ｂ１、ｃ１、ａ２、ｂ２、ｃ２、ａ０、ｂ０）存在する。よって、双方の座標系において対応する座標がわかっている４つの点を代入して８つの式を得ることにより、未知数を導出することができる。座標の対応表２５５は、図９のステップＳ２５０１で検出した４つのマーカーの座標（ｘ、ｙ）と、変換後の座標（ｕ、ｖ）の対応を示したものである。左上の座標（１０、２０）は（０、０）に、右上の座標（７０、１８）は（１９２０、０）に、左下の座標（１２、８０）は（０、１０８０）に、右下の座標（６５、８２）は（１９２０、１０８０）に、それぞれ対応する。これらの値を射影変換の式２５４に代入すると８つの式からなる連立方程式が得られ、これを解くことにより、未知数の計算結果２５６が得られる。注視点の座標変換結果２５７は、未知数の計算結果２５６を用いて射影変換の式２５４により計算を行うと、（６０、２８）は（１６３５、１４８）に変換されることを示している（なお、ここで計算結果は整数で丸めている）。以上の計算により、カメラ画像での座標系における注視点は、一次情報内での座標系における座標に変換される。
【0032】
なお、本実施例では、図５、図７に記載した例のように斜線模様のマーカーを一次情報の四隅に表示し、これを画像認識することにより一次情報の領域を検出することを想定して記載しているが、このようなマーカーとしては、他にも様々な技術を利用可能である。例えば、斜線以外の模様を用いるとしても良いし、そもそもマーカーを表示するのではなく、スクリーン９３０側に領域検出用の物理的なデバイスを埋め込む方式を用いるとしても良い。また、人間に見える可視の模様ではなく、赤外線カメラ等を用いた不可視のマーカーを用いることとしても良い。
【0033】
また、図１０では、一次情報の領域の４隅の座標を用いて射影変換を行う例について記載したが、射影変換の方式はこれに限るものではない。例えば、図１１は、射影変換の別の方法を示す概念図である。ＨＭＤ装着者が一次情報を閲覧する際、スクリーン９３０に近接する位置に立つと、図１１に示したカメラ画像５４１のように、４隅のマーカーがカメラ画像に入らない場合がある。このような場合、カメラ画像での座標系２５８と一次情報内での座標系２５９において一次情報の領域の４隅の座標の対応を用いるのではなく、１つのマーカーでの四隅の座標をもとに射影変換の式２５４の未知数を求めることにより、注視点の座標変換を行うことができる。他にも、あらかじめ定めた４点の座標を用いるのではなく、カメラ画像と一次情報の双方に対して画像認識を行い、特徴のある点（特徴点）を動的に４つ抽出した上で、この４点をもとに射影変換の未知数を導出することもできる。このような手法は、例えば人間の顔を様々な角度から認識する場合の処理などで広く利用されている。
【0034】
最後に、図１２は、図８のステップＳ２２１７においてセットした消去タイマーが所定の時刻に達した場合に起動される、二次情報を消去する処理を示したフローチャートである。図１２において、消去タイマーが所定の時刻に達した場合、制御部２２０は、ＨＭＤに表示している二次情報を消去する（ステップＳ２２２１）。前述したように二次情報の属性に応じて消去タイマーの値を変更することにより、スクリーン９３０から目を離して生徒９２０を見た場合に、ボタンはすぐに消去されるが、テキスト（補足情報）は表示され続ける、といった動作が可能である。
【0035】
以上説明した内容により、図１に示した動作が可能となる。すなわち、ＨＭＤ３００を介して教師９１０がスクリーン９３０の方向を見た際の光景は、最初は図１の画面３５１である。次に、世界地図上のグリーンランド付近を注視すると、図８のステップＳ２２１６までの処理により、図１の画面３５２になる。次に生徒９２０の方向を見た場合、図８のステップＳ２２１７でセットした消去タイマーの時間が経過するまでは図１の画面３５３になりテキスト（補足情報）が表示され続ける。最後にテキストに設定した消去タイマーの時間が経過すると、図１の画面３５４になる。
【0036】
なお、図８のステップＳ２２１７において、消去タイマーをセットすることに加えて、二次情報の属性５２５に応じてＨＭＤに表示する二次情報の透過率を変更するとしても良い。例えば、教師９１０がスクリーン９３０の方向を見ている場合は、図１の画面３５２に示すように、補足情報の透過率は０％、すなわち非透過で表示するが、教師９１０が生徒９２０の方向を見ている場合は、図１の画面３５３に例示するように、補足情報の透過率を５０％、すなわち半透明にして表示するとしても良い。これによって、補足情報を表示することによって生徒９２０の様子が見えなくなることを回避することができる。
【0037】
次に、本実施例の別の動作として、一次情報を閲覧していない場合でも音声によって二次情報を表示する動作の例を説明する。
【0038】
図１３は、本実施例における、音声により二次情報の表示を行う動作の概要を説明する図である。図１３は、これまでに説明した動作に続いて、教師９１０が生徒９２０の方向を見ており、生徒９２０が「何人くらい住んでいるの」との質問を行い、教師９１０が「人口は…」と発話した様子を示している。この時、ＨＭＤ３００を介して教師９１０が見る光景は、最初は画面３５５に示すように生徒のみが見え、次に「人口は…」と発話すると、画面３５６に示すように補足情報（例では国名、人口、人口密度）を表示する。なお、発話は生徒からの音声に反応して補足情報を表示するようにしても良い。また、その際、発話をとらえて、キーワードを表示し、そのキーワードを注視することで補足情報を表示するようにしても良い。
【0039】
図１４は、本実施例における、ＨＭＤ３００の音声取得部によってこの教師９１０の発話を取得し、その音声データ５６０を表示装置２００の制御部２２０が受信した際に実行される、二次情報を選択する処理のフローチャートである。図１４において、図８と同様に、制御部２２０は、まず、一次情報データベース５１０を参照し、表示中フラグが１にセットされている一次情報があるかを判断する（ステップＳ２３１１）。次に、受信した音声データ５６０に対して音声認識処理を実行する（ステップＳ２３１３）。なお、この音声認識処理は、表示装置２００内部で実行する方式に限るものではなく、インターネット等を介して音声認識を行うサーバーと通信を行い実行するとしても良い。また、音声認識処理のトリガは、所定周期で常に行うようにしても良いし、または所定のボタンが押された場合に行うようにしても良い。次に、音声認識による音声データ５６０からテキストへの変換処理が成功したかを判断する（ステップＳ２３１４）。なお、この判断は単純に音声認識の実行可否によって判断しても良いし、一般的な音声認識技術が出力する変換結果の信頼度をもとに判断しても良い。また、声紋分析等の技術を併用することによって発話者を識別することにより、生徒９２０の発話は無視し、教師９１０の発話のみに限って成功と判断しても良い。次に、音声からテキストへの変換に成功した場合は、二次情報データベース５２０を参照し、現在表示中の一次情報に関係する二次情報のうち、図８のステップＳ２２１５で記憶した一次情報内注視点が、二次情報データベース内の注視点範囲５２２の範囲内に存在し、かつ、変換後のテキストに二次情報データベース５２０のキーワード５２３に示した言葉が含まれる二次情報を表示する（ステップＳ２３１５）。図４に示した二次情報データベースの例では、キーワードに「人口」が設定されている５行目の二次情報が表示されることになる。
【0040】
また、ここでは発話内容に特定のキーワードが含まれる場合はすぐに二次情報を表示する例を示したが、音声を認識後にすぐに表示するのではなく、認識したキーワードを表示したボタンをＨＭＤに表示して、そのボタンを選択することにより二次情報を表示するものとしても良い。また、発話内容がキーワードと完全に一致しなくても、文字列の類似度を判定することにより、発話内容がキーワードに類似する場合には二次情報を表示するとしても良い。
【0041】
以上の処理により、図１３に示した動作が可能となる。すなわち、ＨＭＤ３００を介して教師９１０が生徒９２０の方向を見た際の光景は、最初は図１の画面３５５である。次に教師９１０が「人口は…」と発話すると、図１４のステップＳ２３１５までの処理により、図１の画面３５６になる。
【0042】
以上、本実施例は、ＨＭＤから取得するカメラ画像と、カメラ画像に対するＨＭＤの装着者の注視点とから、一次情報に対する装着者の注視点の位置情報を算出して、この位置情報に関連する二次情報を選択して表示するとともに、ＨＭＤの装着者が一次情報を見ている場合と、一次情報を見ていない場合とで、ＨＭＤに表示する二次情報の表示方法を変更する。これにより、教師は生徒に対して自然な態様で授業を行いつつ、スクリーンに投影した教育用コンテンツの補足情報を得ることが可能となる。
【0043】
言い換えると、本実施例は、表示装置とヘッドマウントディスプレイとを含むシステムであって、表示装置は、画像を表示可能な第１の表示部または画像を投射可能な投射部を備え、ヘッドマウントディスプレイと通信可能な第１の通信部を備え、ヘッドマウントディスプレイは、ヘッドマウントディスプレイの装着者が観賞可能な画像を表示する第２の表示部と、ヘッドマウントディスプレイの装着者の視線方向を検出する視線検出部とを備え、表示装置と通信可能な第２の通信部を備え、第１の通信部および第２の通信部を介して送受信した情報にもとづいて、表示装置の第１の表示部に表示された画像または投射部により投射された画像に対するヘッドマウントディスプレイの装着者の視線の注視点の位置を検出する注視点検出部を、表示装置またはヘッドマウントディスプレイのいずれかに備え、注視点検出部は、注視点が画像上にある場合に注視点の位置に対応する画像内の位置情報を算出し、ヘッドマウントディスプレイは、画像において算出された位置に表示されている対象データに関する関連データを、表示装置との通信またはその他の通信を介して取得し、第２の表示部に表示するように構成する。
【0044】
また、表示装置とヘッドマウントディスプレイとを含むヘッドマウントディスプレイ連携表示システムであって、表示装置は、一次情報を表示する第１の表示部または一次情報を投射する投射部または画像信号を出力する信号出力部と、ヘッドマウントディスプレイと通信可能な第１の通信部と、一次情報に対するヘッドマウントディスプレイの装着者の注視点の位置情報を算出する注視点計算部を備え、ヘッドマウントディスプレイは、装着者が閲覧可能な二次情報を表示する第２の表示部と、表示装置と通信可能な第２の通信部と、装着者が向いている方向のカメラ画像を撮像する撮像部と、カメラ画像に対する装着者の注視点を検出するカメラ画像内注視点検出部を備え、表示装置は、第１の通信部および第２の通信部を介して送受信した検出した注視点にもとづいて注視点計算部により一次情報に対する装着者の注視点の位置情報を算出し、位置情報に関連する二次情報を選択し、位置情報が一次情報にあると判断した場合と、ないと判断した場合とで、第２の表示部における二次情報の表示方法を変更するように構成する。
【0045】
これにより、ＨＭＤの装着者の位置や視線の方向に関わらず適切な二次情報を選択し表示できるため、ＨＭＤの装着者の行動の自由度を高め、より自然な態様で二次情報を閲覧できるという効果がある。
【実施例2】
【0046】
本実施例は、一般の家庭等において、ＴＶに表示された放送内容（一次情報）に関連する補足情報（二次情報）を、ＴＶの視聴者が装着したＨＭＤに表示する例について説明する。本実施例により、ＴＶ視聴時に、放送内容だけでは得られない補足情報を得ることが可能となるとともに、ＴＶから目を離しても二次情報を閲覧することが可能となる。
【0047】
図１５は、本実施例における、ＨＭＤ連携型表示システムの動作の概要を説明する図である。図１５において、表示装置４００は、ＴＶ放送の内容を画面に表示している。なお、図１５で示した画面は、ＴＶ放送の内容として商品Ａ、商品Ｂ、商品Ｃ、商品Ｄの４つの商品の情報を提供する番組を放送している様子を示している。視聴者９１１は、この表示された画面を、ＨＭＤ３００を介して閲覧している。この時にＨＭＤ３００を介して視聴者９１１が見る光景は、最初は画面３５７に示すように、ＴＶ画面と、ＴＶを操作するためのボタン（例としてＴＶの音量を調節するためのボタン「音量＋」「音量―」を示している）のみが見える。次に視聴者９１１がＴＶ画面に表示された商品Ａを注視すると、画面３５８に示すように、補足情報（例では商品Ａを販売している店舗、価格、電話番号）が表示される。次にＴＶ画面から目を離すと、画面３５９に示すように、ＴＶを操作するためのボタンは消去される一方、ＴＶ画面を見ていなくても補足情報は表示され続ける。このように動作することで、例えば補足情報に表示された店舗に電話をかけるためＴＶの近くを離れる場合において、補足情報を確認することができる。
【0048】
図１６は、本実施例における、ＨＭＤ連携型表示システムの全体像を説明する図である。図１６において、本システムは、送信アンテナ９５０を介して放送信号を送信する放送設備９４０と、その放送信号を受信し表示する表示装置４００、およびＨＭＤ３００から構成される。表示装置４００は、通常の放送信号の他、インターネット等の通信網９６０経由で通信データを受信することも可能である。なお、このような、放送信号と通信データの双方を受信して表示する装置としては、例えばハイブリッドキャスト（Ｈｙｂｒｉｄｃａｓｔ：登録商標）に対応したＴＶ等が存在する。本実施例では、このような装置を用いることにより、放送信号により受信するＴＶ放送（一次情報）に関連する二次情報データベースを、インターネット経由で通信により取得する。
【0049】
図１７は、本実施例における、ＨＭＤ連携型表示システムの全体構成図である。図１７において、本実施例の表示装置４００は、実施例１で記載した表示装置２００に対して、放送信号と通信データの双方を視聴可能なＴＶ等の装置が含むいくつかのモジュールを加えたものである。表示装置４００は、放送信号を受信するチューナ部４２０、受信した放送信号を映像、音声、データといった各種の信号に分離して出力する分離部４３０、受信した映像信号の復調等の処理を行う表示制御部４４０、映像を表示する表示部４５０、受信した音声信号の復調等の処理を行う音声制御部４６０、音声を出力するスピーカ４７０を含む。これらのモジュールは、放送信号を視聴するために一般的なＴＶで必要とされるモジュールである。これらのモジュールに加え、表示装置４００は、インターネット等の通信網を介して通信データを受信するＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）通信部４１０、現在視聴中のチャンネル番号等を格納する番組識別情報５８０および二次情報データベース５９０を格納する記録部２１０、一次情報や二次情報の出力等の各種処理を行う制御部２２０、ＨＭＤ３００と通信を行う通信部２４０、ＨＭＤ３００から取得した情報をもとに一次情報内における注視点の座標を計算する注視点計算部２５０、ＨＭＤ装着者等の音声を認識する音声認識部２６０を含む。なお、注視点計算部２５０、および音声認識部２６０は、専用のハードウェアとして実現する構成としても良いし、制御部２２０が実行するソフトウェアモジュールとして実現する構成としても良い。ＨＭＤ３００の構成は、実施例１と同様である。
【0050】
図１８は、本実施例における、二次情報データベース５９０の構成を説明する図である。図１８において、二次情報データベース５９０は、番組識別情報５９１、二次情報が有効な期間を示す時間帯５９２、ＨＭＤ装着者の注視点に基づき二次情報を選択するための注視点範囲５９３、二次情報５９４、および二次情報の属性５９５から構成される。なお、図１８下の画面が示すとおり、本実施例において一次情報の座標系は左上が（０、０）、右下が（１９２０、１０８０）で定義され、二次情報データベースの１行目の注視点範囲（３００、５０）～（９００、４５０）は商品Ａの画像を含む矩形の範囲、２行目の注視点範囲（１０００、５０）～（１６００、４５０）は商品Ｂの画像を含む矩形の範囲を示す座標である。
【0051】
以上が、本実施例のＨＭＤ連携型表示システムの構成である。以下、本システムの動作の流れに沿って本実施例を説明する。なお、表示装置４００を操作してＴＶ放送を視聴する操作は、一般的に用いられるＴＶの操作方法と同様であるので割愛する。また、以降、チャンネル１を視聴している想定で説明する。
【0052】
図１９は、視聴者９１１がＨＭＤ３００を介して表示装置４００の方向を見た際に、ＨＭＤ３００の撮像部３１０およびカメラ画像内注視点検出部３２０が取得するカメラ画像５４０およびカメラ画像内注視点５５０を示したものである。図１９においては、視聴者９１１が表示装置４００に向かって少し右側の位置から一次情報を閲覧しており、商品Ａを注視している様子を示している。
【0053】
図２０は、本実施例における、カメラ画像５４０およびカメラ画像内注視点５５０をＨＭＤ３００から受信した際に表示装置４００の制御部２２０において実行される、二次情報を選択する処理のフローチャートである。図２０において、制御部２２０は、まず、記録部２１０に番組識別情報５８０が記録されているかを判断する（ステップＳ２４１１）。現在チャンネル１を視聴中のため、番組識別情報５８０は存在し、視聴中の番組としてチャンネル１が記載されている。次に、カメラ画像内注視点５５０が一定時間同一であったか否か、すなわち、視聴者９１１の注視点がある特定の場所に滞留しているか否かを判断する（ステップＳ２４１２）。次に、注視点計算部２５０を用いて一次情報内注視点を計算する（ステップＳ２４１３）。この処理の詳細は、実施例１の図９から図１１を用いて説明した内容と同様である。
【0054】
次に、一次情報内注視点の計算に成功したか否かを判定する（ステップＳ２４１４）。一次情報内注視点の計算に成功した場合、すなわち、視聴者９１１の注視点が一次情報の方向（すなわち、表示装置４００の方向）にある場合、ステップＳ２４１３で計算した一次情報内注視点を記憶する（ステップＳ２４１５）。次に、二次情報データベース５９０を参照し、現在視聴中の番組に関係する二次情報のうち、記憶した一次情報内注視点が二次情報データベース内の注視点範囲５９３の範囲内に存在し、かつ現在時刻が二次情報データベースの時間帯５９２の範囲内である二次情報を表示する（ステップＳ２４１６）。
【0055】
一方、ステップＳ２４１４において一次情報内注視点の計算に失敗した場合は、ステップＳ２４１５において記憶された一次情報内注視点に対応する二次情報（すなわち、現在表示している二次情報）に対して、二次情報の属性５９５に応じて消去タイマーをセットする（ステップＳ２４１７）。例えば、二次情報の属性５９５がテキストの場合は６０秒後に消去し、二次情報の属性５９５がボタンの場合は０秒後（すなわちすぐに）消去するようにセットする。これによって、視聴者９１１が表示装置４００から目を離した場合、ボタンは即座に消去されるが、テキストは一定時間表示され続ける、といった動作になる。 以降の処理は、実施例１と同様である。
【0056】
以上の処理により、図１５に示した動作が可能となる。すなわち、ＨＭＤ３００を介して視聴者９１１が見る光景は、最初は図１５の画面３５７である。次に商品Ａを注視すると、図２０のステップＳ２４１６までの処理により、図１５の画面３５８になる。次に表示装置４００から目を離して別の場所へ移動した場合は、図１５の画面３５９になる。
【0057】
以上、本実施例は、ヘッドマウントディスプレイと接続された表示装置であって、一次情報を表示する表示部または一次情報を投射する投射部または一次情報を出力する信号出力部と、ヘッドマウントディスプレイと通信可能な通信部と、一次情報に対するヘッドマウントディスプレイの装着者の注視点の位置情報を算出する注視点計算部を備え、通信部を介して受信した情報にもとづいて所定の手順により一次情報に対する装着者の注視点の位置情報を算出し、位置情報に関連する二次情報を選択し、位置情報が一次情報の方向にあると判断した場合と、位置情報が一次情報の方向にないと判断した場合とで、ヘッドマウントディスプレイに表示する二次情報を変更するように構成する。
【0058】
これにより、ＴＶ視聴時に放送内容だけでは得られない補足情報を得ることが可能となるとともに、ＴＶから目を離しても二次情報を閲覧することが可能となり、視聴者の行動の自由度を高めることができる。
【0059】
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであって、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0060】
１００：投射装置、１１０：信号入力部、１２０：制御部（投射装置）、１３０：表示部（投射装置）、２００：表示装置、２１０：記録部、２２０：制御部（表示装置）、２３０：信号出力部、２４０：通信部（表示装置）、２５０：注視点計算部、２６０：音声認識部、２７０：操作部、２８０：表示部（表示装置）、３００：ヘッドマウントディスプレイ、３１０：撮像部、３２０：カメラ画像内注視点検出部、３３０：音声取得部、３４０：制御部（ヘッドマウントディスプレイ）、３５０：通信部（ヘッドマウントディスプレイ）、 ３６０：表示部（ヘッドマウントディスプレイ）、４００：表示装置、４１０：ＩＰ通信部、４２０：チューナ部、４３０：分離部、４４０：表示制御部、４５０：表示部（表示装置）、４６０：音声制御部、４７０：スピーカ、５１０：一次情報データベース、５２０：二次情報データベース、５３０：一次情報、５４０：カメラ画像、５５０：カメラ画像内注視点、５６０：音声データ、 ５７０：二次情報、５８０：番組識別情報、５９０：二次情報データベース、９１０：教師、９１１：視聴者、９２０：生徒、９３０：スクリーン、９４０：放送設備、９５０：送信アンテナ、９６０：インターネット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】