特許 7505088 連携表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-14

(45)【発行日】2024-06-24

(54)【発明の名称】連携表示システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240617BHJP

   G06F 3/14 20060101ALI20240617BHJP

   G09F 9/00 20060101ALI20240617BHJP

   G09G 5/00 20060101ALI20240617BHJP

   G09G 5/14 20060101ALI20240617BHJP

   G09G 5/22 20060101ALI20240617BHJP

   G09G 5/32 20060101ALI20240617BHJP

   G09G 5/37 20060101ALI20240617BHJP

   G09G 5/373 20060101ALI20240617BHJP

   G09G 5/377 20060101ALI20240617BHJP

   G09G 5/38 20060101ALI20240617BHJP

   G02B 27/02 20060101ALI20240617BHJP

【ＦＩ】

G06F3/01 510

G06F3/14 350A

G06F3/14 400

G09F9/00 366Z

G09G5/00 510A

G09G5/00 510V

G09G5/00 530D

G09G5/00 530M

G09G5/00 530T

G09G5/00 550B

G09G5/00 550C

G09G5/00 550H

G09G5/00 555D

G09G5/14 A

G09G5/22 630D

G09G5/22 630G

G09G5/32 610Z

G09G5/37 320

G09G5/373 100

G09G5/377

G09G5/38

G02B27/02 Z

【請求項の数】 6

(21)【出願番号】P 2023096977

(22)【出願日】2023-06-13

(62)【分割の表示】P 2021550776の分割

【原出願日】2019-09-30

(65)【公開番号】P2023147291

(43)【公開日】2023-10-12

【審査請求日】2023-06-13

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】藏知 恵

(72)【発明者】

【氏名】奥 万寿男

(72)【発明者】

【氏名】石井 宏和

(72)【発明者】

【氏名】川前 治

(72)【発明者】

【氏名】橋本 康宣

(72)【発明者】

【氏名】吉澤 和彦

【審査官】岩橋 龍太郎

(56)【参考文献】

【文献】特開平１１－２４３５１２（ＪＰ，Ａ）

【文献】特開２００６－２６２０３４（ＪＰ，Ａ）

【文献】特開２０１４－１８６０８９（ＪＰ，Ａ）

【文献】特開２０１３－２５０８４９（ＪＰ，Ａ）

【文献】特開２０１９－０８２９８２（ＪＰ，Ａ）

【文献】特開２００２－０７９７１１（ＪＰ，Ａ）

【文献】特開２０１８－１６６００５（ＪＰ，Ａ）

【文献】特開２０１１－１１８６８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０６Ｆ ３／１４－３／１５３

Ｇ０９Ｆ ９／００

Ｇ０９Ｇ ５／００－５／４２

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０－１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００－１９／２０

Ｇ０２Ｂ ２７／００－３０／６０

(57)【特許請求の範囲】

【請求項1】

第１情報機器と第２情報機器とを無線通信接続した連携表示システムであって、
前記第１情報機器は、
テキストデータ及び画像データを含むコンテンツを表示する第１ディスプレイと、
前記第２情報機器に対して前記テキストデータを送信する第１通信器と、
前記第１ディスプレイ及び前記第１通信器のそれぞれに接続され、表示制御及び通信制御を行う第１プロセッサと、
コンテンツ解析部と、を備え、
前記第２情報機器は、
前記第１情報機器から前記テキストデータを受信する第２通信器と、
受信した前記テキストデータを表示する第２ディスプレイと、
前記第２ディスプレイ及び前記第２通信器のそれぞれに接続され、表示制御及び通信制御を行う第２プロセッサと、を備えたヘッドマウントディスプレイであって、
前記第１プロセッサは、前記第１ディスプレイに前記テキストデータ及び前記画像データの双方を表示している全コンテンツ表示状態において前記第２情報機器に前記テキストデータを送信すると、前記第１ディスプレイにおける前記テキストデータの表示を停止すると共に前記全コンテンツ表示状態における前記画像データの表示サイズよりも大きなサイズで前記画像データを表示し、
前記ヘッドマウントディスプレイの装着者が下向きに手元又は現実物体を見ながら作業する場合、前記第２プロセッサは、前記第２ディスプレイにおける表示領域のうち、前記装着者の視野中央の視認性が確保できる上部領域に受信した前記テキストデータを表示するモードを持ち、
前記第２プロセッサは、前記第２ディスプレイに表示されているテキストデータが更新表示されると、その更新表示された新たなテキストデータに相当する画像データを前記第１ディスプレイに更新表示させるための信号を前記第１情報機器に送信制御し、
前記第１プロセッサは、前記信号に基づいて前記新たなテキストデータに関連付けられた画像データを前記第１ディスプレイに表示し、
前記コンテンツ解析部が、前記コンテンツに画像データを含まない場合は第１ディスプレイにもテキスト表示を継続する、
ことを特徴とする連携表示システム。

【請求項2】

第１情報機器と第２情報機器とを無線通信接続した連携表示システムであって、
前記第１情報機器は、
テキストデータ及び画像データを含むコンテンツを表示する第１ディスプレイと、
前記第２情報機器に対して前記テキストデータを送信する第１通信器と、
前記第１ディスプレイ及び前記第１通信器のそれぞれに接続され、表示制御及び通信制御を行う第１プロセッサと、
コンテンツ解析部と、を備え、
前記第２情報機器は、
前記第１情報機器から前記テキストデータを受信する第２通信器と、
受信した前記テキストデータを表示する第２ディスプレイと、
前記第２ディスプレイ及び前記第２通信器のそれぞれに接続され、表示制御及び通信制御を行う第２プロセッサと、を備えたヘッドマウントディスプレイであって、
前記第１プロセッサは、前記第１ディスプレイに前記テキストデータ及び前記画像データの双方を表示している全コンテンツ表示状態において前記第２情報機器に前記テキストデータを送信すると、前記第１ディスプレイにおける前記テキストデータの表示を停止すると共に前記全コンテンツ表示状態における前記画像データの表示サイズよりも大きなサイズで前記画像データを表示し、
前記ヘッドマウントディスプレイの装着者が下向きに手元又は現実物体を見ながら作業する場合、前記第２プロセッサは、前記第２ディスプレイにおける表示領域のうち、前記装着者の視野中央の視認性が確保できる上部領域に受信した前記テキストデータを表示するモードを持ち、
前記コンテンツ解析部が、前記コンテンツは、一連の作業における工程に関連付けられた前記テキストデータ及び前記画像データを含むと判断した場合は、
前記第１プロセッサは、前記第１ディスプレイに、工程に基づいた前記画像データを表示し、
前記第２プロセッサは、前記第２ディスプレイに、前記工程に基づいた前記画像データに対応した前記テキストデータを表示し、
前記コンテンツ解析部が、前記コンテンツは、一連の作業における工程に関連付けられた前記テキストデータ又は前記画像データを含まないと判断した場合は、前記画像データを工程に代わる切れ目として、
前記第１プロセッサは、前記第１ディスプレイに、前記画像データを表示し、
前記第２プロセッサは、前記第２ディスプレイに、第１ディスプレイ上に表示された前記画像データの示す切れ目までの前記テキストデータを表示する、
ことを特徴とする連携表示システム。

【請求項3】

請求項２に記載の連携表示システムであって、
前記コンテンツ解析部が、前記コンテンツは、一連の作業における工程に関連付けられた前記テキストデータ及び画像データを含むと判断した場合に、
前記第２プロセッサは、前記第２ディスプレイに、工程ごとに前記テキストデータを表示する、
ことを特徴とする連携表示システム。

【請求項4】

請求項３に記載の連携表示システムであって、
前記ヘッドマウントディスプレイは、前方風景を撮像して前方画像を生成するカメラを備え、
前記第２プロセッサは、前記カメラに接続され、
前記第２プロセッサは、前記前方画像の被写体の状態が、前記コンテンツに含まれるいずれの工程に含まれるかを判定し、当該判定した工程に関連付けられたテキストデータのみを前記第２ディスプレイに表示する、
ことを特徴とする連携表示システム。

【請求項5】

請求項１又は２に記載の連携表示システムであって、
前記ヘッドマウントディスプレイは、前方風景を撮像して前方画像を生成するカメラを更に備え、
前記カメラで前記装着者の手が動く範囲を検出し、
前記第２プロセッサは、前記第２ディスプレイにおける表示領域のうち、前記装着者の手が動く範囲と重複しない領域に前記テキストデータを表示するモードをさらに持つ、
ことを特徴とする連携表示システム。

【請求項6】

請求項２に記載の連携表示システムであって、
前記装着者の視線を検出する視線検出器を更に備え、
前記コンテンツ解析部が、前記コンテンツは、一連の作業における工程に関連付けられた前記テキストデータ及び画像データを含むと判断した場合に、
前記第２プロセッサは、前記第２ディスプレイの表示領域に次の工程のコンテンツを表示させるための仮想現実オブジェクトを表示し、
前記視線検出器が検出した前記装着者の視線が前記次の工程のコンテンツを表示させるための仮想現実オブジェクトを含む予め定められた閉領域に所定の時間滞留したことを検出すると、表示中の工程を基準としてその次の工程のコンテンツに表示を更新する、
ことを特徴とする連携表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、連携表示システムに関する。

【背景技術】

【0002】

インターネットには、多彩な情報のコンテンツを提供するＷＥＢサーバが繋がれ、パソコン、スマートフォン等の情報機器から閲覧や観覧が可能である。閲覧や観覧にはＷＥＢブラウザが用いられ、情報機器の基本動作プログラムの一部として搭載されている。情報機器は手入力によるユーザインターフェースが一般的で、このため情報機器を用いてＷＥＢコンテンツの閲覧を行なっているときに、ユーザが別の作業を行なうことは難しい。

【0003】

一方、グラフィックスや文字などの仮想物体（Ａｒｇｕｍｅｎｔ Ｒｅａｌｉｔｙ Ｏｂｊｅｃｔ）の映像を現実空間に重ね合わせて表示させ、ユーザに視聴させるＨＭＤ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）がある。ユーザはＨＭＤを装着し、ゲームや設備機器の操作支援等のコンテンツを観覧しているときでも、自由に動かすことのできる手を用いて、ゲーム機器や設備機器を操作することができる。

【0004】

ＨＭＤの表示技術の一例として、特許文献１には、情報機器である携帯端末とＨＭＤを連携させ、携帯端末の画面をＨＭＤの画面に表示する方法を開示している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１１－１８６８５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ＨＭＤの画面は一般に携帯端末よりも表示領域が小さいので、単に携帯端末の画面をＨＭＤの画面に表示しただけでは、ＨＭＤを装着した装着者の視認性が十分に確保できない。一方、同一のコンテンツが携帯端末とＨＭＤとのそれぞれに表示されていても、ＨＭＤの装着者は主にＨＭＤの画面を見ているので、両方に同じコンテンツを表示させる必要はない。従って、表示領域が小さいＨＭＤの画面にどのコンテンツを表示させるか、又、視認性をどのように確保するかについては更なる工夫の余地がある。

【0007】

本発明は上記の点を鑑みてなされたものであり、ＨＭＤにコンテンツを効率よく、視認性をより確保して表示する技術に関する。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明は特許請求の範囲に記載の構成を備える。その一例をあげるならば、第１情報機器と第２情報機器とを無線通信接続した連携表示システムであって、前記第１情報機器は、テキストデータ及び画像データを含むコンテンツを表示する第１ディスプレイと、前記第２情報機器に対して前記テキストデータを送信する第１通信器と、前記第１ディスプレイ及び前記第１通信器のそれぞれに接続され、表示制御及び通信制御を行う第１プロセッサと、コンテンツ解析部と、を備え、前記第２情報機器は、前記第１情報機器から前記テキストデータを受信する第２通信器と、受信した前記テキストデータを表示する第２ディスプレイと、前記第２ディスプレイ及び前記第２通信器のそれぞれに接続され、表示制御及び通信制御を行う第２プロセッサと、を備えたヘッドマウントディスプレイであって、前記第１プロセッサは、前記第１ディスプレイに前記テキストデータ及び前記画像データの双方を表示している全コンテンツ表示状態において前記第２情報機器に前記テキストデータを送信すると、前記第１ディスプレイにおける前記テキストデータの表示を停止すると共に前記全コンテンツ表示状態における前記画像データの表示サイズよりも大きなサイズで前記画像データを表示し、前記ヘッドマウントディスプレイの装着者が下向きに手元又は現実物体を見ながら作業する場合、前記第２プロセッサは、前記第２ディスプレイにおける表示領域のうち、前記装着者の視野中央の視認性が確保できる上部領域に受信した前記テキストデータを表示するモードを持ち、前記第２プロセッサは、前記第２ディスプレイに表示されているテキストデータが更新表示されると、その更新表示された新たなテキストデータに相当する画像データを前記第１ディスプレイに更新表示させるための信号を前記第１情報機器に送信制御し、前記第１プロセッサは、前記信号に基づいて前記新たなテキストデータに関連付けられた画像データを前記第１ディスプレイに表示し、前記コンテンツ解析部が、前記コンテンツに画像データを含まない場合は第１ディスプレイにもテキスト表示を継続する、ことを特徴とする。

【発明の効果】

【0009】

本発明によれば、ＨＭＤにコンテンツを効率よく、視認性をより確保して表示することができる。上述した以外の目的、構成、効果については、以下の実施形態において明らかにされる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る情報機器及びＨＭＤの連携表示システムの構成を示す図

【図2】情報機器の外観の正面図

【図3】情報機器のハードウェア構成図

【図4】ＨＭＤの外観図

【図5】ＨＭＤのハードウェア構成図

【図6】連携表示システムの機能構成図

【図7】連携表示システムによる表示切替例を示す図

【図8】連携表示システムによる表示切替例を示す図

【図9】情報機器側でコンテンツを解析する処理を示すフローチャート

【図10】ＨＭＤ側でコンテンツを解析する処理を示すフローチャート

【図11】第２実施形態で用いるコンテンツ例を示す図

【図12】第２実施形態におけるＨＭＤの表示例を示す図

【図13】第１実施形態で用いるコンテンツ例を示す図

【図14】第２実施形態におけるＨＭＤの表示例を示す図

【発明を実施するための形態】

【0011】

以下、図面を参照しながら、本発明の実施形態について説明する。全図を通じて同一の構成には同一の符号を付し、重複説明を省略する。

【0012】

［第１実施形態］
図１は、本実施形態に係る情報機器及びＨＭＤ（ヘッドマウントディスプレイ）の連携表示システムの構成を示す。

【0013】

図１にて、１はユーザ、２は情報機器、３はＨＭＤ、４はアクセスポイント、２ａ、３ａ、４ａは通信信号、５はネットワーク、６はＷＥＢサーバである。

【0014】

ユーザ１は、ＳＣＥＮＥ１とＳＣＥＮＥ２の２つのシーンのいずれかでＷＥＢコンテンツを閲覧（ｂｒｏｗｓｉｎｇ）、観覧（ｖｉｅｗｉｎｇ）する。２つのシーンは任意のタイミングで移行可能である。以下の説明では、情報機器２でＷＥＢコンテンツを検索・受信して表示画面を見ることを閲覧すると記し、ＨＭＤでＷＥＢコンテンツの仮想画面を見ることを観覧すると記す。

【0015】

ＳＣＥＮＥ１では、ユーザ１は情報機器２を用いてＷＥＢコンテンツの閲覧を行なう。情報機器２は、通信信号２ａ、４ａ、アクセスポイント４を介してネットワーク５に接続され、ネットワーク５に繋がるＷＥＢサーバ６のＷＥＢコンテンツを検索し、所望のＷＥＢコンテンツを受信して、情報機器２に表示して、ＷＥＢコンテンツをユーザ１が視聴する。

【0016】

通信信号２ａ、４ａは、無線ＬＡＮであることが望ましく、これによりインターネットで広く用いられるＴＣＰ／ＩＰやＨＴＴＰのプロトコルを活用して、ＷＥＢコンテンツの閲覧が行なえる。

【0017】

またネットワーク５は、インターネットとイントラネットを統合して表したものであり、インターネットとイントラネットの間に設けられるプロキシーサーバ等は、図示を省略している。

【0018】

ユーザ１は、情報機器２にキーワードやＵＲＬを入力する等によりＷＥＢコンテンツの検索や呼び出しを行なうが、これによりユーザの手は行動を制限される。そこで、ユーザ１が、ＷＥＢコンテンツの閲覧中に手の動きを必要とする作業を行なおうとしたとき、ＳＣＥＮＥ１からＳＣＥＮＥ２に移行する。例えば、レシピなど料理の作り方を説明しているＷＥＢコンテンツを検索し、該ＷＥＢコンテンツを見ながら実際に料理を行う場合や、家電製品の取り扱い説明書をインターネット上で検索し、該取り扱い説明書を見ながら家電製品を取り扱う場合等がある。

【0019】

ユーザ１は、情報機器２（「第１情報機器」に相当する）とＨＭＤ３（「第２情報機器」に相当する）を無線通信接続し、ＷＥＢコンテンツを一時停止して、ＨＭＤ３を自身に装着する。ＨＭＤ３を装着したシーンがＳＣＥＮＥ２である。

【0020】

ＨＭＤ３は、例えば光学シースルー方式のＨＭＤ、あるいはビデオシースルー方式のＨＭＤ３であって、以下の説明では、光学シースルー方式のＨＭＤ３の場合を説明する。

【0021】

ＨＭＤ３は、光学スクリーン越しに実景を見ながら、表示光学系で映し出す仮想画面を同時に視認できる。仮想画面は、直前まで情報機器２で見ていたＷＥＢコンテンツの一部、本実施形態ではテキストデータのみの映像である。

【0022】

ＨＭＤ３は、通信信号３ａ、４ａ、アクセスポイント４を介してネットワーク５に接続され、ＷＥＢサーバ６からＷＥＢコンテンツを受信することができる。情報機器２経由でＷＥＢコンテンツを受信してもよい。

【0023】

また、通信信号２ａ、３ａは、情報機器２とＨＭＤ３とを無線通信接続して送受信させる信号である。このときの通信信号２ａ、３ａは、無線ＬＡＮ信号であっても良く、もしくはＢｌｕｅｔｏｏｔｈ（登録商標）信号であっても良い。Ｂｌｕｅｔｏｏｔｈ（登録商標）信号は、情報機器２とＨＭＤ３を１対１で通信し、情報機器２とＨＭＤ３とのペアリングを一連のプロトコルで実施できる。連携表示システム１０は、情報機器２とＨＭＤ３を通信接続して表示制御するシステムである。

【0024】

情報機器２はＨＭＤ３に、直前まで見ていたＷＥＢコンテンツのＵＲＬや視聴の経過時間などのデータを送信し、ＨＭＤ３は受信したこれらのデータに対応するＷＥＢコンテンツをネットワーク５から受信して、表示光学系に映し出し、継続したＷＥＢコンテンツの観覧を可能とさせる。

【0025】

（情報機器）
図２及び図３を参照して、情報機器２の例を説明する。図２は情報機器２の外観の正面図であり、図３は情報機器のハードウェア構成図である。

【0026】

図２にて、２ｂはホームボタン、２ｃは環境光及び近接センサ、２ｄは受話口、２ｅはインカメラ、２ｆは通知ランプ、２ｇはタッチパネル付ディスプレイ（「第１ディスプレイ」に相当する）の表示領域（仮想画面ともいう）である。この他、図示はされていないが、情報機器２の側面には音量ボタンや電源ボタン、底面にはスピーカ、マイク、電源及び／又は通信コネクタ、イヤホンジャック、裏面にはアウトカメラ、指紋センサ等がある。なお、配置場所は図２の通りでなくてもよい。

【0027】

図３にて、２０１はカメラ（インとアウトの少なくとも２つのカメラがある）、２０２は環境光センサ、近接センサ、ＧＰＳセンサ、ジャイロセンサ、地磁気センサ、加速度センサ等のセンサ群、２０３はグラフィックス処理器、２０４（図２の２ｇ）はタッチパネル付ディスプレイ、２０５はマイクとスピーカ、２０６は無線通信器（「第１通信器」に相当する）、２０７はＣＰＵ（「第１プロセッサ」に相当する）、２０８はＲＡＭ、２０９はＦｌａｓｈ ＲＯＭ（ＦＲＯＭ）、２１２は外部インタフェース（Ｉ／Ｆ）、２１３は内部バスである。

【0028】

ＦＲＯＭ２０９は、情報機器２の基本動作プログラム２１０とＨＭＤ連携アプリ２１１（情報機器にインストールされている）のプログラムを含み、これらのプログラムはＣＰＵ２０７がＲＡＭ２０８に展開して実行する。更にＦＲＯＭ２０９は、処理プログラムを実行する過程及び結果で発生するデータを格納することができる。

【0029】

無線通信器２０６は、４Ｇなどのモバイル通信、無線ＬＡＮ通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などの複数の通信機能を含む。

【0030】

タッチパネル付ディスプレイ２０４は、グラフィックス処理器２０３で描画する画像をディスプレイ部へ映し出すと共に、タッチパネルではユーザの入力操作を受け付ける。ディスプレイに表示したキーボードの画面を使ってユーザはＵＲＬ等を入力し、ＷＥＢコンテンツを閲覧する。

【0031】

（ＨＭＤ）
図４及び図５を参照して、ＨＭＤ３の例について説明する。図４はＨＭＤ３の外観図であり、図５はＨＭＤのハードウェア構成図である。

【0032】

図４にて、３０はカメラ、３１は測距デバイス、３２ａ、３２ｂは投影光学系、３３はレンズやスクリーン等の表示光学系、３４はノーズパッド、３５はプロセッサ、３６はスピーカ、３７はマイク、３８ａ、３８ｂ、３８ｃはフレーム筐体である。

【0033】

ユーザ１は、フレーム筐体３８ａ、３８ｂとノーズパッド３４で、ＨＭＤ３を自身の顔部に装着する。

【0034】

カメラ３０は、ユーザの視線前方を撮影するように取り付けられており、測距デバイス３１は、カメラ３０の撮影画像（「前方画像」に相当する）が捉える現実空間の現実物体との距離を測定する。

【0035】

測距デバイス３１は、現実物体の輪郭等の特徴点に対してステレオカメラのような方式で距離を算出するものでもよいし、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式のように２次元的に光線を照射して距離を計測するものでもよく、撮影画像に対応して、現実物体との距離を測定できるものであれば良い。測距デバイス３１は、測距デバイス３１及び距離算出器３５１（図５参照）を含んで構成される。

【0036】

投影光学系３２ａ、３２ｂと表示光学系３３で、ＨＭＤ３の表示部（「第２ディスプレイ」に相当する）を構成する。投影光学系３２ａ、３２ｂは、仮想物体の映像を、左目で確認する画像と右目で確認する画像として、表示光学系３３に投影して表示する。ユーザ１は、前方の風景や現実物体を、表示光学系３３を透過して見ることができ、投影光学系３２ａ、３２ｂから投影する仮想物体の映像は、表示光学系３３を介して、現実空間の現実物体と区別しやすい任意の位置に表示させることができる。なお、測距デバイス３１はなくてもよい。この場合、仮想画面は、現実空間のプリセットした位置に表示する。

【0037】

プロセッサ３５（「第２プロセッサ」に相当する）は、カメラ３０で撮影した現実空間の画像、測距デバイス３１で取得した現実物体などの現実空間の位置データを取り込み、内部のメモリやＣＰＵに供給する。また、ジャイロ、方位、位置、接触センサ等、更には視線検出センサのセンサ群を内蔵する。

【0038】

更にプロセッサ３５は、投影光学系３２ａ、３２ｂで投影する画像やスピーカ３６に出力する音を作成する。プロセッサ３５、カメラ３０、測距デバイス３１、スピーカ３６、マイク３７は、フレーム筐体３８ａ、３８ｂ、３８ｃに配置される。なお、配置場所は図４の通りでなくてもよい。

【0039】

図５にて、図４と同一のものには同一の番号を付している。３５０は内部バス、３５１は距離算出器、３５２はセンサ群、３５４は無線通信器、３５５はＣＰＵ、３５６はＲＡＭ、３５７は画像ＲＡＭ、３５８はＦＲＯＭである。

【0040】

投影光学系３２は、図４の投影光学系３２ａ、３２ｂに対応する。投影光学系３２は、３２ａ、３２ｂのように左目の画像と右目の画像を独立に表示光学系３３に投影させる。他に、ひとつのプロジェクタでインタリーブした左目の画像と右目の画像を投影し、シャッタ光学系で、左目の画像と右目の画像をそれぞれの目に透過させるものであっても良い。更には、ホログラフィックレンズを用いた光学系でも良い。

【0041】

無線通信器３５４（「第２通信器」に相当する）は、ＨＭＤ３を無線ＬＡＮ上のアクセスポイント４を介してネットワーク５に接続する。またＢｌｕｅｔｏｏｔｈ（登録商標）通信などで、情報機器２と１対１通信を行う。

【0042】

ＦＲＯＭ３５８には、処理プログラムとして、基本動作プログラム５８０、ＨＭＤ連携アプリのプログラム５８１が含まれる。これらの処理プログラムは、ＣＰＵ３５５がＲＡＭ３５６に展開して実行する。更にＦＲＯＭ３５８は、処理プログラムを実行する過程及び結果で発生するデータを格納することができる。

【0043】

また投影光学系３２に送出する画像データは、画像ＲＡＭ３５７に格納し、画像ＲＡＭ３５７から読み出す。

【0044】

図６は、連携表示システム１０のプログラム機能ブロック図である。情報機器２のＣＰＵ２０７は、ＨＭＤ連携アプリ２１１をＲＡＭ２０８にロードして実行することにより、表示制御部４０１、コンテンツ解析部４０２、及び通信制御部４０３を構成する。ＨＭＤ３のＣＰＵ３５５は、ＨＭＤ連携アプリ３５８をＲＡＭ３５６にロードして実行することにより、表示制御部５０１、コンテンツ解析部５０２、通信制御部５０３及び視線検出部５０４を構成する。各部の機能は、図９、図１０のフローチャートを参照して後述する。

【0045】

図７、図８は、連携表示システム１０による表示切替例を示す図である。

【0046】

図７、図８の表示状態Ａ（全コンテンツ表示状態）において、情報機器２とＨＭＤ３とを通信接続してテキストデータを情報機器２からＨＭＤ３へ転送すると表示状態Ｂ１（図７参照）又は表示状態Ｂ２（図８参照）に遷移する。また連携終了の指示を情報機器２又はＨＭＤ３から入力すると、表示状態Ｂ１又は表示状態Ｂ２から表示状態Ａへと遷移する。

【0047】

表示状態Ａ、即ち情報機器のみでコンテンツを表示している場合の表示状態では、テキストデータ及び画像Ａを含むコンテンツを表示している。タッチパネル付ディスプレイ２０４の画面２ｇの右端には、表示画面を前後方向に移動させるためのスクロールバー２ｇ１が配置されている。

【0048】

表示状態Ｂ１では、情報機器２で画像Ａのみが表示され、ＨＭＤ３でテキストデータのみが表示される。表示状態Ｂ１における画像Ａの表示サイズは、表示状態Ａにおける画像Ａの表示サイズよりも拡大されている。ＨＭＤ３で表示するものは“ＡＲ”として称することがあるが、現実の物体や位置にＨＭＤ３で表示する仮想オブジェクト（図７の例ではテキストデータに相当する）が紐付けされていなくてもよい。

【0049】

表示状態Ｂ１では、テキストデータがＨＭＤ３の表示領域（仮想画面）において左に寄せて表示される。これにより、ＨＭＤ３の装着者（ユーザ１）の視野中央の視認性を確保する。

【0050】

また表示状態Ｂ２に示すように、テキストデータがＨＭＤ３の仮想画面の上部に寄せて表示されてもよい。これにより、ＨＭＤ３の装着者の視野中央の視認性を確保する。特に、ＨＭＤ３の装着者が下向きに手元又は現実物体を見ながら作業をする場合、例えば料理をする際には、ＨＭＤ３の仮想画面上部にのみ仮想オブジェクトを表示することで、作業中の視認性が確保される。なお、作業状態によって、仮想オブジェクトを表示する位置を下部や左右いずれかに設定してもよい。表示位置は装着者が任意で決めてもよいし、ＨＭＤ３が自動で設定してもよい。ＨＭＤ３が自動で設定する場合、アウトカメラで装着者の手が動く範囲を検出し、ＨＭＤ３の表示領域内で装着者の手が動く範囲と重複しない箇所へ表示させる。

【0051】

ＨＭＤ３の表示制御部５０１は、表示状態Ｂ１、Ｂ２のそれぞれにおいて、テキストデータの文字数が多く、仮想画面に収まりきらない場合に、仮想画面をスクロールさせる矢印形状の仮想オブジェクトＭをＨＭＤ３の仮想画面にテキストデータと共に表示する。矢印選択領域Ｍ１は、仮想オブジェクトＭを内包する閉領域により構成される。矢印選択領域Ｍ１は、視線が矢印を選択したと判断する領域である。

【0052】

視線検出部５０４は、インカメラでＨＭＤ３の装着者の顔を撮像し、その顔画像から視線方向を検出する。そして、装着者の視線が矢印選択領域Ｍ１に来たことを検出すると、表示制御部５０１は、矢印の方向にＨＭＤ３の表示可能な領域を遷移させる。ＨＭＤ３は、画面をスクロールさせたことを情報機器２に通知する。情報機器２は、スクロールされた新たに表示されたテキストデータに関連づいた画像が、画像Ａとは異なる画像Ｂである場合は、画像Ａから画像Ｂへと表示を切り替える。

【0053】

図９、図１０は、連携表示システムの処理の流れを説明する。Ｓ１００でアプリを起動する。以下の処理は、情報機器２及びＨＭＤ３の主電源が投入され、情報機器２及びＨＭＤ３の各々の機器においてＨＭＤ連携アプリが起動し、ペアリングが完了している状態から開始する。

【0054】

図９は、情報機器２側でコンテンツを解析する処理を示すフローチャートである。

【0055】

情報機器２において、テキストデータ及び画像Ａが表示されている状態（表示状態Ａ）において、ユーザが、情報機器２上でＨＭＤ３での閲覧モードに切り替える操作を行なう（Ｓ１０１）。

【0056】

情報機器２の通信制御部４０３は、ＨＭＤが接続されているか確認する（Ｓ１０２）。

【0057】

情報機器２のコンテンツ解析部４０２は、表示コンテンツからテキストのみを抽出し、テキストデータを生成する（Ｓ１０３）。

【0058】

コンテンツ解析部４０２は、通信制御部４０３に生成したテキストデータを出力する。通信制御部４０３は無線通信器２０６からＨＭＤ３へテキストデータを送信する（Ｓ１０４）。

【0059】

ＨＭＤ３の通信制御部５０３は無線通信器３５４を介してテキストデータを受信し、受信完了信号を情報機器２へ送信する（Ｓ１０５）。

【0060】

ＨＭＤ３の表示制御部５０１は、受信したテキストデータをＨＭＤ表示用にフォント、サイズ、色などの調整を行い（Ｓ１０６）、投影光学系３２及び表示光学系３３を用いてＨＭＤ３でテキストを表示する（Ｓ１０７）。

【0061】

表示制御部５０１は、無線通信器３５４から表示部分のテキストを情報機器２へ送信する（Ｓ１０８）。

【0062】

コンテンツ解析部４０２は、ＨＭＤ３で表示しているテキストと対応する画像を決定し、表示制御部４０１が情報機器２のタッチパネル付ディスプレイ２０４で拡大表示する（Ｓ１０９）。

【0063】

テキストをすべて表示していなければ（Ｓ１１０／ＮＯ）、表示制御部５０１は、ＨＭＤ３でテキストの表示を継続する（Ｓ１０７）。

【0064】

テキストをすべて表示しているが（Ｓ１１０／ＹＥＳ）、ＨＭＤ３でテキストの表示を継続する場合は（Ｓ１１１／ＮＯ）、表示制御部５０１は、ＨＭＤ３でテキストの表示を継続する（Ｓ１０７）。

【0065】

ＨＭＤ３でテキストの表示を終了する場合は（Ｓ１１１／ＹＥＳ）、ＨＭＤ３における表示終了信号を情報機器２に送信する（Ｓ１１２）。

【0066】

情報機器２の表示制御部４０１は、表示終了信号を受信すると情報機器２の表示を元に戻す（Ｓ１１３）。

【0067】

図１０は、ＨＭＤ３側でコンテンツを解析する処理を示すフローチャートである。図９と同一のステップには同一の符号を付し、重複説明を省略する。

【0068】

情報機器２とＨＭＤ３とが接続されているかを確認すると（Ｓ１０２）、情報機器２からＨＭＤ３へコンテンツデータ（テキストデータ及び画像データ）を送信する（Ｓ２０１）。

【0069】

ＨＭＤ３がコンテンツデータを受信し、通信制御部５０３から受信完了信号を情報機器２へ送信する（Ｓ２０２）。

【0070】

ＨＭＤ３のコンテンツ解析部５０２は、受信したコンテンツデータからテキスト部分を抽出し、テキストデータを生成し（Ｓ２０３）、ＨＭＤ３でテキストデータを表示するための処理（Ｓ１０６）、及び表示を行う（Ｓ１０７）。その後は、図９と同様、情報機器２で画像の拡大表示を行う。

【0071】

上記において、ＨＭＤ３のコンテンツ解析部５０２及び情報機器２のコンテンツ解析部４０２が、テキストと画像とを選別する方法は、各種ありうる。例えば、ＷｅｂサイトやｅＰＵＢ形式の電子書籍データの場合、ＨＴＭＬ、ＸＭＬ、ＸＨＴＭＬのソースを解析し、表示するテキストと画像ファイルを切り分けしてもよい。そして表示しているテキスト（コメントなど、情報機器２上でも表示していないテキストは除外する）のみ抽出してテキストデータを生成してもよい。

【0072】

一方、画像は、画像のタグに画像を格納しているディレクトリ情報があるので、直接該当アドレスを呼び出して情報機器２上で画像を表示してもよい。

【0073】

また、ＰＤＦデータの場合は、ＯＣＲなどで書き出せる部分をテキストデータとして抽出してもよい。

【0074】

更に、情報機器２で画像だけを表示させる方法として、例えば、情報機器２でサイト閲覧をしている場合、その画像を表示させる際にＵＲＬ（サーバ上の画像ファイルの格納場所）を読み込んでいるので、そのアドレスを表示させればよい。

【0075】

一方、画像がない場合は、表示させていたコンテンツをそのまま表示しておいてもよい。この場合は、上記のテキスト及び画像を含むコンテンツを用いた処理の例外ケースとして位置づけられる。

【0076】

上記実施形態によれば、テキスト及び画像を含むコンテンツを情報機器２とＨＭＤ３とを連携させて表示させる場合に、ＨＭＤ３にはテキストデータだけを表示し、情報機器２には画像を拡大して表示できる。これにより、ユーザはＨＭＤ３を装着した状態でテキスト情報を視認しつつ、画像はＨＭＤ３に表示されないのでＨＭＤ３を装着中の視認性を向上させることができる。更に、情報機器２では画像が拡大表示されるので、画像を視認したい場合は情報機器２を見ることで実像として拡大画像を視認し、画像の視認性が向上する。

【0077】

[第２実施形態]
第２実施形態は、第１実施形態とコンテンツが異なる。第２実施形態では、作業の工程（手順）ごとにテキスト及び画像が関係付けられたコンテンツを連携表示させる点で、第１実施形態と異なる。

【0078】

図１１は、第２実施形態で用いるコンテンツ例を示す図である。図１２は、第２実施形態におけるＨＭＤの表示例を示す図である。図１３は、第１実施形態で用いるコンテンツ例を示す図である。図１４は、第２実施形態におけるＨＭＤ３の表示例を示す図である。

【0079】

図１１のコンテンツ１は、図や写真などの画像と、テキストが１対１で対応しているコンテンツである。例えば、料理のレシピ、裁縫や園芸、ストレッチや筋トレなどのトレーニング、着物の着付けや帯の結び方などの作業が伴うコンテンツがある。テキストに関連付けられた画像は、静止画だけでなく動画が掲載されているコンテンツでもよい。これらのコンテンツは、Ｉｍａｇｅ １とＩｍａｇｅ １に対応した説明文、たとえば料理のレシピでは材料の下ごしらえの写真がＩｍａｇｅ １にあり、テキストは下ごしらえの方法がＩｍａｇｅ １の右横に並べて記載される。そして次工程のＩｍａｇｅ ２とＩｍａｇｅ ２に対応した説明文がＩｍａｇｅ １及びそれに対応する説明文の下にそれぞれ表示されている。

【0080】

ＨＭＤ３のコンテンツ解析部５０２及び情報機器２のコンテンツ解析部４０２が工程に沿って表示されたコンテンツである、と認識する基準として、例えば以下の基準の少なくとも一つ、又は任意の組み合わせが用いられてもよい。
（基準１）テキスト及び画像がフレーム又はテーブルへパラグラフごとに配置されている。
（基準２）テキストの頭に、順番を示す数字又はアルファベットなどが記載されている。
（基準３）画像のキャプション（サイトの場合、＜ＡＬＴ＞タグでもよい）に、順番を示す数字又はアルファベットなどが記載されている。
（基準４）タイトルのテキストに、「手順」「レシピ」「やり方」「方法」など、作業手順を意味する言葉が入っている。

【0081】

ＨＭＤ３のコンテンツ解析部５０２及び情報機器２のコンテンツ解析部４０２は、コンテンツが、フレーム、テーブル、又はパラグラフのいずれか一つ、又は任意の組みあわせを用いて工程ごとにわかれていると判断すると、表示状態Ａから表示状態Ｂ１又は表示状態Ｂ２へ切り替える。その場合、図１２に示すように、ＨＭＤ３には一つのステップに含まれるコンテンツのうちのテキストのみを抽出して表示する。テキストのＡＲの近くに矢印選択領域Ｍ１を表示する。そして、視線検出部５０４が、ユーザの視線が矢印選択領域Ｍ１へ所定の時間滞留したことを検出すると、コンテンツ解析部５０２に検出結果を出力し、コンテンツ解析部５０２が表示制御部５０１へ次の手順（工程）のコンテンツを表示するように構成してもよい。図１１の例では「step2. Boil the potatoes.」が、図１２に示すＨＭＤ３の画面に更新表示される。

【0082】

一方、図１３のコンテンツ２は、ＨＭＤ３のコンテンツ解析部５０２及び情報機器２のコンテンツ解析部４０２が、工程ごとにわかれていないと判断したコンテンツ例である。

【0083】

コンテンツ２は、図や写真などの画像と、テキストが１対１で対応しないもの、例えばニュース、コラム、ブログ等、”読む”だけのコンテンツである。

【0084】

コンテンツ２は、記事やコラムなどのタイトル文に続いて、図や写真などの画像（以下、＜Ｆｉｇ．＞とする）とテキストが１対１で配置されてはおらず、テキストの途中に＜Ｆｉｇ．＞が挿入される体裁のコンテンツは、ユーザが“読む”ことをメインとするコンテンツである。この場合、＜Ｆｉｇ．＞が挿入される場所に規則性はなく、コンテンツの内容にあわせて執筆者が適宜挿入している。＜Ｆｉｇ．＞は１つ挿入される場合もあれば、複数挿入される場合もある。

【0085】

ＨＭＤ３のコンテンツ解析部５０２及び情報機器２のコンテンツ解析部４０２は、手順が示されている（工程ごとにわかれている）コンテンツと認識できなかった場合、ニュース記事やコラム、ブログ等の、読むためのコンテンツであると判断する。

【0086】

コンテンツ内に挿入されている図は、ＷＥＢサイト（ニュース、ブログ等）であれば、画像挿入タグの記述位置に従って表示する。又は、画像が格納されているＵＲＬなどのリンク先を読み込み、表示する。

【0087】

ＷｏｒｄファイルやＰＤＦファイルを表示する場合も上記と同様、工程が認識できれば工程ごとに、工程が認識できなければ第１実施形態のように、画像とテキストとを分離して表示し、テキストが表示された画面のスクロールに合わせて画像を更新表示してもよい。一方、第２実施形態では、画像を工程に代わるコンテンツの切れ目の判断指標として用い、例えば「The Maxell Group・・・ (hereafter referred to as "We").」までを一つのブロック（コンテンツの部分データからなる）と判断し、ＨＭＤ３に表示する。その際、ＨＭＤ３の表示領域内に一つのブロックが表示しきれない場合は、図１４に示すように、テキストのＡＲの近くに矢印選択領域Ｍ１を表示する。そして、視線検出部５０４が、ユーザの視線が矢印選択領域Ｍ１へ所定の時間滞留したことを検出すると、コンテンツ解析部５０２に検出結果を出力し、コンテンツ解析部５０２が表示制御部５０１へ次のブロックのコンテンツを表示するように構成してもよい。

【0088】

図１３のように、工程に関連付けられていないコンテンツを連携表示させることで、歯磨きや洗濯物をたたむなどの軽微な作業や、思考作業の伴わない作業のため、ニュースやコラムなど気楽に読めるコンテンツを見ながらやりたいが、手は動かさなくてはいけないので情報機器２が持てない場合や、近くに情報機器２などを置いて画面を見ながらやると、いちいち作業の手を止めなくてはならない場合に、ＨＭＤ３でテキスト部分（コンテンツのメイン部分）を表示することにより、ユーザは作業の手を止めずにコンテンツを読むことができるといったメリットがある。

【0089】

これに対し、工程ごとにコンテンツを表示する第２実施形態を用いると、例えば料理をする場面では、レシピを見ながら調理したいという要望に対して、該当レシピのページを開いた状態の書籍を置くスペースがキッチンにない、書籍をいちいち見に行くのがわずらわしい、スマホやタブレットでレシピを見たいが、指でディスプレイをタップしてスクロールするので非衛生的、情報機器２でレシピを見たいが、一定時間が経過すると画面がロックされる（ディスプレイが非表示になる）ので、見たいときに見られない場合にも、ＨＭＤ３を装着し、ＨＭＤ３でレシピのテキスト部分を表示することにより、ユーザは場所を選ばず、また、手を汚さずにレシピを確認できる。

【0090】

また、情報機器２で画像を全画面（拡大）表示して、出来上がり状態を確認できる。

【0091】

更にテキストでの解説も読みたいが、画像を拡大表示させたいときに、情報機器２単体だとテキストと同時に確認ができない課題があるので、その対策としてもよい。

【0092】

また、次の手順（工程）やコンテンツや次のブロックのコンテンツを更新表示させる方法として、矢印選択領域Ｍ１を表示させてユーザの視線が矢印選択領域Ｍ１へ所定の時間滞留させることにより、例えば作業中のように、両手がふさがっている状況でも、コンテンツを更新表示することができる。

【0093】

本発明は上記実施形態に限定されるものではなく、ある実施形態の構成の一部を他の実施形態に置き換えることが可能である。また、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものであり、更に文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。

【0094】

また、発明の機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実装しても良い。また、マイクロプロセッサユニット、ＣＰＵ等が動作プログラムを解釈して実行することによりソフトウェアで実装しても良い。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用しても良い。

【0095】

例えば画像（静止画、動画）を表示するのは、ユーザが最初に見ていた情報機器２でもよいが、テレビやモニタなど情報機器２とは別の表示機器へコンテンツを送信し、表示させてもよい。

【0096】

またＨＭＤ３のカメラで装着者の視野を含む前方風景を撮像して生成し、コンテンツ解析部５０２が前方画像の被写体の状態を解析し、被写体の状態が次の工程に含まれると判定すると表示制御部５０１に対して通知し、表示制御部５０１が仮想画面に表示されているテキストデータを、次の工程に関連付けられたテキストデータに更新表示してもよい。

【符号の説明】

【0097】

１ ：ユーザ
２ａ ：通信信号
２ｇ ：画面
２ｇ１ ：スクロールバー
３ ：ＨＭＤ
３ａ、４ａ ：通信信号
４ ：アクセスポイント
５ ：ネットワーク
６ ：ＷＥＢサーバ
１０ ：連携表示システム
３０ ：カメラ
３１ ：測距デバイス
３２、３２ａ、３２ｂ ：投影光学系
３３ ：表示光学系
３４ ：ノーズパッド
３５ ：プロセッサ
３６ ：スピーカ
３７ ：マイク
３８ａ、３８ｂ、３８ｃ ：フレーム筐体
２０３ ：グラフィックス処理器
２０４ ：タッチパネル付ディスプレイ
２０６、３５４ ：無線通信器
２０７、３５５ ：ＣＰＵ
２０８、３５６ ：ＲＡＭ
２１０、５８０ ：基本動作プログラム
２１１、３５８ ：ＨＭＤ連携アプリ
３５１ ：距離算出器
３５７ ：画像ＲＡＭ
４０１、５０１ ：表示制御部
４０２、５０２ ：コンテンツ解析部
４０３、５０３ ：通信制御部
５０４ ：視線検出部
５８１ ：プログラム
Ｍ ：仮想オブジェクト
Ｍ１ ：矢印選択領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】