特許 5851544 非透過型ヘッドマウントディスプレイ及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5851544

(24)【登録日】2015年12月11日

(45)【発行日】2016年2月3日

(54)【発明の名称】非透過型ヘッドマウントディスプレイ及びプログラム

(51)【国際特許分類】

   G02B 27/02 20060101AFI20160114BHJP

   G09G 5/00 20060101ALI20160114BHJP

   G09G 5/377 20060101ALI20160114BHJP

   H04N 5/64 20060101ALI20160114BHJP

【ＦＩ】

   G02B27/02 Z

   G09G5/00 550C

   G09G5/36 520M

   G09G5/00 530M

   G09G5/00 510A

   G09G5/00 530T

   G09G5/00 510Q

   H04N5/64 511A

【請求項の数】17

【全頁数】19

(21)【出願番号】特願2014-68685(P2014-68685)

(22)【出願日】2014年3月28日

(65)【公開番号】特開2015-191124(P2015-191124A)

(43)【公開日】2015年11月2日

【審査請求日】2014年5月26日

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】筒井 多圭志

(72)【発明者】

【氏名】今仲 滋宜

(72)【発明者】

【氏名】山際 正人

【審査官】 右田 昌士

(56)【参考文献】

【文献】 実開平０２−０２６８７０（ＪＰ，Ｕ）

【文献】 特開平０５−３０４６４６（ＪＰ，Ａ）

【文献】 特開２０１２−２４９０６７（ＪＰ，Ａ）

【文献】 特開２０１２−１１４７５５（ＪＰ，Ａ）

【文献】 特表平１０−５０４９１７（ＪＰ，Ａ）

【文献】 特開２００４−１０９９９５（ＪＰ，Ａ）

【文献】 特開２０１１−２０３４４６（ＪＰ，Ａ）

【文献】 特開２０１０−１４５４３６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２７／０１ − ２７／０２

Ｈ０４Ｎ ５／６４

Ｇ０９Ｇ ５／００ − ５／４０

(57)【特許請求の範囲】

【請求項1】

外部映像を撮像する撮像部と、
前記撮像部が撮像した外部映像を取得する外部映像取得部と、
映像コンテンツを取得する映像コンテンツ取得部と、
前記外部映像取得部が取得した前記外部映像及び前記映像コンテンツ取得部が取得した前記映像コンテンツの少なくともいずれかを表示する表示部と、
物体の接近を検出する接近検出部と、
前記表示部に前記映像コンテンツが表示されている間に物体の接近が検出された場合、前記撮像部が撮像した外部映像と前記映像コンテンツとの両方を視認可能とするべく前記外部映像と前記映像コンテンツとを重畳させた重畳画像を前記表示部に表示させる表示制御部と
を備える非透過型ヘッドマウントディスプレイ。

【請求項2】

前記表示制御部は、前記外部映像の重畳比率を段階的に高くした前記外部映像と前記映像コンテンツとの重畳画像を前記表示部に順次表示させる、請求項１に記載の非透過型ヘッドマウントディスプレイ。

【請求項3】

前記表示制御部は、前記表示部に前記重畳画像を表示させている間に予め定められた条件が満たされた場合、前記外部映像を前記表示部に表示させる、請求項１又は２に記載の非透過型ヘッドマウントディスプレイ。

【請求項4】

前記表示制御部は、前記表示部に前記重畳画像を表示させている間に、前記物体との距離が予め定められた距離よりも短くなった場合、前記外部映像を前記表示部に表示させる、請求項３に記載の非透過型ヘッドマウントディスプレイ。

【請求項5】

前記表示制御部は、前記表示部に前記重畳画像を表示させている間に、前記映像コンテンツの表示に対して停止又は一時停止がなされた場合に、前記外部映像を前記表示部に表示させる、請求項３に記載の非透過型ヘッドマウントディスプレイ。

【請求項6】

前記表示制御部は、前記物体の接近の度合が大きいほど前記外部映像の重畳比率を高くして前記外部映像と前記映像コンテンツとを重畳させた重畳画像を前記表示部に表示させる、請求項１から５のいずれか一項に記載の非透過型ヘッドマウントディスプレイ。

【請求項7】

前記撮像部は、前記非透過型ヘッドマウントディスプレイを装着する装着者の前方を撮像する前方撮像部と、前記装着者の後方を撮像する後方撮像部とを有し、
前記表示制御部は、前記前方撮像部により撮像された外部映像に基づいて物体の接近が検出された場合、前記前方撮像部による撮像された外部映像と前記映像コンテンツとを重畳させた重畳画像を前記表示部に表示させ、前記後方撮像部により撮像された外部映像に基づいて物体の接近が検出された場合、前記後方撮像部による撮像された外部映像と前記映像コンテンツとを重畳させた重畳画像を前記表示部に表示させる、請求項１から６のいずれか一項に記載の非透過型ヘッドマウントディスプレイ。

【請求項8】

音声出力部と、
前記表示部が前記映像コンテンツを表示している間、前記映像コンテンツに含まれる音声を予め定められた音量で前記音声出力部に出力させる音声出力制御部と
をさらに備え、
前記音声出力制御部は、前記表示制御部が前記重畳画像を前記表示部に表示させる場合、前記映像コンテンツに含まれる音声の出力音量を、前記予め定められた音量よりも小さくする、請求項１から７のいずれか一項に記載の非透過型ヘッドマウントディスプレイ。

【請求項9】

前記音声出力制御部は、前記物体の接近の度合が大きいほど、前記音声の出力音量を小さくする、請求項８に記載の非透過型ヘッドマウントディスプレイ。

【請求項10】

前記音声出力制御部は、前記表示部及び前記音声出力部が音楽番組を出力している間に前記物体の接近が検出された場合において、前記表示制御部が前記重畳画像を前記表示部に表示させている間、前記映像コンテンツに含まれる音声の出力音量を低下させない、請求項８又は９に記載の非透過型ヘッドマウントディスプレイ。

【請求項11】

前記表示制御部は、前記表示部及び前記音声出力部がゲームを出力している間に前記物体の接近が検出された場合、他のカテゴリの映像コンテンツが出力されている場合に比べて、前記映像コンテンツの重畳比率を高くした前記重畳画像を前記表示部に表示させる、請求項８から１０のいずれか一項に記載の非透過型ヘッドマウントディスプレイ。

【請求項12】

集音部
をさらに備え、
前記音声出力制御部は、前記表示部が前記外部映像を表示している間、前記集音部が集音した音声を予め定められた音量で前記音声出力部に出力させ、
前記音声出力制御部は、前記表示制御部が前記重畳画像を前記表示部に表示させる場合、前記集音部が集音した音声を前記予め定められた音量よりも大きい音量で前記音声出力部に出力させる、請求項８から１１のいずれか一項に記載の非透過型ヘッドマウントディスプレイ。

【請求項13】

前記音声出力制御部は、前記物体の接近の度合が大きいほど、前記集音部が集音した音声の出力音量を大きくする、請求項１２に記載の非透過型ヘッドマウントディスプレイ。

【請求項14】

撮像装置と無線通信する無線通信部
をさらに備え、
前記映像コンテンツ取得部は、前記無線通信部が受信した前記撮像装置により撮像された映像を前記映像コンテンツとして取得する、請求項１から１３のいずれか一項に記載の非透過型ヘッドマウントディスプレイ。

【請求項15】

ホームセキュリティシステムが備える撮像装置と無線通信する無線通信部
をさらに備え、
前記表示制御部は、前記表示部に前記映像コンテンツを表示させている間に前記物体の接近が検出された場合、前記ホームセキュリティシステムが備える前記撮像装置によって撮像された外部映像と前記映像コンテンツとの重畳画像を前記表示部に表示させる、請求項１から１３のいずれか一項に記載の非透過型ヘッドマウントディスプレイ。

【請求項16】

前記非透過型ヘッドマウントディスプレイを装着する装着者の頭部を保護する頭部保護部
をさらに備える、請求項１から１５のいずれか一項に記載の非透過型ヘッドマウントディスプレイ。

【請求項17】

非透過型ヘッドマウントディスプレイが備えるコンピュータに、
撮像部により撮像された外部映像を取得する手順、
映像コンテンツを取得する手順、
前記外部映像及び前記映像コンテンツの少なくともいずれかを表示部に表示させる手順、
物体の接近を検出する手順、及び
前記表示部に前記映像コンテンツが表示されている間に物体の接近が検出された場合、前記撮像部により撮像された外部映像と前記映像コンテンツとの両方を視認可能とするべく前記外部映像と前記映像コンテンツとを重畳させた重畳画像を前記表示部に表示させる手順
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、非透過型ヘッドマウントディスプレイ及びプログラムに関する。

【背景技術】

【0002】

装着者の眼前にディスプレイが配置され、視界を覆ってディスプレイ画面のみを装着者に視認させる非透過型ヘッドマウントディスプレイが知られている。（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１１−０４７８６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

非透過型ヘッドマウントディスプレイは没入感が高いため、非透過型ヘッドマウントディスプレイで映像コンテンツを閲覧している場合等に、非透過型ヘッドマウントディスプレイの装着者は周囲の状況を把握しにくい場合があった。

【課題を解決するための手段】

【0004】

本発明の第１の態様においては、外部映像を撮像する撮像部と、前記撮像部が撮像した外部映像を取得する外部映像取得部と、映像コンテンツを取得する映像コンテンツ取得部と、前記外部映像取得部が取得した前記外部映像及び前記映像コンテンツ取得部が取得した前記映像コンテンツの少なくともいずれかを表示する表示部と、物体の接近を検出する接近検出部と、前記表示部に前記映像コンテンツが表示されている間に物体の接近が検出された場合、前記撮像部が撮像した外部映像と前記映像コンテンツとの両方を視認可能とするべく前記外部映像と前記映像コンテンツとを重畳させた重畳画像を前記表示部に表示させる表示制御部とを備える非透過型ヘッドマウントディスプレイが提供される。

【0005】

上記非透過型ヘッドマウントディスプレイにおいて、前記表示制御部は、前記外部映像の重畳比率を段階的に高くした前記外部映像と前記映像コンテンツとの重畳画像を前記表示部に順次表示させてよい。上記非透過型ヘッドマウントディスプレイにおいて、前記表示制御部は、前記表示部に前記重畳画像を表示させている間に予め定められた条件が満たされた場合、前記外部映像を前記表示部に表示させてよい。上記非透過型ヘッドマウントディスプレイにおいて、前記表示制御部は、前記表示部に前記重畳画像を表示させている間に、前記物体との距離が予め定められた距離よりも短くなった場合、前記外部映像を前記表示部に表示させてよい。上記非透過型ヘッドマウントディスプレイにおいて、前記表示制御部は、前記表示部に前記重畳画像を表示させている間に、前記映像コンテンツの表示に対して停止又は一時停止がなされた場合に、前記外部映像を前記表示部に表示させてよい。

【0006】

上記非透過型ヘッドマウントディスプレイにおいて、前記表示制御部は、前記物体の接近の度合が大きいほど前記外部映像の重畳比率を高くして前記外部映像と前記映像コンテンツとを重畳させた重畳画像を前記表示部に表示させてよい。上記非透過型ヘッドマウントディスプレイは、音声出力部と、前記表示部が前記映像コンテンツを表示している間、前記映像コンテンツに含まれる音声を予め定められた音量で前記音声出力部に出力させる音声出力制御部とをさらに備えてよく、前記音声出力制御部は、前記表示制御部が前記重畳画像を前記表示部に表示させる場合、前記映像コンテンツに含まれる音声の出力音量を、前記予め定められた音量よりも小さくしてよい。上記非透過型ヘッドマウントディスプレイにおいて、音声出力制御部は、前記物体の接近の度合が大きいほど、前記音声の出力音量を小さくしてよい。上記非透過型ヘッドマウントディスプレイは、集音部をさらに備えてよく、前記音声出力制御部は、前記表示部が前記外部映像を表示している間、前記集音部が集音した音声を予め定められた音量で前記音声出力部に出力させてよく、前記音声出力制御部は、前記表示制御部が前記重畳画像を前記表示部に表示させる場合、前記集音部が集音した音声を前記予め定められた音量よりも大きい音量で前記音声出力部に出力させてよい。上記非透過型ヘッドマウントディスプレイにおいて、前記音声出力制御部は、前記物体の接近の度合が大きいほど、前記集音部が集音した音声の出力音量を大きくしてよい。

【0007】

上記非透過型ヘッドマウントディスプレイは、撮像装置と無線通信する無線通信部をさらに備えてよく、前記映像コンテンツ取得部は、前記無線通信部が受信した前記撮像装置により撮像された映像を前記映像コンテンツとして取得してよい。上記非透過型ヘッドマウントディスプレイは、前記非透過型ヘッドマウントディスプレイを装着する装着者の頭部を保護する頭部保護部をさらに備えてよい。

【0008】

本発明の第２の態様においては、コンピュータを上記非透過型ヘッドマウントディスプレイとして機能させるためのプログラムが提供される。

【0009】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0010】

【図1】ヘッドマウントディスプレイの外観の一例を概略的に示す。

【図2】ヘッドマウントディスプレイの機能構成の一例を概略的に示す。

【図3】重畳画像の一例を概略的に示す。

【図4】ヘッドマウントディスプレイによる処理の流れの一例を示す。

【図5】ヘッドマウントディスプレイの外観の変形例を概略的に示す。

【図6】ヘッドマウントディスプレイの通信環境の一例を概略的に示す。

【発明を実施するための形態】

【0011】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0012】

図１は、本実施形態に係るヘッドマウントディスプレイ１００の外観の一例を概略的に示す。本実施形態に係るヘッドマウントディスプレイ１００は、非透過型及び没入型等と呼称される、装着者の視界を覆うタイプのヘッドマウントディスプレイである。

【0013】

ヘッドマウントディスプレイ１００は、本体１０２、ヘッドバンド１０４、及びヘッドパッド１０６を備える。ヘッドバンド１０４及びヘッドパッド１０６は、ヘッドマウントディスプレイ１００を装着する装着者の頭部に対して、ヘッドマウントディスプレイ１００を固定する。

【0014】

本体１０２は、前方カメラ１１０、後方カメラ１１６、ディスプレイ１２０、右側マイク１３２、左側マイク１３４、イヤホン端子１３６、及び内蔵アンテナ１４０を有する。前方カメラ１１０は、右眼用カメラ１１２及び左眼用カメラ１１４を有する。ディスプレイ１２０は、右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４を有する。

【0015】

右眼用カメラ１１２及び左眼用カメラ１１４は、ヘッドマウントディスプレイ１００を装着する装着者の前方の外部映像を撮像する。右眼用カメラ１１２は、例えば、装着者がヘッドマウントディスプレイ１００を装着した場合に装着者の右眼の視野を撮像できる位置に配置される。左眼用カメラ１１４は、例えば、装着者がヘッドマウントディスプレイ１００を装着した場合に装着者の左眼の視野を撮像できる位置に配置される。

【0016】

後方カメラ１１６は、装着者の後方の外部映像を撮像する。後方カメラ１１６は、装着者の後方の外部映像を撮像できれば、ヘッドマウントディスプレイ１００のどの位置に配置されてもよい。右眼用カメラ１１２、左眼用カメラ１１４、及び後方カメラ１１６は、撮像部の一例である。

【0017】

右眼用ディスプレイ１２２は、右眼用カメラ１１２によって撮像された外部映像を表示する。左眼用ディスプレイ１２４は、左眼用カメラ１１４によって撮像された外部映像を表示する。右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４のそれぞれは、表示部の一例である。右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４は、後方カメラ１１６によって撮像された外部映像を表示してもよい。

【0018】

右側マイク１３２は、本体１０２の右側に配置される。右側マイク１３２は、例えば、装着者がヘッドマウントディスプレイ１００を装着した場合に、装着者の右耳の近傍に位置する場所に配置される。左側マイク１３４は、本体１０２の左側に配置される。左側マイク１３４は、例えば、装着者がヘッドマウントディスプレイ１００を装着した場合に、装着者の左耳の近傍に位置する場所に配置される。右側マイク１３２及び左側マイク１３４のそれぞれは、集音部の一例である。

【0019】

イヤホン端子１３６には、イヤホン及びヘッドホン等の音声出力機器が接続される。ヘッドマウントディスプレイ１００は、右側マイク１３２及び左側マイク１３４によって集音した音声を、イヤホン端子１３６に接続された音声出力機器に音声出力させてよい。

【0020】

ディスプレイ１２０に表示された外部映像と音声出力機器により出力された音声とによって、ヘッドマウントディスプレイ１００の装着者は、ヘッドマウントディスプレイ１００を装着していないときと同様に周囲の情報を取得できる。これにより、例えば、装着者は、ヘッドマウントディスプレイ１００を装着したまま日常生活を送ることができる。

【0021】

ヘッドマウントディスプレイ１００は、ディスプレイ１２０に外部映像を表示している間、外部映像の内容に関連する付加情報を併せてディスプレイ１２０に表示させてよい。例えば、ヘッドマウントディスプレイ１００は、外部映像に含まれる人物の近傍に、当該人物の名前等の付加情報を表示させてよい。このように、ディスプレイ１２０に外部映像及び付加情報を表示する表示モードをオーグメンテッドモードと呼ぶ場合がある。なお、ヘッドマウントディスプレイ１００は、外部映像に含まれる人物の名前等の付加情報を、イヤホン端子１３６に接続された音声出力機器に音声出力させてもよい。

【0022】

内蔵アンテナ１４０は、他の機器との無線通信を実現する。ヘッドマウントディスプレイ１００は、内蔵アンテナ１４０を介して、他の機器から映像コンテンツを受信してよい。映像コンテンツとは、画像及び音声を含むコンテンツである。映像コンテンツは、画像及び音声を含むコンテンツであればどのようなコンテンツであってもよいが、例えば、映画、テレビ番組、及びゲーム等である。

【0023】

ヘッドマウントディスプレイ１００は、受信した映像コンテンツを、内蔵メモリ１４２に格納してよい。ヘッドマウントディスプレイ１００は、メモリーカード等の外付けの記憶装置から読み出した映像コンテンツを内蔵メモリ１４２に格納してもよい。また、ヘッドマウントディスプレイ１００は、有線ケーブルを介して他の機器から受信した映像コンテンツを内蔵メモリ１４２に格納してもよい。

【0024】

右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４は、内蔵メモリ１４２に格納された映像コンテンツを表示してよい。また、ヘッドマウントディスプレイ１００は、内蔵メモリ１４２に格納された映像コンテンツに含まれる音声を、イヤホン端子１３６に接続された音声出力機器に音声出力させてよい。このように、ディスプレイ１２０に映像コンテンツを表示する表示モードをＶＲモードと呼ぶ場合がある。

【0025】

本実施形態において、ヘッドマウントディスプレイ１００は、右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４に映像コンテンツを表示している間に人物等の物体の接近を検出した場合に、外部映像と映像コンテンツとの両方を視認可能とするべく表示を制御する。例えば、ヘッドマウントディスプレイ１００は、映像コンテンツを半透明化させて、外部映像上に表示する。すなわち、ヘッドマウントディスプレイ１００は、外部映像と映像コンテンツとを重畳させた重畳画像を生成して、右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４に表示させてよい。

【0026】

これにより、映像コンテンツを視聴中であって、人物の接近に気づいていない装着者に、人物が接近していることを気づかせることができる。なお、このように、映像コンテンツ表示中に物体の接近を検出した場合に映像コンテンツを半透明化して外部映像上に表示することをジャックアウトと呼ぶ場合があり、このような表示モードをエマージェンシーモードと呼ぶ場合がある。

【0027】

図２は、ヘッドマウントディスプレイ１００の機能構成の一例を概略的に示す。ヘッドマウントディスプレイ１００は、前方撮像部１５２、後方撮像部１５４、外部映像取得部１５６、付加情報取得部１５８、表示制御部１６０、表示部１６２、集音部１６４、外部音声取得部１６６、音声出力制御部１６８、音声出力部１７０、映像コンテンツ取得部１７２、映像コンテンツ格納部１７４、無線通信部１７６、接近検出部１７８、及び距離取得部１８０を備える。ヘッドマウントディスプレイ１００がこれらすべての構成を備えることは必須であるとは限らない。

【0028】

前方撮像部１５２は、ヘッドマウントディスプレイ１００の前方の外部映像を撮像する。前方撮像部１５２は、右眼用と左眼用の２つのカメラを有してよい。前方撮像部１５２は、右眼用カメラ１１２及び左眼用カメラ１１４であってよい。また、前方撮像部１５２は、ヘッドマウントディスプレイ１００の前方を撮像できる位置に配置された一のカメラであってもよい。

【0029】

後方撮像部１５４は、ヘッドマウントディスプレイ１００の後方の外部映像を撮像する。後方撮像部１５４は、後方カメラ１１６であってよい。

【0030】

外部映像取得部１５６は、前方撮像部１５２によって撮像された外部映像を取得する。また、外部映像取得部１５６は、後方撮像部１５４によって撮像された外部映像を取得する。

【0031】

付加情報取得部１５８は、外部映像取得部１５６が取得した外部映像に基づいて、外部映像に付加する付加情報を取得する。付加情報は、例えば、外部映像に含まれるオブジェクトの属性情報であり、オブジェクトの名前等である。付加情報取得部１５８は、例えば、人物の特徴量と人物の属性情報とを対応付けた対応付けデータを用いて、外部映像に対して人物認識処理を実行することにより外部映像に含まれる人物を特定して、当該人物の名前等を付加情報として取得する。

【0032】

表示制御部１６０は、外部映像取得部１５６が取得した外部映像を表示部１６２に表示させる。表示制御部１６０は、表示部１６２に、付加情報取得部１５８が取得した付加情報を、外部映像取得部１５６が取得した外部映像にスーパーインポーズさせてよい。

【0033】

表示部１６２は、液晶ディスプレイ、プラズマディスプレイ、及び有機ＥＬディスプレイ等のディスプレイである。表示部１６２は、右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４であってよい。

【0034】

集音部１６４は、ヘッドマウントディスプレイ１００の周囲の外部音声を集音する。集音部１６４は、右側マイク１３２及び左側マイク１３４であってよい。外部音声取得部１６６は、集音部１６４が集音した外部音声を取得する。

【0035】

音声出力制御部１６８は、外部音声取得部１６６が取得した外部音声を音声出力部１７０に出力させる。音声出力部１７０は、例えば、イヤホン端子１３６である。音声出力制御部１６８は、イヤホン端子１３６を介して、イヤホン端子１３６に接続された音声出力機器に外部音声を音声出力させてよい。

【0036】

映像コンテンツ取得部１７２は、映像コンテンツを取得する。映像コンテンツ取得部１７２は、映像コンテンツ格納部１７４に格納された映像コンテンツを取得してよい。映像コンテンツ格納部１７４は、無線通信部１７６による無線通信を介して受信した映像コンテンツを格納してよい。また、映像コンテンツ格納部１７４は、メモリーカード等の外付けの記憶装置からヘッドマウントディスプレイ１００が読み出した映像コンテンツを格納してよい。また、映像コンテンツ格納部１７４は、有線ケーブルを介してヘッドマウントディスプレイ１００が受信した映像コンテンツを格納してもよい。映像コンテンツ格納部１７４は、内蔵メモリ１４２であってよい。

【0037】

無線通信部１７６は、他の機器との無線通信を実行する。無線通信部１７６は、内蔵アンテナ１４０を介して、他の機器との無線通信を実行してよい。無線通信の通信規格としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、ＺｉｇＢｅｅ（登録商標）、及び赤外線通信等が例示できる。

【0038】

無線通信部１７６は、例えば、映像コンテンツを提供するＢＤレコーダー、ＢＤプレーヤー、ＤＶＤディスクレコーダー、ＤＶＤディスクプレイヤー、ＨＤＤレコーダー、テレビ、及びゲーム機等と無線通信する。映像コンテンツ格納部１７４は、ＢＤレコーダー等から無線通信部１７６を介して映像コンテンツを取得してよい。映像コンテンツ格納部１７４はＢＤレコーダー等から、映像信号として映像コンテンツを取得してよく、また、動画ファイルとして映像コンテンツを取得してもよい。

【0039】

ヘッドマウントディスプレイ１００は、無線通信部１７６を介して他の機器と制御信号を送受信してもよい。例えば、ヘッドマウントディスプレイ１００は、無線通信部１７６を介して、ＢＤレコーダー等に対して、映像コンテンツの再生、一時停止及び停止等の制御信号を送信する。

【0040】

また、無線通信部１７６は、携帯電話等の無線通信端末と無線通信してもよい。無線通信部１７６は、無線通信端末から、映像コンテンツの表示に対する制御信号を受信してよい。

【0041】

例えば、無線通信部１７６が、無線通信端末から映像コンテンツを再生する制御信号を受信した場合、表示制御部１６０は、当該制御信号に従って、映像コンテンツ格納部１７４に格納された映像コンテンツを表示部１６２に再生表示させてよい。また、無線通信部１７６が、無線通信端末から映像コンテンツを一時停止する制御信号を受信した場合、表示制御部１６０は、表示部１６２に表示させている映像コンテンツを一時停止させてよい。なお、ヘッドマウントディスプレイ１００は、操作部を備えることによって、映像コンテンツの表示に対する制御指示を、装着者から直接受け付けてもよい。

【0042】

接近検出部１７８は、外部映像取得部１５６によって前方撮像部１５２又は後方撮像部１５４から取得された外部映像に基づいて、ヘッドマウントディスプレイ１００に対する物体の接近を検出してよい。接近検出部１７８は、例えば、外部映像に含まれる物体の画像領域を時系列の外部映像から抽出した特徴点のオプティカルフローに基づいて認識する技術及び背景差分法等を用いて、物体の接近を検出する。

【0043】

接近検出部１７８は、物体の一例として、人物の接近を検出してよい。例えば、接近検出部１７８は、人間の特徴を表す特徴量と、外部映像とを比較することにより、外部映像中に人物が含まれているか否かを判定する。人間の特徴を表す特徴量は予め登録されていてよい。そして、接近検出部１７８は外部映像中に人物が含まれていると判定した場合に、その人物が接近しているか否かを判定する。例えば、接近検出部１７８は、外部映像中における人物の大きさが、時系列に沿って大きくなっている場合に、当該人物が近づいていることを検出する。

【0044】

接近検出部１７８は、外部音声取得部１６６が取得した外部音声に基づいて、物体の接近を検出してもよい。例えば、接近検出部１７８は、外部音声の音量の変化を監視して、音量が大きくなっていくことを検出した場合に、物体が接近していることを検出してもよい。

【0045】

距離取得部１８０は、ヘッドマウントディスプレイ１００に対して接近している物体とヘッドマウントディスプレイ１００との間の距離を取得する。距離取得部１８０は、例えば、測距センサを有することにより、当該測距センサによって測距した物体とヘッドマウントディスプレイ１００との間の距離を取得する。距離取得部１８０は、前方撮像部１５２及び後方撮像部１５４におけるレンズの焦点距離等の情報に基づいて、物体とヘッドマウントディスプレイ１００との間の距離を算出してもよい。

【0046】

表示制御部１６０は、映像コンテンツを表示部１６２に表示させている間に、接近検出部１７８が物体の接近を検出した場合、映像コンテンツと外部映像との両方を視認可能とするべく、外部映像と映像コンテンツとを重畳させた重畳画像を表示部１６２に表示させる。これにより、装着者に、映像コンテンツを閲覧させたまま、物体の接近を通知することができる。

【0047】

なお、表示制御部１６０は、前方撮像部１５２により撮像された外部映像に基づいて物体の接近が検出された場合、前方撮像部１５２により撮像された外部映像と映像コンテンツとを重畳させた重畳画像を表示部１６２に表示させてよい。また、表示制御部１６０は、後方撮像部１５４により撮像された外部映像に基づいて物体の接近が検出された場合、後方撮像部１５４により撮像された外部映像と映像コンテンツとを重畳させた重畳画像を表示部１６２に表示させてよい。

【0048】

表示制御部１６０は、外部映像の重畳比率を段階的に高くした、外部映像と映像コンテンツとの重畳画像を表示部１６２に順次表示させてよい。例えば、表示制御部１６０は、数秒の間に、外部映像の重畳比率を数段階高くした重畳画像を本体１０２に順次表示させる。これにより、外部映像から重畳画像へと突然切り替わってしまう感覚を装着者に抱かせてしまうことを防止できる。

【0049】

表示制御部１６０は、表示部１６２に重畳画像を表示させている間に予め定められた条件が満たされた場合、表示部１６２に、重畳画像の表示を停止させ、外部映像を表示させてよい。例えば、表示制御部１６０は、接近検出部１７８により物体の離脱が検出された場合、表示部１６２に重畳画像の表示を停止させ、外部映像を表示させる。また、例えば、表示制御部１６０は、表示部１６２に重畳画像を表示させている場合に、距離取得部１８０により取得された物体との距離が予め定められた距離よりも短い場合、重畳画像の表示を停止させて、外部映像を表示させる。これにより、例えば、映像コンテンツを閲覧中の装着者に対して家族等の人物が接近してきた場合に、まずは重畳画像を表示することによって、装着者に対して家族の接近に気付かせることができ、さらに家族が装着者に近づいて直接のコミュニケーションをとる可能性が高い場合に、外部映像のみを表示させることで、映像コンテンツによって直接のコミュニケーションが妨害されてしまうことを防止できる。

【0050】

また、表示制御部１６０は、表示部１６２に重畳画像を表示させている間に、映像コンテンツの表示に対して停止又は一時停止がなされた場合に、表示部１６２に重畳画像の表示を停止させて、外部映像を表示させてよい。例えば、無線通信部１７６を介してＢＤレコーダー等から受信している映像コンテンツと外部映像との重畳画像を表示部１６２に表示させている間に、当該ＢＤレコーダーに対して表示を一時停止する指示がなされた場合、表示制御部１６０は、表示部１６２に、重畳画像の表示を停止させて、外部映像を表示させてよい。これにより、例えば、映像コンテンツを閲覧中の装着者に対して家族等の人物が接近してきた場合に、まずは重畳画像を表示することによって、装着者に対して家族の接近に気付かせることができ、装着者が映像コンテンツの表示を停止又は一時停止した場合に、外部映像のみを表示させることで、映像コンテンツによって直接のコミュニケーションが妨害されてしまうことを防止できる。

【0051】

音声出力制御部１６８は、表示部１６２が映像コンテンツを表示している間、映像コンテンツに含まれる音声を予め定められた音量で音声出力部１７０に音声出力させてよく、表示制御部１６０が重畳画像を表示部１６２に表示している間、映像コンテンツに含まれる音声の出力音量を、予め定められた音量より小さくしてよい。これにより、接近検出部１７８が物体の接近を検出したのに応じて、表示制御部１６０が映像コンテンツ表示から、重畳画像の表示へと切り替えた場合に、音声出力部１７０が出力する音量を小さくでき、装着者が周囲の状況を音で確認することを支援できる。予め定められた音量は、装着者によって設定可能であってよい。

【0052】

なお、音声出力制御部１６８は、物体の接近の度合が大きいほど、映像コンテンツに含まれる音声の出力音量を小さくしてよい。例えば、音声出力制御部１６８は、距離取得部１８０により取得されたヘッドマウントディスプレイ１００から物体までの距離が短いほど、音声の出力音量を小さくする。これにより、例えば、映像コンテンツを閲覧中の装着者に対して家族等の人物が接近してきた場合に、家族が接近するほど映像コンテンツの出力音量を下げることができ、家族の呼びかけに気づきやすくさせることができる。

【0053】

また、音声出力制御部１６８は、表示部１６２が外部映像を出力している間、集音部１６４が集音した音声を予め定められた音量で音声出力部１７０に音声出力させてよく、表示制御部１６０が重畳画像を表示部１６２に表示させている間、集音部１６４が集音した音声を予め定められた音量よりも大きい音量で音声出力部１７０に音声出力させてよい。これにより、例えば、映像コンテンツを閲覧中の装着者に対して家族等の人物が接近してきて、装着者に呼びかけた場合に、家族の呼びかけに気づきやすくさせることができる。

【0054】

なお、音声出力制御部１６８は、物体の接近の度合が大きいほど、集音部１６４が集音した音声の出力音量を大きくしてよい。例えば、音声出力制御部１６８は、距離取得部１８０により取得されたヘッドマウントディスプレイ１００から物体までの距離が短いほど、集音部１６４が集音した音声の出力音量を大きくする。これにより、例えば、映像コンテンツを閲覧中の装着者に対して家族等の人物が接近してきた場合に、家族が接近するほど集音部１６４が集音した音声の出力音量を上げることができ、家族の呼びかけに気づきやすくさせることができる。

【0055】

図３は、重畳画像２３０の一例を概略的に示す。図３は、表示制御部１６０が、映像コンテンツ２１０と外部映像２２０とを重畳させた場合を例示している。図３に示すように、表示制御部１６０が、外部映像２２０上に、半透明化した映像コンテンツ２１０を表示することによって、装着者に外部映像２２０及び映像コンテンツ２１０を視認させることができる。

【0056】

表示制御部１６０及び音声出力制御部１６８は、映像コンテンツのカテゴリに応じた出力制御を実行してもよい。映像コンテンツのカテゴリは、例えば、ゲーム、映画、及び音楽番組等を含む。映像コンテンツのカテゴリは、映像コンテンツ取得部１７２によって取得されてよい。例えば、映像コンテンツ取得部１７２は、無線通信部１７６を介して映像コンテンツをヘッドマウントディスプレイ１００に送信したＢＤレコーダー等から、映像コンテンツのカテゴリを受信する。また、映像コンテンツ取得部１７２は、映像コンテンツにカテゴリを示すデータが含まれている場合には、当該データを参照することによって、映像コンテンツのカテゴリを取得してよい。

【0057】

例えば、表示部１６２及び音声出力部１７０が音楽番組を出力している間に物体の接近が検出された場合において、表示制御部１６０が重畳画像を表示部１６２に表示されている間、音声出力制御部１６８は、映像コンテンツに含まれる音声の出力音量を低下させない。これにより、装着者が聴いている音楽を阻害することなく、物体の接近を装着者に通知できる。

【0058】

また、表示部１６２及び音声出力部１７０がゲームを出力している間に物体の接近が検出された場合、表示制御部１６０は、他のカテゴリが出力されている場合に比べて、映像コンテンツの重畳比率を高くした重畳画像を表示部１６２に表示させてよい。また、このように出力している映像コンテンツのカテゴリがゲームの場合、表示制御部１６０は、物体の接近が検出されても、表示部１６２に重畳画像を表示させることなく、映像コンテンツの表示を継続させ、音声出力制御部１６８が、物体の接近を音声出力によって装着者に通知してもよい。これにより、ゲームを行っている装着者を、視覚的に邪魔することなく、物体の接近を装着者に通知できる。

【0059】

映像コンテンツの出力中、外部映像の出力中、又は重畳画像の出力中に、ヘッドマウントディスプレイ１００の装着が解除されたことが検出された場合、表示制御部１６０及び音声出力制御部１６８は、出力を停止してよい。これにより、装着者がヘッドマウントディスプレイ１００を装着していないにもかかわらず、映像コンテンツの出力が継続してしまうことを防止できる。ヘッドマウントディスプレイ１００は、例えば、装着者によって装着された場合に、装着者と接する部分に配置された接触センサからの出力を監視することによって、装着が解除されたか否かを判定してよい。接触センサは、例えば、ヘッドパッド１０６に設置される。なお、ヘッドマウントディスプレイ１００の装着が解除されたときの、表示制御部１６０及び音声出力制御部１６８の制御内容は、設定によって変更可能であってよい。

【0060】

図４は、ヘッドマウントディスプレイ１００による処理の流れの一例を概略的に示す。図４に示す処理は、ヘッドマウントディスプレイ１００が備える制御部が主体となって実行されてよい。ここでは、ヘッドマウントディスプレイ１００が、オーグメンテッドモード中に映像コンテンツの出力指示を受け付けた場合の処理の流れについて説明する。

【0061】

ステップ７０２（ステップをＳと省略して表記する場合がある。）では、表示制御部１６０及び音声出力制御部１６８が映像コンテンツを表示部１６２及び音声出力部１７０に出力させる。

【0062】

Ｓ７０４では、映像コンテンツの出力停止指示を受け付けたか否かを判定する。出力停止指示を受け付けていない場合、Ｓ７０６に進み、出力停止指示を受け付けていた場合、Ｓ７１８に進む。

【0063】

Ｓ７０６では、接近検出部１７８によって、物体の接近が検出されたか否かを判定する。物体の接近が検出されたと判定された場合、Ｓ７０８に進み、物体の接近が検出されていないと判定された場合、Ｓ７０２に戻る。

【0064】

Ｓ７０８では、表示制御部１６０が、出力している映像コンテンツと、外部映像取得部１５６が取得した外部映像と重畳させた重畳画像を、表示部１６２に表示させる。このとき、音声出力制御部１６８は、映像コンテンツを出力していた時に比べて出力音量を小さくしてよい。

【0065】

Ｓ７１０では、重畳画像の出力停止指示を受け付けたか否かを判定する。出力停止指示を受け付けていない場合、Ｓ７１２に進み、受け付けていた場合、Ｓ７１４に進む。

【0066】

Ｓ７１２では、距離取得部１８０が取得した距離が予め定められた閾値よりも短いか否かを判定する。距離取得部１８０が取得した距離が閾値よりも短いと判定した場合、Ｓ７１４に進み、短いと判定しなかった場合、Ｓ７０８に戻る。

【0067】

Ｓ７１４では、表示制御部１６０が表示部１６２に重畳画像の出力を停止させる。そして、Ｓ７１６で、表示制御部１６０が表示部１６２に外部映像を出力させる。このとき、音声出力制御部１６８は、外部音声取得部１６６が取得した外部音声を音声出力部１７０に音声出力させる。

【0068】

Ｓ７０４で、出力停止指示を受領したと判定した場合、Ｓ７１８に進む。Ｓ７１８では、表示制御部１６０及び音声出力制御部１６８が表示部１６２及び音声出力部１７０に映像コンテンツの出力を停止させる。そして、Ｓ７１６で、表示制御部１６０が表示部１６２に外部映像を出力させる。このとき、音声出力制御部１６８は、外部音声取得部１６６が取得した外部音声を音声出力部１７０に音声出力させる。

【0069】

ヘッドマウントディスプレイ１００が上述した処理を実行することにより、映像コンテンツを出力中に物体の接近が検出された場合には、重畳画像が出力されることによって、装着者は、物体の接近に気付くことができる。そして、さらに物体が接近した場合には、外部映像が出力される。これにより、装着者に対して、接近してきた物体への対応をさせやすくできる。

【0070】

図５は、ヘッドマウントディスプレイ１００の外観の変形例を概略的に示す。図５に示すヘッドマウントディスプレイ１００は、頭部保護部１９０を備えること以外は、図１に示すヘッドマウントディスプレイ１００と同一であってよい。頭部保護部１９０は、高強度の外側面と、緩衝材を有する内側面とを備えてよい。ヘッドマウントディスプレイ１００が頭部保護部１９０を備えることによって、装着者は、ヘッドマウントディスプレイ１００を装着したままバイクなどを運転できる。また、装着者は、ヘッドマウントディスプレイ１００を装着したままバイクの後部座席に搭乗できる。

【0071】

例えば、ヘッドマウントディスプレイ１００を装着した装着者がバイクを運転する場合、ヘッドマウントディスプレイ１００はオーグメンテッドモードに設定されてよく、外部映像に付加情報を表示させることによって、装着者の運転を支援してよい。ヘッドマウントディスプレイ１００は、装着者が運転中は、ジャックアウトをさせないようにしてよい。すなわち、装着者が運転中に物体の接近が検出されても、表示制御部１６０は、重畳画像を表示部１６２に表示させることなく、外部映像の表示を継続させてよい。装着者が運転をしているか否かは、装着者によって設定されてよい。また、ヘッドマウントディスプレイ１００が加速度センサ等を備えることによって、バイクが走行中であるか否かを判定してもよい。

【0072】

ヘッドマウントディスプレイ１００を装着した装着者がバイクの後部座席に座っている場合、映像コンテンツ取得部１７２は、無線通信部１７６を介して、バイクの運転者が装着しているヘッドマウントディスプレイ１００の前方撮像部１５２により撮像された外部映像を、映像コンテンツとして受信してよい。映像コンテンツ取得部１７２は、無線通信部１７６を介して、バイクに搭載されたカメラによって撮像された外部映像を、映像コンテンツとして受信してもよい。これにより、後部座席に座っている装着者は、運転者の視界及びバイクからの視界を、映像コンテンツとして閲覧できる。

【0073】

図６は、ヘッドマウントディスプレイ１００の通信環境の一例を概略的に示す。図６に示すように、ヘッドマウントディスプレイ１００は、ホームセキュリティシステム３００と無線通信してよい。ホームセキュリティシステム３００は、各種センサを備えて、家庭内等の安全管理を行うシステムであってよい。なお、ホームセキュリティシステム３００は、家庭内に限らず、オフィス等に設置されてもよい。

【0074】

外部映像取得部１５６は、ホームセキュリティシステム３００が備える撮像装置３０２によって撮像された外部映像を、無線通信部１７６を介して取得してよい。接近検出部１７８は、撮像装置３０２によって撮像された外部映像に基づいて、ヘッドマウントディスプレイ１００に対する物体の接近を検出してよい。例えば、撮像装置３０２の画角にヘッドマウントディスプレイ１００が含まれるように予め設定しておくことによって、接近検出部１７８は、撮像装置３０２による外部映像に基づいてヘッドマウントディスプレイ１００に対する人物の接近を検出できる。

【0075】

表示制御部１６０は、表示部１６２に映像コンテンツを表示させている間に物体の接近が検出された場合、撮像装置３０２による外部映像と映像コンテンツとの重畳画像を表示部１６２に表示させてよい。これにより、装着者は、客観的な視点から、人物等の物体が接近していることを確認することができる。

【0076】

以上の説明において、ヘッドマウントディスプレイ１００が備える外部映像取得部１５６、付加情報取得部１５８、表示制御部１６０、外部音声取得部１６６、音声出力制御部１６８、映像コンテンツ取得部１７２、映像コンテンツ格納部１７４、無線通信部１７６、接近検出部１７８、及び距離取得部１８０は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよい。また、ハードウエアとソフトウエアとの組み合わせにより実現されてもよい。例えば、ヘッドマウントディスプレイ１００上でプログラムが実行されることにより、コンピュータが、ヘッドマウントディスプレイ１００の一部として機能してもよい。プログラムは、コンピュータ読み取り可能な媒体に記憶されていてもよく、ネットワークに接続された記憶装置に記憶されていてもよい。

【0077】

コンピュータにインストールされ、コンピュータを本実施形態に係るヘッドマウントディスプレイ１００の一部として機能させるプログラムは、ヘッドマウントディスプレイ１００の各部の動作を規定したモジュールを備える。これらのプログラム又はモジュールは、ＣＰＵ等に働きかけて、コンピュータを、ヘッドマウントディスプレイ１００の各部としてそれぞれ機能させる。これらのプログラムに記述された情報処理は、コンピュータに読込まれることにより、ソフトウエアと上述した各種のハードウエア資源とが協働した具体的手段として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータの使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有のヘッドマウントディスプレイ１００を構築することができる。

【0078】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0079】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0080】

１００ ヘッドマウントディスプレイ、１０２ 本体、１０４ ヘッドバンド、１０６ ヘッドパッド、１１０ 前方カメラ、１１２ 右眼用カメラ、１１４ 左眼用カメラ、１１６ 後方カメラ、１２０ ディスプレイ、１２２ 右眼用ディスプレイ、１２４ 左眼用ディスプレイ、１３２ 右側マイク、１３４ 左側マイク、１３６ イヤホン端子、１４０ 内蔵アンテナ、１４２ 内蔵メモリ、１５２ 前方撮像部、１５４ 後方撮像部、１５６ 外部映像取得部、１５８ 付加情報取得部、１６０ 表示制御部、１６２ 表示部、１６４ 集音部、１６６ 外部音声取得部、１６８ 音声出力制御部、１７０ 音声出力部、１７２ 映像コンテンツ取得部、１７４ 映像コンテンツ格納部、１７６ 無線通信部、１７８ 接近検出部、１８０ 距離取得部、１９０ 頭部保護部、２１０ 映像コンテンツ、２２０ 外部映像、２３０ 重畳画像、３００ ホームセキュリティシステム、３０２ 撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】