特開 2023-103050 ＶＲヘッドマウントシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023103050

(43)【公開日】2023-07-26

(54)【発明の名称】ＶＲヘッドマウントシステム

(51)【国際特許分類】

   H04N 5/64 20060101AFI20230719BHJP

   G06F 3/01 20060101ALI20230719BHJP

   G06F 3/04842 20220101ALI20230719BHJP

【ＦＩ】

H04N5/64 511A

G06F3/01 510

G06F3/0484 120

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022003886

(22)【出願日】2022-01-13

(71)【出願人】

【識別番号】520029860

【氏名又は名称】株式会社ワールドスキャンプロジェクト

(74)【代理人】

【識別番号】110003018

【氏名又は名称】弁理士法人プロテクトスタンス

(72)【発明者】

【氏名】上瀧 良平

(72)【発明者】

【氏名】市川 泰雅

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA63

5E555AA75

5E555BA05

5E555BA06

5E555BA38

5E555BB05

5E555BB06

5E555BB38

5E555BC17

5E555BE17

5E555CA42

5E555CA44

5E555CB34

5E555CB56

5E555CB66

5E555CC01

5E555DA08

5E555DA09

5E555DB18

5E555DB53

5E555DC09

5E555DC10

5E555DC13

5E555DD06

5E555EA07

5E555EA09

5E555EA22

5E555FA00

(57)【要約】

【課題】 ポータブルデバイスを取り付けたヘッドマウントであっても、６ＤＯＦ対応の全天球映像を視聴することできるヘッドマウントシステムを提供する。
【解決手段】 ヘッドマウントシステム１００は、第１面にカメラＣＡと第２面に表示部ＤＩＳとを含むポータブルデバイスＳＰがヘッドマウント本体１０に取り付けられて、利用者が表示部ＤＩＳに投影される映像を視聴する。ヘッドマウント本体１０は、第１面が前方を向くようにポータブルデバイスを収納しカメラが前方を撮影できるように切り欠かれた収容ポケット１２を有する。さらにポータブルデバイス１０は、ロール・ピッチ・ヨーの３回転方向の回転量を感知する回転量センサＪＳと、カメラの撮影画像から特徴点を検出して、３つの直交軸方向の並進移動量を計算する並進移動量計算部３２と、回転量及び並進移動量に基づいて、全天球映像から視野内映像を生成する視野内映像生成部３６と、を有する。
【選択図】 図３

【特許請求の範囲】

【請求項1】

第１面にカメラと第２面に表示部とを含むポータブルデバイスがヘッドマウント本体に取り付けられて、前記表示部に投影される映像を視聴するためのヘッドマウントシステムであって、
前記ヘッドマウント本体は、
前記第１面が前方を向くように前記ポータブルデバイスを収納し、前記カメラが前方を撮影できるように切り欠かれた収容ポケットを有し、
前記ポータブルデバイスは、
ロール・ピッチ・ヨーの３回転方向の回転量を感知する回転量センサと、
前記カメラの撮影画像から特徴点を検出して、３つの直交軸方向の並進移動量を計算する並進移動量計算部と、
前記回転量及び前記並進移動量に基づいて、全天球映像から視野内映像を生成する視野内映像生成部と、
を有する、ヘッドマウントシステム。

【請求項2】

前記ポータブルデバイスは、
前記カメラの撮影画像から利用者の手を検出してトラッキングするハンドトラッキング部と、
前記手が所定時間より長く前記撮影画像内にあるとき、ハンド画像を生成するハンド画像生成部と、
前記手が所定時間より長く前記撮影画像内にあるとき、前記視野内映像に関連するＧＵＩ画像を生成するＧＵＩ画像生成部と、
前記視野内映像に、前記ハンド画像及び前記ＧＵＩ画像を合成する映像合成部と、
を有し、
前記表示部に、前記視野内映像、前記ハンド画像及び前記ＧＵＩ画像が投影される請求項１に記載のヘッドマウントシステム。

【請求項3】

前記ポータブルデバイスは、
前記ハンド画像が前記ＧＵＩ画像の指示アイコンに所定時間存在していたかを判定するＧＵＩ指示判定部を有し、
前記ＧＵＩ指示判定部は、前記ハンド画像が前記ＧＵＩ画像の指示アイコン上にある場合に、前記指示アイコンの動作の実行を指示する、請求項２に記載のヘッドマウントシステム。

【請求項4】

前記ポータブルデバイスは、
前記視野内映像が商品を購入できるショッピング店舗であるか否かを判定するショッピング店舗判定部と、
前記ショッピング店舗で販売される複数の商品画像を蓄積する商品画像蓄積部と、
を有し、
前記ＧＵＩ指示判定部が、前記ハンド画像がショッピングのＧＵＩ画像上にある場合に、前記商品画像蓄積部が前記商品画像を前記映像合成部に供給する、請求項３に記載のヘッドマウントシステム。

【請求項5】

前記ポータブルデバイスは、
前記ハンド画像が前記商品画像に所定時間存在していたかを判定する商品特定判定部を有し、
前記商品特定判定部は、前記ハンド画像と前記商品画像とを一体化するとともに、且つカート画像では前記ハンド画像と前記商品画像とを切り離す、請求項４に記載のヘッドマウントシステム。

【請求項6】

前記商品画像蓄積部が前記商品画像を前記映像合成部に供給する際には、
前記映像合成部は前記視野内映像を合成しない、請求項４に記載のヘッドマウントシステム。

【請求項7】

第１面にカメラと第２面に表示部とを含むポータブルデバイスをヘッドマウント本体の収容ポケットに収納して、前記表示部に視野内画像を投影する方法であって、
前記収容ポケットは、前記カメラが前方を撮影できるように切り欠かれており、
前記ポータブルデバイスが、
ロール・ピッチ・ヨーの３回転方向の回転量を感知し、
前記カメラの撮影画像から特徴点を検出して、３つの直交軸方向の並進移動量を計算し、
前記回転量及び前記並進移動量に基づいて、全天球映像から視野内映像を生成する、
視野内画像を投影する方法。

【請求項8】

前記ポータブルデバイスが、
前記カメラの撮影画像から利用者の手を検出してトラッキングし、
前記手が所定時間より長く前記撮影画像内にあるとき、ハンド画像を生成し、
前記手が所定時間より長く前記撮影画像内にあるとき、前記視野内映像に関連するＧＵＩ画像を生成し、
前記視野内映像に、前記ハンド画像及び前記ＧＵＩ画像を合成し、
前記表示部に、前記視野内映像、前記ハンド画像及び前記ＧＵＩ画像が投影される請求項７に記載の視野内画像を投影する方法。

【請求項9】

前記ポータブルデバイスが、
前記ハンド画像が前記ＧＵＩ画像の指示アイコンに所定時間存在していたかを判定し、
前記ハンド画像が前記ＧＵＩ画像の指示アイコン上にある場合に、前記指示アイコンの動作の実行を指示する、請求項８に記載の視野内画像を投影する方法。

【請求項10】

前記ポータブルデバイスが、
前記視野内映像が商品を購入できるショッピング店舗であるか否かを判定し、
前記ショッピング店舗で販売される複数の商品画像を蓄積し、
前記ハンド画像がショッピングのＧＵＩ画像上にある場合に、前記商品画像蓄積部が前記商品画像を前記映像合成部に供給する、請求項９に記載の視野内画像を投影する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スマートフォン等のポータブルデバイスを使って、全天球映像等を６ＤＯＦ（Degree of Freedom）に応じて視野内映像が変化する映像の表示を行うＶＲヘッドマウントシステムに関する。

【背景技術】

【0002】

ＶＲ（virtual reality）等の分野で、周囲３６０°の撮影が可能な撮影装置によって撮影された全天球映像の利用が進んでいる。利用者は、ヘッドマウントにスマートフォン等のポータブルデバイスを取り付けて、ポータブルデバイスの表示部に、全天球映像を立体視が可能な視差付きのステレオ映像として表示させて、全天球映像を視聴することができる。特許文献１は、ポータブルデバイスをヘッドマウントに取り付ける発明を開示している。

【0003】

ポータブルデバイスをヘッドマウントに取り付けると、ポータブルデバイスが有する角速度センサで、Ｘ軸・Ｙ軸・Ｚ軸周りの３つの動き（ロール、ピッチ、ヨー）を感知することができる。このため利用者の頭の回転や傾きを感知して、3ＤＯＦ対応の全天球映像を視聴することができる。

【0004】

しかし、特許文献１のポータブルデバイスを取り付けたヘッドマウントは、Ｘ軸・Ｙ軸・Ｚ軸方向の「併進移動」という３つの動きを検知することができない。このため利用者は、併進移動を含めた６ＤＯＦ対応の全天球映像を視聴することができない問題があった。さらに、全天球映像を視聴するだけでなく、全天球映像を巻き戻したり進めたりするためには、スマートフォン等のポータブルデバイス以外に手（ハンド）で持つコントローラも用意する必要があった。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２０１９－５１０３２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

そこで本実施形態は、ポータブルデバイスを取り付けたヘッドマウントであっても、６ＤＯＦ対応の全天球映像を視聴することできるようにすることを目的とする。またコントローラも用意しなくても、全天球映像に対して処理（停止処理、巻き戻し処理等）できるようにすることを目的とする。

【課題を解決するための手段】

【0007】

本実施形態のヘッドマウントシステムは、第１面にカメラと第２面に表示部とを含むポータブルデバイスがヘッドマウント本体に取り付けられて、表示部に投影される映像を視聴するためのヘッドマウントシステムである。そしてヘッドマウント本体は、第１面が前方を向くようにポータブルデバイスを収納しカメラが前方を撮影できるように切り欠かれた収容ポケットを有する。さらにポータブルデバイスは、ロール・ピッチ・ヨーの３回転方向の回転量を感知する回転量センサと、カメラの撮影画像から特徴点を検出して、３つの直交軸方向の並進移動量を計算する並進移動量計算部と、回転量及び並進移動量に基づいて、全天球映像から視野内映像を生成する視野内映像生成部と、を有する。

【0008】

またポータブルデバイスは、カメラの撮影画像から利用者の手を検出してトラッキングするハンドトラッキング部と、手が所定時間より長く撮影画像内にあるとき、ハンド画像を生成するハンド画像生成部と、手が所定時間より長く撮影画像内にあるとき、視野内映像に関連するＧＵＩ画像を生成するＧＵＩ画像生成部と、視野内映像に、ハンド画像及びＧＵＩ画像を合成する映像合成部と、を有することが好ましい。

【0009】

またポータブルデバイスは、ハンド画像がＧＵＩ画像の指示アイコンに所定時間存在していたかを判定するＧＵＩ指示判定部を有し、ＧＵＩ指示判定部は、ハンド画像がＧＵＩ画像の指示アイコン上にある場合に、指示アイコンの動作の実行を指示してもよい。
またポータブルデバイスは、視野内映像が商品を購入できるショッピング店舗であるか否かを判定するショッピング店舗判定部と、ショッピング店舗で販売される複数の商品画像を蓄積する商品画像蓄積部と、を有する。ＧＵＩ指示判定部が、ハンド画像がショッピングのＧＵＩ画像上にある場合に、商品画像蓄積部が商品画像を映像合成部に供給することが好ましい。

【0010】

またポータブルデバイスは、ハンド画像が商品画像に所定時間存在していたかを判定する商品特定判定部を有し、商品特定判定部は、ハンド画像と商品画像とを一体化するとともに、且つカート画像ではハンド画像と商品画像とを切り離すことが好ましい。
商品画像蓄積部が商品画像を映像合成部に供給する際には、映像合成部は視野内映像を合成しないことが好ましい。

【0011】

本実施形態の視野内画像を投影する方法は、第１面にカメラと第２面に表示部とを含むポータブルデバイスをヘッドマウント本体の収容ポケットに収納して、表示部に視野内画像を投影する方法である。そして収容ポケットは、カメラが前方を撮影できるように切り欠かれている。そしてポータブルデバイスが、ロール・ピッチ・ヨーの３回転方向の回転量を感知し、カメラの撮影画像から特徴点を検出して、３つの直交軸方向の並進移動量を計算し、回転量及び並進移動量に基づいて、全天球映像から視野内映像を生成する、
視野内画像を投影する。

【発明の効果】

【0012】

本実施形態のＶＲヘッドマウントシステムは、６ＤＯＦ対応の全天球映像を視聴することができる。また、ハンドコントローラを用意することなく、全天球映像に対して処理を指示できる。

【図面の簡単な説明】

【0013】

【図1】本実施形態のポータブルデバイスを取り付けたヘッドマウントシステムの斜視図である。

【図2】（Ａ）は、４方向から見たヘッドマウント（ポータブルデバイスを除く）図である。（Ｂ）は、瞳孔間の距離を調整する機構の説明図であり、（Ｃ）はレンズの焦点距離を調整する機構の説明図である。

【図3】ＶＲヘッドマウントシステムに使用されるポータブルデバイスのブロック図である。

【図4】ハンドトラッキングに関するフローチャート１である。

【図5】（Ａ）は、ハンドトラッキングされたハンド画像の例である。（Ｂ）は、ＧＵＩ画像の一例であり５つの指示アイコンが表示された例である。（Ｃ）から（Ｆ）は、ポータブルデバイスの表示部に表示される視野内映像の例である。なお表示部の画像又は映像は、人間の脳で認識する１つの視野内映像で描かれている。

【図6】ハンドトラッキングに関するフローチャート２である。

【図7】（Ａ）から（Ｆ）は、ポータブルデバイスの表示部に表示される画像の例である。なお表示部の画像又は映像は、人間の脳で認識する１つの視野内映像で描かれている。

【発明を実施するための形態】

【0014】

［ヘッドマウントシステムの全体構成］
図１は本実施形態に係るのポータブルデバイスＳＰをヘッドマウント本体１０に取り付けたヘッドマウントシステム１００を示す斜視図である。図１に示すように、ヘッドマウントシステム１００は、ヘッドマウント本体１０、ヘッドマウント本体１０を利用者の頭部にしっかりと取り付けるストラップ２０及びポータブルデバイスＳＰを含んでいる。

【0015】

ポータブルデバイスＳＰは、ヘッドマウント本体１０の収納ポケット１２に収納される。本実施形態に開示するポータブルデバイスＳＰは、第１面（－Ｙ軸側）に１以上のカメラＣＡを設けており、第２面（＋Ｙ軸側）に表示部ＤＩＳ（図２を参照）を設けている。ポータブルデバイスＳＰは、以下に限定されるものではないが、いわゆるスマートフォン、タブレット端末もしくは手持ち式視覚メディアプレイヤなどが挙げられる。

【0016】

例示的なポータブルデバイスＳＰは、中央処理装置（ＣＰＵ）（図示せず）、表示部ＤＩＳ、カメラＣＡ、および通信部を含み、システムと共に使用するためのアプリケーションを動作できるようにすることができる。ポータブルデバイスＳＰ５０は、１つまたは複数のジャイロセンサ、加速度センサ、比重計、又は磁気計等の回転角センサを組み込んでいる。本実施形態では、回転角センサで、ヘッドマウントシステム１００のロール・ピッチ・ヨーの３回転方向の回転量を感知することができる。

【0017】

ヘッドマウント本体１０にはストラップ２０が取り付けられており、ストラップ２０で利用者の頭部がしっかり固定される。なお。例えば、ヘッドマウント本体１０は、ストラップなしで頭頂部に固定されるヘルメット様のデバイスに組み込むこともできる。

【0018】

ポータブルデバイスＳＰを収納する収納ポケット１２は、板バネのように撓む構造になっており、ポータブルデバイスＳＰを、周壁１１と収納ポケット１２との間で挟み込む。収納ポケット１２の幅（Ｘ軸方向）は、ポータブルデバイスＳＰの長さより短く切り欠かれた形状に形成されており、ポータブルデバイスＳＰのカメラＣＡが前方を撮影できるようになっている。収納ポケット１２の幅が長い場合には、ポータブルデバイスＳＰのカメラＣＡに相当する周辺が切り欠かれ、カメラＣＡが前方を撮影できるようになっていてもよい。

【0019】

周壁１１には、レンズの焦点距離を調整する焦点調製レバー１４及び瞳孔間の距離に合わせてレンズを移動させる瞳孔間距離調整ダイヤル１５が設けられている。

【0020】

［ヘッドマウント本体の構成］
図２は本実施形態に係るのヘッドマウント本体１０を示した図である。図２（Ａ）はヘッドマウント本体１０を４方向からの見た図である。図２（Ｂ）（Ｃ）は、ヘッドマウント本体１０の内部に配置されるレンズ周辺を示した図である。

【0021】

ヘッドマウント本体１０の周壁１１及び収納ポケット１２は、好ましくは、エチレン酢酸ビニル（ＥＶＡ）、ポリウレタン（ＰＵ）、もしくはＡＢＳ樹脂等のプラスチック材料で構成されるから。これらはそれぞれ、単独でまたは様々な組み合わせで利用することができる。好ましい実施形態では、周壁１１及び収納ポケット１２は射出成形などで成形される。周壁１１の前方部分は概して矩形または箱形の形状を有している。

【0022】

周壁１１の正面１１ａと収納ポケット１２との距離は、ポータブルデバイスＳＰの厚みより若干短くなるように形成され、側方向（Ｘ軸方向）からみて収納ポケット１２はＳ字形状になっている。プラスチック自体の弾性力と形状により、収納ポケット１２は、板バネのような作用で、ポータブルデバイスＳＰ（図示せず）を周壁１１の正面１１ａをしっかりしっかりと装着することができる。周壁１１の天面及び側面には、ストラップ２０（図１を参照）が取り付けられるストラップピン１９が形成されている。

【0023】

収納ポケット１２の幅Ｌ１は、ポータブルデバイスＳＰのタイプおよびサイズに応じて変更できるが、典型的には、ポータブルデバイスＳＰを把持および保持することが意図される。ポータブルデバイスＳＰの平均的な表示部のサイズは約５インチ（１２．７ｃｍ）から６．５インチ（１６．５ｃｍ）であり、ポータブルデバイスＳＰの第１面のカメラＣＡの位置は、Ｙ軸方向からみて左上側に配置されていることが多く、図１のようにポータブルデバイスＳＰを横置きすると、カメラＣＡは、右上に位置する。このカメラＣＡが隠れないように収納ポケット１２の幅Ｌ１は切り欠かれている。

【0024】

利用者の額に接触するためのフェイス縁部１７は、ゴム、ウレタンフォーム等の柔軟な素材であることが好ましい。周壁１１とフェイス縁部１７とは接着剤または篏合などで接合される。フェイス縁部１７は、利用者の顔に接触した際は、周囲から中空１３に光が入ることを防止する。

【0025】

中空１３にはポータブルデバイスＳＰの表示部の映像を視聴するため一対のレンズＬＺが配置される。その一対のレンズＬＺをＹ軸方向及びＸ軸方向に移動させるため、周壁１１は焦点調製レバー１４及び瞳孔間距離調整ダイヤル１５を有している。瞳孔間距離調整ダイヤル１５は利用者によって異なる瞳孔間の距離を利用者に合わせて調整するダイヤルである。図２（Ｂ）に示されるように、レンズＬＺを保持する一対のレンズホルダー１８はそれぞれラック１８ａを有している。調整ダイヤル１５にはピニオン１５ａが形成されており、ラック１８ａとピニオン１５ａとが噛み合っている。ピニオン１５ａが回転されることで、レンズホルダー１８に保持されたレンズＬＺが中央側へ近づいたり外側に離れたりする。なお図２（Ｂ）では理解を助けるため、瞳孔間距離調整ダイヤル１５のピニオン１５ａとラック１８ａとが分離して描かれている。

【0026】

図２（Ｃ）に示されるように、焦点調製レバー１４は、レンズＬＺの焦点距離を調整するため、利用者が調整レバーを前後（Ｙ軸方向）に移動させる。レンズホルダー１８は篏合板１８ｂが形成されており、焦点調製レバー１４のクランプ部１４ａが、篏合板１８ｂを挟み込む。レンズＬＺは、利用者の眼とポータブルデバイスＳＰの表示部との間に位置する。理解できるように、利用者の眼がレンズＬＺと位置合わせされて、利用者はポータブルデバイスＳＰの表示部を視聴するためにレンズＬＺを通して見ることができる。レンズＬＺは、ポータブルデバイスＳＰの表示部に映し出された視野内映像の左または右の不連続の領域に、利用者の視界の焦点を合わせることができる。レンズを通して利用者の視界を適切に位置合わせすることは、仮想現実アプリケーションでは特に重要である。

【0027】

［ポータブルデバイスの構成］
図３はポータブルデバイスＳＰの機能的構成を示すブロック図である。ポータブルデバイスＳＰは、スマートフォン、タブレット型コンピュータ又はパーソナルコンピュータ等を含む。表示装置ＤＩＳは、液晶ディスプレイ又は有機ＥＬディスプレイ等の表示装置である。表示装置ＤＩＳは、利用者の右眼用と左眼用にそれぞれ別の表示画面を備えるものであってもよく、一つの表示画面のみを備えるものであってもよい。ポータブルデバイスＳＰには、ｗｅｂサイト等のストアからアプリをダウンロードしてある。そしてアプリを起動することで、ポータブルデバイスＳＰは、以下に説明する機能を有している。またアプリから複数の全天球映像のデータをダウンロードできる。

【0028】

回転量センサＪＳは、ヘッドマウント本体１０の動きを検出する。回転量センサＪＳは、ヨー、ロール及びピッチの３軸の回転（３ＤＯＦ；Ｄｅｇｒｅｅｓ Ｏｆ Ｆｒｅｅｄｏｍ）を検知することができる。なお、回転量センサＪＳは、ＩＭＵ（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ：慣性計測装置）であってもよく、ジャイロセンサといった種々の組み合わせであっても良い。回転量センサＪＳがＩＭＵの場合、Ｙ軸方向（前後）、Ｘ軸方向（左右）及びＺ軸方向（上下）の３方向の移動を検出可能である。

【0029】

ポータブルデバイスＳＰは、さらに通信部ＷＦ、映像データ蓄積部３１、並進移動計算部３２、ハンドトラッキング部３３、ハンド画像生成部３４、ＧＵＩ画像生成部３５、視野内映像生成部３６、映像合成部３７、ＧＵＩ指示判定部３８を有している。またポータブルデバイスＳＰは、ショッピング店舗判定部４１、商品画像蓄積部４２及び商品特定判定部４３を備える。

【0030】

通信部ＷＦは、５Ｇもしくは４Ｇなどの長距離通信、又はＷｉＦｉ（商標）やｂｌｕｅｔｏｏｔｈ（商標）等の短距離通信を行う。映像データ蓄積部３１は、全天球映像のデータ（以下、映像データ）を通信部ＷＦを介して取得する。全天球映像は、ある一点を中心とする３６０°の全方位の映像であり、全天球カメラを利用して撮像された映像や複数のカメラで撮影された映像を合成した映像である。映像データ蓄積部３１は、ポータブルデバイスＳＰに保存されている映像データを読出すことによって映像データを取得してもよい。映像データ蓄積部３１は、映像データを取得すると、映像データを復号し、全天球映像を生成する。映像データ蓄積部３１は、生成した全天球映像を視野内映像生成部３６に供給する。

【0031】

並進移動計算部３２は、カメラＣＡで撮影した撮影画像を定期的に取得し、現実空間に存在する特徴的な点を指標として、ＸＹＺ軸方向の並進移動量を計算する。具体的には、W. A. Hoff and K. Nguyen, "Computer vision-based registration techniques for augmented reality", Proc. SPIE, vol.2904, pp. 538-548, Nov. 1996に開示されている。
なお、図３では並進移動計算部３２はカメラＣＡの撮影画像のみから並進移動を計算するように描かれているが、回転量センサＪＳがＩＭＵ（慣性計測装置）であれば、６ＤＯＦを検出することができるので、カメラＣＡで撮影した撮影画像とＩＭＵからのＸＹＺ軸方向の並進方向の信号とを組み合わせて、ＸＹＺ軸方向の並進移動量を計算しても良い。定期的に撮影された撮影画像とセンサとを使った並進移動量の計算は、具体的には、S. You and U. Neumann, "Fusion of vision and gyro tracking for robust augmented reality registration", Proc. IEEE Virtual Reality 2001, pp.71-78, Mar. 2001.に開示されている。なお、ＸＹＺ軸方向の並進移動量の精度が低くて良い場合には、ＩＭＵ（慣性計測装置）が検出する並進移動量を使い、カメラＣＡの撮影画像を使う並進移動計算部３２が無くても良い。

【0032】

ハンドトラッキング部３３は、カメラＣＡの撮影画像に基づいて、利用者の手（ハンド）及び指を認識し、手の位置及び指の動作をトラッキングする。ハンドトラッキング部３３は、ディープラーニングモデルを使用して、カメラＣＡが撮影した撮影画像の中に、手が存在するか否かを判断することができる。

【0033】

ハンド画像生成部３４は、ハンドトラッキング部３３が利用者の手を認識したことに基づいて、映像内に映し出すハンド画像５１を生成する。ハンド画像生成部３４は、利用者の手が所定時間より長く撮影画像内にあるときに、ハンド画像５１を生成することが好ましい。利用者が手を振って歩いている際に、一時的に映像視野内に手が入るような事象を排除するためである。図５（Ａ）は、表示部ＤＩＳに投影されたハンド画像５１の一例である。視野内映像にハンド画像５１を重ねて表示しても視野内映像の視聴を妨げないように、ハンド画像５１は半透明画像であることが好ましい。ハンド画像生成部３４は、予め特有なハンド画像５１（指差ししているハンド画像、親指と人差し指とで物をつかんでいるハンド画像等）を複数用意しておき、カメラＣＡの撮影画像中の手の形状に近いハンド画像５１を選択してもよい。また画像処理により撮影された手の輪郭を検出してハンド画像５１を生成しても良い。生成したハンド画像５１は映像合成部３７に供給される。カメラＣＡが撮影した撮影画像から、手が存在しなくなったら、ハンド画像生成部３４はハンド画像の生成を止め、ハンド画像が消去される。

【0034】

ＧＵＩ画像生成部３５は、手を認識したことに基づいて、映像に関連するＧＵＩ画像５２を生成する。ＧＵＩ画像生成部３５は、予め複数のＧＵＩ画像５２を用意しておくことが好ましい。ＧＵＩ画像５２は、例えば、巻き戻し、レビュー、停止、キュー、早送り等の指示アイコンである。図５（Ｂ）は、表示部ＤＩＳに投影されたＧＵＩ画像５２の一例である。また後述するように商品購入の指示アイコンであってもよい。なお、図３ではハンド画像生成部３４がハンド画像を生成した後にＧＵＩ画像５２を生成するように矢印が描かれている。しかし、ハンドトラッキング部３３で手を認識した後、ハンド画像５１と同時にＧＵＩ画像５２が生成されても良い。つまりＧＵＩ画像生成部３５は、利用者の手が所定時間より長く撮影画像内にあるときに、ＧＵＩ画像５２を生成することが好ましい。ＧＵＩ画像５２は、視野内映像に応じて指示アイコンの数や種類が変化することが好ましい。

【0035】

ＧＵＩ画像生成部３５は生成したＧＵＩ画像５２を表示空間に定位させることが好ましい。生成したＧＵＩ画像５２は映像合成部３７に供給される。視野内映像にＧＵＩ画像５２を重ねて表示しても視野内映像の視聴を妨げないように、ＧＵＩ画像５２は半透明画像であることが好ましい。これにより、ヘッドマウント本体１０を装着した利用者が実空間で向きを変えたり並進移動しても、ＧＵＩ画像５２は、表示空間の視点を基準とした所定の位置に実質的に固定され、ＧＵＩ画像５２は移動しない。

【0036】

視野内映像生成部３６は、映像データ蓄積部３１から供給された全天球映像から、表示部ＤＩＳに表示される映像である視野内映像を生成する。視野内映像生成部３６は、回転量センサＪＳ及び並進移動計算部３２から回転量及び並進移動量を取得し、ヘッドマウント本体１０の向きや利用者の移動に応じて全天球映像の一部を抽出することによって視野内映像を生成することができる。視野内映像生成部３６は、ヨー、ロール及びピッチの３軸の回転及びＸＹＺ軸方向の移動量が検出されると、その回転及び移動量に応じて全天球映像のうち視野内映像となる範囲を移動させる。

【0037】

これにより、利用者が頭部を動かすとともに前後左右上下に移動すると、ヘッドマウント本体１０の動きに追随して全天球映像のうち視野内映像となる範囲が移動し、利用者は周囲を見渡すかのように全天球映像を視聴することができる。即ち、視野内映像によって実現される全天球映像により、利用者の頭部の位置の変化に対して実質的に視点の位置が独立して制御される表示空間が形成される。なお、表示部ＤＩＳには、右目用と左目用にそれぞれ視野内映像が投影されるが、図５及び図７では、人間の脳で認識するに１つの視野内映像として描かれている。

【0038】

映像合成部３７は、視野内映像生成部３６から供給された視野内映像と、ハンド画像生成部３４から供給されたハンド画像と、ＧＵＩ画像生成部３５から供給されたＧＵＩ画像５２とを合成する。合成された映像は表示部ＤＩＳに投影される。

【0039】

ＧＵＩ指示判定部３８は、映像合成部３７で表示部ＤＩＳに投影されたＧＵＩ画像５２に、利用者のハンド画像が所定時間（１～２秒）存在するかを判定する。ＧＵＩ画像５２に複数の指示アイコンが含まれる場合には、それらの１つの指示アイコンが特定されたかを判定する。例えば、利用者は、自身の手を移動させることで、ハンド画像をＧＵＩ画像５２の早送りボタンの指示アイコンに移動させ、自身の手を１秒間維持する。ＧＵＩ指示判定部３８は、早送りの指示があったと判断し、視野内映像生成部３６に映像を早送りするように指示する。

【0040】

ショッピング店舗判定部４１は、視野内映像生成部３６で生成される映像にショッピング店舗があるか否かを判定する。ショッピング店舗判定部４１は、ディープラーニングモデルを使用して視野内映像の中に、ショッピング店舗が存在するか否かを判定する。ディープラーニングを使用せず、予め全天球映像にショッピング店舗の存在を示す特有信号を入れておき、ショッピング店舗判定部４１が、その特有信号を検出してショッピング店舗が存在することを判定しても良い。

【0041】

商品画像蓄積部４２は、ショッピング店舗で販売可能な商品の画像（静止画・動画）を蓄積している。例えば商品がカバンであれば、販売可能なショルダーバッグもしくは手提げバッグ等の写真を予め撮影しておき、商品画像蓄積部４２は、それら複数の画像が蓄積している。また商品画像蓄積部４２は、商品１つ１つの商品画像を順次映像合成部３７に供給したり、サムネイル表示された複数の商品を映像合成部３７に供給したりする。

【0042】

商品特定部４３は、映像合成部３７で表示部ＤＩＳに投影された商品画像に、利用者のハンド画像が所定時間（１～２秒）存在するかを判定し、商品を特定したかを判定する。またはハンドトラッキング部３３が利用者の手が親指と人差し指とで商品画像を摘まむような動作をトラッキングした際に、商品特定部４３は、その商品を特定したと判定する。その後、商品が購入される手続に移る。

【0043】

［ヘッドマウントシステムの動作］
図４は、ヘッドマウントシステム１００の動作を示すフローチャートである。
まず利用者はポータブルデバイスＳＰにダウンロード済のアプリを起動する（Ｓ４０１）。そして利用者はヘッドマウント本体１０の収納ポケット１２にポータブルデバイスＳＰをセットする（Ｓ４０２）。利用者は、ヘッドマウントシステム１００を装着する。

【0044】

視野内映像が表示部ＤＩＳに投影され（Ｓ４０３）、利用者は例えば図５（Ｃ）に示されるような視野内映像を視聴する。必要であれば、利用者は焦点調製レバー１４を移動させレンズの焦点距離を調整し、また瞳孔間距離調整ダイヤル１５を回して瞳孔間の距離に合わせてレンズを移動させる。回転量センサＪＳからのヘッドマウント本体１０の動き（ヨー、ロール及びピッチ）の信号及びポータブルデバイスＳＰのカメラＣＡに基づく並進移動量の信号に基づき、視野内映像が変化する。

【0045】

視野内映像が表示部ＤＩＳに投影されると同時に、カメラＣＡによるハンドトラッキングが開始される（Ｓ４０４）。利用者が自身の手を前方に突き出すと、ポータブルデバイスＳＰのカメラＣＡの撮影視野に利用者の手が入ってくる。そしてハンドトラッキング部３３が、利用者の手及び指を認識し、手の位置及び指の動作をトラッキングする。利用者が自身の手を継続して所定時間（例えば１秒）撮影視野内に入っている場合に（Ｓ４０５ ＹＥＳ）、ハンド画像生成部３４が生成したハンド画像５１が表示部ＤＩＳに投影される（Ｓ４０６）。図５（Ｄ）に示されるように視野内映像に半透明のハンド画像５１が重ねて表示される。

【0046】

ハンド画像５１が表示部ＤＩＳに投影されると同時に又は数秒遅れて、ＧＵＩ画像生成部３５が生成したＧＵＩ画像５２が表示部ＤＩＳに投影される（Ｓ４０７）。図５（Ｅ）に示されるように視野内映像に半透明のＧＵＩ画像５２が中央に重ねて表示される。本実施形態の一例では、ＧＵＩ画像５２は、左から、１０秒巻き戻し指示アイコン、レビュー指示アイコン、停止指示アイコン、キュー指示アイコン、３０秒早送り指示アイコンが表示されている。なお、視野内映像が停止している場合には、ＧＵＩ画像５２は停止指示アイコンが再生指示アイコンに切り替わる。本実施形態では、ＧＵＩ画像５２が表示部ＤＩＳの中央に投影されているが、表示部ＤＩＳの上端もしくは下端であってもよい。このＧＵＩ画像５２は、利用者が頭を左右に動かしたりしてヘッドマウント本体１０を動かして視野内映像が変化しても、一定位置に投影されるようになっていることが好ましい。

【0047】

ＧＵＩ画像５２は視野内映像が変化しても、一定位置に投影されている。このため図５（Ｅ）に示されるように、利用者は自身の手を移動させることで、ハンドトラッキング部３３が例えば点線で描かれたハンド画像５１から、実線で描かれたハンド画像５１に移動し、１０秒巻き戻し指示アイコンに所定時間維持される。ＧＵＩ指示判定部３８は、ハンド画像５１がＧＵＩ画像５２の指示アイコンに存在するか否かを判断する（Ｓ４０８）。図５（Ｅ）では、ＧＵＩ指示判定部３８は、１０秒巻き戻し指示アイコンが指示されたと判定して、視野内映像生成部３６に、映像を１０秒巻き戻すように指示する（Ｓ４０９）。

【0048】

一方、利用者が自身の手をカメラＣＡの撮影視野から出した場合に（Ｓ４０５ ＮＯ）、図５（Ｅ）に示される映像から、図５（Ｆ）に示される映像に変わる。つまり、表示部ＤＩＳからハンド画像５１が消去され（Ｓ４１０）、同時もしくは少し遅れてＧＵＩ画像５２が消去される。

【0049】

次に、利用者が複数の映像データから視聴したい映像データを選択する場合と、映像データがショッピング映像である場合に利用者が商品を購入する場合とを、図６のフローチャート及び図７（Ａ）～図７（Ｆ）を使って説明する。

【0050】

ポータブルデバイスＳＰのアプリを起動した際には、複数の映像データのカテゴリが選択できるようなサムネイル表示が表示部ＤＩＳに投影される（Ｓ６０１）。図７（Ａ）は、表示部ＤＩＳにその一例を示したサムネイル表示である。例えば、映像データのカテゴリには、日本旅行の映像、台湾旅行の映像、海中の映像、ショッピング映像等があり、利用者が自身の手を移動させてハンド映像５１を横矢印７１に所定時間置くことで、表示されていないサムネイル表示に移動させることができる。図７（Ａ）は、ハンド画像５１がショッピング映像のカテゴリを選択した状態を示している。すると、図７（Ｂ）に示されるように、複数のショッピング映像から１つのショッピング映像を選べるようなサムネイル表示が表示部ＤＩＳに投影される。ショッピング映像ではなく、海中の映像を視聴したい場合には、利用者は自身の手を移動させ、ハンド映像５１を上位カテゴリ矢印７３に所定時間置けばよい。本実施形態では、利用者はハンド映像５１をショッピング映像Ｂ７４に所定時間置いて、ショッピング映像Ｂを選択した例である。

【0051】

視野内映像生成部３６はショッピング映像Ｂを投影する（Ｓ６０２）。図７（Ｃ）は、ショッピング映像の一例であり仮想上のショッピングモール７４を示している。利用者が頭部を動かすとともに前後左右に移動すると、回転量センサＪＳ及び並進移動計算部３２から回転量及び並進移動量を取得し、視野内映像生成部３６は、ショッピングモールの映像やショッピングモール内の店舗の視野内映像を投影する。利用者が移動してショッピングモールの仮想店舗（例えばカバン店）に入ると、ショッピング店舗判定部４１が、商品を購入できるショッピング店舗であるか否かを判定する。ショッピングモールのすべての仮想店舗で商品を購入できるのであればショッピング店舗判定部４１は無くてもよいが、例えばショッピングモールの一部の仮想店舗で商品を購入できるのであれば、利用者が入った仮想店舗がショッピング店舗か否かを利用者に示すために、ショッピング店舗判定部４１が、全天球映像に含まれる特有信号を検出したり、ディープラーニングで認識したりする（Ｓ６０３）。

【0052】

利用者が移動している仮想店舗が商品を購入できるショッピング店舗であれば（Ｓ６０３ ＹＥＳ）、ショッピング店舗判定部４１が、ショッピングのＧＵＩ画像５２ａを表示部ＤＩＳに投影する（Ｓ６０４）。図７（Ｄ）は、ショッピング店舗７５の視野内映像にショッピングのＧＵＩ画像５２ａが表示部ＤＩＳの下端に投影された例である。ショッピング店舗７５の視野内映像で利用者が頭部を動かすと視野内映像が変化するが、ショッピングのＧＵＩ画像５２ａは一定位置に投影されたままである。利用者が前後左右に移動してショッピング店舗７５から出てショッピングモール７４の通路等にいると、ショッピングのＧＵＩ画像５２ａは消去される。利用者が移動している仮想店舗が商品を購入できるショッピング店舗でなければ（Ｓ６０４ ＮＯ）、引き続きショッピングモールの視野内映像が表示部ＤＩＳに投影される（Ｓ４０３）。

【0053】

次にＧＵＩ指示判定部３８は、ハンド画像５１がショッピングのＧＵＩ画像５２ａに存在するか否かを判断する（Ｓ６０５）。図７（Ｄ）では、ハンド画像５１がショッピングのＧＵＩ画像５２ａに存在している状態を示している。ハンド画像５１がショッピングのＧＵＩ画像５２ａに存在する場合（Ｓ６０５ ＹＥＳ）、商品画像蓄積部４２は、そのショッピング店舗７５の複数の商品画像（静止画もしくは動画）を映像合成部３７に供給する。ハンド画像５１がショッピングのＧＵＩ画像５２ａにない場合には、ハンドトラッキング部３３は、引き続きカメラＣＡの撮影画像に基づいて、手の位置及び指の動作をトラッキングする（Ｓ４０４）。

【0054】

商品画像蓄積部４２が複数の商品画像を映像合成部３７に供給すると、図７（Ｅ）に示されるように、商品画像７６が投影されており、横矢印７１でサムネイル画像（商品画像７６）を移動させることによって利用者は別の商品画像７６を視聴することができる。なお、図７（Ｅ）ではショッピング店舗７５の視野内映像が合成されずに、利用者が商品画像７６を見やすいように商品画像７６のみが投影されている。つまり映像合成部３７は、視野内映像生成部３６から供給された視野内映像を合成していない。しかしながら、ショッピング店舗７５の視野内映像が半透明で投影されても良い。

【0055】

利用者は自身の手を動かし、ハンドトラッキング部３３が手の位置及び指の動作をトラッキングする。商品特定判定部４３は、ハンド画像５１がある商品画像７６に所定時間維持されると商品画像７６を特定したと判定する（Ｓ６０８）。または、ハンドトラッキング部３３が利用者の手が親指と人差し指とで商品画像７６を摘まむような動作をトラッキングした際に、商品特定部４３は、その商品画像７６を特定したと判定する（Ｓ６０８）。商品画像７６が特定されるとハンド画像５１と商品画像７６とが一体化され移動可能となる。

【0056】

次に、商品特定判定部４３は、ハンド画像５１が商品画像７６と一体化されてカート７７に移動したか、つまりハンド画像５１がカート画像７７に存在するかを判定する（Ｓ６０９）。ハンド画像５１がカート画像７７に存在すると（Ｓ６０９ ＹＥＳ）、商品画像７６がカート７７内に入り、ハンド画像５１と商品画像７７とが切り離される（Ｓ６１０）。そして図７（Ｆ）に示されるように、商品購入ＧＵＩ画像５２ｂが投影される（Ｓ６１１）。商品購入ＧＵＩ画像５２ｂには、「購入に進む」指示アイコン、「商品を戻す」指示アイコン、「ショッピングを続ける」及び「ショッピングから退出する」指示アイコン等が投影される。利用者は自身の手を動かし、これらのいずれかの指示アイコンにハンド画像５１を移動させる。ハンド画像５１が「購入に進む」指示アイコンに所定時間存在すると、利用者は商品を購入する画面に進むことができる。

【産業上の利用可能性】

【0057】

本実施形態では、ショッピング映像の場合に商品を購入できる例を説明したが、例えば海中の映像の途中に、シュノーケルや足ヒレの映像が出てきた際に、シュノーケルや足ヒレの購入画面が投影されてもよい。

【符号の説明】

【0058】

１００ … ヘッドマウントシステム
１０ … ヘッドマウント本体
１１ … 周壁、 １２ … 収納ポケット
１４ … 焦点調製レバー、１５ … 瞳孔間距離調整ダイヤル
１７ … フェイス縁部、 ２０ … ストラップ
３１ … 映像データ蓄積部、 ３２ … 並進移動計算部
３３ … ハンドトラッキング部、 ３４ … ハンド画像生成部
３５ … ＧＵＩ画像生成部、 ３６ … 視野内映像生成部
３７ … 映像合成部、 ３８ … ＧＵＩ指示判定部
４１ … ショッピング店舗判定部、 ４２ … 商品画像蓄積部
４３ … 商品特定判定部
５１ … ハンド画像、 ５２ … ＧＵＩ画像
ＣＡ … カメラ、 ＤＩＳ … 表示部、 ＪＳ … 回転量センサ
ＳＰ … ポータブルデバイス、 ＷＦ … 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】