特許 7167949 画像処理装置、画像処理方法、および画像提供システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-31

(45)【発行日】2022-11-09

(54)【発明の名称】画像処理装置、画像処理方法、および画像提供システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221101BHJP

   H04N 21/431 20110101ALI20221101BHJP

   G09G 5/00 20060101ALI20221101BHJP

   G09G 5/377 20060101ALI20221101BHJP

   G09G 5/14 20060101ALI20221101BHJP

   G09G 5/38 20060101ALI20221101BHJP

   G09G 5/36 20060101ALI20221101BHJP

   G06F 3/04842 20220101ALI20221101BHJP

   G06F 3/04845 20220101ALI20221101BHJP

   G06F 3/01 20060101ALI20221101BHJP

   G06Q 50/16 20120101ALI20221101BHJP

【ＦＩ】

G06T19/00 300B

H04N21/431

G09G5/00 555D

G09G5/36 520M

G09G5/14 E

G09G5/38 Z

G09G5/36 520E

G09G5/00 550C

G09G5/38 A

G09G5/36 520F

G09G5/36 520B

G09G5/00 550B

G06F3/04842

G06F3/04845

G06F3/01 510

G06Q50/16

【請求項の数】 20

(21)【出願番号】P 2019570660

(86)(22)【出願日】2019-01-23

(86)【国際出願番号】 JP2019001940

(87)【国際公開番号】W WO2019155876

(87)【国際公開日】2019-08-15

【審査請求日】2021-12-09

(31)【優先権主張番号】P 2018019062

(32)【優先日】2018-02-06

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】神田 悟

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１５－７３７４６（ＪＰ，Ａ）

【文献】特開２００９－２３０３４４（ＪＰ，Ａ）

【文献】特開２００５－２１１１３２（ＪＰ，Ａ）

【文献】国際公開第２０１８／０１２６２８（ＷＯ，Ａ１）

【文献】“ナーブ「ＶＲ内見」 ＶＲ技術を応用した内見ツール 入居者探しのあり方を変革”，月刊プロパティマネジメント，綜合ユニコム，2017年10月01日，第18巻, 第10号，p.32-33

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ２１／４３１

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７７

Ｇ０９Ｇ ５／１４

Ｇ０９Ｇ ５／３８

Ｇ０９Ｇ ５／３６

Ｇ０６Ｆ ３／０４８４２

Ｇ０６Ｆ ３／０４８４５

Ｇ０６Ｆ ３／０１

Ｇ０６Ｑ ５０／１６

(57)【特許請求の範囲】

【請求項1】

仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信する受信部と、
前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する表示制御部と
を備える画像処理装置。

【請求項2】

前記表示制御部は、前記他のユーザの視点画像の位置、サイズ、および透過率の少なくとも１つを制御する
請求項１に記載の画像処理装置。

【請求項3】

前記表示制御部は、前記ユーザの視線方向を示す視線情報と前記他のユーザの前記視線情報から得られる情報に基づいて、前記他のユーザの視点画像の表示を制御する
請求項１に記載の画像処理装置。

【請求項4】

前記情報は、視差であり、前記表示制御部は、前記視差が小さくなるにつれて、前記他のユーザの視点画像を前記ユーザの視点画像の中央に移動させる
請求項３に記載の画像処理装置。

【請求項5】

前記表示制御部は、前記視差が第１の閾値以下になった場合、前記他のユーザの視点画像を大きく表示させる
請求項４に記載の画像処理装置。

【請求項6】

前記表示制御部は、前記視差が大きくなるにつれて、前記他のユーザの視点画像を前記ユーザの前記視線情報から得られる視野から外れる方向に移動させる
請求項５に記載の画像処理装置。

【請求項7】

前記表示制御部は、前記視差が前記第１の閾値よりも大きい第２の閾値以上になった場合、前記他のユーザの視点画像の表示を終了する
請求項６に記載の画像処理装置。

【請求項8】

前記情報は、視野が重なり合う割合であり、前記表示制御部は、前記割合が大きくなるにつれて、前記他のユーザの視点画像のサイズおよび透過率の少なくとも１つを大きくし、前記割合が小さくなるにつれて、前記他のユーザの視点画像のサイズおよび透過率の少なくとも１つを小さくする
請求項３に記載の画像処理装置。

【請求項9】

前記表示制御部は、前記割合が所定の閾値以上になった場合、前記他のユーザの視点画像の表示を終了する
請求項８に記載の画像処理装置。

【請求項10】

前記表示制御部は、前記他のユーザの視点画像の表示を終了した後、前記割合が前記所定の閾値以下になった場合、前記他のユーザの視点画像の表示を再開する
請求項９に記載の画像処理装置。

【請求項11】

前記表示制御部は、前記ユーザが前記他のユーザの視点画像に顔を向けた場合、前記他のユーザの視点画像を前記ユーザの視野の中心方向に移動させる
請求項３に記載の画像処理装置。

【請求項12】

前記表示制御部は、前記他のユーザの視点画像が前記ユーザの前記視野の中心に位置した状態で静止した場合、前記他のユーザの視点画像上にタイマを表示させる
請求項１１に記載の画像処理装置。

【請求項13】

前記表示制御部は、前記タイマを終了させた場合、前記他のユーザの視点画像の表示を終了させ、前記他のユーザの視点画像と同一の前記ユーザの視点画像を表示させる
請求項１２に記載の画像処理装置。

【請求項14】

前記表示制御部は、前記タイマを終了させる前に、前記ユーザが視線をずらした場合、前記他のユーザの視点画像の表示を終了させ、前記ユーザの視点画像を表示させる
請求項１２に記載の画像処理装置。

【請求項15】

前記表示制御部は、前記ユーザの視点または前記他のユーザの視点が移動して、前記ユーザから見た前記他のユーザの視点の方向ベクトルの変化が所定の閾値以上になった場合、前記他のユーザの視点画像の表示を再開させる
請求項１４に記載の画像処理装置。

【請求項16】

前記ユーザの前記視線情報は、前記ユーザの動きを検出するセンサから得られる
請求項３に記載の画像処理装置。

【請求項17】

前記センサは、ヘッドマウントディスプレイに設けられる
請求項１６に記載の画像処理装置。

【請求項18】

前記他のユーザの視点画像のビットレート配分は、前記他のユーザの視点画像のサイズまたは透過率に基づいて変更される
請求項１に記載の画像処理装置。

【請求項19】

画像処理装置が、
仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信し、
前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する
画像処理方法。

【請求項20】

仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信する受信部と、
前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する表示制御部と
を備える画像処理装置と、
前記ユーザの視点画像と前記他のユーザの視点画像を、前記他のユーザの視点画像のサイズまたは透過率に応じたビットレート配分で前記画像処理装置に送信する送信部を
備える画像提供装置と
からなる画像提供システム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、画像処理装置、画像処理方法、および画像提供システムに関し、特に、仮想空間において相手が見ている画像と相手のいる位置を同時に把握することができるようにした画像処理装置、画像処理方法、および画像提供システムに関する。

【背景技術】

【0002】

特許文献１においては、ヘッドマウントディスプレイ（ＨＭＤ）で見える他のユーザの視線方向の画像を、ユーザが使用しているＨＭＤに表示するようにした技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１４／１１５３９３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の提案では、表示されている他のユーザの視線方向の画像から、ユーザがどこにいるのかを把握することが難しい。

【0005】

本技術はこのような状況に鑑みてなされたものであり、仮想空間において相手が見ている画像と相手のいる位置を同時に把握することができるようにするものである。

【課題を解決するための手段】

【0006】

本技術の一側面の画像処理装置は、仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信する受信部と、前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する表示制御部とを備える。

【0007】

本技術の他の側面の画像提供システムは、仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信する受信部と、前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する表示制御部とを備える画像処理装置と、前記ユーザの視点画像と前記他のユーザの視点画像を、前記他のユーザの視点画像のサイズまたは透過率に応じたビットレート配分で前記画像処理装置に送信する送信部を備える画像提供装置とからなる。

【0008】

本技術の一側面においては、仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とが受信される。そして、前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示が制御される。

【0009】

本技術の他の側面においては、仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とが受信される。そして、前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示が制御される。また、前記ユーザの視点画像と前記他のユーザの視点画像が、前記他のユーザの視点画像の大きさまたは透過率に応じたビットレート配分で前記画像処理装置に送信される。

【発明の効果】

【0010】

本技術によれば、仮想空間において相手が見ている画像と相手のいる位置を同時に把握することができる。

【0011】

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0012】

【図1】本技術を適用したモデルルーム内覧システムを説明する図である。

【図2】自由視点画像空間の構成例を示す図である。

【図3】視点非共有モードと視点共有モードの表示画面例を示す図である。

【図4】サーバの構成例を示すブロック図である。

【図5】ＨＭＤの構成例を示すブロック図である。

【図6】子画面の初期表示位置の例を示す図である。

【図7】ユーザ１の視点とユーザ２の視点が同一である合の子画面の水平方向の初期表示位置の例を示す図である。

【図8】ユーザ１の視点とユーザ２の視点が異なる場合の子画面の水平方向の初期表示位置の例を示す図である。

【図9】子画面のサイズが初期表示状態の場合の表示画面の例を示す図である。

【図10】子画面のサイズが拡大表示された状態の表示画面の例を示す図である。

【図11】子画面のサイズが最大表示された状態の表示画面の例を示す図である。

【図12】子画面が表示画面の視野から外れた状態の表示画面の例を示す図である。

【図13】子画面が表示画面の視野から消えた状態の表示画面の例を示す図である。

【図14】子画面の表示割合とビットレート割り当て配分の例を示す図である。

【図15】モデルルーム内覧システムのサービスのコンテンツの表示制御処理を説明するフローチャートである。

【図16】図１５のステップＳ１４における視点共有モードの表示制御処理を説明するフローチャートである。

【図17】サーバの画像提供処理を説明するフローチャートである。

【図18】図１７のステップＳ５２の視点非共有モードの画像提供処理を説明するフローチャートである。

【図19】図１７のステップＳ５４の視点共有モードの画像提供処理を説明するフローチャートである。

【図20】ユーザ１の視点とユーザ２の視点が同一である場合の子画面の表示画面の遷移の例を示す図である。

【図21】図２０に続く、ユーザ１の視点とユーザ２の視点が同一である場合の表示画面の遷移の例を示す図である。

【図22】ユーザ１の視点とユーザ２の視点が異なる場合の子画面の表示画面の遷移の例を示す図である。

【図23】図２２に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。

【図24】図２３に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。

【図25】図２４に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。

【図26】図２５に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。

【図27】図２６に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。

【図28】図２１乃至図２７を参照して上述した視点共有モードの表示制御処理を説明するフローチャートである。

【図29】図２８に続く、視点共有モードの表示制御処理を説明するフローチャートである。

【図30】図２９に続く、視点共有モードの表示制御処理を説明するフローチャートである。

【図31】ＨＭＤのハードウェア構成例を示すブロック図である。

【図32】サーバのハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（モデルルーム内覧システム）
２．第２の実施の形態（モデルルーム内覧システムの他の例）
３．第３の実施の形態（観光システム）

【0014】

＜第１の実施の形態＞
＜システムの構成例＞
図１は、本技術を適用した画像提供システムとしての、モデルルーム内覧システムを説明する図である。

【0015】

モデルルーム内覧システムは、図１に示すように、ユーザが、自宅のリビングや不動産屋にて、ヘッドマウントディスプレイ（ＨＭＤ）を着用し、サーバにアクセスすることで、モデルルーム内覧サービスのコンテンツを視聴することに用いるものである。モデルルーム内覧システムは、不動産ビジネスなどに用いられる。自由視点画像空間であるモデルルームは、リビング、キッチン、寝室、トイレ、バスルームなどで構成される。

【0016】

図１の例においては、夫であるユーザ１がＨＭＤ１１－１を着用して、サーバ１２にアクセスし、モデルルーム中のリビングのコンテンツを見ている。妻であるユーザ２は、ＨＭＤ１１－２を着用して、サーバ１２にアクセスし、モデルルーム中のキッチンのコンテンツを見ている。

【0017】

ＨＭＤ１１－１は、自由視点画像空間におけるユーザ１の位置を示す視点位置情報および視線方向を示す視線情報をサーバ１２に送信し、サーバ１２から送信されてくる画像を用いて、ユーザ１の視野（Field Of View）の範囲の画像である視野画像（View Port）を生成する。後述するように、ＨＭＤ１１－１において表示する視野画像は、サーバ１２から送信されてきた視点画像に基づいて、ＨＭＤ１１－１において生成され、表示される。また、ＨＭＤ１１－１は、生成したユーザ１の視野画像の表示を制御する。

【0018】

ここで、視点位置情報とは、ユーザの自由視点画像空間内における立ち位置（頭の位置）を表す位置情報である。ユーザは、図示せぬコントローラなどを操作することで、立ち位置を変更することができる。また、視線情報とは、ユーザの視野を形成するためのPitch、Yawなどで表される視点を起点とするベクトル情報のことである。ＨＭＤの場合、ユーザは、首振り動作によって、視線を変えることができる。

【0019】

ＨＭＤ１１－２は、自由視点画像空間におけるユーザ２の視点位置情報および視線情報をサーバ１２に送信し、サーバ１２から送信されてくる画像を用いて、ユーザ２の視野の範囲の画像である視野画像を生成する。ＨＭＤ１１－２は、生成したユーザ２の視野画像の表示を制御する。

【0020】

サーバ１２は、モデルルーム内覧システムを用いて視聴可能なコンテンツとして、例えば、モデルルームを複数の視点から撮像して得られた動画像を含む、いわゆる自由視点画像空間のコンテンツを有している。

【0021】

サーバ１２は、自由視点画像空間におけるユーザ１の視点位置情報および視線情報に基づいて生成された画像を、ＨＭＤ１１－１に送信する。サーバ１２は、自由視点画像空間におけるユーザ２の視点位置情報および視線情報に基づいて生成された画像を、ＨＭＤ１１－２に送信する。

【0022】

モデルルーム内覧システムを用いることにより、ユーザは、あたかもモデルルームで内覧しているかのような臨場感で、モデルルームを体験することができる。

【0023】

なお、ユーザは、操作端末として、ＨＭＤに限らず、スマートフォンやタブレット端末を用いて専用アプリケーションを立ち上げることで、モデルルーム内覧システムを利用することもできる。

【0024】

＜自由視点画像空間の構成例について＞
図２は、自由視点画像空間の構成例を示す図である。

【0025】

図２には、自由視点画像空間であるモデルルームを上から見た状態が模式的に示されている。

【0026】

モデルルームは、リビングとキッチンから構成される。リビングの上には、右側に設けられているドアを介してキッチンが繋がっている。

【0027】

１の数字を付して示す丸は、ユーザ１を表し、２の数字を付して示す丸は、ユーザ２を表す。丸と２つの直線が接する部が視点位置であり、視点から延びる２つの直線の間の範囲がユーザの視野を表す。

【0028】

ユーザ１は、リビングにいて、上方向を向いている。ユーザ２は、キッチンにいて左上方向を向いている。ユーザ２は、ユーザ１に対して、左上方向に位置する。

【0029】

ユーザ１とユーザ２は、ドアを介して、リビングとキッチンを行き来することができる。

【0030】

＜視点非共有モードと視点共有モード＞
図３は、ＨＭＤ１１－１における視点非共有モードと視点共有モードの表示画面例を示す図である。

【0031】

モデルルーム内覧システムは、表示モードとして、視点非共有モードと視点共有モードを有している。視点非共有モードは、各ユーザが自分の視野画像を表示する表示モードである。視点共有モードは、自分の視野画像の上に、他のユーザの視野画像を重畳して表示することで、他のユーザの視野画像を共有する表示モードである。

【0032】

ＨＭＤ１１－１およびＨＭＤ１１－２がモデルルーム内覧サービスにログインすると、ユーザ１の視点位置情報および視線情報と、ユーザ２の視点位置情報および視線情報がそれぞれサーバ１２に送信される。

【0033】

サーバ１２は、自由視点画像空間におけるユーザ１の視点位置情報に基づいて生成されたユーザ１の視点から見たユーザ１の視点画像をＨＭＤ１１－１に送信する。サーバ１２は、自由視点画像空間におけるユーザ２の視点位置情報に基づいて生成されたユーザ２の視点から見たユーザ２の視点画像をＨＭＤ１１－２に送信する。

【0034】

ＨＭＤ１１－１およびＨＭＤ１１－２には、視点非共有モードの表示画面が表示される。

【0035】

表示画面Ｖ１は、視点非共有モードの画面である。ＨＭＤ１１－１は、表示画面Ｖ１に示されるように、サーバ１２から供給された視点画像を用いてＨＭＤ１１－１の視野に合わせて生成したユーザ１の視野画像（リビング）の表示を制御する。図示されないが、ＨＭＤ１１－２は、サーバ１２から供給された視点画像を用いてＨＭＤ１１－２の視野に合わせて生成したユーザ２の視野画像（キッチン）の表示を制御する。

【0036】

ＨＭＤ１１－２は、ユーザ２の操作に基づいて、ユーザ２が見ているキッチンの設備をユーザ１に見てほしいという視点共有を要求する信号である視点共有リクエスト信号をサーバ１２に送信する。サーバ１２は、自由視点画像空間におけるユーザ２の視点位置情報および視線情報と、ユーザ２の視点位置情報および視線情報に基づいて生成されたユーザ２の視点画像を、ＨＭＤ１１－１に送信する。

【0037】

表示画面Ｖ２は、視点共有モードの画面である。ＨＭＤ１１－１は、ユーザ１の視野画像の上に、ユーザ２の視野画像を子画面Ｗ１として重畳した表示画面Ｖ２を生成し、表示させる。ＨＭＤ１１－１に表示されるユーザ２の視野画像は、サーバ１２から供給された視点画像を用いて子画面の視野に合わせて生成された画像である。

【0038】

表示画面Ｖ２において、ユーザ１が、子画面Ｗ１に視線を向ける。これに対応して、ＨＭＤ１１－１は、ユーザ１の視野画像の中央に移動させ、拡大した子画面Ｗ２を重畳した表示画面Ｖ３を生成し、表示させる。

【0039】

さらに、表示画面Ｖ３において、ユーザ１の視線が、子画面の中心と一致した場合、ＨＭＤ１１－１は、ユーザ１の視野画像の上に、略最大にした子画面Ｗ３を重畳させた表示画面Ｖ４を生成し、表示させる。

【0040】

以上のように、ＨＭＤ１１－１においては、ユーザ１が見ているリビングの視野画像に、ユーザ２が見ているキッチンの視野画像が重畳される。すなわち、モデルルーム内覧システムにおいては、自分が見ている視野画像を、他のユーザと共有することができる。

【0041】

また、以上のようにして、ユーザ１が見ている、表示画面における子画面（注視領域）のサイズに応じて、サーバ１２においてはビットレートの割合が制御される。

【0042】

視点非共有モードの表示画面Ｖ１の場合、サーバ１２は、ユーザ１の視点画像にすべてのビットレートを割り当てて伝送してくる。

【0043】

視点共有モードの表示画面Ｖ２の場合、サーバ１２は、ユーザ１の視点画像とユーザ２の視点画像を同時に伝送するが、ユーザ２の視点画像へのビットレート割り当てはまだ低い。

【0044】

視点共有モードの表示画面Ｖ３の場合、サーバ１２は、ユーザ１の視点画像とユーザ２の視点画像を同時に伝送する。このとき、ユーザ２の視点画像を優先的に送るために、サーバ１２は、ユーザ２の視点画像へのビットレート割り当てを増大する。

【0045】

視点共有モードの表示画面Ｖ４の場合、サーバ１２は、ユーザ１の視点画像とユーザ２の視点画像を同時に伝送する。このとき、サーバ１２は、ユーザ２の視点画像へのビットレート割り当てを最優先で最大にする。

【0046】

＜サーバの構成例＞
図４は、サーバの構成例を示すブロック図である。

【0047】

サーバ１２は、自由視点画像空間モデルＤＢ３１、視点画像生成部３２－１、視点画像生成部３２－２、視点画像圧縮部３３－１、視点画像圧縮部３３－２、視点画像圧縮部３３－３、多重化部３４、およびレート配分制御部３５から構成される。

【0048】

図中、上り伝送とは、ＨＭＤ１１－１または１１－２からサーバ１２への伝送を表し、下り伝送とは、サーバ１２からＨＭＤ１１－１または１１－２への伝送を表す。

【0049】

ＨＭＤ１１－１から送信されたユーザ１の視点位置情報および視線情報は、視点画像生成部３２－１に供給される。ＨＭＤ１１－１から送信されたユーザ１が注視している子画面のサイズを示すユーザ１の注視領域情報は、レート配分制御部３５に供給される。ＨＭＤ１１－２からユーザ２の視点位置情報および視線情報、並びに、視点共有リクエスト信号は、視点画像生成部３２－２に供給される。ユーザ１の注視領域情報は、ユーザ１が注視している子画面の透過率を示す情報であってもよい。

【0050】

自由視点画像空間モデルＤＢ３１は、モデルルームを複数の視点から撮像して得られた動画像を含む自由視点の全天球画像を記憶する。全天球画像の自由度は、自由視点画像の自由度である６ＤｏＦ(Degree of Freedom)である。なお、360°視点固定見回し型ＶＲ(Virtual Reality)の場合の自由度である３ＤｏＦに、複数視点（１つ以上の視点）が追加されたものが全天球画像の自由度であってもよい。

【0051】

視点画像生成部３２－１は、ＨＭＤ１１－１から供給されたユーザ１の視点位置情報および視線情報に基づいて、自由視点画像空間モデルＤＢ３１の全天球画像を用いて、ユーザ１の視点画像であるユーザ１の視点の全天球画像を生成する。視点画像生成部３２－１は、生成したユーザ１の視点の全天球画像を、視点画像圧縮部３３－１に出力する。

【0052】

視点画像生成部３２－２は、ＨＭＤ１１－２から供給されたユーザ２の視点位置情報および視線情報に基づいて、自由視点画像空間モデルＤＢ３１の全天球画像を用いて、ユーザ２の視点画像であるユーザ２の視点の全天球画像を生成する。視点画像生成部３２－２は、生成したユーザ２の視点の全天球画像を、視点画像圧縮部３３－３に出力する。また、視点画像生成部３２－２は、ＨＭＤ１１－２から視点共有リクエスト信号が供給された場合、生成したユーザ２の視点の全天球画像を、視点画像圧縮部３３－２にも出力する。

【0053】

視点画像圧縮部３３－１は、視点非共有モードの場合、ユーザ１の視点の全天球画像をＥＲＰ(EquiRectangular Projection：正距円筒図法)投影変換し、ユーザ１の圧縮ＥＲＰ画像を生成する。視点共有モードの場合、ユーザ１の圧縮ＥＲＰ画像は、レート配分制御部３５から供給されたビットレートを制御するビットレート制御信号に基づいて生成される。視点画像圧縮部３３－１は、生成したユーザ１の圧縮ＥＲＰ画像を多重化部３４に出力する。なお、変換の方式はＥＲＰに限定されない。

【0054】

視点画像圧縮部３３－２は、視点共有モードの場合、レート配分制御部３５から供給されたビットレートを制御するビットレート制御信号に基づいて、ユーザ２の視点の全天球画像をＥＲＰ投影変換して、ユーザ２の圧縮ＥＲＰ画像を生成する。視点画像圧縮部３３－２は、生成したユーザ２の圧縮ＥＲＰ画像を多重化部３４に出力する。

【0055】

視点画像圧縮部３３－３は、ユーザ２の視点の全天球画像をＥＲＰ投影変換して、ユーザ２の圧縮ＥＲＰ画像を生成する。視点画像圧縮部３３－３は、生成したユーザ２の圧縮ＥＲＰ画像を、ＨＭＤ１１－２に送信する。

【0056】

多重化部３４は、視点非共有モードの場合、視点画像圧縮部３３－１から供給されたユーザ１の圧縮ＥＲＰ画像を用いて、圧縮画像ストリームを生成する。多重化部３４は、視点共有モードの場合、視点画像圧縮部３３－１から供給されたユーザ１の圧縮ＥＲＰ画像、視点画像圧縮部３３－２から供給されたユーザ２の圧縮ＥＲＰ画像を多重化し、圧縮画像ストリームを生成する。多重化部３４は、圧縮画像ストリームをＨＭＤ１１－１に送信する。このとき、ユーザ２の視点位置情報および視線情報もメタデータとして送信される。

【0057】

レート配分制御部３５は、視点共有モードの場合、ＨＭＤ１１－１から供給されたユーザ１の注視領域情報に基づいて、ユーザ１の視点の全天球画像とユーザ２の視点の全天球画像のビットレート配分を制御する。レート配分制御部３５は、ユーザ１の視点画像とユーザ２の視点画像のビットレート配分を制御するレート制御信号を、視点画像圧縮部３３－１および視点画像圧縮部３３－２に出力する。

【0058】

＜ＨＭＤの構成例＞
図５は、ＨＭＤの構成例を示すブロック図である。

【0059】

ＨＭＤ１１－１は、画像処理部５１－１、画像処理部５１－２、合成処理部５２、および表示制御部５３から構成される。

【0060】

視点非共有モードの場合、サーバ１２は、ユーザ１向けのユーザ１の圧縮ＥＲＰ画像からなる圧縮画像ストリームを送信してくる。

【0061】

これに対して、ＨＭＤ１１－２から視点共有リクエスト信号があった場合、サーバ１２は、ユーザ１向けのユーザ１の圧縮ＥＲＰ画像とユーザ１向けのユーザ２の圧縮ＥＲＰ画像とからなる、多重化された圧縮画像ストリームを送信してくる。また、サーバ１２は、メタデータとして、ユーザ２の視点共有リクエスト信号とユーザ２の視点位置情報および視線情報を送ってくる。

【0062】

ユーザ１向けのユーザ１の圧縮ＥＲＰ画像は、画像処理部５１－１に供給される。ユーザ１向けのユーザ２の圧縮ＥＲＰ画像とメタデータは、画像処理部５１－２に供給される。

【0063】

ＨＭＤ１１－１において、ユーザ１の視点位置情報および視線情報は、操作入力部７１から入力され、画像処理部５１－１に供給され、サーバ１２に送信される。操作入力部７１は、コントローラまたはＨＭＤ１１－１に設置されている加速度センサなどから構成される。加速度センサは、ジャイロスコープおよびMEMSセンサなどからなり、ＨＭＤや携帯端末に搭載される。加速度センサは、例えば、ユーザの動きを検出して視線ベクトルを動かす機能を有する。

【0064】

また、ユーザ１の視点位置情報および視線情報は、サーバ１２にも送信される。なお、ユーザ１の他のユーザとの視点共有の要求を示すユーザ１の視点共有リクエスト信号も、ユーザ１の要求に応じて、サーバ１２に送信される。

【0065】

画像処理部５１－１は、ユーザ１の圧縮ＥＲＰ画像に対して、所定の画像処理を行う。画像処理部５１－１は、圧縮ＥＲＰ画像デコード処理部６１－１および視野画像生成処理部６２－１から構成される。

【0066】

圧縮ＥＲＰ画像デコード処理部６１－１は、ユーザ１の圧縮ＥＲＰ画像をデコード処理して、ユーザ１のＥＲＰ画像を生成する。圧縮ＥＲＰ画像デコード処理部６１－１は、生成したＥＲＰ画像を、視野画像生成処理部６２－１に出力する。

【0067】

視野画像生成処理部６２－１は、ユーザ１のＥＲＰ画像を用い、ユーザ１の視点位置情報および視線情報に基づき、ＨＭＤ１１－１の視野に合わせて、ユーザ１の視野画像を生成する。視野画像生成処理部６２－１は、生成したユーザ１の視野画像を、合成処理部５２に出力する。ユーザ１の視点位置情報および視線情報も合成処理部５２に出力される。なお、視野画像の視野の広さは、表示装置の性能によって制約されることがある。

【0068】

画像処理部５１－２は、ユーザ２の視点共有リクエスト信号を受け取った場合、ユーザ２の圧縮ＥＲＰ画像に対して、所定の画像処理を行う。画像処理部５１－２は、圧縮ＥＲＰ画像デコード処理部６１－２および視野画像生成処理部６２－２から構成される。

【0069】

圧縮ＥＲＰ画像デコード処理部６１－２は、ユーザ２の圧縮ＥＲＰ画像をデコード処理して、ユーザ２のＥＲＰ画像を生成する。圧縮ＥＲＰ画像デコード処理部６１－２は、生成したＥＲＰ画像を、視野画像生成処理部６２－２に出力する。

【0070】

視野画像生成処理部６２－２は、ユーザ２のＥＲＰ画像を用い、ユーザ２の視点位置情報および視線情報に基づき、子画面Ｗの視野に合わせて、ユーザ２の視野画像を生成し、生成したユーザ２の視野画像を、合成処理部５２に出力する。ユーザ２の視点位置情報および視線情報も合成処理部５２に出力される。

【0071】

合成処理部５２は、ユーザ１の視野画像上に、ユーザ２の視野画像からなる子画面Ｗを重畳して、表示画面Ｖを生成する。合成処理部５２は、視点非共有モードで、ユーザ２の視野画像がない場合、ユーザ１の視野画像を用いて、表示画面Ｖを生成する。合成処理部５２は、生成した表示画面Ｖを表示制御部５３に出力する。

【0072】

表示制御部５３は、合成処理部５２から供給された表示画面Ｖを、出力部７２から出力させる。出力部７２は、ＬＣＤまたは有機ＥＬなどで構成される。

【0073】

＜子画面の初期表示位置の例＞
図６は、子画面の初期表示位置の例を示す図である。

【0074】

表示画面Ｖは、ユーザ１の視野を表している。子画面Ｗの水平方向のサイズは、表示画面Ｖの視野の水平方向のおおよそ４分の１となるように設定されている。

【0075】

子画面Ｗの垂直方向の初期位置は、太い破線で示された表示画面Ｖの視野の垂直方向の中央部と子画面Ｗの視野の垂直方向の中央部を一致させるように決められる。

【0076】

子画面Ｗの水平方向の初期位置は、表示画面Ｖの視野の左４分の１または右４分の１の表示エリアとなる。図６において、子画面Ｗは、表示画面Ｖの視野の左４分の１に配置されている。

【0077】

＜子画面の初期表示位置の例＞
図７は、ユーザ１の視点とユーザ２の視点が同一である場合の子画面の水平方向の初期表示位置の例を示す図である。

【0078】

図７において、破線で示す視線ベクトルＰは、ユーザ１の視線ベクトルを表しており、破線で示す視線ベクトルＱは、ユーザ２の視線ベクトルを表している。

【0079】

ユーザ１の視点とユーザ２の視点が同一である場合、子画面の水平方向の初期表示位置は、ユーザ１の視線ベクトルＰに対して、ユーザ２の視線ベクトルＱが左右どちら側にあるかに応じて決められる。

【0080】

図７の場合、ユーザ２の視線ベクトルＱは、ユーザ１の視線ベクトルＰよりも左側にあるので、子画面Ｗは、表示画面Ｖの左側に配置される。

【0081】

図８は、ユーザ１の視点とユーザ２の視点が異なる場合の子画面の水平方向の初期表示位置の例を示す図である。

【0082】

図８において、破線で示す視線ベクトルＰは、ユーザ１の視線ベクトルを表しており、２の数字が示される丸と三角形の接点は、ユーザ２の視点位置Ｒを表している。

【0083】

ユーザ１とユーザ２が異なる視点にある場合、子画面の水平方向の初期表示位置は、ユーザ１の視線ベクトルＰに対して、ユーザ２の視点位置Ｒが左右どちら側にあるかに応じて決められる。

【0084】

図８の場合、ユーザ２の視点位置Ｒは、ユーザ１の視線ベクトルＰよりも左側にあるので、子画面Ｗは、表示画面Ｖの左側に配置される。

【0085】

なお、図７および図８において、表示位置例を示したが、子画面の水平方向の初期表示位置は、特に意味を持たせずに配置するようにしてもよい。

【0086】

＜子画面の表示位置の変化例＞
図９は、子画面のサイズが初期表示状態の場合の表示画面の例を示す図である。

【0087】

図９においては、子画面Ｗのサイズが表示画面Ｖの視野の水平サイズのおおよそ４分の１である初期表示状態の表示画面Ｖが示されている。

【0088】

ユーザ１が表示画面Ｖの視野の水平サイズＦ１の中央部分を見た場合の視線ベクトルＰ１と、ユーザ１が子画面Ｗの視野の水平サイズＦ２の中央部分を見た場合の視線ベクトルＰ２は、表示画面Ｖの視野の水平サイズＦ１と子画面Ｗの視野の水平サイズＦ２によって定義される。

【0089】

すなわち、視線ベクトルＰ１は、表示画面Ｖの視野の水平サイズＦ１に応じて求まり、視線ベクトルＰ２は、子画面Ｗの初期表示位置の決定に応じて求まる。求まった視線ベクトルＰ１と視線ベクトルＰ２のズレである視差が角度として求められたものが、視差角ｄである。子画面Ｗは、視差角ｄに応じて拡大表示されたり、視野から外に外れたり、最終的に視野から消えた状態となったりする。

【0090】

図１０は、子画面のサイズが拡大表示された状態の表示画面の例を示す図である。

【0091】

図１０においては、子画面Ｗのサイズが表示画面Ｖの視野の水平サイズのおおよそ２分の１である表示画面Ｖが示されている。破線の矩形は、図９の初期表示状態の子画面の位置を表している。

【0092】

初期表示状態の表示画面Ｖから、２つの視線ベクトルＰ１およびＰ２のズレ、すなわち、視差角ｄが小さくなる方向に、ユーザ１がＨＭＤ１１－１で首振り動作を行うと、子画面Ｗは、破線の矩形の位置から、表示画面Ｖの中央に移動されるとともに、拡大表示される。

【0093】

図１１は、子画面のサイズが最大表示された状態の表示画面の例を示す図である。

【0094】

図１１においては、子画面Ｗのサイズが表示画面Ｖの視野の水平サイズのおおよそ９５％である表示画面Ｖが示されている。２つの破線の矩形は、左側から図９の初期表示状態の子画面の位置、図１０の表示状態の子画面の位置を表している。

【0095】

２つの視線ベクトルＰ１およびＰ２が略一致、または視差角ｄが所定の閾値以下になった場合、子画面Ｗのサイズは、略最大とされる。このとき、子画面Ｗの中心位置は、破線の矩形の位置から、表示画面Ｖの中心位置に移動されて表示される。

【0096】

図１２は、子画面が表示画面の視野から外れた状態の表示画面の例を示す図である。

【0097】

図１２においては、子画面Ｗのサイズが表示画面Ｖの視野の水平サイズのおおよそ４分の１のままで、表示画面Ｖの視野から外れていく状態の表示画面Ｖが示されている。破線の矩形は、図９の初期表示状態の子画面を表している。

【0098】

初期表示状態の表示画面Ｖから、２つの視線ベクトルＰ１およびＰ２の視差角ｄが大きくなる方向に、ユーザ１がＨＭＤ１１－１で首振り動作を行う。子画面Ｗは、サイズが初期状態のままで、破線の矩形の位置から、ユーザ１の視野から外れる方向に移動して表示される。

【0099】

図１３は、子画面が表示画面の視野から消えた状態の表示画面の例を示す図である。

【0100】

図１３においては、子画面Ｗのサイズが表示画面Ｖの視野の水平サイズのおおよそ４分の１のままで、表示画面Ｖの視野から消えた状態の表示画面Ｖが示されている。破線の矩形は、右側から、図９の初期表示状態の子画面、図１２の表示状態の子画面を表している。

【0101】

ユーザ１のＨＭＤ１１－１の首振り動作により、２つの視線ベクトルＰ１およびＰ２の視差角ｄがさらに大きくなると、子画面Ｗは、表示画面Ｖの視野から消える。

【0102】

以上のように、子画面Ｗは、視差角ｄに応じて拡大表示されたり、視野から外れて表示されたり、視野から消えた状態となったりする。

【0103】

＜子画面の表示割合とビットレート割り当て配分の例＞
図１４は、子画面の表示割合とビットレート割り当て配分の例を示す図である。

【0104】

図１４において、左から順に、子画面Ｗが消えた状態、子画面Ｗが外れていく状態、子画面の初期表示状態、子画面Ｗの拡大状態、子画面の最大拡大状態の各表示画面が示されている。各表示画面の下には、それぞれの状態における表示画面と子画面のビットレート割り当て配分が示されている。

【0105】

子画面が消えた状態では、表示画面と子画面の表示割合は、１００％対０％である。子画面が外れていく状態では、表示画面と子画面の表示割合は、９０％対１０％である。子画面の初期表示状態では、表示画面と子画面の表示割合は、７５％対２５％である。子画面の拡大状態では、表示画面と子画面の表示割合は、５％対９５％である。

【0106】

ユーザ１の視差角は、左右それぞれ９０度とされる。子画面のサイズがおおよそ４分の１になるときの視差角は、９０／４＝２２．５°である。左半分の視差角が４５°なので、２２．５°の子画面を画面の左端に配置した時の視線ベクトルの視差角を計算すると、４５－２２．５／２＝３３．７５°となる。

【0107】

さらに、ユーザ１の視線方向とユーザ２の視線方向の一致率である視線一致率は、視差角の値に応じて定義される。

【0108】

（１）視差角初期値３３．７５°で、画面サイズ４分の１の場合、視線一致率は、２５％とする。

【0109】

（２）視差角が最小値の０度で、画面サイズ１００％の（実際には、９５％上限として親画面は周辺に少しだけ残す）場合、視線一致率は、１００％とする。

【0110】

差角３３．７５°以上の場合、上記（１）および（２）の２点から求まる変化割合および視差角の増大に応じて、視差一致率は減少され、０％乃至２５％となる。

【0111】

以上のように、ＨＭＤの首振り動作に対応した視差一致率または表示割合に応じてビットレート配分を可変にすることができる。なお、ビットレート配分は、第２の実施の形態において後述する透過率に応じて可変にするようにしてもよい。

【0112】

＜ＨＭＤの動作＞
図１５は、ＨＭＤ１１－１が行う、モデルルーム内覧システムのサービスのコンテンツの表示制御処理を説明するフローチャートである。

【0113】

ステップＳ１１において、操作入力部７１から供給されたログインを要求するログイン信号をサーバ１２に送信することにより、ＨＭＤ１１－１は、モデルルーム内覧システムのサービスにログインをする。視野画像生成処理部６２－１に、操作入力部７１からユーザ１の視点位置情報および視線情報が供給される。

【0114】

ステップＳ１２において、視点非共有モードの表示制御処理が行われる。

【0115】

視点非共有モードの場合、サーバ１２は、圧縮画像ストリームとして、ユーザ１向けのユーザ１の圧縮ＥＲＰ画像を送信してくる。

【0116】

すなわち、視点非共有モードの表示制御処理として、圧縮ＥＲＰ画像デコード処理部６１－１は、ユーザ１の圧縮ＥＲＰ画像をデコード処理して、ＥＲＰ画像を生成する。視野画像生成処理部６２－１は、ユーザ１の視点位置情報および視線情報に基づいて、ユーザ１の視野画像を生成する。合成処理部５２は、視点非共有モードの場合、ユーザ１の視野画像を用いて、表示画面Ｖを生成する。表示制御部５３は、合成処理部５２から供給された表示画面Ｖを、出力部７２から出力させる。

【0117】

ユーザ２の視点共有リクエストがあった場合、サーバ１２から送信されてくるユーザ２の視点共有リクエスト信号が、画像処理部５１－２に供給される。

【0118】

ステップＳ１３において、画像処理部５１－２は、サーバ１２から、視点共有リクエストを受け取ったか否かを判定する。ステップＳ１３において、視点共有リクエストを受け取ったと判定された場合、処理は、ステップＳ１４に進む。

【0119】

ステップＳ１４において、視点共有モードの表示制御処理が行われる。視点共有モードの表示制御処理の詳細は、図１６を参照して後述する。ステップＳ１４の処理により、ユーザ１の視野画像上に、ユーザ２の視野画像からなる子画面Ｗが重畳されて、表示画面Ｖが生成され、生成された表示画面Ｖが、出力部７２から出力される。

【0120】

一方、ステップＳ１３において、視点共有リクエストを受け取っていないと判定された場合、処理は、ステップＳ１５に進む。

【0121】

ステップＳ１５において、画像処理部５１－１は、コンテンツ表示制御処理を終了するか否かを判定する。ステップＳ１５において、コンテンツ表示制御処理を終了しないと判定された場合、ステップＳ１２に戻り、それ以降の処理が繰り返される。

【0122】

ステップＳ１５において、コンテンツ表示制御処理を終了すると判定された場合、図１５のコンテンツ表示制御処理は終了される。

【0123】

図１６は、図１５のステップＳ１４における視点共有モードの表示制御処理を説明するフローチャートである。

【0124】

ステップＳ３１において、ユーザ２の視野画像が、ユーザ１の視野画像内に子画面表示される。

【0125】

ＨＭＤ１１－２から視点共有リクエスト信号があった場合、サーバ１２は、ユーザ１向けのユーザ１の圧縮ＥＲＰ画像とユーザ１向けのユーザ２の圧縮ＥＲＰ画像からなる、多重化された圧縮画像ストリームを送信する。また、サーバ１２は、ユーザ２の視点共有リクエスト信号とユーザ２の視点位置情報および視線情報が含まれるメタデータを送信する。

【0126】

すなわち、視点共有モードの表示制御処理においては、視点非共有モードの表示制御処理に加えて、圧縮ＥＲＰ画像デコード処理部６１－２は、ユーザ２の圧縮ＥＲＰ画像をデコード処理して、ＥＲＰ画像を生成する。視野画像生成処理部６２－２は、ユーザ２の視点位置情報および視線情報に基づいて、ユーザ２の視野画像を生成する。

【0127】

合成処理部５２は、ユーザ１の視点位置情報および視線情報並びにユーザ２の視点位置情報および視線情報に基づいて、ユーザ１の視野画像上に、ユーザ２の視野画像からなる子画面Ｗを重畳して、表示画面Ｖを生成する。表示制御部５３は、合成処理部５２から供給された表示画面Ｖを、出力部７２から出力させる。このとき、ユーザ１の注視領域情報がサーバ１２に送信される。

【0128】

ステップＳ３２において、合成処理部５２は、ユーザ１の視線情報に基づいて、ユーザ１が子画面の方向に視線を移動させたか否かを判定する。ステップＳ３２において、ユーザ１が子画面の方向に視線を移動させたと判定された場合、処理は、ステップＳ３３に進む。

【0129】

ステップＳ３３において、合成処理部５２は、子画面を表示画面の視野の中央に向かって、移動させるとともに、拡大表示させる。このとき、ユーザ１の注視領域情報がサーバ１２に送信される。

【0130】

ステップＳ３４において、合成処理部５２は、子画面が表示画面の視野の中央に移動したときに、子画面を最大表示させる。このとき、ユーザ１の注視領域情報がサーバ１２に送信される。

【0131】

ステップＳ３４の後、ステップＳ３２に戻り、それ以降の処理が繰り返される。

【0132】

一方、ステップＳ３２において、ユーザ１が子画面の方向に視線を移動させていないと判定された場合、処理は、ステップＳ３５に進む。

【0133】

ステップＳ３５において、ユーザ１の視線情報に基づいて、ユーザ１が子画面の反対方向に視線を移動させたか否かを判定する。ステップＳ３５において、ユーザ１が子画面の反対方向に視線を移動させていないと判定された場合、ステップＳ３１に戻り、それ以降の処理が繰り返される。

【0134】

ステップＳ３５において、ユーザ１が子画面の反対方向に視線を移動させたと判定された場合、処理は、ステップＳ３６に進む。

【0135】

ステップＳ３６において、合成処理部５２は、子画面を、表示画面の視野の外に向かって移動させるとともに、縮小表示させる。このとき、ユーザ１の注視領域情報がサーバ１２に送信される。

【0136】

ステップＳ３７において、合成処理部５２は、子画面が、表示画面の視野の外に完全に出たか否かを判定する。ステップＳ３７において、子画面が、表示画面の視野の外に完全に出たと判定された場合、視点共有モードの表示制御処理は終了される。

【0137】

ステップＳ３７において、表示画面の視野の外に完全に出ていないと判定された場合、ユーザ１の注視領域情報がサーバ１２に送信され、ステップＳ３１に戻り、それ以降の処理が繰り返される。

【0138】

なお、ＨＭＤ１１－１を例に説明したが、ＨＭＤ１１－２の場合も同様の処理が行われる。

【0139】

＜サーバの動作＞
図１７は、サーバ１２の画像提供処理を説明するフローチャートである。

【0140】

図１７の例においては、ユーザ２のＨＭＤ１１－２から送信されてきた視点共有リクエストの例が示されているが、ユーザ１のＨＭＤ１１－１の場合にもサーバ１２においては同様の処理が行われる。

【0141】

ステップＳ５１において、視点画像生成部３２－１および視点画像生成部３２－２は、ユーザの視点位置情報および視線情報を受け取ったと判定されるまで待機している。ステップＳ５１において、ユーザの視点位置情報および視線情報を受け取ったと判定された場合、処理は、ステップＳ５２に進む。

【0142】

ステップＳ５２において、視点非共有モードの画像生成処理が行われる。視点非共有モードの画像生成処理の詳細は、図１８を参照して後述する。ステップＳ５２の処理により、ユーザ１の圧縮ＥＲＰ画像が生成され、生成されたユーザ１の圧縮ＥＲＰ画像が、ユーザ１のＨＭＤ１１－１に送信される。ユーザ２の圧縮ＥＲＰ画像が生成され、生成されたユーザ２の圧縮ＥＲＰ画像が、ユーザ２のＨＭＤ１１－２に送信される。

【0143】

ステップＳ５３において、視点画像生成部３２－２は、ユーザ２から送信された視点共有リクエスト信号を受け取ったか否かを判定する。ステップＳ５３において、ユーザ２から送信された視点共有リクエスト信号を受け取ったと判定された場合、処理は、ステップＳ５４に進む。

【0144】

ステップＳ５４において、視点共有モードの画像提供処理が行われる。視点共有モードの画像提供処理の詳細は、図１９を参照して後述する。ステップＳ５４の処理により、ユーザ１の圧縮ＥＲＰ画像が生成される。ユーザ２の圧縮ＥＲＰ画像が生成され、生成されたユーザ２の圧縮ＥＲＰ画像が、ユーザ２のＨＭＤ１１－２に送信される。また、ユーザ２の圧縮ＥＲＰ画像は、ユーザ１の圧縮ＥＲＰ画像と多重化されて、ユーザ２の視点位置情報および視線情報などのメタデータとともに、ユーザ１のＨＭＤ１１－１に送信される。

【0145】

一方、ステップＳ５３において、ユーザ２から送信された視点共有リクエスト信号を受け取っていないと判定された場合、ステップＳ５２に戻り、それ以降の処理が繰り返される。

【0146】

ステップＳ５５において、視点画像生成部３２－１は、画像生成処理を終了するか否かを判定する。ステップＳ５５において、画像生成処理を終了しないと判定された場合、ステップＳ５２に戻り、それ以降の処理が繰り返される。

【0147】

ステップＳ５５において、画像提供処理を終了すると判定された場合、図１７の画像提供処理は終了される。

【0148】

図１８は、図１７のステップＳ５２の視点非共有モードの画像提供処理を説明するフローチャートである。

【0149】

ＨＭＤ１１－１から送信されてくるユーザ１の視点位置情報および視線情報が視点画像生成部３２－１に供給される。

【0150】

ステップＳ７１において、視点画像生成部３２－１は、ＨＭＤ１１－１から供給されたユーザ１の視点位置情報および視線情報に基づいて、自由視点画像空間モデルＤＢ３１の全天球画像を用いて、ユーザ１の視点の全天球画像を生成する。

【0151】

ステップＳ７２において、視点画像圧縮部３３－１は、ユーザ１の視点の全天球画像を ＥＲＰ投影変換して、ユーザ１の圧縮ＥＲＰ画像を生成する。

【0152】

ステップＳ７３において、多重化部３４は、視点画像圧縮部３３－１から供給されたユーザ１の圧縮ＥＲＰ画像を、ユーザ１のＨＭＤ１１－１に送信する。

【0153】

ＨＭＤ１１－２から送信されてくるユーザ２の視点位置情報および視線情報が視点画像生成部３２－２に供給される。

【0154】

ステップＳ７４において、視点画像生成部３２－２は、ＨＭＤ１１－２から供給されたユーザ２の視点位置情報および視線情報に基づいて、自由視点画像空間モデルＤＢ３１の全天球画像を用いて、ユーザ２の視点の全天球画像を生成する。

【0155】

ステップＳ７５において、視点画像圧縮部３３－３は、ユーザ２の視点の全天球画像を ＥＲＰ投影変換して、ユーザ２の圧縮ＥＲＰ画像を生成する。

【0156】

ステップＳ７６において、視点画像圧縮部３３－３は、ユーザ２の圧縮ＥＲＰ画像を、ユーザ２のＨＭＤ１１－２に送信する。

【0157】

図１９は、図１７のステップＳ５４の視点共有モードの画像提供処理を説明するフローチャートである。

【0158】

ＨＭＤ１１－１から送信されたユーザ１の注視領域情報は、レート配分制御部３５に供給される。

【0159】

ステップＳ９１において、レート配分制御部３５は、ＨＭＤ１１－１から供給されたユーザ１の注視領域情報に基づいて、ユーザ１の視点の全天球画像とユーザ２の視点の全天球画像のビットレート配分を制御する。

【0160】

ステップＳ９２において、視点画像生成部３２－１は、ＨＭＤ１１－１から供給されたユーザ１の視点位置情報および視線情報に基づいて、自由視点画像空間モデルＤＢ３１の全天球画像を用いて、ユーザ１の視点の全天球画像を生成する。

【0161】

ステップＳ９３において、視点画像圧縮部３３－１は、レート配分制御部３５から供給されたレート制御信号に応じて、ユーザ１の視点の全天球画像を ＥＲＰ投影変換して、ユーザ１の圧縮ＥＲＰ画像を生成する。

【0162】

ステップＳ９４において、視点画像生成部３２－２は、ＨＭＤ１１－２から供給されたユーザ２の視点位置情報および視線情報に基づいて、自由視点画像空間モデルＤＢ３１の全天球画像を用いて、ユーザ２の視点の全天球画像を生成する。

【0163】

ステップＳ９５において、視点画像圧縮部３３－２は、レート配分制御部３５から供給されたレート制御信号に応じて、ユーザ２の視点の全天球画像を ＥＲＰ投影変換して、ユーザ１向けのユーザ２の圧縮ＥＲＰ画像を生成する。

【0164】

ステップＳ９６において、多重化部３４は、視点画像圧縮部３３－１から供給されたユーザ１の圧縮ＥＲＰ画像と、視点画像圧縮部３３－２から供給されたユーザ２の圧縮ＥＲＰ画像とを多重化して、ユーザ１に送信する。

【0165】

ステップＳ９７において、視点画像圧縮部３３－３は、ユーザ２の視点の全天球画像を ＥＲＰ投影変換して、ユーザ２向けのユーザ２の圧縮ＥＲＰ画像を生成する。

【0166】

ステップＳ９８において、視点画像圧縮部３３－３は、ユーザ２の圧縮ＥＲＰ画像を、ユーザ２のＨＭＤ１１－２に送信する。

【0167】

以上のように、本技術においては、仮想空間内の位置関係に基づいて、ユーザの視野画像の上に重畳する他のユーザの視野画像の表示が制御される。

【0168】

これにより、他のユーザのいる位置と他のユーザの視野画像の内容が同時にわかるため、他のユーザの画像に興味があれば、リモートコントローラなどを操作することで簡単に移動することができる。

【0169】

また、他のユーザの視野画像への視線情報に応じて、ユーザの画像と他のユーザの画像へのビットレートが配分されるので、伝送効率が向上される。

【0170】

さらに、他のユーザの視野画像への視線情報に応じて、相手の視野画像を選択（あるいはキャンセル）し、子画面の大きさが変更される。

【0171】

これにより、興味の有無に応じて、他のユーザの画像を表示させることができる。

【0172】

＜第２の実施の形態＞
＜子画面の表示方法の他の例＞
次に、モデルルーム内覧システムにおける視点共有モード中の子画面の表示方法の他の例について説明する。

【0173】

図２０は、ユーザ１の視点とユーザ２の視点が同一である場合の表示画面の遷移の例を示す図である。

【0174】

図２０においては、ユーザ１の視点とユーザ２の視点が同一である場合の表示画面Ｖにおける表示状態の遷移が示されている。表示画面Ｖに表示される子画面Ｗの濃度は、薄いほど透過率が高いことを示している。表示画面Ｖに示される矢印は、ユーザ１の視線方向を示している。表示状態の遷移の下側には、ユーザ１とユーザ２が存在する自由視点画像空間を真上から見た状態が示されている。

【0175】

図２０のＡは、自由視点画像空間において、ユーザ１の視野とユーザ２の視野が重なっていないときの、ユーザ１が閲覧中の視野画像内に、ユーザ２の視野画像が子画面Ｗとして表示された表示画面Ｖを示す図である。

【0176】

ユーザ１の視野画像内における子画面Ｗの位置は、自由視点画像空間におけるユーザ２の視線方向と一致する。

【0177】

図２０のＢは、ＨＭＤを装着したユーザ１が子画面Ｗに顔を向けることで、自由視点画像空間において、ユーザ１とユーザ２の視野が重なり合ったときの表示画面Ｖを示す図である。

【0178】

表示画面Ｖにおいては、視野の重なり合う割合に応じて、大きさが拡大され、半透過状態となった状態の子画面が表示されている。なお、動きの検出がスマートフォンの場合は、スマートフォンを手に持った状態で向きを変える動作が、ＨＭＤの場合に子画面Ｗに顔を向ける動作に相当する。

【0179】

視野の重なり合う割合は、マイナス方向も考慮される。マイナスとは、ユーザ同士の視野の重なりがなく、視線方向の隔たりが大きい場合を表す。

【0180】

図２０のＣは、自由視点画像空間におけるユーザ１とユーザ２の視野の重なり合う割合が大きくなったときの表示画面Ｖを示す図である。

【0181】

表示画面Ｖにおいては、図２０のＢの場合よりもさらに拡大率と透過率を上げて表示された子画面Ｗが表示されている。

【0182】

図２１は、図２０に続く、ユーザ１とユーザ２が同一視点にいる場合の表示画面の遷移の例を示す図である。

【0183】

図２１のＡは、自由視点画像空間におけるユーザ１とユーザ２の視野の重なり合う割合がある閾値を超えたときの表示画面Ｖを示す図である。

【0184】

表示画面Ｖにおいては、視野の重なり合う割合がある閾値を超えた時点で子画面Ｗの表示が消去された後に、ユーザ１の視野画像のみが表示されている。

【0185】

図２１のＢは、ユーザ１とユーザ２の視野の重なり合う割合がある閾値を一旦超えた場合に、ある閾値以下に再度なるまでの表示画面Ｖを示す図である。

【0186】

表示画面Ｖにおいては、子画面Ｗの表示が消去されて、ユーザ１の視野画像のみが表示される状態が継続されている。

【0187】

その後、自由視点画像空間におけるユーザ１とユーザ２の視野の重なり合う割合がある閾値以下になると、図２０のＡに示された表示画面Ｖのように、子画面表示が再び開始される。

【0188】

図２２は、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。

【0189】

図２２においては、自由視点画像空間においてユーザ１の視点とユーザ２の視点が異なる場合の表示画面Ｖにおける表示状態の遷移が示されている。表示画面Ｖ上の矢印は、ユーザ１の視線方向を示している。表示状態の遷移の下側には、ユーザ１とユーザ２が存在する自由視点画像空間を真上から見た状態が示されている。

【0190】

図２２のＡは、ユーザ１が閲覧中の視野画像内に、ユーザ２の視野画像が子画面Ｗとして表示された状態の表示画面Ｖを示す図である。

【0191】

ユーザ１の視野画像内における子画面Ｗの位置は、自由視点画像空間におけるユーザ１から見たユーザ２の視点の方向と一致している。

【0192】

図２２のＢは、自由視点画像空間においてＨＭＤを装着したユーザ１が、ユーザ２の視点の方向を向いたとき、すなわち、子画面Ｗにユーザ１の顔を向けたときの表示画面Ｖを示す図である。

【0193】

表示画面Ｖにおいては、ユーザ１の視野のより中心に移動された子画面Ｗが表示されている。

【0194】

図２３は、図２２に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。

【0195】

図２３のＡは、自由視点画像空間において、ユーザ１の視線方向上にユーザ２の視点が位置する状態になったときの表示画面Ｖを示す図である。

【0196】

表示画面Ｖにおいては、ユーザ１の視野の中心に子画面Ｗが表示されている。

【0197】

図２３のＢは、自由視点画像空間において、ユーザ１の視線方向上にユーザ２の視点が位置する状態で、すなわち、子画面Ｗがユーザ１の視野の中心に位置した状態で、Ｎ秒間静止状態を保ったときの表示画面Ｖを示す図である。

【0198】

表示画面においては、子画面Ｗ上にカウントダウンタイマ（数字の「５」）が表示されている。

【0199】

図２４は、図２３に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。

【0200】

図２４のＡは、カウントダウンタイマが「０」になり、矢印に示されるようにユーザ１の視点がユーザ２の視点に移動する直前の表示画面Ｖを示す図である。

【0201】

表示画面Ｖにおいては、子画面Ｗ上にカウントダウンタイマ（数字の「０」）が表示されている。

【0202】

図２４のＢは、ユーザ１の視点がユーザ２の視点に移動した直後の状態の表示画面Ｖを示す図である。

【0203】

表示画面Ｖにおいては、点線に示されるように子画面Ｗの表示が終了されて、移動した後のユーザ１の視点画像が表示されている。表示画面Ｖに表示されるユーザ１の視点画像は、ユーザ２の視点画像と同じ視点画像である。

【0204】

なお、視点の移動は、瞬間移動（ジャンプ）であってもよいし、例えば、リモートコントローラの操作による連続的な移動であってもよい。

【0205】

図２５は、図２４に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。

【0206】

図２５のＡは、ユーザ１の視点がユーザ２の視点と同じ位置になった後、さらに、ユーザ１の視線を、ユーザ２の視線と一致する方向に移動させたときの表示画面Ｖを示す図である。

【0207】

図２５のＢは、ユーザ１とユーザ２の視点および視線が一致したときの表示画面Ｖを示す図である。

【0208】

表示画面Ｖは、図２１を参照して上述したユーザ１とユーザ２とが同じ視点位置にある状態（図２１のＡの状態）と同じ状態に遷移したものである。

【0209】

図２６は、図２５に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。

【0210】

図２６のＡは、自由視点画像空間において、ユーザ１の視線方向上にユーザ２の視点が位置する状態で、カウントダウンタイマがカウントされているときの表示画面Ｖを示す図である。

【0211】

表示画面においては、子画面Ｗがユーザ１の視野の中心に位置した状態で、カウントダウンタイマが「１」であることが示されている。

【0212】

図２６のＢは、カウントダウンタイマが０になる前に、ユーザ１が視線を、ユーザ２の視点が位置するところから外れる方向にずらした状態の表示画面Ｖを示す図である。

【0213】

表示画面Ｖにおいては、ユーザ１の視野の中心から外れる方向に移動した状態の子画面Ｗが表示されている。

【0214】

図２６のＣは、図２６のＢの状態の後、視線のズレがある閾値を超えたときの表示画面Ｖが示されている。

【0215】

表示画面Ｖにおいては、子画面Ｗの表示が終了された状態であり、ユーザ１の視野画像のみが表示されている。

【0216】

図２７は、図２６に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。図２７において、自由視点画像空間における矢印は、ユーザ１から見たユーザ２の視点の方向ベクトルを表す。

【0217】

図２７のＡは、自由視点画像空間において、ユーザ１の視点がユーザ２の視点に移動して、ユーザ１から見たユーザ２の視点の方向ベクトルが変化したときの表示画面Ｖが示されている。

【0218】

表示画面Ｖにおいては、ユーザ１から見たユーザ２の視点の方向ベクトルがある閾値以上になるまで子画面Ｗが表示されない。

【0219】

図２７のＢは、ユーザ１またはユーザ２の視点が移動して、ユーザ１から見たユーザ２の視点の方向ベクトルが変化して、ある閾値以上になったときの表示画面Ｖを示す図である。

【0220】

表示画面Ｖにおいては、子画面Ｗが再び表示されている。

【0221】

以上のようにして、視点共有モード中に視線や視点の移動を行うこともできる。

【0222】

＜ＨＭＤの動作＞
図２８は、図２０乃至図２７を参照して上述した視点共有モードの表示制御処理を説明するフローチャートである。

【0223】

なお、適宜、図２０乃至図２７の遷移図を参照して、視点共有モードの表示制御処理を説明する。

【0224】

また、視点共有モードの表示制御処理は、ユーザ１の視点とユーザ２の視点が同一である場合、図２８のステップＳ１１１から開始されるが、ユーザ１の視点とユーザ２の視点が異なる場合、図２９のステップＳ１１９から開始される。

【0225】

ステップＳ１１１において、ユーザ１の視点とユーザ２の視点が同一である場合のユーザ２の視野画像が、ユーザ１の視野画像内に子画面表示される（図２０のＡ参照）。

【0226】

ステップＳ１１２において、合成処理部５２は、ユーザ１の視点位置情報および視線情報並びにユーザ２の視点位置情報および視線情報に基づいて、ユーザ１とユーザ２の視野が重なりあったと判定するまで待機している。

【0227】

ステップＳ１１２において、ユーザ１とユーザ２の視野が重なり合ったと判定された場合、処理は、ステップＳ１１３に進む。

【0228】

ステップＳ１１３において、合成処理部５２は、子画面を拡大させるとともに、半透過状態にさせて、表示画面を表示させる（図２０のＢ参照）。

【0229】

ステップＳ１１４において、合成処理部５２は、視野の重なり合う割合が所定の閾値を超えたか否かを判定する。

【0230】

ステップＳ１１４において、視野の重なり合う割合が所定の閾値を超えたと判定された場合、処理は、ステップＳ１１５に進む。

【0231】

ステップＳ１１５において、合成処理部５２は、子画面表示を消失させる（図２１のＡ参照）。

【0232】

ステップＳ１１６において、合成処理部５２は、視野の重なり合う割合が所定の閾値以下になったと判定するまで待機している。

【0233】

ステップＳ１１６において、視野の重なり合う割合が所定の閾値以下になったと判定した場合、処理は、ステップＳ１１７に進む。

【0234】

一方、ステップＳ１１４において、視野の重なり合う割合が所定の閾値を超えていないと判定された場合、処理は、ステップＳ１１７に進む。

【0235】

ステップＳ１１７において、合成処理部５２は、視野の重なり合う割合に応じた拡大率と透過率で、子画面を表示させる（図２０のＢ参照）。

【0236】

ステップＳ１１８において、合成処理部５２は、ユーザ１が視点移動したか否かを判定する。

【0237】

ステップＳ１１８において、視点移動していないと判定された場合、ステップＳ１１４に戻り、それ以降の処理が繰り返される。

【0238】

ステップＳ１１８において、視点移動したと判定された場合、処理は、図２９のステップＳ１１９に進む。

【0239】

ステップＳ１１９において、ユーザ１の視点とユーザ２の視点が異なる場合のユーザ２の視野画像が、ユーザ１の視野画像内に子画面表示される（図２２のＡ参照）。

【0240】

ステップＳ１２０において、合成処理部５２は、ユーザ１の視点位置情報および視線情報並びにユーザ２の視点位置情報および視線情報に基づいて、ユーザ１が、子画面に顔を向けたと判定するまで待機している。

【0241】

ステップＳ１２１において、合成処理部５２は、子画面をユーザ１の視野の中心方向に移動させて表示させる（図２２のＢ参照）。

【0242】

ステップＳ１２２において、合成処理部５２は、ユーザ１の視線方向上に、ユーザ２の視点が位置する状態となったと判定するまで待機している。

【0243】

ステップＳ１２２において、自由視点画像空間において、ユーザ１の視線方向（表示画面Ｖの中央部分）上に、ユーザ２の視点が位置する状態となったと判定された場合、処理は、ステップＳ１２３に進む。

【0244】

ステップＳ１２３において、合成処理部５２は、ユーザ１の視野の中心に子画面を移動させて表示させる（図２３のＡ参照）。

【0245】

ステップＳ１２４において、合成処理部５２は、ユーザ１の視野の中心に子画面が移動されてから、Ｎ秒間静止状態を保ったと判定するまで待機している。

【0246】

ステップＳ１２４において、ユーザ１の視野の中心に子画面が移動されてから、Ｎ秒間静止状態を保ったと判定された場合、処理は、ステップＳ１２５に進む。

【0247】

ステップＳ１２５において、合成処理部５２は、子画面上にカウントダウンタイマを表示させる（図２３のＢ参照）。

【0248】

図３０のステップＳ１２６において、合成処理部５２は、図示せぬ内蔵カウンタを用いて、カウントダウンタイマをカウントする。

【0249】

ステップＳ１２７において、合成処理部５２は、ユーザ１の視線のズレが所定の閾値を超えたか否かを判定する。

【0250】

ステップＳ１２７において、ユーザ１の視線のズレが所定の閾値を超えたと判定された場合、視点共有モードの表示制御処理は終了される。すなわち、視点非共有モードの表示制御処理が行われる。

【0251】

ステップＳ１２７において、ユーザ１の視線のズレが所定の閾値を超えていないと判定された場合、処理は、ステップＳ１２８に進む。

【0252】

ステップＳ１２８において、合成処理部５２は、カウントダウンタイマが０になったか否かを判定する。

【0253】

ステップＳ１２８において、カウントダウンタイマが０になっていないと判定された場合、ステップＳ１２６に戻り、それ以降の処理が繰り返される。

【0254】

ステップＳ１２８において、カウントダウンタイマが０になったと判定された場合、処理は、ステップＳ１２９に進む。

【0255】

ステップＳ１２９において、合成処理部５２は、ユーザ１の視点をユーザ２の視点に移動させる（図２４のＢ参照）。他のユーザへの視点の移動は、視点のジャンプによって行われてもよい。このとき、移動されたユーザ１の視点位置情報および視線情報は、サーバ１２に送信される。

【0256】

ステップＳ１３０において、合成処理部５２は、子画面の表示を消失させる。すなわち、ユーザ１の視野画像とユーザ２の視野画像は同一になる。

【0257】

ステップＳ１３１において、合成処理部５２は、ユーザ１から見たユーザ２の視点の方向ベクトルが変化して、ある閾値を超えたと判定するまで待機している。

【0258】

ステップＳ１３１において、ユーザ１から見たユーザ２の視点の方向ベクトルが変化して、ある閾値を超えたと判定された場合、処理は、図２８のステップＳ１１１に戻り、ユーザ１の視点とユーザ２の視点が同一である場合の表示制御処理を繰り返し行う。

【0259】

以上のように、本技術によれば、重畳時に子画面のサイズに加えて、透過率が変化されるようにした。これにより、両者の視野が一致するにしたがって、子画面が大きくなり、かつ、透過率が高くなり、最終的に両者の視野が解け合わさって一致するという視覚効果が実現される。なお、サイズを変更することなく、透過度のみを変化させるようにすることもできる。

【0260】

子画面表示された他のユーザの視点に、自分の視線を一定時間固定することで、視点移動するようにしたので、ボタン操作など必要なく、簡単に動作を実行することができる。

【0261】

視点移動時に、カウントダウンタイマを表示することで、動作の実行までに猶予期間を持たせるようにした。それに加えて、猶予期間中のＨＭＤの首振り動作などによる視線移動により、視点移動をキャンセルするようにしたので、ボタン操作など必要なく、簡単に動作をキャンセルすることができる。なお、タイマは、カウントアップタイマであってもよい。

【0262】

視線方向の一致率または視点の方向ベクトル（相対位置関係）をトリガーとして子画面の表示のオン、オフを制御するようにしたので、ボタン操作など必要なく、簡単に表示を制御することができる。

【0263】

上記説明においては、不動産ビジネスにおいて用いられるモデルルーム内覧システムの例を説明したが、本技術は、仮想空間内でアバターを用いてコミュニケーションを取るようなソーシャルバーチャルリアリティ（ＶＲ）にも適用することができる。

【0264】

＜第３の実施の形態＞
＜ＶＲ観光旅行の概要＞
ソーシャルＶＲの例としては、ツアーガイドと複数のツアー客で構成されるグループにおいて、アバターとして相手をお互いに視認できる状態で、ＶＲ空間内を観光旅行するＶＲ観光旅行があげられる。

【0265】

ツアー客以外にもアバターは存在し、あるアバターは他の個人旅行者であったり、他のアバターはＡＩであったりする。ツアーガイドもＡＩの場合がある。

【0266】

ＶＲ空間のため、瞬間移動も自由に可能であるが、ツアー客は、アバターとして現実空間のように歩きまわったり、乗り物に乗ったりすることも可能である。

【0267】

最初、複数のツアー客は、ツアーガイドのアバターの指示に従って、ＶＲ空間を観光旅行する。

【0268】

自由行動時間になり、ツアー客Ｘは、自分が見ている光景を他のツアー客にも見てほしいと思い、視点共有リクエストにより視点共有モードに移行する。ツアー客Ｘの視野画像は、他のツアー客の視野内に子画面表示される。このとき、ツアー客Ｘは、音声メッセージやテキストメッセージを使って、自分が見ている光景の説明を行うことができる。

【0269】

他のツアー客は、子画面の表示位置とその表示内容から、ＶＲ空間内を歩いて景色を見ながらツアー客Ｘの提示する地点へ移動することができる。また、他のツアー客は、視点のジャンプを利用して、ツアー客Ｘの提示する地点へ瞬時に移動することもできる。

【0270】

他のツアー客は、子画面の内容を見ることで、過去に見たことがある内容である場合、今回は移動しない代わりに、ツアー客Ｘに「すばらしいですね」または「そこからさらに進むと○○が見えますよ」などと、メッセージを送ることもできる。

【0271】

また、次の目的地への移動のための集合時間になったので、ツアーガイドは、集合地点である中央広場においてすべてのツアー客に対して集合の案内を行う。

【0272】

すべてのツアー客の視野内に、ガイドの視野画像である中央広場の画像が子画面表示される。子画面表示と同時に、ツアーガイドは、音声メッセージやテキストメッセージで、集合時間になったことを伝える。

【0273】

子画面の位置は、ＶＲ空間におけるツアー客とツアーガイドの相対的な位置関係において決定される。

【0274】

ツアー客は、子画面の表示位置とその表示内容から、自分の近くが集合地点であることを知り、ＶＲ空間内を歩いて景色を楽しみながら、集合地点へ移動することができる。

【0275】

ツアー客は、自分が集合地点からかなり遠くにいる場合、または、これ以上観光する必要がない場合、視点のジャンプを利用して、ツアーガイドのいる中央広場へ瞬時に移動することもできる。

【0276】

なお、移動場所への距離も知りたい場合、文字情報として表示するようにしてもよい。方向と距離だけではなく、俯瞰状態の地図を表示してもよい。

【0277】

以上のように、本技術は、ソーシャルＶＲにも適用することができる。

【0278】

なお、上述したＨＭＤ１１－１および１１－２をまとめてＨＭＤ１１と称する。ＨＭＤ１１は、次のようなハードウェアで実現される。

【0279】

＜ＨＭＤのハードウェア構成例＞
図３１は、ＨＭＤのハードウェア構成例を示すブロック図である。

【0280】

図３１のＨＭＤ１１は、ＣＰＵ（Central Processor Unit）２０１、メモリ２０２、センサ部２０３、入力部２０４、出力部２０５、および通信部２０６を備えている。これらは、バス２０７を介して相互に接続されている。

【0281】

ＣＰＵ２０１は、メモリ２０２に記憶されているプログラムやデータなどに従って、ＨＭＤ１１が備える各種の機能を実現するための処理を実行する。

【0282】

メモリ２０２は、半導体メモリまたはハードディスクなどの記憶媒体によって構成され、ＣＰＵ２０１による処理のためのプログラムやデータを格納する。

【0283】

センサ部２０３は、カメラ、マイクロフォン、ジャイロセンサ、加速度センサなどの各種のセンサ類から構成される。センサ部２０３により取得された各種のセンサ情報もまた、ＣＰＵ２０１による処理に用いられる。

【0284】

入力部２０４は、ボタンやキー、タッチパネルなどから構成される。

【0285】

センサ部２０３および入力部２０４からの操作情報は、図５の操作入力部７１に供給され、視野画像生成処理部６２－１などに供給される。

【0286】

出力部２０５は、図５の出力部７２やスピーカなどから構成される。通信部２０６は、サーバ１２などと、各種の通信を仲介する通信インタフェースとして構成される。

【0287】

＜サーバのハードウェア構成例＞
上述したサーバの一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

【0288】

図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0289】

CPU(Central Processing Unit)３０１、ROM(Read Only Memory)３０２、RAM(Random Access Memory)３０３は、バス３０４により相互に接続されている。

【0290】

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続される。また、入出力インタフェース３０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、リムーバブルメディア３１１を駆動するドライブ３１０が接続される。

【0291】

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを入出力インタフェース３０５およびバス３０４を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。

【0292】

CPU３０１が実行するプログラムは、例えばリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部３０８にインストールされる。

【0293】

インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなるリムーバブルメディア３１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。

【0294】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0295】

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0296】

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0297】

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0298】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0299】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0300】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0301】

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信する受信部と、
前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する表示制御部と
を備える画像処理装置。
（２）
前記表示制御部は、前記他のユーザの視点画像の位置、サイズ、および透過度の少なくとも１つを制御する
前記（１）に記載の画像処理装置。
（３）
前記表示制御部は、前記ユーザの視線方向を示す視線情報と前記他のユーザの前記視線情報から得られる情報に基づいて、前記他のユーザの視点画像の表示を制御する
前記（１）または（２）に記載の画像処理装置。
（４）
前記情報は、視差であり、前記表示制御部は、前記情報は、視差であり、前記視差が小さくなるにつれて、前記他のユーザの視点画像を前記ユーザの視点画像の中央に移動させる
前記（３）に記載の画像処理装置。
（５）
前記表示制御部は、前記視差が第１の閾値以下になった場合、前記他のユーザの視点画像を大きく表示させる
前記（４）に記載の画像処理装置。
（６）
前記表示制御部は、前記視差が大きくなるにつれて、前記他のユーザの視点画像を前記ユーザの前記視線情報から得られる視野から外れる方向に移動させる
前記（５）に記載の画像処理装置。
（７）
前記表示制御部は、前記視差が前記第１の閾値よりも大きい第２の閾値以上になった場合、前記他のユーザの視点画像の表示を終了する
前記（６）に記載の画像処理装置。
（８）
前記情報は、視野が重なり合う割合であり、前記表示制御部は、前記割合が大きくなるにつれて、前記他のユーザの視点画像のサイズおよび透過率の少なくとも１つを大きくし、前記割合が小さくなるにつれて、前記他のユーザの視点画像のサイズおよび透過率の少なくとも１つを小さくする
前記（３）に記載の画像処理装置。
（９）
前記表示制御部は、前記割合が所定の閾値以上になった場合、前記他のユーザの視点画像の表示を終了する
前記（８）に記載の画像処理装置。
（１０）
前記表示制御部は、前記他のユーザの視点画像の表示を終了した後、前記割合が前記所定の閾値以下になった場合、前記他のユーザの視点画像の表示を再開する
前記（９）に記載の画像処理装置。
（１１）
前記表示制御部は、前記ユーザが前記他のユーザの視点画像に顔を向けた場合、前記他のユーザの視点画像を前記ユーザの視野の中心方向に移動させる
前記（３）に記載の画像処理装置。
（１２）
前記表示制御部は、前記他のユーザの視点画像が前記ユーザの前記視野の中心に位置した状態で静止した場合、前記他のユーザの視点画像上にタイマを表示させる
前記（１１）に記載の画像処理装置。
（１３）
前記表示制御部は、前記タイマを終了させた場合、前記ユーザの視点を、前記他のユーザの視点に移動させる
前記（１２）に記載の画像処理装置。
（１４）
前記表示制御部は、前記タイマを終了させる前に、前記ユーザが視線をずらした場合、前記他のユーザの視点画像の表示を終了する
前記（１３）に記載の画像処理装置。
（１５）
前記表示制御部は、前記ユーザの視点または前記他のユーザの視点が移動して、前記ユーザから見た前記他のユーザの視点の方向ベクトルの変化が所定の閾値以上になった場合、前記他のユーザの視点画像の表示を再開させる
前記（１４）に記載の画像処理装置。
（１６）
前記ユーザの前記視線情報は、前記ユーザの動きを検出するセンサから得られる
前記（３）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
前記センサは、ヘッドマウントディスプレイに設けられる
前記（１６）に記載の画像処理装置。
（１８）
前記他のユーザの視点画像のビットレート配分は、前記他のユーザの視点画像の大きさまたは透過率に基づいて変更される
前記（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９）
画像処理装置が、
仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信し、
前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する
画像処理方法。
（２０）
仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信する受信部と、
前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する表示制御部と
を備える画像処理装置と、
前記ユーザの視点画像と前記他のユーザの視点画像を、前記他のユーザの視点画像のサイズまたは透過率に応じたビットレート配分で前記画像処理装置に送信する送信部を
備える画像提供装置と
からなる画像提供システム。

【符号の説明】

【0302】

１，２ ユーザ， １１－１，１１－２ ＨＭＤ， １２ サーバ， ３１ 自由視点画像空間モデルＤＢ， ３２－１，３２－２ 視点画像生成部， ３３－１乃至３３－３ 視点画像圧縮部， ３４ 多重化部， ３５ レート配分制御部， ５１－１，５１－２ 画像処理部， ５２ 合成処理部， ５３ 表示制御部， ６１－１，６１－２ 圧縮ＥＲＰ画像デコード処理部， ６２－１，６２－２ 視野画像生成処理部， ７１ 操作入力部， ７２ 出力部， ２０１ ＣＰＵ， ２０２ メモリ， ２０３ センサ部， ２０４ 入力部， ２０５ 出力部， ２０６ 通信部， ３０１ ＣＰＵ， ３０３ ＲＡＭ， ３０９ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】