特許 7177606 イマーシブコンテンツ項目を消費するときに見る者をリファレンス方向の方へ回転させる方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-15

(45)【発行日】2022-11-24

(54)【発明の名称】イマーシブコンテンツ項目を消費するときに見る者をリファレンス方向の方へ回転させる方法及び装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221116BHJP

   G06F 3/01 20060101ALI20221116BHJP

   A63F 13/428 20140101ALI20221116BHJP

   A63F 13/55 20140101ALI20221116BHJP

   A63F 13/525 20140101ALI20221116BHJP

   G09G 5/377 20060101ALI20221116BHJP

   G09G 5/36 20060101ALI20221116BHJP

   G09G 5/393 20060101ALI20221116BHJP

【ＦＩ】

G06T19/00 300B

G06F3/01 510

A63F13/428

A63F13/55

A63F13/525

G09G5/36 520M

G09G5/36 510M

G09G5/36 530E

G09G5/36 510B

【請求項の数】 12

【外国語出願】

(21)【出願番号】P 2018106601

(22)【出願日】2018-06-04

(65)【公開番号】P2018206391

(43)【公開日】2018-12-27

【審査請求日】2021-05-12

(31)【優先権主張番号】17305660.7

(32)【優先日】2017-06-06

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ドン，クァン カーン ンゴ

(72)【発明者】

【氏名】シロト，ジョエル

(72)【発明者】

【氏名】マルキント，グウェナエル

(72)【発明者】

【氏名】デマーティ，クレール―エレーヌ

【審査官】村松 貴士

(56)【参考文献】

【文献】米国特許出願公開第２０１７／００２６５７７（ＵＳ，Ａ１）

【文献】特開平１１－０７３２８９（ＪＰ，Ａ）

【文献】特開平０７－０３０８７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

Ａ６３Ｆ １３／００ － １３／９８

Ｇ０９Ｇ ５／００ － ５／４２

(57)【特許請求の範囲】

【請求項1】

レンダリング装置によってイマーシブコンテンツをレンダリングする方法であって、
前記イマーシブコンテンツ内の関心のあるリファレンス方向を取得することと、
前記リファレンス方向に関連付けられる感情データを取得することと、
前記イマーシブコンテンツ内の位置で、少なくとも１つの目を持つキャラクタを表すオブジェクトを挿入することであって、前記位置は、当該レンダリング装置によってレンダリングされる前記イマーシブコンテンツの部分において含まれる、ことと、
前記感情データを反映するように前記オブジェクトをアニメーション化することと、
を含み、
前記オブジェクトの前記少なくとも１つの目の注視方向は、前記位置及び前記リファレンス方向に従って決定され、
イベントが前記リファレンス方向において起き、
前記イベントが前記イマーシブコンテンツ内で起きる前に、前記リファレンス方向が取得される、方法。

【請求項2】

前記注視方向は、前記イマーシブコンテンツ内の前記位置から前記リファレンス方向の方向において前記キャラクタに見させるよう決定される、請求項１に記載の方法。

【請求項3】

前記キャラクタは、ボディ部分を有し、該ボディ部分は、前記注視方向の表れを補強するようアニメーション化される、請求項１又は２に記載の方法。

【請求項4】

前記位置は、前記イマーシブコンテンツの前記レンダリングされる部分における前記オブジェクトの投影のスクリーン空間ポジション及びスクリーン空間サイズに従って、決定される、請求項１乃至３のうちいずれか一項に記載の方法。

【請求項5】

前記リファレンス方向は、前記イマーシブコンテンツを符号化するデータストリームから取得される、請求項１乃至４のうちいずれか一項に記載の方法。

【請求項6】

前記リファレンス方向は、関心領域を検出するよう前記イマーシブコンテンツを解析することによって、取得される、請求項１乃至４のうちいずれか一項に記載の方法。

【請求項7】

少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに関連するメモリを有するレンダリング装置であって、
前記少なくとも１つのプロセッサは、
イマーシブコンテンツ内の関心のあるリファレンス方向を取得することと、
前記リファレンス方向に関連付けられる感情データを取得することと、
前記イマーシブコンテンツ内の位置で、少なくとも１つの目を持つキャラクタを表すオブジェクトを挿入することであって、前記位置は、当該レンダリング装置によってレンダリングされる前記イマーシブコンテンツの部分において含まれる、ことと、
前記感情データを反映するように前記オブジェクトをアニメーション化することと、
を行うように構成され、
前記オブジェクトの前記少なくとも１つの目の注視方向は、前記位置及び前記リファレンス方向に従って決定され、
イベントが前記リファレンス方向において起き、
前記イベントが前記イマーシブコンテンツ内で起きる前に、前記リファレンス方向が取得される、レンダリング装置。

【請求項8】

前記注視方向は、前記イマーシブコンテンツ内の前記位置から前記リファレンス方向の方向において前記キャラクタに見させるよう決定される、請求項７に記載のレンダリング装置。

【請求項9】

前記キャラクタは、ボディ部分を有し、該ボディ部分は、前記注視方向の表れを補強するようアニメーション化される、請求項７又は８に記載のレンダリング装置。

【請求項10】

前記位置は、前記イマーシブコンテンツの前記レンダリングされる部分における前記オブジェクトの投影のスクリーン空間ポジション及びスクリーン空間サイズに従って、決定される、請求項７乃至９のうちいずれか一項に記載のレンダリング装置。

【請求項11】

前記リファレンス方向は、前記イマーシブコンテンツを符号化するデータストリームから取得される、請求項７乃至１０のうちいずれか一項に記載のレンダリング装置。

【請求項12】

前記リファレンス方向は、関心領域を検出するよう前記イマーシブコンテンツを解析することによって、取得される、請求項７乃至１１のうちいずれか一項に記載のレンダリング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、イマーシブコンテンツを消費するユーザに、例えば、ヘッドマウント型ディスプレイ（ＨＭＤ；head mounted display(s)）又はテレビ受像機又はモバイル装置（例えば、タブレット若しくはスマートフォン）を用いて関心のある方向を見るよう促すことの分野に関する。

【背景技術】

【0002】

イマーシブコンテンツ項目は、ユーザがコンテンツの真ん中にいるように感じられるようにユーザの周りに表示されるよう作られるコンテンツ項目である。イマーシブコンテンツは、３次元コンピュータグラフィック画像コンテンツ（３Ｄ ＣＧＩ；three-dimensional computer graphic imagery content）、ボリュメトリックビデオ（volumetric video）、又は３次元の凸面（例えば、球体、立方体若しくは円筒）にマッピングされたビデオであってよい。その上、ユーザが、例えば、トリミングによって、一部しか見ることができなかった大きな２次元画像も、イマーシブコンテンツである。ユーザは、コンテンツの実際には表示されていない部分を見るために、レンダリング装置を制御しなければならない。

【0003】

イマーシブコンテンツ項目は、イマーシブレンダリング装置によってレンダリングされる。例えば、ヘッドマウント型ディスプレイ（ＨＭＤ）は、頭部に又はヘルメットの部分として装着されるディスプレイ装置であって、一方の目（単眼ＨＭＤ）又は夫々の目（双眼ＨＭＤ）の前に小さな表示オプティックを備える。それらは、イマーシブコンテンツ項目を消費するよう有利に適応される。斯様な装置では、ビデオの一部分しか表示されない。ビデオコンテンツの表示される部分は、例えば、組み込み型のモーションユニット測定（Motion Unit Measurement）（ジャイロスコープを含む。）及び／又は例えば、カメラを使用する姿勢推定システムを用いて、ユーザ頭部の姿勢に応じて更新される。スマートフォン又はタブレットもイマーシブコンテンツをレンダリングし得る。表示される部分は、装置の向きに応じて、そして同様にその位置に応じて、更新される。

【0004】

斯様な装置の出現は、４πステラジアンを動き、例えば、頭部の回転によって見ることをユーザに可能にする。斯様な特徴がコンテンツのイマージョンに関して実際の改善として現れ得る場合に、ユーザがコンテンツの一部分しか見ていないということで、ユーザは、ユーザが所与の時点で見るべきである方向を見ないかもしれない。実際に、ユーザが自身の辺り一帯を見回すことができるときに、ユーザは、物語のイベントが起きる時点でコンテンツの他の部分を見ていることで、物語のいくつかの重要なハイライトを見逃すことがある。

【0005】

背景技術に従って、ユーザが見るべきである方向をユーザに見させるために仮想カメラをパンすることを強いることは、大変有効な解決法であることが知られている。しかし、この解決法は、ユーザに吐き気を催させ、結果として、ユーザの経験の品質を悪化させるという欠点を持つことがよく知られている。回避すべき方向においてコンテンツを劣化させる擬似触覚（pseudo-haptics）法が知られている。それらは、レンダリングされる画像を劣化させるので、作者の作品を改変し、ユーザの経験を変えるという欠点を持っている。ユーザの動作によって制御される装置の照準方向と、レンダリングすべき場面の部分を捕捉する仮想カメラの照準方向との間の不一致を制御する方法も、既存の解決法である。それらは、ユーザが見ることができる可能な方向を制限するという欠点を持っている。

【0006】

誘導に従わないというユーザの自由を制限せずに、且つ、ユーザの視聴経験を劣化させずに、関心のある方向（又は領域）の方を見るようユーザを友好的に誘導する解決法はない。

【発明の概要】

【0007】

本開示は、誘導に従わないというユーザの自由を制限せずに、且つ、ユーザの視聴経験を劣化させずに、リファレンス方向の方を見るようユーザを誘導する方法に関する。本原理に従って、有効なキャラクタが、イマーシブレンダリング装置で、ユーザの視野に挿入される。ユーザがリファレンス方向（例えば、関心のある方向）を見ている場合に、キャラクタはユーザの方を見るか、あるいは、例えば、ユーザに背を向け、表情がない。変形例では、キャラクタは、ユーザがリファレンス方向の方を見るときには表示されない。他の変形例では、キャラクタのサイズは変更され、例えば、小さくされ、そして、それは、スクリーンの角にレンダリングされ得る。キャラクタはまた、その目を閉じてもよい。何かが起きて、リファレンス方向がユーザの視野の外にある場合には、キャラクタは、リファレンス方向をユーザに示す方向を見る。キャラクタは、例えば、コンテンツにおいて起きているイベントのタイプに応じて怖がって又は驚いて見えるよう、表情を変えてよい。故に、ユーザは、キャラクタがじっと見ている所を見るよう促される。変形例では、キャラクタは、誘導効果を強化する身体表現を有する。

【0008】

本開示は、レンダリング装置によってイマーシブコンテンツをレンダリングする方法に関する。方法は、
前記イマーシブコンテンツ内の関心のあるリファレンス方向及び該リファレンス方向に関連する感情データを取得することと、
前記イマーシブコンテンツ内の位置で、少なくとも１つの目を持つキャラクタを表すオブジェクトを挿入することと
を有し、
前記位置は、当該レンダリング装置によってレンダリングされる前記イマーシブコンテンツの部分において含まれ、
前記オブジェクトの前記少なくとも１つの目の注視方向は、前記位置及び前記リファレンス方向に従って決定され、
前記オブジェクトは、前記感情データを反映するよう決定される。

【0009】

本原理の態様に従って、前記注視方向は、前記イマーシブコンテンツ内の前記位置から前記リファレンス方向の方向において前記キャラクタに見させるよう計算される。

【0010】

実施形態において、感情データは、リファレンス方向に関連し、キャラクタの顔は、この感情を表すようアニメーション化される。

【0011】

本原理の他の態様に従って、前記キャラクタは、その頭部に加えて、ボディ部分を有し、該ボディ部分は、前記注視方向の表れを補強するようアニメーション化される。

【0012】

実施形態において、前記オブジェクトの前記位置は、表示される前記イマーシブコンテンツの第１部分における前記オブジェクトの投影のスクリーン空間ポジション及びサイズに従って、計算される。

【0013】

本原理の他の態様に従って、前記リファレンス方向は、前記イマーシブコンテンツを符号化するデータストリームから取得される。

【0014】

実施形態において、前記リファレンス方向は、関心領域を検出するよう前記イマーシブコンテンツを解析することによって取得され、前記リファレンス方向は、関心領域を指し示しながらイマーシブコンテンツにおける見る者の位置から始まるベクトルである。

【0015】

本開示はまた、少なくとも１つのプロセッサに関連するメモリを有するレンダリング装置であって、
前記少なくとも１つのプロセッサが、
イマーシブコンテンツ内の関心のあるリファレンス方向及び該リファレンス方向に関連する感情データを取得し、
前記イマーシブコンテンツ内の位置で、少なくとも１つの目を持つキャラクタを表すオブジェクトを挿入する
よう構成され、
前記位置が、当該レンダリング装置によってレンダリングされる前記イマーシブコンテンツの部分において含まれ、
前記オブジェクトの前記少なくとも１つの目の注視方向が、前記位置及び前記リファレンス方向に従って決定され、
前記オブジェクトが、前記感情データを反映するよう決定される、
レンダリング装置に関する。

【図面の簡単な説明】

【0016】

添付の図面を参照しながら以下の説明を読むことで、本開示はより良く理解され、他の具体的な特徴及び利点は明らかになる。

【図1】本原理の具体的な実施形態に従って、イマーシブレンダリング装置、例えば、頭部に装着されたＨＭＤによってレンダリングされるイマーシブコンテンツ項目を消費するユーザの例を表す。

【図2a】本原理の具体的な実施形態に従って、リファレンス方向が取得される前に、レンダリングされるイマーシブコンテンツ項目を消費する図１のユーザを示す。

【図2b】本原理の具体的な実施形態に従って、リファレンス方向が取得される時点で、レンダリングされるイマーシブコンテンツ項目を消費する図１のユーザを示す。

【図2c】本原理の具体的な実施形態に従って、図２ｂのキャラクタによって促されるようにユーザが自身の頭を回転させる場合に、イマーシブレンダリング装置によってレンダリングされるイマーシブコンテンツ項目を消費する図１のユーザを示す。

【図3】本原理の具体的な実施形態に従って、本体及び腕を有するキャラクタを含む図２ｂの画像として表示画像を表す。

【図4】本原理の具体的な実施形態に従って、１つの目しか有さないキャラクタを含む図２ｃの画像として表示画像を表す。

【図5】非制限的な有利な実施形態に従って、図６の装置のようなプロセッシング装置において実装される方法の実施形態を図式的に示す。

【図6】本原理の具体的な実施形態に従って、図５に関連して記載される方法を実装するよう構成され得る装置のアーキテクチャを例示する。

【発明を実施するための形態】

【0017】

主題は、これより、図面を参照して説明される。同じ参照符号は、全体を通して、同じ要素を参照するために用いられる。以下の記載では、説明の目的で、多数の具体的な詳細が、主題の完全な理解を提供するために示される。主題の実施形態は、そのような具体的な詳細によらずとも実施され得ることが理解される。

【0018】

明りょうさのために、図１、２ａ、２ｂ及び２ｃは、２次元における例を表し、“ヨー（yaw）”角（すなわち、Ｚ軸周りの回転）のみに言及する。本原理は、３次元に並びに“ピッチ（pitch）”角（すなわち、Ｙ軸周りの回転）に及び“ロール（roll）”角（すなわち、Ｘ軸周りの回転）に拡張可能であることが理解される。

【0019】

図１は、イマーシブレンダリング装置、例えば、頭部に装着されたＨＭＤによってレンダリングされるイマーシブコンテンツ項目を消費するユーザ１１の例を表す。例えば、仮想カメラ１２は、ＨＭＤの少なくとも１つのスクリーンに表示されているイマーシブコンテンツ１０の部分１４の画像を捕捉している。ＨＭＤの場合に、１つの画像がユーザの夫々の目の前にレンダリングされる。これは、同じ画像（すなわち、モノレンダリング）又は２つの異なる画像（すなわち、ステレオレンダリング）であってよい。イマーシブコンテンツは、オブジェクトの３Ｄモデルが参照系において位置付けられる３次元コンピュータグラフィック画像シーン（３Ｄ ＣＧＩシーン）であってよい。他の実施形態では、イマーシブコンテンツは、３次元の凸面（例えば、球体、円筒、立方体、ピラミッド、又はそれらの３Ｄ形状の部分）にマッピングされたビデオであってよい。ユーザは、イマーシブレンダリング装置を動かすことによって、例えば、ＨＭＤの例では自身の頭を回転させることによって、イマーシブコンテンツ１０の表示部分１４を制御する。ユーザは、方向１３において見ている。例えば、図１の水車小屋を見ている。表示部分１４は、方向１３と、視野を画定する装置のハードウェア構成（例えば、ＨＭＤのレンズ及び／又はスクリーンの幅）とに応じて、イマーシブレンダリング装置によって決定される。

【0020】

本原理に従って、リファレンス方向１５が取得される。リファレンス方向１５は、コンテンツ内の関心のある点、オブジェクト又は領域を検出するようイマーシブコンテンツを解析することによって、取得され得る。リファレンス方向１５は、仮想カメラと関心領域との相対位置に応じて計算される（点は単位領域であり、コンテンツの部分としてのオブジェクトは、コンテンツ内の領域を画定すると見なされ得る。）。既存の領域検出アルゴリズムが、イマーシブコンテンツのタイプに応じて使用されてよい。例えば、イマーシブコンテンツがイマーシブビデオである場合には、サリエンシー又は内部の興趣（intra-interestingness）に基づく関心領域検出アルゴリズムが使用されてよい。他の実施形態では、リファレンス方向は、イマーシブコンテンツ項目を符号化するデータストリームから、例えば、イマーシブコンテンツのレンダリングと同期したメタデータとして、取得される。第３の実施形態では、リファレンス方向１５は、イマーシブコンテンツ項目を符号化するデータストリーム以外のソースから取得される。例えば、リファレンス方向１５は、遠隔の装置（例えば、ＨＴＴＰサーバ又はブロードキャストサーバ）から受信されるか、あるいは、イマーシブレンダリング装置と又はイマーシブレンダリング装置に関連する装置と関連するメモリにおいて読み出される。

【0021】

例えば、リファレンス方向１５は、関心のある方向である。これは、例えば、物語のイベントがこの方向において起きるからである。イベントに従って、感情を表すデータがリファレンス方向１５と関連付けられてよい。例えば、“恐ろしい”又は“楽しい”又は“つまらない”が挙げられる。この感情は、イマーシブコンテンツにおける感情、特に、関心領域に関連した感情を解析するアルゴリズムを使用することによって、決定されてよい。他の例では、感情データは、イマーシブコンテンツ項目を符号化するデータストリームから取り出される。方向１５は、イベントが起きる時点で取得されてよい。変形例では、方向１５は、イベントが起きる少し前に、例えば、１秒又は３秒前に、取得される。

【0022】

本原理に従って、キャラクタを表すオブジェクト１６は、少なくとも、方向１５が取得される場合に、イマーシブコンテンツ内に挿入される。オブジェクト１６は、イマーシブコンテンツの参照系における位置で挿入される。故に、それは、方向１３に従って定められたユーザの視野に含まれる。すなわち、オブジェクト１６は、イマーシブコンテンツの部分１４の表示画像に含まれる。オブジェクト１６は、方向１３、方向１５、及びイマーシブコンテンツの部分１４におけるオブジェクト１６の位置に従って計算される。キャラクタは少なくとも１つの目を備え、その注視方向１７は、キャラクタが、イマーシブコンテンツ１０におけるその位置でレンダリングされるときに、関心のある方向を見ているように、計算される。変形例では、キャラクタが注視方向へ向かっているように、キャラクタの頭の方向が計算される。実際に、キャラクタの注視方向は、たとえ目が頭の参照系においてアニメーション化されないとしても、頭がシーンの参照系において回転している場合に変更される。他の変形例では、キャラクタは、リファレンス方向に関連した感情データに関係がある表情を有するよう計算される。例えば、感情データ“驚き”について、キャラクタの目は大きく開かれる。変形例では、キャラクタは、その注視の誘導効果を強める身体姿勢を有する。例えば、キャラクタは、ユーザに方向１５を見させるよう、自身の腕又は指で注視方向１７を指し示してよい。注視方向１７がユーザの後ろを指す場合には、キャラクタは、ユーザの肩越しを見るよう、背伸びするか、あるいは、自身の頭を傾けてよい。本原理のこの態様は、図２ａ、２ｂ及び２ｃを参照して更に詳述される。

【0023】

オブジェクト１６はキャラクタを表し、イマーシブコンテンツの参照系における位置及び注視方向１７に従って、少なくとも、リファレンス方向１５が取得される場合に、計算される。変形例では、リファレンス方向１５に関連した感情データが、オブジェクト１６を計算するために使用される。オブジェクト１６の計算は、３Ｄモデルアニメーション技術に基づいてよい。キャラクタのアニメーション可能な３Ｄモデルは、イマーシブレンダリング装置に関連するメモリにおいて記憶される。モデルの目は、注視方向１７に従って方向付けられる。変形例では、キャラクタのアニメーション可能な３Ｄモデルは、注視方向１７に従ってアニメーション化され得る他のボディ部分を有する。例えば、アニメーション可能な３Ｄモデルの顔は、感情データを反映する気持ちを表現するようアニメーション化されてよい。アニメーション技術は、よく知られている。例えば、重要なメッシュ間のメッシュ補間は、顔３Ｄモデルに気持ちの段階的表現を与えるために広く使用されている。他の実施形態では、オブジェクト１６は、テクスチャード加工のビルボード（すなわち、常に仮想カメラの方へ向けられた矩形イメージャ）である。ビルボードテクスチャの計算は、３Ｄアニメーション技術と同様の原理に従って２Ｄアニメーション技術に基づく。第３の実施形態では、オブジェクト１６は、イマーシブコンテンツの参照系における位置及び注視方向１７に従って、そして、変形例では、方向１５に関連した感情データに従って、所定のオブジェクトの組において選択される。

【0024】

図２ａは、リファレンス方向が取得される前に、イマーシブレンダリング装置によってレンダリングされるイマーシブコンテンツ項目を消費する図１のユーザ１１を示す。ユーザは、イマーシブコンテンツの部分１４を定める方向１３を見ている。部分１４に対応する画像２０ａは、イマーシブレンダリング装置の少なくとも１つのスクリーンに表示される。この時点では、リファレンス方向は取得されない。本原理に従って、オブジェクト１６ａは、ユーザの視野に含まれるシーン空間位置でイマーシブコンテンツに挿入される。このシーン空間位置は、キャラクタの画像２１ａがレンダリングされるスクリーン空間位置及びサイズに関連する。画像２１ａのスクリーン空間位置及びサイズは、オブジェクト１６ａのシーン空間位置及びサイズを基に計算され得る。相互に、キャラクタがスクリーンにおいて占有しうる場所を最適化するために、オブジェクト１６ａの位置及びサイズは、画像２１ａの最初に計算された位置及びサイズに従って計算され得る。例となる方法は、表示されている画像の有意味な部分の重なりを最小限にすることである。図２ａ、２ｂ及び２ｃの例では、画像２１ａ、２１ｂ及び２１ｃの場所は、空に出現するよう選択されている。表示される画像は、ユーザによって制御される方向１３に従って生成されるということで、キャラクタ画像のスクリーン空間位置及びサイズは、時間とともに変化し得る。なお、以下で説明されるように、それを大きく変えないこと、及び画像２１ａを１つの位置から他の位置へポップさせないことが好ましい。他の例となる方法は、図２ｂを参照して説明されるリファレンス方向１５の来たる取得及び推定される来たる方向１７に従って、画像２１ａのスクリーン空間位置及びサイズを計算することである。

【0025】

図２ｂは、リファレンス方向が取得される時点で、イマーシブレンダリング装置によってレンダリングされるイマーシブコンテンツ項目を消費する図１のユーザ１１を示す。リファレンス方向１５は、コンテンツイベントが起きる時点で取得される。変形例では、リファレンス方向１５は、コンテンツイベントが起きる少し前に、例えば、０．５秒又は２秒前に、取得される。本原理に従って、図のオブジェクト１６ａは、オブジェクト１６ｂになるよう変更される。変形例では、オブジェクト１６ａは、オブジェクト１６ｂによって置換される（すなわち、オブジェクト１６ａは、イマーシブコンテンツから除去され、オブジェクト１６が、イマーシブコンテンツに挿入される。）。オブジェクト１６ｂは、オブジェクト１６ｂのシーン空間位置及びリファレンス方向１５に従って決定された注視方向１７に従って、計算される。変形例では、感情データがリファレンス方向１５に関連付けられ、オブジェクト１６ｂを計算するために使用される。図２ｂで、キャラクタは、見る者の右後ろ且つその者の上部での方向２２におけるイベントによって驚いた顔をしている。

【0026】

画像２０ｂにおける画像２１ｂの突然の変更の例となる効果は、見る者の注意をキャラクタに引くことである。自然な反応は、見る者を、同じ方向２２を見るようにその者の頭を回転させるよう導く。なお、この誘導は命令的ではなく、見る者はそれを無視すると決めることができる。変形例では、矢印２２が、誘導効果を強めるよう画像２０ｂにおいて効果的に描かれる。

【0027】

画像２１ａ、２１ｂ及び２１ｃは、それが見る者の注意を期待はずれのイベントに引いて、見る者の視聴経験の品質を乱しうるということで、１つのスクリーン空間位置から他の位置へポップしないことが好ましい（リファレンス方向１５の突然の変更に関連する場合を除く。）。画像２１ｂのスクリーン空間位置は、注視方向１７及び２２に従って決定され得る。例えば、オブジェクトは、スクリーン空間のサイドに位置付けられてよい。故に、その注視は、図２ｂにおいて見られるように、スクリーンを横断する。変形例では、キャラクタの画像は、注視方向に向かって進むよう、あるいは、例えば、リファレンス方向に関連した感情データに従って、反対の方向に走り去るよう、スクリーン空間を横切って漸次的に動いてよい。

【0028】

いくつかのリファレンス方向が同時に取得されてよい。斯様な場合に、注視方向は、それらのリファレンス方向のうちの１つに従って、例えば、夫々のリファレンス方向に関連した重要度に従って、又はそれらの夫々に関連した感情データに従って、計算され得る。キャラクタの夫々を表すいくつかのオブジェクトが計算され、イマーシブコンテンツにおいて挿入されてよい。

【0029】

図２ｃは、ユーザが図２ｂの方向２２において自身の頭を回転させた場合に、イマーシブレンダリング装置によってレンダリングされるイマーシブコンテンツ項目を消費する図１のユーザ１１を示す。図２ｂの誘導効果は、見る者を、その者の頭を方向２１の方へ回転させるよう導き、そして、注視方向１７に対するイマーシブコンテンツの部分が表示される。リファレンス方向１５は、それが見る者の視野に含まれるので無視され、オブジェクト１６ｃは、キャラクタが、例えば、無表情で、ユーザの方向を見るように、計算される。変形例では、オブジェクト１６ｃはイマーシブコンテンツから除去され、故に、画像２１ｃはスクリーンに表示されない。

【0030】

他の実施形態では、リファレンス方向１５は無視されず、注視方向１７は、図３及び４を参照して説明されるように計算される。

【0031】

図３は、本体及び腕を有するキャラクタを含む図２ｂの画像２０ｂとして表示画像３０を表す。この例では、例えば、リファレンス方向が感情データ“面白い”と関連付けられるので、キャラクタを表すオブジェクトは、見る者に、見る者の視野内に含まれるリファレンス方向１５、ここでは、水車小屋に焦点を合わせるよう促すために、計算される。注視方向３２は、リファレンス方向及び図１のオブジェクト１６のシーン空間位置に従って、計算される。キャラクタは、リファレンス方向を見るように誘導効果を強めるよう構成されアニメーション化され得る本体を備えてよい。図３の例では、鉛筆のキャラクタが水車小屋の方にかがんで、その腕及び指を、リファレンス方向にある面白いオブジェクトの方に向けている。

【0032】

リファレンス方向に従ってキャラクタを表すオブジェクトを計算するために使用されるデータは、イマーシブレンダリング装置に関連するメモリにおいて記憶されている。他の実施形態では、そのようなデータは、遠隔の装置に関連するメモリにおいて記憶され、イマーシブレンダリング装置によって必要とされるときに要求される。キャラクタは、ユーザの好みに応じて選択されてよい。キャラクタは、アニメとして描かれてよく、あるいは、写真のようなリアルな描写であってよい。キャラクタは、人物、例えば、ユーザの友人若しくは親戚又はユーザ自身の写真に従って生成されてよい。

【0033】

図４は、１つしか目を持たないキャラクタを含む図２ｃの画像２０ｃとして表示画像４０を表す。注視方向４２及び表示されているキャラクタ４１の脅えた態度は、視野から直ぐに去り、最初の飛行機又はパラシュートよりも追うことが重要であると推定される２番目の飛行機に焦点を合わせるよう自然に且つ友好的にユーザに促す。キャラクタの一つ目の注視は、２番目の飛行機を漸次的に追って、見る者に同じことをするよう促す。

【0034】

図５は、非制限的な有利な実施形態に従って、図６の装置６０のようなプロセッシング装置において実装される方法５０の実施形態を図式的に示す。

【0035】

初期設定ステップ５１で、図６のイマーシブレンダリング装置６０は、イマーシブコンテンツ項目を符号化するデータストリームを取得し、イマーシブレンダリング装置６０の方向に従ってイマーシブコンテンツの第１部分をレンダリングする。

【0036】

ステップ５２で、リファレンス方向が取得される。リファレンス方向は、イマーシブコンテンツ内の見る者の位置からイマーシブコンテンツにおける関心領域を指す。感情データがリファレンス方向と関連付けられてよい。リファレンス方向は、関心領域検出アルゴリズムによりイマーシブコンテンツを解析することによって、取得されてよい。感情データは、シーン解析アルゴリズムによって決定されてよい。他の実施形態では、リファレンス方向情報は、イマーシブコンテンツ項目のデータストリームにおいて符号化されている同期化されたデータから取り出されてよい。感情データも、そのような同期化されたデータから取り出されてよい。同期化されたデータは、自動的に生成されていてよく、あるいは、それらは、人のオペレータによって決定されていてよい。

【0037】

ステップ５３で、キャラクタを表すオブジェクトは、取得されたリファレンス方向に従って計算される。キャラクタの注視方向は、リファレンス方向及びイマーシブコンテンツにおけるオブジェクトの位置に従って計算される。オブジェクトの位置は、キャラクタの画像が表示されるときに有するだろうスクリーン空間位置及びスクリーン空間サイズに従って、計算されてよい。オブジェクトは、キャラクタの少なくとも１つの目が計算された注視方向を見ているように、計算される。変形例では、キャラクタは、頭を含むボディ部分（例えば、胴、腕、指、など）を有する。これらは、リファレンス方向の方を注視方向において見ている誘導効果を強めるよう、アニメーション化される。他の変形例では、リファレンス方向に関連する感情データが、関連する気持ちを表現するようにキャラクタをアニメーション化するために、使用される。

【0038】

ステップ５４で、キャラクタを表す計算されたオブジェクトが、イマーシブコンテンツにおいて挿入される。イマーシブレンダリング装置６０は、ユーザが見ている方向に従って、表示すべき画像を計算する。オブジェクトがユーザの視野内にあるよう位置付けられるように、キャラクタの画像は、ユーザの見ている方向に対応するイマーシブコンテンツの部分とともに表示される。他の実施形態では、スクリーン空間におけるキャラクタを表すオブジェクトの投影は、最初に、画像として処理される。第２に、キャラクタ画像は、イマーシブコンテンツの表示されている部分にオーバーレイされる。

【0039】

ステップ５５で、キャラクタの突然の変更の結果として、ユーザは、注視方向によって示された方向において装置を回転させるよう促される。この新しいユーザの見ている方向に対応するイマーシブコンテンツの第２部分は、イマーシブレンダリング装置６０によってレンダリングされる。

【0040】

図６は、図５に関連して記載される方法を実装するよう構成され得る装置６０のアーキテクチャを例示する。

【0041】

装置６０は、データ及びアドレスバス６１によって結合されている次の要素を有する：
・ 例えば、ＤＳＰ（すなわち、Digital Signal Processor）であるマイクロプロセッサ６２（又はＣＰＵ）；
・ ＲＯＭ（すなわち、Read Only Memory）６３；
・ ＲＡＭ（すなわち、Random Access Memory）６４；
・ ストレージインターフェイス６５；
・ アプリケーションからの、送信すべきデータの受信のためのＩ／Ｏインターフェイス６６；及び
・ 電源、例えば、バッテリ。

【0042】

例に従って、電源は装置の外にある。上記のメモリの夫々において、本明細書において使用される語＜＜レジスタ＞＞は、小容量（数ビット）のエリアに、又は大容量のエリア（例えば、プログラム全体又は大量の受信若しくは復号されるデータ）に対応することができる。ＲＯＭ６３は、少なくともプログラム及びパラメータを有する。ＲＯＭ６３は、本原理に従う技術を実行するためのアルゴリズム及び命令を記憶してよい。オンされるときに、ＣＰＵ６２は、ＲＡＭにおいてプログラムをアップロードし、対応する命令を実行する。

【0043】

ＲＡＭ６４は、レジスタにおいて、装置６０のスイッチオン後にアップロードされてＣＰＵ６２によって実行されるプログラムを、レジスタにおいて、入力データを、レジスタにおいて、方法の種々の状態における中間データを、及びレジスタにおいて、方法の実行のために使用される他の変数を有する。

【0044】

図５の方法に従って、イマーシブコンテンツ項目を符号化するデータストリームは、ソースから取得される。例えば、ソースは：
・ ローカルメモリ（６３又は６４）、例えば、ビデオメモリ又はＲＡＭ（すなわち、Random Access Memory）、フラッシュメモリ、ＲＯＭ（すなわち、Read Only Memory）、ハードディスク；
・ ストレージインターフェイス（６５）、例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気担体とのインターフェイス；
・ 通信インターフェイス（６６）、例えば、有線インターフェイス（例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス）又は無線インターフェイス（例えば、ＩＥＥＥ８０２．１１インターフェイス若しくはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェイス）；及び
・ ユーザインターフェイス、例えば、データを入力することをユーザに可能にするグラフィカルユーザインターフェイス
を含む組に属する。

【0045】

例に従って、装置６０は、図５に関連して記載される方法を実装するよう構成され：
・ モバイル装置；
・ 通信装置；
・ ゲーム機；
・ タブレット（又はタブレットコンピュータ）
を含む組に属する。

【0046】

当然に、本開示は、先に記載された実施形態に制限されない。特に、本開示は、キャラクタを表すオブジェクトを挿入することによってイマーシブコンテンツをレンダリングする方法に制限されず、キャラクタ、例えば、問答により所与の方向を又は関心領域の方を見るように見る者に促す、言葉を話すキャラクタを表す少なくとも１つのオブジェクトを処理することにも及ぶ。キャラクタの夫々を表す少なくとも１つのオブジェクトを計算するのに必要な計算の実施は、ＣＰＵにおける実施に制限されず、あらゆるプログラムタイプにおける実施、例えば、ＧＰＵタイプのマイクロプロセッサによって実行され得るプログラムにも及ぶ。

【0047】

ここで記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム又は信号において実装されてよい。たとえ単一の実施形態に関してしか説明されていないとしても（例えば、方法又は装置としてしか説明されていないとしても）、説明される特徴の実施は、他の形態（例えば、プログラム）でも実装されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装されてよい。方法は、例えば、プロセッサのような装置において実装されてよい。プロセッサは、プロセッシング装置全般を指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理装置を含む。プロセッサはまた、例えば、スマートフォン、タブレット、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（“ＰＤＡ”）、及び他の装置のような、通信装置を含む。

【0048】

ここで記載されている様々なプロセス及び特徴の実施は、多種多様な装置又はアプリケーション、特に、例えば、データ符号化、データ復号化、ビュー生成、テクスチャ処理、並びに画像及び関連するテクスチャ情報及び／又は奥行き情報の他の処理に関連した装置又はアプリケーションにおいて具現されてよい。そのような装置の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへ入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、ＰＤＡ、及び他の通信装置がある。当然ながら、装置はモバイルであって、移動車両に設置されてさえよい。

【0049】

加えて、方法は、プロセッサによって実行される命令によって実装されてよく、そのような命令（及び／又は実施によって生成されるデータ値）は、例えば、集積回路、ソフトウェアキャリア、又は他の記憶装置（例えば、ハードディスク、コンパクトディスケット（“ＣＤ”）、光ディスク（例えば、しばしばデジタルバーサタイルディスク若しくはデジタルビデオディスクと称されるＤＶＤ）、ランダムアクセスメモリ（“ＲＡＭ”）、若しくはリードオンリーメモリ（“ＲＯＭ”））のような、プロセッサ可読媒体に記憶されてよい。命令は、プロセッサ可読媒体において有形に具現されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又は両者の組み合わせにおいて含まれていてよい。プロセッサは、従って、例えば、プロセスを実行するよう構成される装置、及びプロセスを実行するための命令を有するプロセッサ可読媒体（例えば、記憶装置）を含む装置の両方と見なされ得る。更に、プロセッサ可読媒体は、命令に加えて又はそれに代えて、実施によって生成されるデータ値を記憶してよい。

【0050】

当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成し得る。情報は、例えば、方法を実行する命令、又は記載されている実施のうちの１つによって生成されるデータを含んでよい。例えば、信号は、記載されている実施形態のシンタックスを書き込む又は読み出すための規則をデータとして運ぶよう、あるいは、記載されている実施形態によって書き込まれた実際のシンタックス値をデータとして運ぶようフォーマットされてよい。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用する。）、又はベースバンド信号として、フォーマットされてよい。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームによりキャリアを変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られている多種多様な有線又は無線リンクを介して送信されてよい。信号は、プロセッサ可読媒体に記憶されてよい。

【0051】

多数の実施が記載されてきた。それでもなお、様々な変更が行われ得ることが理解されるだろう。例えば、異なる実施の要素は、他の実施をもたらすよう結合、置換、変更、又は除外されてよい。加えて、当業者であれば、他の構造及びプロセスが、開示されているものに代用されてよく、結果として現れる実施が、開示されている実施と少なくとも略同じ結果を達成するよう、少なくとも略同じ方法で、少なくとも略同じ機能を実施すると理解するだろう。然るに、それら及び他の実施は、本願によって意図されている。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
レンダリング装置によってイマーシブコンテンツをレンダリングする方法であって、
前記イマーシブコンテンツ内の関心のあるリファレンス方向及び該リファレンス方向に関連する感情データを取得することと、
前記イマーシブコンテンツ内の位置で、少なくとも１つの目を持つキャラクタを表すオブジェクトを挿入することと
を有し、
前記位置は、当該レンダリング装置によってレンダリングされる前記イマーシブコンテンツの部分において含まれ、
前記オブジェクトの前記少なくとも１つの目の注視方向は、前記位置及び前記リファレンス方向に従って決定され、
前記オブジェクトは、前記感情データを反映するよう決定される、
方法。
（付記２）
前記注視方向は、前記イマーシブコンテンツ内の前記位置から前記リファレンス方向の方向において前記キャラクタに見させるよう決定される、
付記１に記載の方法。
（付記３）
前記オブジェクトは、前記感情データを反映するようアニメーション化される、
付記１又は２に記載の方法。
（付記４）
前記キャラクタは、ボディ部分を有し、該ボディ部分は、前記注視方向の表れを補強するようアニメーション化される、
付記１乃至３のうちいずれかに記載の方法。
（付記５）
前記位置は、前記イマーシブコンテンツの前記レンダリングされる部分における前記オブジェクトの投影のスクリーン空間ポジション及びスクリーン空間サイズに従って、決定される、
付記１乃至４のうちいずれかに記載の方法。
（付記６）
前記リファレンス方向は、前記イマーシブコンテンツを符号化するデータストリームから取得される、
付記１乃至５のうちいずれかに記載の方法。
（付記７）
前記リファレンス方向は、関心領域を検出するよう前記イマーシブコンテンツを解析することによって、取得される、
付記１乃至５のうちいずれかに記載の方法。
（付記８）
前記リファレンス方向は、イベントが前記イマーシブコンテンツにおいて起こる前に、取得される、
付記１乃至７のうちいずれかに記載の方法。
（付記９）
少なくとも１つのプロセッサに関連するメモリを有するレンダリング装置であって、
前記少なくとも１つのプロセッサは、
イマーシブコンテンツ内の関心のあるリファレンス方向及び該リファレンス方向に関連する感情データを取得し、
前記イマーシブコンテンツ内の位置で、少なくとも１つの目を持つキャラクタを表すオブジェクトを挿入する
よう構成され、
前記位置は、当該レンダリング装置によってレンダリングされる前記イマーシブコンテンツの部分において含まれ、
前記オブジェクトの前記少なくとも１つの目の注視方向は、前記位置及び前記リファレンス方向に従って決定され、
前記オブジェクトは、前記感情データを反映するよう決定される、
レンダリング装置。
（付記１０）
前記注視方向は、前記イマーシブコンテンツ内の前記位置から前記リファレンス方向の方向において前記キャラクタに見させるよう決定される、
付記９に記載のレンダリング装置。
（付記１１）
前記オブジェクトは、前記感情データを反映するようアニメーション化される、
付記９又は１０に記載のレンダリング装置。
（付記１２）
前記キャラクタは、ボディ部分を有し、該ボディ部分は、前記注視方向の表れを補強するようアニメーション化される、
付記９乃至１１のうちいずれかに記載のレンダリング装置。
（付記１３）
前記位置は、前記イマーシブコンテンツの前記レンダリングされる部分における前記オブジェクトの投影のスクリーン空間ポジション及びスクリーン空間サイズに従って、決定される、
付記９乃至１２のうちいずれかに記載のレンダリング装置。
（付記１４）
前記リファレンス方向は、前記イマーシブコンテンツを符号化するデータストリームから取得される、
付記９乃至１３のうちいずれかに記載のレンダリング装置。
（付記１５）
前記リファレンス方向は、関心領域を検出するよう前記イマーシブコンテンツを解析することによって、取得される、
付記９乃至１４のうちいずれかに記載のレンダリング装置。

【符号の説明】

【0052】

１０ イマーシブコンテンツ
１１ ユーザ
１２ 仮想カメラ
１３ 方向
１４ 表示部分
１５ リファレンス方向
１６ オブジェクト
１７，２２，３２，４２ 注視方向
２１，３１，４１ キャラクタ
５０ 方法
６０ イマーシブレンダリング装置

【図1】

【図2a】

【図2b】

【図2c】

【図3】

【図4】

【図5】

【図6】