特表 2023-553917 変動するデータを持つファイルフォーマット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-26

(54)【発明の名称】変動するデータを持つファイルフォーマット

(51)【国際特許分類】

   G06T 17/00 20060101AFI20231219BHJP

   G06T 19/00 20110101ALI20231219BHJP

【ＦＩ】

G06T17/00

G06T19/00 A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023534956

(86)(22)【出願日】2021-12-08

(85)【翻訳文提出日】2023-06-26

(86)【国際出願番号】 EP2021084792

(87)【国際公開番号】W WO2022122819

(87)【国際公開日】2022-06-16

(31)【優先権主張番号】20213333.6

(32)【優先日】2020-12-11

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ヴァーエカンプ クリスティアン

【テーマコード（参考）】

5B050

5B080

【Ｆターム（参考）】

5B050BA08

5B050BA09

5B050DA07

5B050EA12

5B050FA05

5B080AA20

5B080FA02

5B080GA22

(57)【要約】

コンピュータ記憶システムにおいて仮想オブジェクトを表すデータを記憶する方法である。本方法は、データが読み取られるときに不変のまま留まることとなる仮想オブジェクトの物理的特性に対応した不変のデータを記憶するステップを有する。不変のデータは、仮想オブジェクトのうちの１つ又は複数の物理的特性を表す１つ又は複数の不変の要素を含む。本方法は、データを記憶する時点において不確かな仮想オブジェクトの物理的特性に対応した変動するデータを記憶するステップを更に有する。変動するデータが、仮想オブジェクトのうちの１つ又は複数の不確かな物理的特性を表す１つ又は複数の変動する要素を含み、変動する要素の各々が、値の範囲と値の範囲に対する確率関数とを含む。

【特許請求の範囲】

【請求項1】

コンピュータ記憶システムにおいて仮想オブジェクトを表すデータを記憶する方法であって、前記方法が、
前記データが読み取られるときに不変のまま留まることとなる前記仮想オブジェクトの物理的特性に対応した不変のデータを不揮発性コンピュータストレージに記憶するステップであって、前記不変のデータが、前記仮想オブジェクトのうちの１つ又は複数の物理的特性を表す１つ又は複数の不変の要素を含む、記憶するステップと、
前記データを記憶する時点において不確かな前記仮想オブジェクトの物理的特性に対応した変動するデータを不揮発性コンピュータストレージに記憶するステップであって、前記変動するデータが、前記仮想オブジェクトのうちの１つ又は複数の不確かな物理的特性を表す１つ又は複数の変動する要素を含み、前記変動する要素の各々が、値の範囲と前記値の範囲に対する確率関数とを含む、記憶するステップと、
を有する、方法。

【請求項2】

前記仮想オブジェクトを表す前記データが、３Ｄシーンデスクリプションに対応する、請求項１に記載の方法。

【請求項3】

前記変動する要素に対する前記確率関数が、
ガウシアン分布、
ポアソン分布、
デルタ関数、
離散確率分布、
連続確率分布、又は、
条件付き確率分布、
のうちの１つ又は複数である、
請求項１又は請求項２に記載の方法。

【請求項4】

前記値の範囲が、特定の前記変動する要素の各々に対してユーザーにより規定された範囲に基づき、前記確率関数が、特定の前記変動する要素の各々に対してユーザーにより規定された関数に更に基づく、請求項１から請求項３のいずれか一項に記載の方法。

【請求項5】

仮想オブジェクトを表すデータに基づいてセンサーシステムを制御する方法であって、前記データが、不変のデータと変動するデータとを含み、前記方法が、
前記変動するデータにおける変動する要素の値の範囲及び／又は確率関数に基づいて、前記変動するデータにおいて表された前記仮想オブジェクトに対応した実際のオブジェクトをシーンにおいて探索するために前記センサーシステムを制御するステップと、
前記変動するデータにおける前記変動する要素に対応した前記実際のオブジェクトの物理的特性を表す前記センサーシステムからのセンサーデータを取得するステップと、
を有する、方法。

【請求項6】

１つ又は複数の前記変動する要素に対する対応する前記センサーデータに基づいて１つ又は複数の前記変動する要素を一時的要素に変換するステップであって、前記一時的要素が、前記仮想オブジェクトのうちの１つ又は複数の物理的特性を表す、変換するステップと、
不変の要素と前記データの前記一時的要素とに基づいて前記仮想オブジェクトを表示するステップと、
を更に有する、請求項５に記載の方法。

【請求項7】

前記センサーシステムが、前記センサーデータを定期的に更新し、請求項６に記載の方法のステップが、前記センサーデータが更新される度に繰り返される、
請求項６に記載の方法。

【請求項8】

第１の変動する要素の値の範囲及び／又は確率分布が、
前記第１の変動する要素の以前の値、
他の変動する要素の値、又は、
前記他の変動する要素の以前の値、
のうちの１つ又は複数に少なくとも部分的に基づく、
請求項７に記載の方法。

【請求項9】

前記センサーデータが、
視覚センサーデータ、
赤外線センサーデータ、
マイクロ波センサーデータ、
超音波センサーデータ、
オーディオセンサーデータ、
位置センサーデータ、
加速度計センサーデータ、又は、
全地球測位システムデータ、
のうちの１つ又は複数を含む、
請求項５から請求項８のいずれか一項に記載の方法。

【請求項10】

請求項１から請求項４のいずれか一項に記載の方法により記憶された仮想オブジェクトを表す前記データを変更する方法であって、前記方法が、
前記仮想オブジェクトを表す前記データの変動する要素に対応した実際のオブジェクトの、前記物理的特性を含むセンサーシステムからの履歴センサーデータログとそれぞれの経時的変化とを取得するステップと、
前記値の範囲及び／又は前記確率関数の履歴データと対応する前記履歴センサーデータログとに基づいて、前記変動する要素の前記値の範囲及び／又は前記確率関数を変更するステップと、
を有する、方法。

【請求項11】

前記値の範囲及び／又は前記確率関数を変更するステップが、前記履歴データと前記履歴センサーデータログとの間のパターンを識別するように、及び、対応する前記変動する要素に対する値の範囲及び／又は確率関数を出力するように訓練された機械学習アルゴリズムに、前記履歴データと対応する前記履歴センサーデータログとを入力することに基づく、請求項１０に記載の方法。

【請求項12】

前記履歴センサーデータログの最大帰納的推定結果を計算することに基づいて前記値の範囲及び／又は前記確率関数を変更するステップを更に有する、請求項１０又は請求項１１に記載の方法。

【請求項13】

処理システムを含むコンピューティングデバイスにおいて実行されたときに、請求項１から請求項１２のいずれか一項に記載の方法のステップの全てを実施することを前記処理システムにさせる、コンピュータプログラムコード手段を含む、コンピュータプログラム。

【請求項14】

コンピュータ記憶システムにおいて仮想オブジェクトを表すデータを記憶するためのシステムであって、前記システムが、
前記データが読み取られるときに不変のまま留まることとなる前記仮想オブジェクトの物理的特性に対応した不変のデータを不揮発性コンピュータストレージに記憶することであって、前記不変のデータが、前記仮想オブジェクトのうちの１つ又は複数の物理的特性を表す１つ又は複数の不変の要素を含む、記憶することと、
前記データを記憶する時点において不確かな前記仮想オブジェクトの物理的特性に対応した変動するデータを不揮発性コンピュータストレージに記憶することであって、前記変動するデータが、前記仮想オブジェクトのうちの１つ又は複数の不確かな物理的特性を表す１つ又は複数の変動する要素を含み、前記変動する要素の各々が、値の範囲と前記値の範囲に対する確率関数とを含む、記憶することと、
をするプロセッサを備える、
システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータ記憶システムにおいて仮想オブジェクトを表すデータを記憶する分野に関する。本発明は更に、このようなデータを変更する、及び表示する方法に関する。

【背景技術】

【0002】

ファイルフォーマットは、コンピュータファイルにおける記憶のために情報が符号化される標準的な手法である。ファイルフォーマットは、デジタル記憶媒体において情報を符号化するためにビットがどのように使用されるかを指定する。

【0003】

現在、多くのファイルフォーマットが存在する。例示的な３Ｄファイルフォーマットは、ＯＢＪ、スタンダードトライアングルランゲージ（ＳＴＬ）、Ｆｉｌｍｂｏｘ（ＦＢＸ）、コラボレイティブデザインアクティビティ（ＣＯＬＬＡＤＡ）、及びグラフィックランゲージトランスミッションフォーマット（ｇｌＴＦ）である。これらのファイルフォーマットは典型的には、３Ｄシーンデスクリプションが別のコンピュータプログラムにより読み取られ得るように、及びレンダリングされ得るように、あるコンピュータプログラムから３Ｄシーンデスクリプションをエクスポートするために使用される。幾つかの知られたオーサリングツールは、多くの異なる３Ｄグラフィック形式を読み取り得る、及び記述し得る。グラフィックファイルフォーマットは典型的には、３Ｄ形状、物理学的効果（光源）、シェーディング効果、モーフィング、及びアニメーションの表現をサポートする。

【0004】

３Ｄコンピュータビジョンのフィールドは、１つ又は複数のカメラ画像からオブジェクト形状、物理的特性、及び意味論的情報を推測することを試みる。例は、視差推定結果を介した立体カメラ画像からの深さ推定結果、及び、例示的な画像を使用した深層ニューラルネットワークを介した顔検出である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

できる限り効率的な手法により、受信するコンピュータプログラムによりファイルフォーマットが解釈される、及びレンダリングされることが望ましい。

【0006】

ＷＯ２０１８／１０９４９９Ａ１は、粒子フィルタリングを使用することにより車両の周囲の環境に位置するオブジェクトを検出する方法を開示している。

【0007】

米国特許第９４０６１３１（Ｂ２）号は、２つの同期したビデオストリームを獲得すること、２つのビデオストリームにおけるオブジェクトの動きを追跡すること、ビデオストリームにおけるオブジェクトの識別情報及び位置を特定することにより、動的に変わる３Ｄシーンの３Ｄ表現を生成する方法であって、オブジェクトの動きを追跡するステップがより早い時点の位置情報を使用する、方法を開示している。

【課題を解決するための手段】

【0008】

本発明は請求項により規定される。

【0009】

本発明の一態様による例によると、コンピュータ記憶システムにおいて仮想オブジェクトを表すデータを記憶する方法であって、方法が、
データが読み取られるときに不変のまま留まることになる仮想オブジェクトの物理的特性に対応した不変のデータを記憶するステップであって、不変のデータが、仮想オブジェクトのうちの１つ又は複数の物理的特性を表す１つ又は複数の不変の要素を含む、記憶するステップと、
データを記憶する時点において不確かな仮想オブジェクトの物理的特性に対応した変動するデータを記憶するステップであって、変動するデータが、仮想オブジェクトのうちの１つ又は複数の不確かな物理的特性を表す１つ又は複数の変動する要素を含み、変動する要素の各々が、値の範囲と値の範囲に対する確率関数とを含む記憶するステップとを有する、方法が提供される。

【0010】

コンピュータ記憶システムにおける仮想オブジェクトの表現は典型的には、例えば幾何学的形状、色、テクスチャなどといったオブジェクトの物理的特性を与えるオブジェクトのデザイナーに依存する。これらの物理的特性は、データが記憶されるファイルフォーマットに応じて異なる形態により表される。例えば、所与の形式により、オブジェクトの色は、緑色、赤色、及び青色の各々に対して０から１の間の数により規定され得る。したがって、この例では、オブジェクトの色は、３つの数字により表される。

【0011】

オブジェクトの色がデータを記憶する時点において知られていない場合、オブジェクトが色を伴わずに記憶される。しかし、多くの場合、デザイナーは、色が何であるかについて意思をもつ。

【0012】

簡略化された例では、デザイナーは、１年における現在の時点を表す茶色の木の本体及び葉を含む仮想的な木をデザインすることを望む。木の葉は春及び夏には緑色であり、秋には茶色である。したがって葉の色は［緑色，茶色］として記憶され得、１年のうちの時点に基づいてデザイナーが葉の色を変更し得る。

【0013】

上記の例において、デザイナーは１年のうちの異なる時点に対してこれらの性質を変えることを望まないので、木の本体の色、木の本体の形状、及び葉の形状は不変のデータにおける不変の要素である。しかし、任意の他の情報（例えば１年のうちの時点、センサーデータなど）を伴わなければ色は不確かであるので、葉の色は変動するデータにおける変動する要素である。色に対する値の範囲は緑色又は茶色であり、条件付き確率関数はカレンダーにデータを結び付けることにより設定され得る。更に、葉数も変動する要素であり得（例えば冬には葉がより少ない）、したがって、葉の色及び葉数は変動するデータにおける変動する要素である。確率関数は、１つより多い条件付き確率密度関数（例えば外の温度及びカレンダー）に更に基づき得る。

【0014】

値の範囲及び確率関数は、データの読み手にオブジェクトの事前知識情報を与え、より迅速な判断を可能にする。上記の例では、人間がデータの読み手であった、そして、その者自身の観測に基づいて葉の実際の色を判断し得た。しかし、多くの場合において、データの読み手はコンピュータプログラムである。コンピュータプログラムに与えられる事前知識情報は、葉がどの色であるかを判断することにおいて効率を大幅に改善し得る。例えば、コンピュータプログラムは、葉の実際の色を測定する代わりに、色が緑色であるか茶色であるかを判断するためにセンサーからの情報を使用し得る。

【0015】

葉の色についていわゆる「情報価値の無い事前情報」を使用するが、（夏に可能性が低い）低い外気温が観測された場合、帰納的推定部は、（例えばベイズの定理及び温度を葉の色に関連付ける尤度関数を使用して）葉が実際に茶色であると特定する。

【0016】

したがって、このデータを記憶する方法は、データの将来の読み手が変動するデータを迅速に効率良く実際の値に適応させることを可能にする。

【0017】

値の範囲は、ユーザー（例えばプレーヤーに対して可能なユニフォームの色を設定するスポーツイベントの放送のためのオペレーター）により設定される。代替的に、値の範囲はシーン内における最大の可能な範囲であり、又は、更には、無限の定義域（例えば［－無限，無限］）における確率変数である。したがって、値の範囲は規定の限られた範囲であり、又は、値の範囲は無限の範囲である。値の範囲（及び確率関数）の明示的な記憶は、将来における変化に対してそれを単純で直感的にするために特に関心のあることである。

【0018】

オブジェクトを表すデータは３Ｄシーンデスクリプションに対応する。

【0019】

変動する要素に対する確率関数は、
ガウシアン分布、
ポアソン分布、
２つ以上のデルタ関数、
離散確率分布、
連続確率分布、又は、
条件付き確率分布、
のうちの１つ又は複数である。

【0020】

特定の変動する要素に対して使用される確率関数は、変動する要素により表された物理的特性及び／又は物理的特性の性質に依存する。以下の例に対して、変動する要素はオブジェクトの位置を表す。

【0021】

平面上のどこかに位置する仮想オブジェクトを含む有限平面を考える。平面上のオブジェクトの位置はランダムであり得る。この場合において、位置に対する値の範囲は平面の全てであり、確率関数は平面上の任意の場所に着地する等しい確率を与える。代替的に、オブジェクトの位置は、平面上の特定の点にある可能性が高いものであり得る。この場合において、特定の点に平均値をもつガウシアン分布が確率関数として使用され得る（したがって、標準偏差はオブジェクトが平均値に対してどれほど近いことを「好む」かに依存するが、例としては重要でない）。

【0022】

別の例では、オブジェクトは平面上の２つの特定の点にのみ位置する。この場合において、確率関数は、２つの特定の点に対する２つのデルタ関数の和であり得る。

【0023】

別の例は、サッカーの試合中における２人のゴールキーパーの位置である。これらの位置はゴールの近くである可能性が高く、フィールドの中心である可能性が低い。このような情報はファイルフォーマットへのコンテキストの導入を可能にするので、このような情報はコンピュータビジョンタスクに役立つ可能性があり得る。

【0024】

値の範囲は、特定の変動する要素の各々に対してユーザーにより規定された範囲に基づき、確率関数は、特定の変数の各々に対してユーザーにより規定された関数にも基づく。

【0025】

値の範囲はユーザーにより選択され得る。幾つかの例では、特定の物理的特性（例えば特定の街路における人数）がほとんど知られていない場合、値の範囲は広い。しかし、他の場合には、値の範囲は小さい（例えば葉の色を伴う前述の例）。値の範囲は更に、連続的な範囲又は離散的な範囲であり得る。

【0026】

同様に、確率関数は、物理的特性の性質に基づいて物理的特性に対してユーザーにより選択され得る。

【0027】

本発明は、コンピュータ記憶システムにおいて仮想オブジェクトを表すデータを記憶する方法により記憶されたデータに基づいてセンサーシステムを制御する方法であって、方法が、
変動するデータにおける変動する要素の値の範囲及び／又は確率関数に基づいて変動するデータにおいて表される仮想オブジェクトに対応した実際のオブジェクトを探すためにセンサーシステムを制御するステップと、
変動するデータにおける変動する要素に対応した実際のオブジェクトの物理的特性を表すセンサーシステムからのセンサーデータを取得するステップと、
を有する、方法を更に提供する。

【0028】

センサーシステムは、仮想オブジェクトに対応した実際のオブジェクトを探すように構成され得る。例えば、スポーツゲームでは、センサーシステムがフィールド上のプレーヤーを探す。スポーツフィールドは不変のデータであり得、したがって、センサーシステムはフィールドの物理的特性を測定する必要が無い。プレーヤー数及びプレーヤーの色（すなわちチーム）は、変動するデータの変動する要素であり得、したがって、センサーシステムは、これらの変動する要素を探すように構成され得る。変動する要素の値の範囲及び確率関数は、センサーシステムに、どこでプレーヤーを探すかの「開始点」及び／又はプレーヤーにおいてどの色を探すかを与える。

【0029】

したがって、センサーシステムは変動する要素に対応した物理的特性に対するセンサーデータを取得する必要があるのみであり、及び、不変のデータに関する全てのデータを無視し得る。更に、センサーシステムは、何を「探す」かに関する何らかの事前知識情報をもち、したがって、センサーデータを取得することがより迅速となり、より効率的となる。

【0030】

本発明は、コンピュータ記憶システムにおいて仮想オブジェクトを表すデータを記憶する方法により記憶されたデータを表示する方法であって、方法が、
センサーデータを取得するためにセンサーシステムを制御するステップと、
変動する要素の各々に対する対応するセンサーデータに基づいて１つ又は複数の変動する要素を一時的要素に変換するステップであって、一時的要素が、特定の時点において知られた物理的特性である、変換するステップと、
不変の要素とデータの一時的要素とに基づいて仮想オブジェクトを表示するステップと、
を有する、方法を更に提供する。

【0031】

センサーデータが変動する要素に対して取得された後、変動する要素が一時的要素に変換され得る。例えば、仮想オブジェクトの色が赤色又は青色［赤色，青色］であり、（仮想オブジェクトに対応した）実際のオブジェクトが赤色であることをセンサーシステムが検出した場合、色を表す変動する要素は、値［赤色］をもつ一時的要素に一時的に変換される。次に、一時的要素がデータの不変の要素のそばに表示される。

【0032】

センサーシステムはセンサーデータを定期的に更新するように構成され、データを表示する方法のステップはセンサーデータが更新される度に繰り返される。

【0033】

例えば、センサーシステムは、実際のオブジェクトの位置のビデオを取得するビデオカメラであり得る。したがって、ビデオの各フレームが、仮想オブジェクトの位置を更新するために使用され得る。代替的に、実際のオブジェクトの位置が、１秒に１回（又は任意の他の任意の期間に）取得され得、仮想オブジェクトが相応に更新される。

【0034】

第１の変動する要素の値の範囲及び／又は確率分布は、
第１の変動する要素の以前の値、
他の変動する要素の値、又は、
他の変動する要素の以前の値、
のうちの１つ又は複数に少なくとも部分的に基づく。

【0035】

幾つかの例では、変動する要素の任意の特定の値は以前の値に依存する。例えば、特定の時点におけるオブジェクトの位置は第２の以前の時点のオブジェクトの位置に依存する可能性がある。

【0036】

代替的に、オブジェクトの位置は、同じ物体の他の物理的特性（例えばサイズ、配向など）に、又は他のオブジェクトの物理的特性に依存する。例えば、オブジェクト群が典型的には一緒に観測される場合、オブジェクト群内のオブジェクトのうちの任意の１つを他のオブジェクト付近において観測する可能性が高い。

【0037】

センサーデータは、
視覚センサーデータ、
赤外線センサーデータ、
マイクロ波センサーデータ、
超音波センサーデータ、
オーディオセンサーデータ、
位置センサーデータ、
加速度計センサーデータ、又は、
全地球測位システムデータ、
のうちの１つ又は複数を含む。

【0038】

磁気センサーデータも使用される。

【0039】

本発明は、（コンピュータ記憶システムにおいて仮想オブジェクトを表すデータを記憶する）上記のように規定された方法により記憶された仮想オブジェクトを表すデータを変更する方法であって、方法が、
仮想オブジェクトを表すデータの変動する要素に対応した実際のオブジェクトの、物理的特性を含むセンサーシステムからの履歴センサーデータログとそれぞれの経時的変化とを取得するステップと、
値の範囲及び／又は確率関数の履歴データ及び対応する履歴センサーデータログに基づいて、変動する要素の値の範囲及び／又は確率関数を変更するステップと、
を有する、方法を更に提供する。

【0040】

センサーシステムからの履歴データ（履歴センサーデータログ）は、値の範囲及び／又は確率関数が何でなければならないかに関する有益な情報を提供し得る。例えば、変動する要素の確率関数は、任意の特定の値が同様に確からしいことを示す。しかし、センサーシステムは、変動する要素が「好む」幾つかの値を変動する要素がもつことを観測する。したがって、確率関数はガウシアン分布をもつように適応され得、平均及び標準偏差は履歴センサーデータログから導出される。

【0041】

値の範囲及び／又は確率関数を変更は、履歴データと履歴センサーデータログとの間のパターンを識別するように、及び、対応する変動する要素に対する値の範囲及び／又は確率関数を出力するように訓練された機械学習アルゴリズムに、履歴データと対応する履歴センサーデータログとを入力することに基づく。

【0042】

本方法は、履歴センサーデータログの最大帰納的推定結果を計算することに基づいて値の範囲及び／又は確率関数を変更することを更に有する。

【0043】

本発明は、処理システムを含むコンピューティングデバイスにおいて実行されたときに、（コンピュータ記憶システムにおいて仮想オブジェクトを表すデータを記憶する）上記のように規定された方法のステップの全てを実施することを処理システムにさせるコンピュータプログラムコード手段を含むコンピュータプログラムプロダクトを更に提供する。

【0044】

本発明は、（コンピュータ記憶システムにおいて仮想オブジェクトを表すデータを記憶する）上記のように規定された方法のステップの全てを実施するように構成されたプロセッサを更に提供する。

【0045】

本発明は、仮想オブジェクトを表示するためのシステムであって、システムが、
プロセッサと、
仮想オブジェクトを表すデータを記憶するように構成されたコンピュータ記憶システムと、
実際のオブジェクトを表すセンサーデータを取得するためのセンサーシステムと、
仮想オブジェクトを表示するためのディスプレイと、
を備える、システムを更に提供する。

【0046】

本発明のこれらの態様及び他の態様が、以下で説明される実施形態から明らかとなり、以下で説明される実施形態を参照しながら説明される。

【0047】

本発明をより良く理解するために、及び、本発明がどのように実現されるかをより明確に示すために、以下で単なる例示として添付図面が参照される。

【図面の簡単な説明】

【0048】

【図1】図１は、例示的な３Ｄシーンを示す図である。

【図2】図２は、不確かさの情報を含むファイルフォーマットの例を示す図である。

【図3】図３は、仮想プレーヤーに対するフィールド上の確率関数の可視化結果を示す図である。

【図4】図４は、実際のシーン及び対応する仮想シーンの２つの異なるカメラビューを示す図である。

【発明を実施するための形態】

【0049】

本発明は図を参照しながら説明される。

【0050】

詳細な説明及び特定の例は装置、システム、及び方法の例示的な実施形態を示しているが、例示を目的とすることを意図したものに過ぎず、本発明の範囲を限定することを意図したものではないことが理解されなければならない。本発明の装置、システム、及び方法のこれらの、及び他の特徴、態様、及び利点は、以下の説明、添付の特許請求の範囲、及び添付図面からより良く理解されるようになる。図は概略図に過ぎず、一定の縮尺で描かれないことが理解されなければならない。同一又は類似の部分を示すために、複数の図にわたって同じ参照符号が使用されることも理解されなければならない。

【0051】

本発明は、コンピュータ記憶システムにおいて仮想オブジェクトを表すデータを記憶する方法を提供する。本方法は、データが読み取られるとき不変のまま留まることとなる仮想オブジェクトの物理的特性に対応した不変のデータを記憶するステップを有する。不変のデータは、仮想オブジェクトのうちの１つ又は複数の物理的特性を表す１つ又は複数の不変の要素を含む。本方法は、データを記憶する時点において不確かな仮想オブジェクトの物理的特性に対応した変動するデータを記憶するステップを更に有する。変動するデータは、仮想オブジェクトのうちの１つ又は複数の不確かな物理的特性を表す１つ又は複数の変動する要素を含み、変動する要素の各々は、値の範囲と値の範囲に対する確率関数とを含む。

【0052】

図１は、例示的な３Ｄシーンを示す。シーンは、フィールド１０２、背景１０４、及び５人のプレーヤー１０６を含む仮想サッカーフィールドに対応する。現在の３Ｄファイルフォーマットは、（例えばフィールド１０２付近のプレーヤー１０６の動きといった）所与の（マルチ）カメラセットアップによりイメージングされる３Ｄシーンに関する不確かさを表すことができない。現在の３Ｄファイルフォーマットは、任意選択的に動く（アニメーション）部分からなる、静的なシーンの１つの可能なレンダリングのみを指定する。

【0053】

本発明者らは、３Ｄシーンに関する不確かさが、３Ｄシーンをカメラ又は他のセンサーにより行われるリアルタイム測定に適応させるために、事前知識情報を測定されたセンサーデータに結び付け得るので、３Ｄシーンに関する不確かさを表し得る３Ｄファイルフォーマットが有用であることに気付いた。したがって、本発明は、このようなファイルフォーマットを記憶する、変更する、及び表示する方法に関する。

【0054】

図２は、不確かさの情報を含むファイルフォーマットの例を示す。ファイルフォーマットは、データを記憶するユーザーにとって確実な不変の要素２０６を含む決定論的データ２０２（すなわち不変のデータ）を含む。例えば、フィールド１０２のエリアが現在のエリアと異なるものとして測定される可能性は低いので、図１に示されているフィールド１０２のサイズは不変の要素２０６である。

【0055】

ファイルフォーマットは、３Ｄシーンの不確かさを含む変動するデータ２０４も含む。変動するデータ２０４における変動する要素２０８の各々は、値の範囲２１０と、範囲２１０内の値の可能性に対応した確率関数２１２とを含む。

【0056】

不変のデータ２０２とプレーヤー１０６に対する変動するデータ２０４とを含むファイルフォーマットは、例えば次の疑似コードにおいて説明され得る。

【数1】

【0057】

上記のファイルは図１のサッカーシーンにおける仮想プレーヤー１０６の位置を説明するためにカスタム式のＸＭＬフォーマットを使用する。（ジャンプを無視すると）プレーヤー１０６のｚ位置がフィールド１０２上で変化する可能性は低いと考えられるので、仮想プレーヤー１０６のｚ位置は０．４において不変のまま留まる。しかし、仮想プレーヤー１０６はフィールド１０２を動き回るので、仮想プレーヤー１０６のｘ位置及びｙ位置は変化する。したがって、可能な動きの範囲２１０は各座標軸に対して定義され、確率関数２１２が与えられる。この例では、ｘ軸及びｙ軸は対応する範囲２１０と確率関数２１２とを含む変動する要素２０８であり、ｚ位置は不変の要素２０６である。

【0058】

この場合において、確率関数２１２がｘ軸とｙ軸との両方に対して「ランダム」として与えられる。これは、例えば変動する要素２０８に対する開始点である。フィールド１０２上の何人かのプレーヤーはフィールド１０２にわたって大幅にランダムな位置をとる可能性がある（例えばミッドフィルダーはフィールド１０２全体にわたって動く傾向を示す）のに対し、他のプレーヤーは特定の場所において、より高い確率をもつ（例えばゴールキーパーはゴール付近において観測される可能性がはるかに高い）。したがって、確率関数２１２は、ゲームを通して（又は履歴データから）異なるプレーヤーに対して適応され得る。

【0059】

更に、フィールド１０２上における仮想プレーヤー１０６の数が更に指定され得る。

【数2】

【0060】

変動する数の仮想プレーヤー１０６を、確率関数２１２「ｆｕｎｃｔｉｏｎ＿１」を使用して範囲２１０ ［０，２２］内にあるとして指定することにより、データを読み取るコンピュータプログラムは、この情報が不確かであることを教えられる。任意の確率関数２１２「ｆｕｎｃｔｉｏｎ＿１」は、実際のプレーヤーの数に基づいて継続的に調節される。例えば、試合の開始時にフィールド１０２上に２２人のプレーヤーを含む確率が高い。しかし、実際のプレーヤーのうちの任意の１人がレッドカードを受けたことに基づいて、ｆｕｎｃｔｉｏｎ＿１は、２１人のプレーヤーに対してより高い確率をもつように変化する。したがって、確率関数２１２「ｆｕｎｃｔｉｏｎ＿１」は、レッドカードの使用を検出して相応に適応し得るセンサー（例えばカメラ）に結合され得る。

【0061】

他の決定論的（不変の）要素２０６及び変動する（例えば推計学的）要素２０８もサッカーフィールドに対して規定され得る。例えば、フィールド１０２の位置は決定論的であるが、平面はｘ軸周りにおいて－９５度から－８５度の間で、及び、ｚ軸周りにおいて－５度から５度の間で推計学的回転を伴う。

【0062】

疑似コードはシーンを説明するためにカスタム式のＸＭＬ形式を使用することに留意されたい。しかし、概念は、多くの既存の３Ｄファイルフォーマットの仕様に追加され得る。例えば例としてＢｌｅｎｄｅｒ又はＵｎｉｔｙといった、３Ｄファイルフォーマットを符号化／復号することが可能なアプリケーションは、不変のデータ２０２から通常行われるように、３Ｄグラフィックファイルの変動するデータ２０４を無視することを単に選択し、及びシーンを単にレンダリング／アニメートし得る。

【0063】

提案されるファイルフォーマットは新しいアプリケーションに関連している。例えば、（実際の）ライブスポーツゲームにおける各プレーヤーが位置（例えばＧＰＳ）センサーを装着するという状況を考える。ライブスポーツゲーム中、試合の視聴者は、３Ｄファイルフォーマットにより指定されたようにグラフィックス外観（形状、テクスチャなど）を含むスポーツゲームのグラフィックスレンダリングを受信し得るが、仮想プレーヤー１０６の位置は、競技フィールド１０２上における対応する実際のプレーヤーの測定された位置に適応される。したがって、試合の視認者は、仮想プレーヤー１０６の人工的なグラフィックスレンダリングとそれらの実際のライブ位置との混合体を見る。

【0064】

人間と同様に、シーンの事前知識情報が非常に不確かな場合でも、コンピュータもシーンの事前知識情報により利益を受ける。例として、カメラが水平のフィールド１０２に沿ってプレーヤーを指し示しているという知識情報は現在、複数のカメラ画像におけるピクセルの深さを推定するために使用される。このような前提が無ければ、深さ推定結果は多くの誤差を含み得る。

【0065】

スタジアム付近の複数の機械視覚カメラの設置は、プレーヤーフィールド１０２上における仮想プレーヤー１０６にライブテクスチャを追加し得る。これは、機械学習ベースの人検出及びポーズ推定を通常必要とするコンピュータビジョン問題である。しかし、３Ｄグラフィックファイルにおける演繹的な変動するデータ２０４は、実際のプレーヤーの衣類（靴下、シャツなど）の想定される色を予測し得る。これは、コンピュータビジョンアプリケーションが実際のプレーヤーを観測して、カメラ画像データを使用して仮想プレーヤー１０６にそれを正しくテクスチャ化することに役立ち得る。

【0066】

センサーデータが変動する要素２０８を調節し得るのに対し、決定論的要素２０６は決定論的要素２０６が最初に記憶されたとおりにレンダリングされる。したがって、サッカーフィールド、スタジアム、及び光源のグラフィックス外観を決定論的に設定することが可能であるが、１つの３Ｄファイルフォーマットの説明を使用してセンサーデータに適応させることを仮想プレーヤー１０６に柔軟に行わせる。

【0067】

したがって、コンピュータビジョン探索アルゴリズムは、不確かなデータを含むファイルフォーマットに基づいて、コンピュータビジョン探索アルゴリズムが平面位置を探索することを必要とせずに、平面の配向、指定された回転のみを指定されたインターバルで探索する必要があることを知る。更に、確率関数２１２に基づいて、アルゴリズムは最高確率を使用してそのインターバルで探索し始め得る。次に、確率関数２１２は履歴データに基づいて、及び／又は現在のデータに基づいて更新され得る。

【0068】

図３は、仮想プレーヤー１０６に対するフィールド１０２上における確率関数２１２の可視化結果を示す。この場合において、仮想プレーヤー１０６はゴールキーパーに対応する。図３（ａ）は、ゴールキーパーに対する等しい確率の第１のエリア３０２を示す。図３（ｂ）は、確率の勾配を伴う第２のエリア３０２ｂを示す。エリア３０２ａ及び３０２ｂのサイズはゴールキーパーに対する位置の範囲２１０に対応し、グレーの陰影は確率に対応し、任意の特定の点における陰影がより暗いグレーであることが、特定の点においてゴールキーパーを観測する確率がより高いことに対応する。

【0069】

試合の開始時に、ゴールキーパーの位置は未知であり、したがって、確率は、図３（ａ）に示されるように（範囲２１０内において）ランダムであると規定され得る。しかし、試合中は、ゴールキーパーは、ゴール付近のフィールド１０２の後部において最も頻繁に観測され、ゴールからの距離が遠いほど確率が徐々に低下する。これは、エリア３０２ｂに対応した確率関数２１２として定量化され得る。したがって、確率関数２１２は試合を通して進化する。

【0070】

代替的に、確率関数２１２は、試合前に確率関数２１２を予測するために同じプレーヤー（又は同じ種類のプレーヤー）の履歴データを使用し得る。実際のプレーヤーは以前のフレームにおける実際のプレーヤーの位置の付近において観測される可能性が高いので、確率関数２１２は仮想プレーヤー１０６の以前の位置を更に条件とし得る。

【0071】

図４は、実際のシーン及び対応する仮想シーン４０３の２つの異なるカメラビュー４０２を示す。現在のコンピュータビジョン探索アルゴリズムは、少なくとも２つのカメラビュー４０２に基づいて水平面（すなわちフィールド）１０２及び垂直な背景１０４をフィットさせるために、３Ｄグラフィックファイルにおける変動する要素２０８を使用し得る。

【0072】

固定の繰り返し回数にわたって、探索アルゴリズムは、幾何学的オブジェクトの位置及び回転に対する小さい更新を評価し、加えて、指定されたインターバルで疑似ランダム値を評価する。探索はインターバル中に始まり得る。非一様な（すなわち非ランダムな）確率関数２１２を使用した幾つかの例では、探索は最高確率をもつ値から始まり得る。このアプローチは、幾何学的パラメータ（位置、配向）と色／テクスチャパラメータとの両方に適用可能である。

【0073】

提案されたパラメータ変更の各々の後、誤差尺度が計算される。シーンは最初に各ビューポイントにレンダリングされる。結果は、グラフィックモデルに基づく各ビューポイントに対する予測された画像及び深さマップである。各ビューにおける深さマップが与えられたとき、誤差尺度がビュー間の異なる色における絶対差を介して計算され、以て、深さマップに対応した視差ベクトルを使用する。図４における矢印４０４は、カメラビュー４０２間のモデル状態により決定された例示的な対応するピクセルである。誤差最小化は、（例えば少なくとも２０ＦＰＳの出力ビデオに対して）例えばＧＰＵにおいてリアルタイムに実行され得る。

【0074】

両方のビューにおける（矢印４０４からの）対応するピクセルの色差を足し合わせることにより、所与のパラメータ設定（平面の位置及び配向）に対して総誤差が計算される。平面位置及び配向は、結果として２つのビュー間の視差ベクトル場を特定する各カメラビューにおける深さモデルを特定する。視差ベクトル場がビュー間の色差を計算するために使用され、全てのピクセルにわたる絶対色差の足し合わせ後に１つの誤差が取得される。この１つの（足し合わされた）総誤差は、初期開始設定から平面パラメータを繰り返し変更し、以て誤差を減らす提案される変更を常に受け入れることにより最小化される。例えば、Ｐｏｗｅｌｌの方向セット法が使用され得る。

【0075】

仮想シーン４０３におけるｘ軸４０８周りの、及びｙ軸４０６周りのフィールド１０２の回転は、カメラビュー４０２から推定され得る。フィールド１０２に対してファイルフォーマットにおいて規定された範囲２１０及び確率関数２１２は、コンピュータビジョンアルゴリズムに、どの回転を「探す」かに関する事前知識情報を与える。同様に、（矢印４１０により示される）フィールド１０２上における背景１０４の位置も変化し得る。例えば、フィールド１０２に対する背景１０４の角度は（例えば９０度に）固定され、したがって、不変の要素２０６となり、フィールド１０２上における背景１０４の位置は変動する要素２０８となる。

【0076】

使用され得る様々な確率関数２１２が存在し、特定の確率密度関数を指定することが有用であり得る。例えば次のとおりである。

【数3】

【0077】

この疑似コードは、幾何学的プリミティブのｘ座標が１００．０ｍの平均及び１０．０ｍの標準偏差をもつガウシアン分布に従うことを表す。仮想オブジェクト（例えば仮想プレーヤー１０６）の数に対してポアソン分布が指定され得る。データの全てに対して変動するデータ２０４の形式を使用することにより形式仕様を一貫したものにするために、デルタ関数が本質的に決定論的な不変の要素２０６を規定するために使用され得る。

【0078】

変動する要素２０８の使用は、典型的には３Ｄグラフィックファイルフォーマットの一部であるテクスチャ、光マップ、影マップ、及び他の要素に更に及ぶ。したがって、確率関数２１２のパラメータは、スカラー数の代わりにマップとして指定され得る。組み合わせも可能であり、すなわち、ガウシアン分布の平均値が２Ｄマップにより表され得るのに対し、標準偏差はスカラー数により表される。

【0079】

３Ｄファイルフォーマットは条件付き確率密度関数を更に指定し得る。これは、例えば、所与の時点における仮想プレーヤー１０６の足の位置が結果的に、より早い時点における足位置に条件付きで依存し得るアニメーションに関連する。確率密度関数は、ヒストグラムを介して離散型分布として更に指定され得る。

【0080】

機械学習アルゴリズムは、センサーデータに基づいて分布のパラメータをフィットさせるために、及び次のライブイベントのために、より良く適した範囲２１０及び／又は確率関数２１２を出力するために使用され得る。ベイズの定理は、センサーデータを与えられて、シーンモデルの最大帰納的（ＭＡＰ）推定を計算するために更に使用され得る。この推定結果は次にファイルに書き込まれ得る。

【0081】

モンテカルロシミュレーションが、指定された分布からサンプリングするために使用され得る。例えば、マルコフ連鎖モンテカルロ（ＭＣＭＣ）が、例えば実際のプレーヤーの位置の最大帰納的推定結果を探索するためのコンピュータビジョンアルゴリズムの一部として使用され得る。

【0082】

本発明は３Ｄシーンに限定されず、２Ｄシーン（又は他の次元）においても使用され得る。例えば、前述のサッカーフィールドは単に、２Ｄフィールド上の点として仮想プレーヤー１０６を含む２Ｄシーンのみである。

【0083】

図５は、コンピュータ記憶システムにおいて仮想オブジェクトを表すデータを記憶する方法を示す。本方法は、ステップ５０２において、不揮発性コンピュータストレージに不変のデータを記憶することを有する。不変のデータは、データが読み取られるときに不変のまま留まることとなる仮想オブジェクトの物理的特性に対応する。不変のデータは、仮想オブジェクトのうちの１つ又は複数の物理的特性を表す１つ又は複数の不変の要素を含む。

【0084】

図５に示される方法は、ステップ５０４において、不揮発性コンピュータストレージに変動するデータを記憶することを更に有する。変動するデータは、データを記憶する時点において不確かな仮想オブジェクトの物理的特性に対応する。変動するデータは仮想オブジェクトのうちの１つ又は複数の不確かな物理的特性を表す１つ又は複数の変動する要素を含む。変動する要素の各々は値の範囲と値の範囲に対する確率関数とを含む。

【0085】

不変のデータを記憶するステップ５０２はステップ５０４（すなわち変動するデータを記憶すること）の前に実施されるものとして示されている。しかし、ステップ５０４がステップ５０２の前に実施され得るか、又は、両方のステップが同時に実施され得ることが当業者により理解される。

【0086】

仮想オブジェクトを表すデータは、コンピュータにより生成されたオブジェクトに対するコンピュータグラフィックデータ又はグラフィックデータと呼ばれる。

【0087】

図６は、仮想オブジェクトを表すデータを記憶するために使用されるシステムを示す。不変のデータ２０２及び変動するデータ２０４はプロセッサ６０２により不揮発性コンピュータストレージ６０４に記憶される。プロセッサ６０２は、不揮発性コンピュータストレージ６０４に不変のデータ２０２と変動するデータとの両方を記憶するように構成される。

【0088】

不揮発性コンピュータストレージ６０４は、不揮発性コンピュータメモリ又は不揮発性ストレージと呼ばれる。不揮発性コンピュータストレージ６０４は、物理的コンピュータストレージから電力が除去された後に記憶されたデータ及び情報を保持し得る一種のコンピュータストレージソリューションである。対照的に、揮発性メモリ（例えばランダムアクセスメモリ（ＲＡＭ））は、データ又は情報を保持するために一定の電力を必要とし、揮発性メモリから電力が除去された後、データは永久的に失われる。

【0089】

揮発性メモリは典型的には不揮発性メモリよりはるかに速く（読み取り／書き込み速度）、したがって、動作がより高速に実施され得るので、動作に必要なデータ又は情報は典型的には揮発性メモリに記憶される。データ又は情報が動作後に、もはや必要とされない場合、データは不揮発性メモリから除去される。

【0090】

対照的に、仮想オブジェクトに対する不変のデータと変動するデータとを不揮発性メモリに記憶することが、データの将来のユーザーが仮想オブジェクトの部分的な画像を構築すること、及び、変動するデータに対する値が何であるかに関する演繹的な情報をもつことを可能にすることが理解される。これは、ユーザーが、変動するデータの実際の値を観測するためにセンサー構成体を制御することを可能にする。実際の値が観測された後、実際の値は揮発性メモリに一時的要素として記憶される。

【0091】

例えば、データはサッカーフィールドを表す。フィールドのサイズ、フィールドの色、ゴールポストの位置及びサイズ、及びゴールの色は、これらがどのチームがプレーしているかにかかわらず不変のまま留まると想定され得るという理由から、不変のデータである。プレーヤー数及びプレーヤーのユニフォームの色は、異なるチームがプレーするのに伴って各週でこれが変化するという理由から、変動するデータである。試合が実施されているとき、プレーヤーの実際の色及び数は、その試合に対する一時的要素として測定され、又は取得され、及び記憶され得る。同様に、試合が実施されているとき、プレーヤー数は連続的に監視され、及び適応され得る。サッカーフィールドを表すデータは不揮発性データに記憶されるので、サッカーフィールドを表すデータは以前の試合後に一切の適応を必要とせずに（例えば異なる時点における）異なる試合に対して更に使用され得る。変動するデータの値の範囲又は確率関数への適応は、以前の試合に基づいて適応される。

【0092】

データを読み取るアプリケーション又はプロセッサが両方のデータの種類同士を迅速に区別し得るように、不変のデータ及び変動するデータはファイルフォーマット（例えばデータの種類の標示又はラベル）において明確に区別される。

【0093】

本方法は、命令セットに従って仮想オブジェクトを表すデータを符号化するステップを有し、命令セットは、不揮発性コンピュータストレージにおける記憶のために不変のデータを符号化すること、及び不揮発性コンピュータストレージにおける記憶のために変動するデータを符号化することを有する。

【0094】

開示されている実施形態の変形例が、図面、本開示、及び添付の特許請求の範囲の考察により、請求項に記載された発明を実施する当業者により理解及び実現され得る。特許請求の範囲において、「備える（含む、有する、もつ）」という表現は、他の要素もステップも排除せず、単数形の要素に対応した表現は複数を排除しない。

【0095】

１つのプロセッサ又は他のユニットが、特許請求の範囲に記載されている幾つかの項目の機能を実現してもよい。

【0096】

単に特定の手段が相互に異なる従属請求項に記載されているということが、利点を得るためにこれらの手段の組み合わせが使用不可能なことを示すわけではない。

【0097】

コンピュータプログラムは、他のハードウェアと一緒に、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体に記憶されてもよい／適切な媒体に格納して配布されてもよいが、例えばインターネット又は他の有線又は無線遠隔通信システムを介して他の形態で配布されてもよい。

【0098】

「するように適応された」という表現が特許請求の範囲又は説明において使用される場合、「するように適応された」という表現は「するように構成された」という用語と同等であることを意図したものであることに留意されたい。

【0099】

特許請求の範囲における参照符号は、いずれも特許請求の範囲を限定するように解釈されてはならない。

【図1】

【図2】

【図3(a)】

【図3(b)】

【図4(a)】

【図4(b)】

【国際調査報告】