(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-11
(54)【発明の名称】画像または映像におけるオブジェクトの３次元場所特定
(51)【国際特許分類】
G06T 7/00 20170101AFI20231228BHJP
G06T 7/70 20170101ALI20231228BHJP
【ＦＩ】
G06T7/00 660B
G06T7/70 Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023533933
(86)(22)【出願日】2020-12-04
(85)【翻訳文提出日】2023-07-28
(86)【国際出願番号】 IB2020061548
(87)【国際公開番号】W WO2022118061
(87)【国際公開日】2022-06-09
(81)【指定国・地域】
(71)【出願人】
【識別番号】521546728
【氏名又は名称】ヒンジ ヘルス， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ルージェ， カロリーヌ
(72)【発明者】
【氏名】ブラウン， コリン ジョゼフ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096CA02
5L096DA02
5L096FA12
5L096FA32
5L096FA54
5L096FA64
5L096FA69
5L096GA51
5L096JA11
5L096KA04
(57)【要約】
ある装置が、提供される。本装置は、未加工データを受信するための通信インターフェースを含む。未加工データは、２次元における、実際のオブジェクトの表現を含む。本装置はさらに、未加工データおよび参照データを記憶するためのメモリ記憶ユニットを含む。加えて、本装置は、未加工データおよび参照データを受信するためのスケール推定エンジンを含む。スケール推定エンジンは、参照データを用いた未加工データの分析に基づいて、３次元空間内の実際のオブジェクトの第１のルート位置を計算するためのものである。さらに、本装置は、第１のルート位置に基づいて、出力データを生成するためのアグリゲータを含む。出力データは、外部デバイスに伝送されることになる。
【特許請求の範囲】
【請求項1】
装置であって、未加工データを受信するための通信インターフェースであって、前記未加工データは、２次元における実際のオブジェクトの表現を含む、通信インターフェースと、
前記未加工データおよび参照データを記憶するためのメモリ記憶ユニットと、
前記未加工データおよび前記参照データを受信するためのスケール推定エンジンであって、前記スケール推定エンジンは、前記参照データを用いた前記未加工データの分析に基づいて、３次元空間内の前記実際のオブジェクトの第１のルート位置を計算するためのものである、スケール推定エンジンと、
前記第１のルート位置に基づいて、出力データを生成するためのアグリゲータであって、前記出力データは、外部デバイスに伝送されることになる、アグリゲータと
を備える、装置。
【請求項2】
前記スケール推定エンジンは、前記参照データ内の基準高さを前記未加工データ内の実際の高さと比較し、第１のルート位置を判定するためのものである、請求項１に記載の装置。
【請求項3】
前記未加工データおよびホモグラフィに基づいて、接地位置を判定するための接地位置推定エンジンをさらに備え、前記接地位置は、第２のルート位置を計算するために使用され、前記アグリゲータは、前記第２のルート位置を前記第１のルート位置と組み合わせて、前記出力データを生成するためのものである、請求項１または２に記載の装置。
【請求項4】
前記ホモグラフィを定義するための較正エンジンをさらに備える、請求項３に記載の装置。
【請求項5】
前記実際のオブジェクトの特徴上に、３次元姿勢推定プロセスを適用することによって、第３のルート位置を計算するための特徴推定エンジンをさらに備え、前記アグリゲータは、前記第３のルート位置を前記第１のルート位置および前記第２のルート位置と組み合わせて、前記出力データを生成するためのものである、請求項３または４に記載の装置。
【請求項6】
前記アグリゲータは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置を平均化し、出力データを生成する、請求項５に記載の装置。
【請求項7】
前記アグリゲータは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の加重平均を計算し、出力データを生成する、請求項６に記載の装置。
【請求項8】
前記加重平均は、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の事前知識に基づく、請求項７に記載の装置。
【請求項9】
前記アグリゲータは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置のうちの１つが、外れ値であるかどうかを判定し、前記アグリゲータは、前記外れ値を破棄する、請求項６～８のうちのいずれか１項に記載の装置。
【請求項10】
前記実際のオブジェクトは、人間である、請求項１～９のうちのいずれか１項に記載の装置。
【請求項11】
方法であって、通信インターフェースを介して、未加工データを受信することであって、前記未加工データは、２次元における実際のオブジェクトの表現を含む、ことと、
前記未加工データおよび参照データをメモリ記憶ユニット内に記憶することと、
スケール推定エンジンによって、前記参照データを用いた前記未加工データの分析に基づいて、３次元空間内の前記実際のオブジェクトの第１のルート位置を計算することと、
前記第１のルート位置に基づいて、出力データを生成することと、
前記出力データを外部デバイスに伝送することと
を含む、方法。
【請求項12】
前記第１のルート位置を計算することは、前記参照データ内の基準高さを前記未加工データ内の実際の高さと比較し、第１のルート位置を判定することを含む、請求項１１に記載の方法。
【請求項13】
接地位置推定エンジンを用いて、前記未加工データおよびホモグラフィに基づいて、接地位置を判定することと、前記接地位置に基づいて、前記接地位置推定エンジンを用いて、第２のルート位置を計算することと、
アグリゲータを用いて、前記第２のルート位置を前記第１のルート位置と組み合わせて、前記出力データを生成することと
をさらに含む、請求項１１または１２に記載の方法。
【請求項14】
較正エンジンを用いて、前記ホモグラフィを定義することをさらに含む、請求項１３に記載の方法。
【請求項15】
特徴推定エンジンを用いて、前記実際のオブジェクトの特徴上に、３次元姿勢推定プロセスを適用することによって、第３のルート位置を計算することと、前記アグリゲータを用いて、前記第２のルート位置を前記第１のルート位置および前記第２のルート位置と組み合わせて、前記出力データを生成することと
をさらに含む、請求項１３または１４に記載の方法。
【請求項16】
組み合わせることは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置を平均化することを含む、請求項１５に記載の方法。
【請求項17】
前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置を平均化することは、加重平均を計算し、出力データを生成することを含む、請求項１６に記載の方法。
【請求項18】
前記加重平均を、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の事前知識に基づかせることをさらに含む、請求項１７に記載の方法。
【請求項19】
前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置のうちの１つが、外れ値であるかどうかを判定することと、前記外れ値を破棄することと
をさらに含む、請求項１６～１８のうちのいずれか１項に記載の方法。
【請求項20】
前記実際のオブジェクトは、人間である、請求項１１～１９のうちのいずれか１項に記載の方法。
【請求項21】
コードを用いてエンコードされる、非一過性コンピュータ可読媒体であって、前記コードは、通信インターフェースを介して、未加工データを受信することであって、前記未加工データは、２次元における人物の表現を含む、ことと、
前記未加工データおよび参照データをメモリ記憶ユニット内に記憶することと
前記参照データを用いた前記未加工データの分析に基づいて、３次元空間内の前記人物の第１のルート位置を計算することと、
前記第１のルート位置に基づいて、出力データを生成することと、
前記出力データを外部デバイスに伝送することと
を行うようにプロセッサに指示するためのものである、非一過性コンピュータ可読媒体。
【請求項22】
前記コードは、前記第１のルート位置を計算するように前記プロセッサに指示するためのものであり、前記参照データ内の基準高さを前記未加工データ内の実際の高さと比較し、第１のルート位置を判定することを含む、請求項２１に記載の非一過性コンピュータ可読媒体。
【請求項23】
前記コードは、前記未加工データおよびホモグラフィに基づいて、接地位置を判定することと、
前記接地位置に基づいて、第２のルート位置を計算することと、
前記第２のルート位置を前記第１のルート位置と組み合わせて、前記出力データを生成することと
を行うように前記プロセッサに指示するためのものである、請求項２１または２２に記載の非一過性コンピュータ可読媒体。
【請求項24】
前記コードは、前記ホモグラフィを定義するように前記プロセッサに指示するためのものである、請求項２３に記載の非一過性コンピュータ可読媒体。
【請求項25】
前記コードは、前記人物の特徴上に、３次元姿勢推定プロセスを適用することによって、第３のルート位置を計算することと、
前記第２のルート位置を前記第１のルート位置および前記第２のルート位置と組み合わせて、前記出力データを生成することと
を行うように前記プロセッサに指示するためのものである、請求項２３または２４に記載の非一過性コンピュータ可読媒体。
【請求項26】
前記コードは、組み合わせるとき、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置を平均化するように前記プロセッサに指示するためのものである、請求項２５に記載の非一過性コンピュータ可読媒体。
【請求項27】
前記コードは、加重平均を計算して出力データを生成するように前記プロセッサに指示するためのものである、請求項２６に記載の非一過性コンピュータ可読媒体。
【請求項28】
前記コードは、前記加重平均を、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の事前知識に基づかせるように前記プロセッサに指示するためのものである、請求項２６に記載の非一過性コンピュータ可読媒体。
【請求項29】
前記コードは、前記第１のルート位置、前記第２のルート位置、および前記３番目のルート位置のうちの１つが、外れ値であるかどうかを判定することと、
前記外れ値を破棄することと
を行うように前記プロセッサに指示するためのものである、請求項２６～２８のうちのいずれか１項に記載の非一過性コンピュータ可読媒体。
【発明の詳細な説明】
【背景技術】
【0001】
（背景）
画像捕捉デバイスは、概して、単眼カメラを使用して、カメラの前の画像を捕捉する。画像は、次いで、画像ファイルに保存され、これは、続いて、画面上に表示される、または他の媒体上で複製され得る。画像捕捉デバイスの前のオブジェクトは、３次元であるが、単眼カメラによって捕捉される、画像ファイル内の表現は、２次元である。画像を視認するとき、人々は、多くの場合、画像内に存在し得る、種々の手がかりを使用して、２次元画像から３次元構造を分析するための能力に基づいて、２次元画像内のオブジェクトの３次元場所を推測することが可能である。
画像捕捉デバイスは、概して、単眼カメラを使用して、カメラの前の画像を捕捉する。画像は、次いで、画像ファイルに保存され、これは、続いて、画面上に表示される、または他の媒体上で複製され得る。画像捕捉デバイスの前のオブジェクトは、３次元であるが、単眼カメラによって捕捉される、画像ファイル内の表現は、２次元である。画像を視認するとき、人々は、多くの場合、画像内に存在し得る、種々の手がかりを使用して、２次元画像から３次元構造を分析するための能力に基づいて、２次元画像内のオブジェクトの３次元場所を推測することが可能である。
【0002】
種々のコンピュータビジョンアルゴリズムが、カメラシステムから３次元データを生成するために開発されている。例えば、同期されたマルチビューシステムは、３次元三角測量によって、オブジェクトを３次元において再構築するために使用されることができる。複数の単眼システムからの３次元場所特定を組み合わせることもまた、３次元オブジェクト場所特定を生成するための解決策であり得る。
【発明の概要】
【課題を解決するための手段】
【0003】
オブジェクトの３次元ルート位置を推定するための装置および方法が、提供される。本装置は、特に、限定されず、スマートフォンまたはタブレット等の携帯用電子デバイス上のものを含む、任意の単眼カメラシステムであってもよい。単眼カメラシステムを用いて捕捉される画像を使用することによって、本装置は、３次元空間内のオブジェクトのルート位置を推定し得る。ある実施例では、本装置は、３次元ルート位置を推定するために、オブジェクトと関連付けられる既知の参照データを使用してもよい。他の実施例では、付加的な推定方法が、単一の方法と関連付けられ得る、任意の誤差を低減させるために集約され得る、複数の推定を行うために使用されてもよい。
【0004】
ここで、実施例のみとして、付随の図面の参照が、行われるであろう。
【図面の簡単な説明】
【0005】
【0006】
【0007】
【0008】
【0009】
【0010】
【0011】
【発明を実施するための形態】
【0012】
（詳細な説明）
本明細書で使用されるように、絶対的な配向（例えば、「上部」、「底部」、「上」、「下」、「左」、「右」、「低」、「高」等）を示唆する用語の使用はいずれも、例証的利便性のためにあり、特定の図に示される配向を指し得る。しかしながら、そのような用語は、種々の構成要素が、実践では、説明される、もしくは示されるものと同一、または異なる配向において利用されるであろうことが想定されるため、限定する意味合いにおいて解釈されないものとする。
本明細書で使用されるように、絶対的な配向（例えば、「上部」、「底部」、「上」、「下」、「左」、「右」、「低」、「高」等）を示唆する用語の使用はいずれも、例証的利便性のためにあり、特定の図に示される配向を指し得る。しかしながら、そのような用語は、種々の構成要素が、実践では、説明される、もしくは示されるものと同一、または異なる配向において利用されるであろうことが想定されるため、限定する意味合いにおいて解釈されないものとする。
【0013】
単眼カメラを用いて画像を捕捉するシステムが、一般的になってきている。例えば、電話等の多くの携帯用電子デバイスは、今では、画像を捕捉するためのカメラシステムを含む。携帯用電子デバイスによって捕捉される画像は、人物等のオブジェクトの表現を含み得る。２次元画像を視認する人物は、オブジェクトの３次元場所を推測することが可能であり得るが、それは、多くの携帯用電子デバイスにとって簡単なタスクではない場合がある。３次元空間内のオブジェクトの場所を特定することが、付加的な処理のために使用され得る。例えば、オブジェクトは、さらなる分析のために、映像内で追跡され得る。他の実施例では、３次元における移動が、後続の再生のために記録され得る。別の実施例として、オブジェクトは、拡張現実の特徴を生成するため等、動画を生成するために追跡され得る。
【0014】
３次元空間内のオブジェクトの位置を追跡および推定するために、オブジェクトに関するルート位置が、定義されることになる。人体等のいくつかのオブジェクトは、Ｔ姿勢と別の人間姿勢との間等で、形状および形態を変化させ得るため、オブジェクトの他の部分に対して、実質的に移動しない、オブジェクトの点に関するルート位置が、概して、選定される。例えば、人間のルート位置は、股関節間の中間点として定義される、ある点であってもよい。他の実施例では、ルート位置は、首の付け根において定義される点、または身体の中心に位置する、ある他の点であってもよい。故に、オブジェクトのルート位置の場所は、３次元空間内のオブジェクトの一般的な位置であることが理解され得、時間の経過に伴う、ルート位置の移動は、概して、手を振るジェスチャ等のオブジェクトの一部の移動の代わりに、全体としてのオブジェクトの移動に対応すると見なされ得る。
【0015】
図１を参照すると、単眼カメラシステムによって取り込まれる２次元画像から、ルート位置の３次元場所を推定するための装置の概略表現が、概して、５０において示されている。装置５０は、装置５０のユーザと相互作用するためのインジケータ等の種々の付加的なインターフェースおよび／または入／出力デバイス等の付加的な構成要素を含んでもよい。本相互作用は、装置５０、または装置５０が動作するシステムの動作状態を視認すること、装置５０のパラメータを更新すること、または装置５０をリセットすることを含んでもよい。本実施例では、装置５０は、通信インターフェース５５と、メモリ記憶ユニット６０と、スケール推定エンジン６５と、アグリゲータ８０とを含む。
【0016】
通信インターフェース５５は、実際のオブジェクトを表す、未加工データを受信するためのものである。未加工データは、単一のカメラが、画像を捕捉し、３次元空間内のオブジェクトの２次元表現を生成する、単眼カメラシステムから受信される。未加工データ内の２次元表現は、特に、限定されず、人間姿勢を推定するために、ｗｒｎｃｈＡＩエンジン内で使用されるもの等の姿勢推定モデルによって生成される、２次元骨格であってもよい。オブジェクトが人物ではない、実施例では、姿勢を推定するための別のモデルが、使用されてもよい。故に、通信インターフェース５５において受信される未加工データは、ある程度、事前処理されてもよい。通信インターフェース５５は、特に、限定されない。例えば、装置５０は、スマートフォン、または未加工データを捕捉するための単眼カメラシステム（図示せず）を含む、他の携帯用電子デバイスの一部であってもよい。故に、本実施例では、通信インターフェース５５は、携帯用電子デバイスの装置５０部分をカメラシステムと接続するために、携帯用電子デバイス内に電気接続を含んでもよい。本電気接続は、携帯用電子デバイス内に種々の内部バスを含んでもよい。
【0017】
他の実施例では、通信インターフェース５５は、ネットワークを経由して、外部ソースと通信してもよく、これは、ＷｉＦｉネットワークまたは携帯電話ネットワーク等の多数の接続されたデバイスと共有される、パブリックネットワークであってもよい。他の実施例では、通信インターフェース５５は、イントラネットまたは他のデバイスとの有線接続等のプライベートネットワークを介して、外部ソースからデータを受信してもよい。別の実施例として、通信インターフェース５５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、無線信号、または赤外線信号を介して、別の近接するデバイスに接続してもよい。特に、通信インターフェース５５は、メモリ記憶ユニット６０上に記憶されることになる、外部ソースからの未加工データを受信するためのものである。外部ソースは、特に、限定されず、装置５０は、外部カメラシステムまたは遠隔カメラシステムと通信してもよい。例えば、単眼カメラシステムは、映像カメラ、ウェブカメラ、または他の画像センサ等の別個の専用カメラシステムであってもよい。他の実施例では、外部ソースは、別のスマートフォンまたはファイルサービス等の別の携帯用電子デバイスであってもよい。
【0018】
未加工データによって表される画像のコンテンツは、特に、限定されず、人物、動物、車両等、３次元におけるオブジェクトの任意の２次元表現であってもよい。一般に、それに関するルート位置が推定される、未加工データ内の着目オブジェクトは、３次元空間内で移動し得るオブジェクトであるが、しかしながら、本オブジェクトはまた、他の実施例では、静止オブジェクトであってもよい。未加工データ内のオブジェクトとしての人物の実施例を続けると、人物は、Ｔ姿勢位置に立っていてもよい。他の実施例では、人物はまた、Ａ姿勢位置、またはカメラシステムのビューから遮られる、１つ以上の関節を有し得る、自然姿勢であってもよい。
【0019】
メモリ記憶ユニット６０は、通信インターフェース５５を介して受信される、未加工データを記憶するためのものである。本実施例では、メモリ記憶ユニット６０は、最終的に、３次元空間内のオブジェクトの移動を追跡するために、２次元における映像データのフレームを表す、複数の２次元画像を記憶してもよい。特に、オブジェクトは、スポーツをプレーする、またはダンスもしくは演技等の芸術を演じる等、移動し、種々のアクションを実施する、人物であり得る。本実施例は、人物の２次元画像に関するが、他の実施例はまた、動物または機械等の異なるタイプのオブジェクトを表す、画像も含み得ることが、本説明の利益を伴って理解されるはずである。
【0020】
メモリ記憶ユニット６０はまた、装置５０によって使用される、参照データを記憶するために使用されてもよい。例えば、メモリ記憶ユニット６０は、カメラからの既知距離における、オブジェクトの高さの種々の参照データを記憶してもよい。オブジェクトとしての人物の本実施例を続けると、参照データは、単眼カメラシステムからの種々の距離における、人物の１つ以上の高さを含んでもよい。参照データの生成は、特に、限定されず、具体的なカメラシステムのために測定および較正され、メモリ記憶ユニット６０の上へ転送されてもよい。他の実施例では、参照データは、既知情報が、１つ以上の較正画像に関して提供される、較正ステップの間に、具体的なカメラシステムのために取得されてもよい。
【0021】
本実施例では、メモリ記憶ユニット６０は、特に、限定されず、任意の電子、磁性、光学、または他の物理記憶デバイスであり得る、非一過性機械可読記憶媒体を含む。メモリ記憶ユニット６０が、データベースを維持するために使用される、物理的コンピュータ可読媒体であってもよい、または中央サーバもしくはクラウドサーバ等の１つ以上の外部サーバを横断して分配され得る、複数の媒体を含んでもよいことは、本説明から利益を享受する当業者によって理解されるはずである。メモリ記憶ユニット６０は、通信インターフェース５５を介して受信される、未加工データ、および生成される、または通信インターフェース５５を介しても受信され得る、参照データ等の情報を記憶するために使用されてもよい。加えて、メモリ記憶ユニット６０は、一般的な動作に関する命令等、一般に、装置５０を動作させるために使用される、付加的なデータを記憶するために使用されてもよい。さらに、メモリ記憶ユニット６０は、種々のアプリケーションをサポートするための機能性等、一般的な機能性を装置５０に提供するために、プロセッサによって実行可能である、オペレーティングシステムを記憶してもよい。メモリ記憶ユニット６０は、付加的に、スケール推定エンジン６５およびアグリゲータ８０を動作させるための命令を記憶してもよい。さらに、メモリ記憶ユニット６０はまた、カメラおよびユーザインターフェース等の装置５０上にインストールされ得る、他の構成要素および任意の周辺デバイスを動作させるための制御命令も記憶してもよい。
【0022】
スケール推定エンジン６５は、メモリ記憶ユニットから、未加工データおよび参照データを受信するためのものである。スケール推定エンジン６５は、次いで、通信インターフェース５５を介して受信される、未加工データ、およびメモリ記憶ユニット６０内に記憶される、参照データを分析し、未加工データ内のオブジェクトのルート位置を計算する。オブジェクトおよびルート位置の定義が、特に、限定されないことが、当業者によって理解されるはずである。一般に、オブジェクトのルート位置は、３次元空間内のその場所を最良に表す、オブジェクトの点として定義されてもよい。オブジェクトとしての人間の実施例を続けると、ルート位置は、人物の３次元骨格表現の左股関節と右股関節との間の線上の中点として定義されてもよい。他の実施例では、３次元骨格の頭部、またはより精密には、左眼と右眼との間の線上の中点等、異なるルート位置が、選択されてもよい。別の実施例として、首もまた、ルート位置として選択されてもよい。
【0023】
スケール推定エンジン６５が、ルート位置を計算する方法は、特に、限定されない。例えば、スケール推定エンジン６５は、参照データ内の基準高さを、未加工データ内のオブジェクトの実際の高さと比較してもよい。本実施例では、参照データは、カメラシステムによって捕捉される、人物の２次元表現を含む。（ピクセルの数による高さ測定値等の）参照データ内の人物の２次元高さは、既知パラメータであり、単眼カメラシステムのカメラからの距離等の３次元空間内の位置もまた、既知パラメータである。既知パラメータは、ユーザによって手動で入力される、または距離センサ（図示せず）等の周辺デバイスを使用して測定されてもよい。本実施例では、未加工データ内に表される実際の人物の２次元高さは、３次元空間内のカメラからの距離に反比例すると仮定され得る。故に、スケール推定エンジン６５は、本実施例では、未加工データ内の人物のピクセルの数等の高さを判定することによって、未加工データ内の人物のルート位置を推定するために使用されてもよい。そのために、カメラからの距離が、計算され、ルート位置が、続いて、取得され得る。
【0024】
他の実施例では、他のタイプのオブジェクトのルート位置が、同様の方法を使用して計算され得ることが理解されるはずである。基準高さは、特に、限定されず、いくつかの実施例では、高さではない場合もあることは、本説明から利益を享受する当業者によって理解されるはずである。特に、スケール推定エンジン６５は、参照データおよび未加工データ内の２つの基準点間で特定され得る、任意の基準距離を使用してもよい。例えば、基準距離は、３次元骨格の２次元表現の股関節と足関節との間の距離等の骨区画であってもよい。
【0025】
本実施例では、アグリゲータ８０は、スケール推定エンジン６５から受信されるルート位置に基づいて、出力データを生成するためのものである。出力データは、特に、限定されず、さらなる処理のための外部デバイスへの後続の伝送のために、メモリ記憶ユニット６０上に記憶されてもよい。本実施例では、スケール推定エンジン６５によって計算された単一のルート位置が、存在し得るため、出力データは、ルート位置自体であってもよい。未加工データが映像データを含む、他の実施例では、アグリゲータ８０は、出力データが、追跡データを表すように、複数のフレームのルート位置を組み合わせてもよい。
【0026】
図２を参照すると、単眼カメラシステムによって取り込まれる２次元画像内のオブジェクトのルート位置の３次元場所を推定する、例示的方法のフローチャートが、概して、２００において示されている。方法２００の解説を支援するために、方法２００が、装置５０によって実施され得ることが仮定されるであろう。実際に、方法２００は、装置５０が構成され得る１つの方法であり得る。さらに、方法２００に関する以下の議論は、装置５０およびその構成要素のさらなる理解につながり得る。加えて、方法２００が、示されるような正確なシーケンスで実施されない場合があり、種々のブロックが、順にではなく並行して、または全く異なるシーケンスで実施されてもよいことが、強調されるべきである。
【0027】
ブロック２１０を起点として、装置５０は、通信インターフェース５５を介して、実際のオブジェクトを表す、未加工データを受信する。本実施例では、未加工データは、オブジェクトの２次元表現である。例えば、未加工データは、単眼カメラシステムからのセンサデータによって生成される、画像ファイルであってもよい。他の実施例では、未加工データは、ファイルサーバまたは他の外部デバイス等の外部ソースから受信されてもよい。未加工データが、カメラシステムから生み出されない場合がある、または写真ではない場合があることは、当業者によって理解されるはずである。そのような実施例では、未加工データは、人物またはコンピューティングデバイスによって作成される、芸術的画像であってもよい。２次元画像の形式等、未加工データが、オブジェクトを伴う画像を表す様式は、特に、限定されない。本実施例では、未加工データは、ＲＧＢ形式で受信されてもよい。他の実施例では、未加工データは、ラスタグラフィックファイル、またはカメラシステムによって捕捉および処理される、圧縮された画像ファイル等の異なる形式であってもよい。
【0028】
未加工データによって表される画像のコンテンツは、特に、限定されず、人物、動物、車両等、３次元におけるオブジェクトの任意の２次元表現であってもよい。一般に、それに関するルート位置が推定される、未加工データ内の着目オブジェクトは、３次元空間内で移動し得るオブジェクトであるが、しかしながら、本オブジェクトはまた、他の実施例では、静止オブジェクトであってもよい。オブジェクトの配向も、同様に、特に、限定されない。未加工データ内のオブジェクトが人物である、実施例では、人物は、Ｔ姿勢位置に立っていてもよい。他の実施例では、人物はまた、Ａ姿勢位置、またはカメラシステムのビューから遮られる、１つ以上の関節を有し得る、自然姿勢であってもよい。
【0029】
いったん装置５０において受信されると、未加工データは、それが、ブロック２２０において、スケール推定エンジンによる後続の使用のために記憶される、メモリ記憶ユニット６０に転送されることになる。さらに、ブロック２２０は、メモリ記憶ユニット６０内に参照データを記憶することを含む。参照データは、特に、限定されず、具体的なカメラシステムのために測定および較正され、通信インターフェース５５またはフラッシュドライブ等の携帯用メモリ記憶デバイスを介して、メモリ記憶ユニット６０の上へ転送されてもよい。他の実施例では、参照データは、既知情報が、１つ以上の較正画像に関して提供される、較正ステップの間に、具体的なカメラシステムのために取得されてもよい。
【0030】
ブロック２３０は、未加工データ内の２次元画像内で表す、オブジェクトの３次元空間内のルート位置を計算することを伴う。本実施例では、ルート位置は、メモリ記憶ユニット６０内に記憶される参照データに基づいて、未加工データを分析することによって、スケール推定エンジン６５によって計算される。ルート位置が計算される方法は、特に、限定されず、参照データによって表される、（画像内のピクセルの数によって測定される）画像内の基準オブジェクトの基準高さを、未加工データ内のオブジェクトの実際の高さと比較することを伴ってもよい。（画像内のピクセルの数によって測定される）未加工データ内に表されるオブジェクトの２次元高さは、３次元空間内のカメラからの距離に反比例すると仮定され得る。故に、未加工データ内の人物のルート位置は、参照データと比較して、かつ参照データ内の既知パラメータを使用して推定される。
【0031】
次に、ブロック２４０は、ブロック２３０において計算されたルート位置に基づいて、出力データを生成することを含む。本実施例では、スケール推定エンジン６５によって計算された単一のルート位置が、存在し得るため、出力データは、ルート位置自体であってもよい。未加工データが映像データを含む、他の実施例では、アグリゲータ８０は、出力データとして追跡データを生成するために、複数のフレームのルート位置を組み合わせてもよい。ブロック２５０は、続いて、さらなる処理のために、出力データを外部デバイスに伝送する。いくつかの実施例では、ブロック２５０が、出力データを同一のデバイスまたはシステム内の内部で伝送してもよいことが、本説明から利益を享受する当業者によって理解されるはずである。例えば、装置５０が、付加的な後処理機能が可能である、スマートフォン等の携帯用電子デバイスの一部である場合、出力データは、同一の携帯用電子デバイス内で使用されてもよい。
【0032】
図３を参照すると、単眼カメラシステムによって取り込まれる２次元画像から、ルート位置の３次元場所を推定するための装置５０ａの別の概略表現が、概して、示されている。装置５０ａの同様の構成要素は、添字「ａ」が続くことを除いて、装置５０内のそれらの対応物と同様の参照番号を与えられる。本実施例では、装置５０ａは、通信インターフェース５５ａと、メモリ記憶ユニット６０ａと、スケール推定エンジン６５ａと、接地位置推定エンジン７０ａと、特徴推定エンジン７５ａと、アグリゲータ８０ａとを含む。
【0033】
本実施例では、装置５０ａは、未加工データ内のオブジェクトのルート位置を推定するために、スケール推定エンジン６５ａと、接地位置推定エンジン７０ａと、特徴推定エンジン７５ａとを含む。スケール推定エンジン６５ａは、スケール推定エンジン６５と実質的に同様に機能し、参照データと通信インターフェース５５ａを介して受信される未加工データとの間の測定の相対的なスケールに基づいて、ルート位置を計算する。
【0034】
接地位置推定エンジン７０ａは、カメラに対する接地位置を使用して、オブジェクトのルート位置を計算するためのものである。特に、接地位置推定エンジン７０ａは、通信インターフェース５５ａを介して受信される未加工データの２次元画像内のオブジェクトに基づいて、接地位置を判定するためのものである。接地位置は、接地平面上にあると仮定されるオブジェクトの特徴を特定し、ホモグラフィを適用することによって判定され得る。例えば、オブジェクトが人物である場合、その人物の足は、地面上にあると仮定され得る。ホモグラフィは、次いで、未加工データの画像内の２次元位置に適用され、接地平面上の位置を判定し得る。
【0035】
本実施例では、較正エンジンは、未加工データ内の画像の２次元画像と接地平面を伴う３次元表現との間で変換するために、ホモグラフィを定義するために使用されてもよい。較正エンジンがホモグラフィを定義する様式は、特に、限定されず、種々の平面検出または定義方法を伴ってもよい。
【0036】
初期の較正ステップは、３次元空間内で、接地平面を検出することを伴ってもよい。接地平面の判定は、限定されず、カメラシステムを用いて、較正方法を実施することを伴ってもよい。例えば、ｉＯＳデバイス上で利用可能なＡＲＫｉｔ等のネイティブプログラムまたはモジュールは、スマートフォンまたはタブレット上で、単眼カメラシステムを較正するために使用されてもよい。本実施例では、プログラムは、図４Ａに示されるように、ＡＲＫｉｔ等のモジュールによって判定されるようなカメラ座標系に対する接地平面１０５を生成するために、空間内でデバイスを移動させることによって取得される、複数の視点からの画像を使用してもよい。
【0037】
カメラ座標系における接地平面１００の判定に応じて、較正エンジンは、図４Ｂに示されるように、カメラ座標系における接地平面１００を、Ｔ姿勢位置における骨格１０５がカメラに対向する、Ｔ姿勢基準系における接地平面１００’に変換し得る。接地平面１００を接地平面１００’に変換することによって、モジュールによって判定される接地平面１００が、回転または偏心された骨格１０５を伴わない場合があるため、オブジェクトの高さが、２次元画像からより容易に取得され得ることが理解されるはずである。
【0038】
本実施例を続けると、接地位置推定エンジン７０ａは、Ｔ姿勢で立っている人物のルート位置を特定するために使用されてもよい。第１に、接地位置推定エンジン７０ａは、未加工データの２次元画像内で、踵関節１１０－１、１１０－２（総称的に、これらの踵関節は、本明細書では「踵関節１１０」と称され、それらは、集合的に、「踵関節１１０」と称される）と、つま先関節１１５－１および１１５－２（総称的に、これらのつま先関節は、本明細書では「つま先関節１１５」と称され、それらは、集合的に、「つま先関節１１５」と称される）とを特定し得る。接地位置推定エンジン７０ａは、各踵関節１１０とつま先関節１１５との間の中点平均である、人物の足の場所を判定する。足の場所が、既知である場合、接地位置推定エンジン７０ａは、較正エンジンによって判定されるような定義されたホモグラフィを用いて、未加工データからの画像内の２次元場所を平面１００’上のＴ姿勢系に変換する。
【0039】
上記の実施例は、地面の上の人物の両足を説明するが、人物が地面上に片足のみを有する実施例もまた、接地位置推定エンジン７０ａによって使用され、ルート位置を特定するために使用され得ることが理解されるはずである。そのような実施例では、床上の骨盤の投影が、使用され得る接地平面に対する法線を使用して判定されてもよい。特に、本場合では、足の場所は、骨盤位置を通して進む、接地平面の法線上の床上での足の投影によって表されてもよい。
【0040】
平面１００’上の位置が、計算された後、接地平面１００’を中心とするルート位置の高さが、判定されることになる。股関節間のルート位置を伴う、人物の実施例を続けると、高さは、カメラに対する接地平面の位置および配向を把握する、カメラ距離から判定されてもよい。カメラから、骨格１０５によって表される人物までの距離を判定することに応じて、３次元空間内の骨格１０５の高さおよび幅は、判定され得る。特に、カメラ距離は、平面１００’の上方のルート位置の高さを判定するために使用されてもよい。
【0041】
変形例が、可能性として考えられ、３次元空間内のルート位置の判定が、他の変換および平面を伴い得ることが理解されるはずである。例えば、いくつかの実施例では、既知のカメラシステムのためのホモグラフィが、事前に定義され、メモリ記憶ユニット６０ａに直接アップロードされてもよい。故に、そのような実施例では、接地位置推定エンジン７０ａは、接地位置推定を行うことに先立って、別個の較正エンジンを使用しないであろう。代わりに、接地位置推定エンジン７０ａは、既知のホモグラフィを使用し得る。
【0042】
特徴推定エンジン７５ａは、未加工データの２次元画像内で表す、オブジェクトの特徴上に、３次元姿勢推定プロセスを適用することによって使用する、オブジェクトのルート位置を計算するためのものである。本実施例では、特徴推定エンジン７５ａは、人物の胴部等の特徴の２次元投影、特徴の３次元測定値、およびカメラの固有のパラメータに基づいて、ルート位置を推定する。具体的な実施例として、Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔアルゴリズムが、カメラ座標系におけるルート位置の場所を提供するために、入力パラメータ上で実施されてもよく（図４Ａ）、これは、Ｔ姿勢座標系に変換されてもよい（図４Ｂ）。
【0043】
アグリゲータ８０ａは、スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および特徴推定エンジン７５ａから受信されるルート位置に基づいて、出力データを生成するためのものである。本実施例では、アグリゲータ８０ａは、スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および特徴推定エンジン７５ａのそれぞれによって計算されるルート位置を組み合わせて、出力データとして、組み合わせられたルート位置を提供するためのものである。アグリゲータ８０ａが、スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および特徴推定エンジン７５ａからのルート位置を組み合わせる様式は、特に、限定されない。本実施例では、アグリゲータは、スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および特徴推定エンジン７５ａのそれぞれから受信されるルート位置の平均を計算し、出力データとして、その平均を提供し得る。
【0044】
いくつかの実施例では、アグリゲータ８０ａは、スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および特徴推定エンジン７５ａのそれぞれによって判定されるようなルート位置の加重平均を計算してもよい。スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および特徴推定エンジン７５ａの加重は、特に、限定されず、いくつかの実施例では、事前知識に依存してもよい。例えば、事前知識は、オブジェクトが、追跡されているとき等、先に判定されたルート位置を含んでもよい。本実施例では、加重は、先の距離に反比例する等、先に計算されたルート位置からの距離に依存し得る。
【0045】
さらなる実施例では、アグリゲータ８０ａは、訓練されたモデルを使用して、スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および特徴推定エンジン７５ａのそれぞれによって判定されるような位置から、出力データを生成してもよい。本モデルは、スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および特徴推定エンジン７５ａのそれぞれによって判定されるノイズの多いルート位置から、信頼可能な推定されたルート位置を生成し得る、機械学習モデルを含んでもよい。
【0046】
さらなる実施例では、アグリゲータ８０ａは、スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および特徴推定エンジン７５ａのうちの任意の１つ以上から、ルート位置の外れ値の判定を破棄してもよい。外れ値は、事前知識からの先に測定されたルート位置からの距離に基づいて判定されてもよい。本実施例では、所定の閾値が、外れ値を特定するために使用されてもよい。
【0047】
スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および特徴推定エンジン７５ａがそれぞれ、ルート位置の合理的な推定を提供することができない場合があることは、本説明から利益を享受する当業者によって理解されるはずである。スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および特徴推定エンジン７５ａはそれぞれ、未加工データ内で捕捉される、ある画像に関するモデルにおいて、固有の弱点を有し得る。例えば、スケール推定エンジン６５ａは、人物が、姿勢推定器によって特定されることができない、通常ではない姿勢にあることに起因して、未加工データ内の高さが、正確に特定され、参照データと比較されることができない場合、不正確であり得る。接地位置推定エンジン７０ａの場合では、ルート位置の推定は、人物が、飛び跳ねた、または地面から脚部を離れるように上昇させた場合等、人物の足が、地面上にない場合に、影響を受け得る。特徴推定エンジン７５ａは、胴体等の特徴が、捩れているために非可視であった場合、失敗し得る。故に、投票システムが、使用されてもよい、または外れ値が、他の２つの推定エンジンによって計算されるルート位置から離れた閾値距離にあるものとして、特定されてもよい。
【0048】
さらなる実施例では、変形例が、可能性として考えられることを理解されたい。例えば、スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および特徴推定エンジン７５ａはそれぞれ、ルート位置の推定を提供し得ることを理解されたい。故に、スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および特徴推定エンジン７５ａのうちの１つ以上が、いくつかの実施例では、省略されてもよい。さらに、ルート位置を推定する異なる方法を伴う、１つ以上の他のエンジンが、装置５０ａに追加され得ることは、本説明から利益を享受する当業者によって理解されるはずである。付加的なエンジンは、上記に説明される方法を使用して組み合わせるために、アグリゲータ８０ａのための付加的なルート位置を計算してもよい。
【0049】
図５を参照すると、単眼カメラシステムによって取り込まれる２次元画像内のオブジェクトのルート位置の３次元場所を推定する別の例示的方法のフローチャートが、概して、２００ａにおいて示されている。方法２００ａの解説を支援するために、方法２００ａが、装置５０ａによって実施され得ることが仮定されるであろう。実際に、方法２００ａは、装置５０ａが構成され得る１つの方法であり得る。さらに、方法２００ａに関する以下の議論は、装置５０ａおよびその構成要素のさらなる理解につながり得る。加えて、方法２００ａが、示されるような正確なシーケンスで実施されない場合があり、種々のブロックが、順にではなく並行して、または全く異なるシーケンスで実施されてもよいことが、強調されるべきである。方法２００ａの同様の構成要素は、添字「ａ」が続くことを除いて、方法２００内のそれらの対応物と同様の参照番号を与えられる。本実施例では、ブロック２１０ａ、２２０ａ、２４０ａ、および２５０ａは、ブロック２１０、２２０、２４０、および２５０と実質的に同様である。
【0050】
ブロック２３０ａは、スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および／または特徴推定エンジン７５ａを用いて等、複数の方法を使用して、未加工データ内の２次元画像内で表す、オブジェクトの３次元空間内のルート位置を計算することを伴う。ある実施例では、ルート位置は、メモリ記憶ユニット６０ａ内に記憶される参照データに基づいて、未加工データを分析することによって、スケール推定エンジン６５ａによって計算されてもよい。ルート位置はまた、ホモグラフィに基づいて、接地平面上の接地位置を判定することに基づいて、接地位置推定エンジン７０ａによって計算されてもよい。ホモグラフィは、特に、限定されず、較正エンジンを使用して定義される、または既知のカメラシステムのために提供されてもよい。さらに、ルート位置は、人物の胴体等の未加工データ内のオブジェクトの特徴上に、３次元姿勢推定プロセスを適用することに基づいて、計算されてもよい。複数の方法を使用することによって、スケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および／または特徴推定エンジン７５ａのうちの１つが、正確な推定を提供することができない場合であっても、比較的精密なルート位置の推定が、取得され得ることが理解されるはずである。
【0051】
次に、ブロック２３５ａは、ブロック２３０ａからのスケール推定エンジン６５ａ、接地位置推定エンジン７０ａ、および／または特徴推定エンジン７５ａのそれぞれから、計算されたルート位置を組み合わせることを含む。ルート位置が組み合わせられる様式は、特に、限定されない。例えば、アグリゲータ８０ａは、ブロック２３０ａから受信される、計算されたルート位置の単純平均を取り込んでもよい。他の実施例では、アグリゲータは、事前知識等の種々の因子に基づいて、ブロック２３０ａから受信される値を加重してもよい。さらなる実施例では、アグリゲータ８０ａはまた、モデル誤差の影響を低減させるために、ブロック２３０ａから受信される外れ値を破棄してもよい。組み合わせられたルート位置は、次いで、ブロック２４０ａにおいて、出力データを生成するために使用される。
【0052】
図６を参照すると、単眼カメラシステムによって取り込まれる２次元画像から、ルート位置の３次元場所を推定するための装置５０ｂの別の概略表現が、概して、示されている。装置５０ｂの同様の構成要素は、添字「ｂ」が続くことを除いて、装置５０ａ内のそれらの対応物と同様の参照番号を与えられる。本実施例では、装置５０ｂは、通信インターフェース５５ｂと、メモリ記憶ユニット６０ｂと、プロセッサ８５ｂと、カメラ９０ｂとを含む。プロセッサ８５ｂは、スケール推定エンジン６５ｂ、接地位置推定エンジン７０ｂ、特徴推定エンジン７５ｂ、およびアグリゲータ８０ｂを動作させるためのものである。
【0053】
本実施例では、メモリ記憶ユニット６０ｂはまた、装置５０ｂによって使用される、種々のデータを記憶するために、データベースを維持し得る。例えば、メモリ記憶ユニット６０ｂは、カメラ９０ｂから受信される画像等の未加工データを記憶するためのデータベース３００ｂと、スケール推定エンジン６５ｂ、接地位置推定エンジン７０ｂ、および／または特徴推定エンジン７５ｂによって生成されるルート位置推定値を記憶するためのデータベース３１０ｂとを含んでもよい。加えて、メモリ記憶ユニット６０ｂは、装置５０ｂに一般的な機能性を提供するために、プロセッサ８５ｂによって実行可能である、オペレーティングシステム３２０ｂを含んでもよい。さらに、メモリ記憶ユニット６０ｂは、方法２００または方法２００ａを実施するために、具体的なステップを遂行するようにプロセッサ８５ｂに指示するためのコードを用いて、エンコードされてもよい。メモリ記憶ユニット６０ｂはまた、ドライバレベルにおいて動作を遂行するための命令、ならびに入力を受信する、または出力を提供するための種々のユーザインターフェース等の装置５０ｂの他の構成要素および周辺デバイスと通信するための他のハードウェアドライバを記憶してもよい。さらに、メモリ記憶ユニット６０ｂはまた、カメラ固有のもの、接地平面の場所特定、およびホモグラフィ等の較正情報も記憶し得る。
【0054】
カメラ９０ｂは、画像を未加工データとして捕捉するための単眼カメラシステムである。本実施例では、未加工データは、ＲＧＢ形式で捕捉されてもよい。他の実施例では、未加工データは、ラスタグラフィックファイルまたは圧縮された画像ファイル等の異なる形式であってもよい。本実施例では、装置５０ｂが、カメラ９０ｂを伴うスマートフォン等の携帯用電子デバイスであり得ることが、本説明から利益を享受する当業者によって理解されるはずである。
【0055】
上記に提供される種々の実施例の特徴および側面は、本開示の範囲内にも該当する、さらなる実施例の中に組み合わされてもよいことを認識されたい。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【手続補正書】
【提出日】2023-07-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
装置であって、未加工データを受信するための通信インターフェースであって、前記未加工データは、２次元における人物の表現を含む、通信インターフェースと、
前記未加工データおよび参照データを記憶するためのメモリ記憶ユニットと、
前記未加工データおよび前記参照データを受信するためのスケール推定エンジンであって、前記スケール推定エンジンは、前記参照データを用いた前記未加工データの分析に基づいて、３次元空間内の前記人物の第１のルート位置を計算するためのものである、スケール推定エンジンと、
前記第１のルート位置に基づいて、出力データを生成するためのアグリゲータであって、前記出力データは、外部デバイスに伝送されることになる、アグリゲータと
を備える、装置。
【請求項2】
前記スケール推定エンジンは、前記参照データ内の基準高さを前記未加工データ内の実際の高さと比較し、第１のルート位置を判定するためのものである、請求項１に記載の装置。
【請求項3】
ホモグラフィを定義するための較正エンジンと、
前記未加工データおよび前記ホモグラフィに基づいて、接地位置を判定するための接地位置推定エンジンであって、前記接地位置は、第２のルート位置を計算するために使用され、前記アグリゲータは、前記第２のルート位置を前記第１のルート位置と組み合わせて、前記出力データを生成するためのものである、接地位置推定エンジンと、
前記人物の特徴上に、３次元姿勢推定プロセスを適用することによって、第３のルート位置を計算するための特徴推定エンジンであって、前記アグリゲータは、前記第３のルート位置を前記第１のルート位置および前記第２のルート位置と組み合わせて、前記出力データを生成するためのものである、特徴推定エンジンと
をさらに備える、請求項１または２に記載の装置。
【請求項4】
前記アグリゲータは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の加重平均を計算し、出力データを生成するように構成され、前記加重平均は、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の事前知識に基づく、請求項３に記載の装置。
【請求項5】
前記アグリゲータは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置のうちの１つが、外れ値であるかどうかを判定し、前記アグリゲータは、前記外れ値を破棄する、請求項４に記載の装置。
【請求項6】
方法であって、通信インターフェースを介して、未加工データを受信することであって、前記未加工データは、２次元における実際のオブジェクトの表現を含む、ことと、
前記未加工データおよび参照データをメモリ記憶ユニット内に記憶することと、
スケール推定エンジンによって、前記参照データを用いた前記未加工データの分析に基づいて、３次元空間内の前記実際のオブジェクトの第１のルート位置を計算することと、
前記第１のルート位置に基づいて、出力データを生成することと、
前記出力データを外部デバイスに伝送することと
を含む、方法。
【請求項7】
前記第１のルート位置を計算することは、前記参照データ内の基準高さを前記未加工データ内の実際の高さと比較し、第１のルート位置を判定することを含む、請求項６に記載の方法。
【請求項8】
較正エンジンを用いて、ホモグラフィを定義することと、
接地位置推定エンジンを用いて、前記未加工データおよび前記ホモグラフィに基づいて、接地位置を判定することと、
前記接地位置に基づいて、前記接地位置推定エンジンを用いて、第２のルート位置を計算することと、
アグリゲータを用いて、前記第２のルート位置を前記第１のルート位置と組み合わせて、前記出力データを生成することと
をさらに含む、請求項６または７に記載の方法。
【請求項9】
特徴推定エンジンを用いて、前記実際のオブジェクトの特徴上に、３次元姿勢推定プロセスを適用することによって、第３のルート位置を計算することと、前記アグリゲータを用いて、前記第２のルート位置を前記第１のルート位置および前記第２のルート位置と組み合わせて、前記出力データを生成することと
をさらに含む、請求項８に記載の方法。
【請求項10】
組み合わせることは、加重平均を計算することによって前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置を平均化し、前記出力データを生成することを含む、請求項９に記載の方法。
【請求項11】
前記加重平均を、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の事前知識に基づかせることをさらに含む、請求項１０に記載の方法。
【請求項12】
前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置のうちの１つが、外れ値であるかどうかを判定することと、前記外れ値を破棄することと
をさらに含む、請求項９に記載の方法。
【請求項13】
前記実際のオブジェクトは、人間である、請求項６に記載の方法。
【請求項14】
コードを用いてエンコードされる、非一過性コンピュータ可読媒体であって、前記コードは、通信インターフェースを介して、未加工データを受信することであって、前記未加工データは、２次元における人物の表現を含む、ことと、
前記未加工データおよび参照データをメモリ記憶ユニット内に記憶することと
前記参照データを用いた前記未加工データの分析に基づいて、３次元空間内の前記人物の第１のルート位置を計算することと、
前記第１のルート位置に基づいて、出力データを生成することと、
前記出力データを外部デバイスに伝送することと
を行うようにプロセッサに指示するためのものである、非一過性コンピュータ可読媒体。
【請求項15】
前記コードは、前記第１のルート位置を計算するように前記プロセッサに指示するためのものであり、前記参照データ内の基準高さを前記未加工データ内の実際の高さと比較し、第１のルート位置を判定することを含む、請求項１４に記載の非一過性コンピュータ可読媒体。
【請求項16】
前記コードは、ホモグラフィを定義することと、
前記未加工データおよび前記ホモグラフィに基づいて、接地位置を判定することと、
前記接地位置に基づいて、第２のルート位置を計算することと、
前記第２のルート位置を前記第１のルート位置と組み合わせて、前記出力データを生成することと
を行うように前記プロセッサに指示するためのものである、請求項１４または１５に記載の非一過性コンピュータ可読媒体。
【請求項17】
前記コードは、前記人物の特徴上に、３次元姿勢推定プロセスを適用することによって、第３のルート位置を計算することと、
前記第２のルート位置を前記第１のルート位置および前記第２のルート位置と組み合わせて、前記出力データを生成することと
を行うように前記プロセッサに指示するためのものである、請求項１６に記載の非一過性コンピュータ可読媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【0004】
本願明細書は、例えば、以下の項目も提供する。
（項目１）
装置であって、
未加工データを受信するための通信インターフェースであって、前記未加工データは、２次元における実際のオブジェクトの表現を含む、通信インターフェースと、
前記未加工データおよび参照データを記憶するためのメモリ記憶ユニットと、
前記未加工データおよび前記参照データを受信するためのスケール推定エンジンであって、前記スケール推定エンジンは、前記参照データを用いた前記未加工データの分析に基づいて、３次元空間内の前記実際のオブジェクトの第１のルート位置を計算するためのものである、スケール推定エンジンと、
前記第１のルート位置に基づいて、出力データを生成するためのアグリゲータであって、前記出力データは、外部デバイスに伝送されることになる、アグリゲータと
を備える、装置。
（項目２）
前記スケール推定エンジンは、前記参照データ内の基準高さを前記未加工データ内の実際の高さと比較し、第１のルート位置を判定するためのものである、項目１に記載の装置。
（項目３）
前記未加工データおよびホモグラフィに基づいて、接地位置を判定するための接地位置推定エンジンをさらに備え、前記接地位置は、第２のルート位置を計算するために使用され、前記アグリゲータは、前記第２のルート位置を前記第１のルート位置と組み合わせて、前記出力データを生成するためのものである、項目１または２に記載の装置。
（項目４）
前記ホモグラフィを定義するための較正エンジンをさらに備える、項目３に記載の装置。
（項目５）
前記実際のオブジェクトの特徴上に、３次元姿勢推定プロセスを適用することによって、第３のルート位置を計算するための特徴推定エンジンをさらに備え、前記アグリゲータは、前記第３のルート位置を前記第１のルート位置および前記第２のルート位置と組み合わせて、前記出力データを生成するためのものである、項目３または４に記載の装置。
（項目６）
前記アグリゲータは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置を平均化し、出力データを生成する、項目５に記載の装置。
（項目７）
前記アグリゲータは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の加重平均を計算し、出力データを生成する、項目６に記載の装置。
（項目８）
前記加重平均は、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の事前知識に基づく、項目７に記載の装置。
（項目９）
前記アグリゲータは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置のうちの１つが、外れ値であるかどうかを判定し、前記アグリゲータは、前記外れ値を破棄する、項目６～８のうちのいずれか１項に記載の装置。
（項目１０）
前記実際のオブジェクトは、人間である、項目１～９のうちのいずれか１項に記載の装置。
（項目１１）
方法であって、
通信インターフェースを介して、未加工データを受信することであって、前記未加工データは、２次元における実際のオブジェクトの表現を含む、ことと、
前記未加工データおよび参照データをメモリ記憶ユニット内に記憶することと、
スケール推定エンジンによって、前記参照データを用いた前記未加工データの分析に基づいて、３次元空間内の前記実際のオブジェクトの第１のルート位置を計算することと、
前記第１のルート位置に基づいて、出力データを生成することと、
前記出力データを外部デバイスに伝送することと
を含む、方法。
（項目１２）
前記第１のルート位置を計算することは、前記参照データ内の基準高さを前記未加工データ内の実際の高さと比較し、第１のルート位置を判定することを含む、項目１１に記載の方法。
（項目１３）
接地位置推定エンジンを用いて、前記未加工データおよびホモグラフィに基づいて、接地位置を判定することと、
前記接地位置に基づいて、前記接地位置推定エンジンを用いて、第２のルート位置を計算することと、
アグリゲータを用いて、前記第２のルート位置を前記第１のルート位置と組み合わせて、前記出力データを生成することと
をさらに含む、項目１１または１２に記載の方法。
（項目１４）
較正エンジンを用いて、前記ホモグラフィを定義することをさらに含む、項目１３に記載の方法。
（項目１５）
特徴推定エンジンを用いて、前記実際のオブジェクトの特徴上に、３次元姿勢推定プロセスを適用することによって、第３のルート位置を計算することと、
前記アグリゲータを用いて、前記第２のルート位置を前記第１のルート位置および前記第２のルート位置と組み合わせて、前記出力データを生成することと
をさらに含む、項目１３または１４に記載の方法。
（項目１６）
組み合わせることは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置を平均化することを含む、項目１５に記載の方法。
（項目１７）
前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置を平均化することは、加重平均を計算し、出力データを生成することを含む、項目１６に記載の方法。
（項目１８）
前記加重平均を、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の事前知識に基づかせることをさらに含む、項目１７に記載の方法。
（項目１９）
前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置のうちの１つが、外れ値であるかどうかを判定することと、
前記外れ値を破棄することと
をさらに含む、項目１６～１８のうちのいずれか１項に記載の方法。
（項目２０）
前記実際のオブジェクトは、人間である、項目１１～１９のうちのいずれか１項に記載の方法。
（項目２１）
コードを用いてエンコードされる、非一過性コンピュータ可読媒体であって、前記コードは、
通信インターフェースを介して、未加工データを受信することであって、前記未加工データは、２次元における人物の表現を含む、ことと、
前記未加工データおよび参照データをメモリ記憶ユニット内に記憶することと
前記参照データを用いた前記未加工データの分析に基づいて、３次元空間内の前記人物の第１のルート位置を計算することと、
前記第１のルート位置に基づいて、出力データを生成することと、
前記出力データを外部デバイスに伝送することと
を行うようにプロセッサに指示するためのものである、非一過性コンピュータ可読媒体。
（項目２２）
前記コードは、前記第１のルート位置を計算するように前記プロセッサに指示するためのものであり、前記参照データ内の基準高さを前記未加工データ内の実際の高さと比較し、第１のルート位置を判定することを含む、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２３）
前記コードは、
前記未加工データおよびホモグラフィに基づいて、接地位置を判定することと、
前記接地位置に基づいて、第２のルート位置を計算することと、
前記第２のルート位置を前記第１のルート位置と組み合わせて、前記出力データを生成することと
を行うように前記プロセッサに指示するためのものである、項目２１または２２に記載の非一過性コンピュータ可読媒体。
（項目２４）
前記コードは、前記ホモグラフィを定義するように前記プロセッサに指示するためのものである、項目２３に記載の非一過性コンピュータ可読媒体。
（項目２５）
前記コードは、
前記人物の特徴上に、３次元姿勢推定プロセスを適用することによって、第３のルート位置を計算することと、
前記第２のルート位置を前記第１のルート位置および前記第２のルート位置と組み合わせて、前記出力データを生成することと
を行うように前記プロセッサに指示するためのものである、項目２３または２４に記載の非一過性コンピュータ可読媒体。
（項目２６）
前記コードは、組み合わせるとき、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置を平均化するように前記プロセッサに指示するためのものである、項目２５に記載の非一過性コンピュータ可読媒体。
（項目２７）
前記コードは、加重平均を計算して出力データを生成するように前記プロセッサに指示するためのものである、項目２６に記載の非一過性コンピュータ可読媒体。
（項目２８）
前記コードは、前記加重平均を、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の事前知識に基づかせるように前記プロセッサに指示するためのものである、項目２６に記載の非一過性コンピュータ可読媒体。
（項目２９）
前記コードは、
前記第１のルート位置、前記第２のルート位置、および前記３番目のルート位置のうちの１つが、外れ値であるかどうかを判定することと、
前記外れ値を破棄することと
を行うように前記プロセッサに指示するためのものである、項目２６～２８のうちのいずれか１項に記載の非一過性コンピュータ可読媒体。
ここで、実施例のみとして、付随の図面の参照が、行われるであろう。
（項目１）
装置であって、
未加工データを受信するための通信インターフェースであって、前記未加工データは、２次元における実際のオブジェクトの表現を含む、通信インターフェースと、
前記未加工データおよび参照データを記憶するためのメモリ記憶ユニットと、
前記未加工データおよび前記参照データを受信するためのスケール推定エンジンであって、前記スケール推定エンジンは、前記参照データを用いた前記未加工データの分析に基づいて、３次元空間内の前記実際のオブジェクトの第１のルート位置を計算するためのものである、スケール推定エンジンと、
前記第１のルート位置に基づいて、出力データを生成するためのアグリゲータであって、前記出力データは、外部デバイスに伝送されることになる、アグリゲータと
を備える、装置。
（項目２）
前記スケール推定エンジンは、前記参照データ内の基準高さを前記未加工データ内の実際の高さと比較し、第１のルート位置を判定するためのものである、項目１に記載の装置。
（項目３）
前記未加工データおよびホモグラフィに基づいて、接地位置を判定するための接地位置推定エンジンをさらに備え、前記接地位置は、第２のルート位置を計算するために使用され、前記アグリゲータは、前記第２のルート位置を前記第１のルート位置と組み合わせて、前記出力データを生成するためのものである、項目１または２に記載の装置。
（項目４）
前記ホモグラフィを定義するための較正エンジンをさらに備える、項目３に記載の装置。
（項目５）
前記実際のオブジェクトの特徴上に、３次元姿勢推定プロセスを適用することによって、第３のルート位置を計算するための特徴推定エンジンをさらに備え、前記アグリゲータは、前記第３のルート位置を前記第１のルート位置および前記第２のルート位置と組み合わせて、前記出力データを生成するためのものである、項目３または４に記載の装置。
（項目６）
前記アグリゲータは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置を平均化し、出力データを生成する、項目５に記載の装置。
（項目７）
前記アグリゲータは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の加重平均を計算し、出力データを生成する、項目６に記載の装置。
（項目８）
前記加重平均は、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の事前知識に基づく、項目７に記載の装置。
（項目９）
前記アグリゲータは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置のうちの１つが、外れ値であるかどうかを判定し、前記アグリゲータは、前記外れ値を破棄する、項目６～８のうちのいずれか１項に記載の装置。
（項目１０）
前記実際のオブジェクトは、人間である、項目１～９のうちのいずれか１項に記載の装置。
（項目１１）
方法であって、
通信インターフェースを介して、未加工データを受信することであって、前記未加工データは、２次元における実際のオブジェクトの表現を含む、ことと、
前記未加工データおよび参照データをメモリ記憶ユニット内に記憶することと、
スケール推定エンジンによって、前記参照データを用いた前記未加工データの分析に基づいて、３次元空間内の前記実際のオブジェクトの第１のルート位置を計算することと、
前記第１のルート位置に基づいて、出力データを生成することと、
前記出力データを外部デバイスに伝送することと
を含む、方法。
（項目１２）
前記第１のルート位置を計算することは、前記参照データ内の基準高さを前記未加工データ内の実際の高さと比較し、第１のルート位置を判定することを含む、項目１１に記載の方法。
（項目１３）
接地位置推定エンジンを用いて、前記未加工データおよびホモグラフィに基づいて、接地位置を判定することと、
前記接地位置に基づいて、前記接地位置推定エンジンを用いて、第２のルート位置を計算することと、
アグリゲータを用いて、前記第２のルート位置を前記第１のルート位置と組み合わせて、前記出力データを生成することと
をさらに含む、項目１１または１２に記載の方法。
（項目１４）
較正エンジンを用いて、前記ホモグラフィを定義することをさらに含む、項目１３に記載の方法。
（項目１５）
特徴推定エンジンを用いて、前記実際のオブジェクトの特徴上に、３次元姿勢推定プロセスを適用することによって、第３のルート位置を計算することと、
前記アグリゲータを用いて、前記第２のルート位置を前記第１のルート位置および前記第２のルート位置と組み合わせて、前記出力データを生成することと
をさらに含む、項目１３または１４に記載の方法。
（項目１６）
組み合わせることは、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置を平均化することを含む、項目１５に記載の方法。
（項目１７）
前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置を平均化することは、加重平均を計算し、出力データを生成することを含む、項目１６に記載の方法。
（項目１８）
前記加重平均を、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の事前知識に基づかせることをさらに含む、項目１７に記載の方法。
（項目１９）
前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置のうちの１つが、外れ値であるかどうかを判定することと、
前記外れ値を破棄することと
をさらに含む、項目１６～１８のうちのいずれか１項に記載の方法。
（項目２０）
前記実際のオブジェクトは、人間である、項目１１～１９のうちのいずれか１項に記載の方法。
（項目２１）
コードを用いてエンコードされる、非一過性コンピュータ可読媒体であって、前記コードは、
通信インターフェースを介して、未加工データを受信することであって、前記未加工データは、２次元における人物の表現を含む、ことと、
前記未加工データおよび参照データをメモリ記憶ユニット内に記憶することと
前記参照データを用いた前記未加工データの分析に基づいて、３次元空間内の前記人物の第１のルート位置を計算することと、
前記第１のルート位置に基づいて、出力データを生成することと、
前記出力データを外部デバイスに伝送することと
を行うようにプロセッサに指示するためのものである、非一過性コンピュータ可読媒体。
（項目２２）
前記コードは、前記第１のルート位置を計算するように前記プロセッサに指示するためのものであり、前記参照データ内の基準高さを前記未加工データ内の実際の高さと比較し、第１のルート位置を判定することを含む、項目２１に記載の非一過性コンピュータ可読媒体。
（項目２３）
前記コードは、
前記未加工データおよびホモグラフィに基づいて、接地位置を判定することと、
前記接地位置に基づいて、第２のルート位置を計算することと、
前記第２のルート位置を前記第１のルート位置と組み合わせて、前記出力データを生成することと
を行うように前記プロセッサに指示するためのものである、項目２１または２２に記載の非一過性コンピュータ可読媒体。
（項目２４）
前記コードは、前記ホモグラフィを定義するように前記プロセッサに指示するためのものである、項目２３に記載の非一過性コンピュータ可読媒体。
（項目２５）
前記コードは、
前記人物の特徴上に、３次元姿勢推定プロセスを適用することによって、第３のルート位置を計算することと、
前記第２のルート位置を前記第１のルート位置および前記第２のルート位置と組み合わせて、前記出力データを生成することと
を行うように前記プロセッサに指示するためのものである、項目２３または２４に記載の非一過性コンピュータ可読媒体。
（項目２６）
前記コードは、組み合わせるとき、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置を平均化するように前記プロセッサに指示するためのものである、項目２５に記載の非一過性コンピュータ可読媒体。
（項目２７）
前記コードは、加重平均を計算して出力データを生成するように前記プロセッサに指示するためのものである、項目２６に記載の非一過性コンピュータ可読媒体。
（項目２８）
前記コードは、前記加重平均を、前記第１のルート位置、前記第２のルート位置、および前記第３のルート位置の事前知識に基づかせるように前記プロセッサに指示するためのものである、項目２６に記載の非一過性コンピュータ可読媒体。
（項目２９）
前記コードは、
前記第１のルート位置、前記第２のルート位置、および前記３番目のルート位置のうちの１つが、外れ値であるかどうかを判定することと、
前記外れ値を破棄することと
を行うように前記プロセッサに指示するためのものである、項目２６～２８のうちのいずれか１項に記載の非一過性コンピュータ可読媒体。
ここで、実施例のみとして、付随の図面の参照が、行われるであろう。
【国際調査報告】