知財求人 - 知財ポータルサイト「IP Force」
特表2024-518172カメラバーを追跡するための方法、及び、関連する方法、システム並びにコンピュータプログラム製品
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-25
(54)【発明の名称】カメラバーを追跡するための方法、及び、関連する方法、システム並びにコンピュータプログラム製品
(51)【国際特許分類】
G06T 7/70 20170101AFI20240418BHJP
【ＦＩ】
G06T7/70 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023569890
(86)(22)【出願日】2022-05-12
(85)【翻訳文提出日】2023-11-10
(86)【国際出願番号】 GB2022051208
(87)【国際公開番号】W WO2022238708
(87)【国際公開日】2022-11-17
(31)【優先権主張番号】2106752.5
(32)【優先日】2021-05-12
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】514285092
【氏名又は名称】エヌカム テクノロジーズ リミテッド
【氏名又は名称原語表記】Ｎｃａｍ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌｉｍｉｔｅｄ
【住所又は居所原語表記】８－９ Ｃａｒｌｉｓｌｅ Ｓｔｒｅｅｔ Ｌｏｎｄｏｎ Ｗ１Ｄ ３ＢＰ ＧＢ
(74)【代理人】
【識別番号】100123858
【弁理士】
【氏名又は名称】磯田 志郎
(72)【発明者】
【氏名】ベンラーレック ガブリエル
(72)【発明者】
【氏名】ゴールドマン マイケル
(72)【発明者】
【氏名】ミショード ブライス
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096CA05
5L096DA02
5L096FA67
5L096FA69
5L096GA32
(57)【要約】
カメラバーの視野内に非ランダムに位置決めされたマーカをセットアップし、カメラバーのポーズを追跡する方法が開示されており、本方法は、（ｉ）カメラバーが視野を見るステップあって、カメラバーが、ビデオカメラと固定されて取り付けられている、視野を見るステップと、（ｉｉ）視野のカメラバーの視界を、コンピュータシステムのディスプレイ上に表示するステップと、（ｉｉｉ）コンピュータシステムが、視野内の位置を含む非ランダムマーカ位置のパターンを生成し、視野内の非ランダムマーカ位置のパターンを、視野のカメラバーの視界とともに、コンピュータシステムのディスプレイ上に表示するステップと、（ｉｖ）コンピュータシステムが、カメラバーの視界において、マーカが、ステップ（ｉｉｉ）で生成された、非ランダムマーカ位置の位置に配置されていることを検出するステップと、（ｖ）コンピュータシステムが、ステップ（ｉｖ）において、マーカが非ランダムマーカ位置の位置に配置されたことを、カメラバーの視界内で検出したことに応答して、コンピュータシステムが、視野内のマーカ及びマーカのそれぞれの位置を記録するステップと、（ｖｉ）所定の数の異なるマーカ及びそれぞれのマーカ位置が記録されるまで、ステップ（ｉｖ）及び（ｖ）を繰り返すステップと、（ｖｉｉ）コンピュータシステムが、カメラバーの視野内で検出されたマーカを、記録されたマーカ及びそれらのそれぞれのマーカ位置と一致させて、カメラバーのポーズを取得するステップと、（ｖｉｉｉ）ステップ（ｖｉｉ）を繰り返して、カメラバーのポーズを追跡するステップと、を含む。関連する方法、システム、及びコンピュータプログラム製品が、開示されている。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
カメラバーの視野内に非ランダムに位置決めされたマーカをセットアップし、前記カメラバーのポーズを追跡する方法であって、前記方法が、（ｉ）カメラバーが視野を見るステップあって、前記カメラバーが、ビデオカメラと固定されて取り付けられている、視野を見るステップと、
（ｉｉ）前記カメラバーの前記視野の視界を、コンピュータシステムのディスプレイ上に表示するステップと、
（ｉｉｉ）前記コンピュータシステムが、前記視野内の位置を含む非ランダムマーカ位置のパターンを生成し、前記視野内の前記非ランダムマーカ位置のパターンを、前記視野の前記カメラバーの視界とともに、前記コンピュータシステムの前記ディスプレイ上に表示するステップと、
（ｉｖ）前記コンピュータシステムが、前記カメラバーの前記視界において、マーカが、ステップ（ｉｉｉ）で生成された、非ランダムマーカ位置の位置に配置されていることを検出するステップと、
（ｖ）前記コンピュータシステムが、ステップ（ｉｖ）において、マーカが非ランダムマーカ位置の位置に配置されたことを、前記カメラバーの前記視界内で検出したことに応答して、前記コンピュータシステムが、前記視野内のマーカ及び前記マーカのそれぞれの位置を記録するステップと、
（ｖｉ）所定の数の異なるマーカ及びそれぞれのマーカ位置が記録されるまで、ステップ（ｉｖ）及び（ｖ）を繰り返すステップと、
（ｖｉｉ）前記コンピュータシステムが、前記カメラバーの前記視野内で検出されたマーカを、前記記録されたマーカ及びそれらのそれぞれのマーカ位置と一致させて、前記カメラバーのポーズを取得するステップと、
（ｖｉｉｉ）ステップ（ｖｉｉ）を繰り返して、前記カメラバーの前記ポーズを追跡するステップと、を含む、方法。
【請求項2】
前記記録された所定数の異なるマーカ及びそれぞれのマーカ位置を記憶するステップを含む、請求項１に記載の方法。
【請求項3】
前記視野内の非ランダムマーカ位置の前記生成されたパターンが、前記コンピュータシステムによって前記視野内で検出される初期インジケータから開始する、請求項１又は２に記載の方法。
【請求項4】
前記視野内の非ランダムマーカ位置の前記生成されたパターンが、連続微分可能な（Ｃ１）連続経路又は関数によって表される経路を使用して生成される、先行請求項のいずれか一項に記載の方法。
【請求項5】
前記視野内の非ランダムマーカ位置の前記生成されたパターンが、滑らかな連続経路又は関数によって表される経路を使用して生成される、先行請求項のいずれか一項に記載の方法。
【請求項6】
前記マーカ位置が、前記経路に沿って等間隔に離間されている、請求項４又は５に記載の方法。
【請求項7】
前記視野内の非ランダムマーカ位置の前記生成されたパターンが、１つ以上の明確に定義された決定論的な式に渡される一組のパラメータから生成される、先行請求項のいずれか一項に記載の方法。
【請求項8】
式が、スパイラルパターンを生成し、前記パラメータが、前記初期マーカの位置、床の上の前記カメラバーの高さ、及び前記カメラバーの配向角度を含む、請求項７に記載の方法。
【請求項9】
前記視野内の非ランダムマーカ位置の前記生成されたパターンが、スパイラルパターンである、先行請求項のいずれか一項に記載の方法。
【請求項10】
前記視野内の非ランダムマーカ位置の前記生成されたパターンが、準結晶パターンである、請求項１～３のいずれか一項に記載の方法。
【請求項11】
前記視野内の非ランダムマーカ位置の前記生成されたパターンが、非周期性グリッド上、又は周期性グリッド上、又は非周期性格子上、又は周期性格子上にある、請求項１～３のいずれか一項に記載の方法。
【請求項12】
前記視野内の非ランダムマーカ位置の前記生成されたパターンが、一組の非交差閉曲線上、例えば、一組の同心円上にある、請求項１～３のいずれか一項に記載の方法。
【請求項13】
前記視野内の非ランダムマーカ位置の前記生成されたパターンが、一組の非交差開曲線上、例えば、一組の同心半円上にある、請求項１～３のいずれか一項に記載の方法。
【請求項14】
ステップ（ｉｉｉ）において、前記視野内の非ランダムマーカ位置の前記パターンが、前記視野の前記カメラバーの視界上にオーバレイされる、先行請求項のいずれか一項に記載の方法。
【請求項15】
ステップ（ｉｖ）において、前記コンピュータシステムが、例えば、前記非ランダムマーカ位置の表示された色を、例えば、赤から緑に変更することによって、前記カメラバーの前記視界において、マーカが非ランダムマーカ位置の位置内に配置されたことを検出したことを前記ディスプレイ内に表示する、先行請求項のいずれか一項に記載の方法。
【請求項16】
前記カメラバーが、モノスコピックカメラバーである、先行請求項のいずれか一項に記載の方法。
【請求項17】
ステップ（ｖｉｉ）が、（ａ）マーカ抽出アルゴリズムを使用して、前記カメラバーによって見られた画像のシーケンス内のマーカの２Ｄ位置を検出することであって、前記シーケンスの第１の画像及び最後の画像が、異なるカメラバー位置から撮影され、最も近い隣接するマッチングを使用して、前記シーケンスを通してマーカにラベル付けする、検出することと、
（ｂ）ロバスト抽出器を使用して、行列を抽出して、前記シーケンスの第１のフレームから前記シーケンスの最後のフレームまで、スケール係数が不明である回転及び平行移動を抽出することと、
（ｃ）カメラバー較正データを使用して、前記検出された２Ｄマーカ位置を使用して、前記スケール係数が不明である３Ｄマーカ位置を計算することと、
（ｄ１）前記計算された３Ｄマーカのスケーリングされた位置を前記マーカの３Ｄ経路に一致させることであって、世界座標系における前記３Ｄ経路が、既知であり、前記スケール係数を導出することを含む、前記計算された３Ｄマーカ位置のセットを前記マーカの前記３Ｄ経路に適合させることを含む、一致させることと、
（ｄ２）前記計算された３Ｄマーカのスケーリングされた位置を前記マーカの前記３Ｄ位置に一致させることであって、世界座標系における前記マーカの前記３Ｄ位置が、既知であり、前記スケール係数を導出することを含む、前記計算された３Ｄマーカ位置のセットを前記マーカの前記３Ｄ位置に適合させることを含む、一致させることと、
（ｅ）カメラバーポーズを表すために、マッチングソリューションをリー群のＳＩＭ（３）としてモデル化することであって、前記マッチングソリューションが、スケールを含む、モデル化することと、
（ｆ）前記世界座標系において、前記マッチングソリューションから前記カメラバーポーズを抽出することと、を含む、請求項１６に記載の方法。
【請求項18】
ステップ（ｄ１）又は（ｄ２）が、反復最近点（ＩＣＰ）適合若しくは曲線適合を使用することによって、又はレーベンバーグ・マルカートアルゴリズム（ＬＭＡ若しくは単にＬＭ）などの非線形最小化手法を使用することによって、又はガウス・ニュートンアルゴリズムを使用することによって、実行される、請求項１７に記載の方法。
【請求項19】
ステップ（ｂ）において、ランダムサンプルコンセンサス、ＲＡＮＳＡＣ、が使用される、請求項１７又は１８に記載の方法。
【請求項20】
前記カメラバーが、立体視構成において一定の距離離れて装着された２つのカメラを含む、立体視カメラバーである、請求項１～１５のいずれか一項に記載の方法。
【請求項21】
前記カメラバーが、互いから一定の距離で、三角形（例えば、正三角形）に配置された３つのカメラを含む、請求項１～１５のいずれか一項に記載の方法。
【請求項22】
前記カメラバーが、複数のカメラを含む、請求項１～１５のいずれか一項に記載の方法。
【請求項23】
ステップ（ｖｉｉ）が、（ａ）マーカ抽出アルゴリズムを使用して、前記カメラバーによって見られた画像上のマーカの２Ｄ位置を検出することと、
（ｂ）前記検出された２Ｄマーカ位置を使用して、カメラバー較正データを使用して、かつカメラバー座標系を使用して、３Ｄマーカ位置を計算することと、
（ｃ１）前記計算された３Ｄマーカ位置を前記マーカの３Ｄ経路に一致させることであって、世界座標系における前記３Ｄ経路が、既知であり、前記計算された３Ｄマーカ位置のセットを前記マーカの前記３Ｄ経路に適合させることを含む、一致させることと、
（ｃ２）前記計算された３Ｄマーカ位置を前記マーカの前記３Ｄ位置に一致させることであって、世界座標系における前記マーカの前記３Ｄ位置が、既知であり、前記計算された３Ｄマーカ位置のセットを前記マーカの前記３Ｄ位置に適合させることを含む、一致させることと、
（ｄ）カメラバーポーズを表すために、前記マッチングソリューションを前記リー群のＳＥ（３）としてモデル化することと、
（ｅ）前記世界座標系において、前記マッチングソリューションから前記カメラバーポーズを抽出することと、を含む、請求項２０～２２のいずれか一項に記載の方法。
【請求項24】
ステップ（ｃ１）又は（ｃ２）が、反復最近点（ＩＣＰ）適合若しくは曲線適合を使用することによって、又はレーベンバーグ・マルカートアルゴリズム（ＬＭＡ若しくは単にＬＭ）などの非線形最小化手法を使用することによって、又はガウス・ニュートンアルゴリズムを使用することによって、実行される、請求項２３に記載の方法。
【請求項25】
前記カメラバーポーズが、瞬時に提供される、請求項２３又は２４に記載の方法。
【請求項26】
前記カメラバーの前記視野が、前記ビデオカメラの前記視野とまったく一致しない、先行請求項のいずれか一項に記載の方法。
【請求項27】
前記カメラバーの前記視野が、前記ビデオカメラの前記視野と部分的に重複する、請求項１～２５のいずれか一項に記載の方法。
【請求項28】
前記カメラバーの前記視野が、前記ビデオカメラの前記視野の全体を含む、請求項１～２５のいずれか一項に記載の方法。
【請求項29】
前記マーカが、特定の形状、及び／若しくは色を有し、並びに／又は特定の材料で作成されている、先行請求項のいずれか一項に記載の方法。
【請求項30】
使用される前記マーカが、外観において互いに著しく異ならない、先行請求項のいずれか一項に記載の方法。
【請求項31】
使用される前記マーカが、ほぼ球形、又はほぼ円形である、先行請求項のいずれか一項に記載の方法。
【請求項32】
前記カメラバーポーズが、カメラバー回転及びカメラバーの平行移動、すなわち、６自由度を含む、先行請求項のいずれか一項に記載の方法。
【請求項33】
前記コンピュータシステムが、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、又はスマートフォンである、先行請求項のいずれか一項に記載の方法。
【請求項34】
前記カメラバーが、前記カメラポーズが初めて追跡された後に、前の視野と部分的に重複する新しい視野を表示するように移動され、次いで、前記新しい視野内の非ランダムマーカ位置のパターンが、前記新しい視野の前記カメラバーの視界とともに前記コンピュータシステムの前記ディスプレイ上に表示され、次いで、ステップ（ｉｖ）及び（ｖ）が実行される、先行請求項のいずれか一項に記載の方法。
【請求項35】
ステップ（ｖｉｉｉ）を実行することとともに、ステップ（ｉｖ）及び（ｖ）を繰り返すことを含む、先行請求項のいずれか一項に記載の方法。
【請求項36】
ステップ（ｖｉｉｉ）を実行するとき、記録された異なるマーカ及びそれぞれのマーカ位置の数が、少なくとも１０であるか、又は１０～１０００の範囲内であるか、又は２０～５００の範囲内であることを含む、先行請求項のいずれか一項に記載の方法。
【請求項37】
ビデオカメラと、前記ビデオカメラに固定して取り付けられたカメラバーと、ディスプレイを含むコンピュータシステムと、を含む、システムであって、前記コンピュータシステムが、（ｉ）前記コンピュータシステムの前記ディスプレイ上に前記カメラバーの視野の視界を表示することと、
（ｉｉ）前記視野内の位置を含む非ランダムマーカ位置のパターンを生成し、前記視野の前記カメラバーの視界とともに、前記コンピュータシステムの前記ディスプレイ上に前記視野内の前記非ランダムマーカ位置のパターンを表示することと、
（ｉｉｉ）マーカが（ｉｉ）で生成された非ランダムマーカ位置の位置内に配置されていることを、前記カメラバーの前記視界内で検出することと、
（ｉｖ）（ｉｉｉ）において、マーカが非ランダムマーカ位置の位置内に配置されたことを、前記カメラバーの前記視界内で検出したこと応答して、前記視野内のマーカ及び前記マーカのそれぞれの位置を記録することと、
（ｖ）所定の数の異なるマーカ及びそれぞれのマーカ位置が記録されるまで、（ｉｉｉ）及び（ｉｖ）を繰り返すことと、
（ｖｉ）前記カメラバーの前記視野内で検出されたマーカを、前記記録されたマーカ及びそれらのそれぞれのマーカ位置と一致させて、前記カメラバーのポーズを取得することと、
（ｖｉｉ）（ｖｉ）を繰り返して、前記カメラバーの前記ポーズを追跡することと、を行うように構成されている、システム。
【請求項38】
請求項１～３６のいずれか一項に記載の方法を実行するように構成されている、請求項３７に記載のシステム。
【請求項39】
コンピュータプログラム製品であって、前記コンピュータプログラム製品が、ディスプレイを含むコンピュータシステム上で、（ｉ）前記コンピュータシステムの前記ディスプレイ上にカメラバーの視野の視界を表示することと、
（ｉｉ）前記視野内の位置を含む非ランダムマーカ位置のパターンを生成し、前記視野の前記カメラバーの視界とともに、前記コンピュータシステムの前記ディスプレイ上に前記視野内の前記非ランダムマーカ位置のパターンを表示することと、
（ｉｉｉ）マーカが（ｉｉ）で生成された非ランダムマーカ位置の位置内に配置されていることを、前記カメラバーの前記視界内で検出することと、
（ｉｖ）（ｉｉｉ）において、マーカが非ランダムマーカ位置の位置内に配置されたことを、前記カメラバーの前記視界内で検出したこと応答して、前記視野内のマーカ及び前記マーカのそれぞれの位置を記録することと、
（ｖ）所定の数の異なるマーカ及びそれぞれのマーカ位置が記録されるまで、（ｉｉｉ）及び（ｉｖ）を繰り返すことと、
（ｖｉ）前記カメラバーの前記視野内で検出されたマーカを、前記記録されたマーカ及びそれらのそれぞれのマーカ位置と一致させて、前記カメラバーのポーズを取得することと、
（ｖｉｉ）（ｖｉ）を繰り返して、前記カメラバーの前記ポーズを追跡することと、を行うように、実行可能である、コンピュータプログラム製品。
【請求項40】
前記コンピュータシステム上で、請求項１～３６のいずれか一項に記載の方法を実行するように、実行可能である、請求項３９に記載のコンピュータプログラム製品。
【請求項41】
コンピュータ生成された３Ｄオブジェクトと、ビデオカメラからのビデオフィードと、を混合又は合成して、拡張現実ビデオをリアルタイムで生成するための方法であって、（ａ）前記ビデオカメラの本体を３Ｄで移動させることができ、前記ビデオカメラ内の、又は前記ビデオカメラに直接若しくは間接的に取り付けられた６自由度にわたって感知する加速度計及びジャイロを含むセンサが、前記ビデオカメラの３Ｄ位置及び３Ｄ配向が計算されることを可能にするリアルタイムの位置決めデータを提供し、
（ｂ）例えば、立体視システムを形成する２つのカメラを含むカメラバーが、前記ビデオカメラに直接又は間接的に固定され、
（ｃ）次いで、当該リアルタイムの位置決めデータが、コンピュータ生成された３Ｄオブジェクトを作成、呼び出し、レンダリング、又は変更するために自動的に使用され、
（ｄ）次いで、前記結果として生じるコンピュータ生成された３Ｄオブジェクトが、前記ビデオカメラからの前記ビデオフィードとリアルタイムで混合又は合成されて、例えば、テレビ放送、映画、又はビデオゲームのための拡張現実ビデオを提供し、
（ｅ）前記ビデオカメラの前記３Ｄ位置及び配向が、前記センサからの前記リアルタイム３Ｄ位置決めデータに加えて、例えば、立体視システムを形成する２つのカメラを含む前記カメラバーが視野を調査し、プロセッサ上で動作するソフトウェアが前記視野内の非ランダムに位置決めされたマーカを検出するために使用されるビデオフローを使用することによって、現実世界の３Ｄマップを参照して判定され、前記マーカ及びそれらの非ランダム位置が、前記プロセッサにおいて事前に記録され、前記現実世界の前記３Ｄマップに含まれ、前記マーカが、事前に手動又は人工的に当該視野に追加されている、方法。
【請求項42】
前記方法が、請求項１～３６のいずれか一項に記載の方法を含む、請求項４１に記載の方法。
【請求項43】
混合又は合成システムであって、前記混合又は合成システムが、（ｉ）ビデオカメラと、
（ｉｉ）６自由度にわたって感知する加速度計及びジャイロを含むセンサと、
（ｉｉｉ）例えば、立体視システムを形成する２つのカメラを含むカメラバーと、
（ｉｖ）プロセッサと、を含み、
コンピュータ生成された３Ｄオブジェクトと、前記ビデオカメラからのリアルタイムのビデオフィードとを混合又は合成して、例えば、テレビ放送、映画、又はビデオゲームのための拡張現実ビデオをリアルタイムで生成するために、
（ａ）前記ビデオカメラの本体を３Ｄで移動させることができ、前記ビデオカメラ内の、又は前記ビデオカメラに直接若しくは間接的に取り付けられた前記センサが、前記ビデオカメラの３Ｄ位置及び３Ｄ配向が計算されることを可能にするリアルタイムの位置決めデータを提供し、
（ｂ）例えば、立体視システムを形成する２つのカメラを含む前記カメラバーが、前記ビデオカメラに直接又は間接的に固定され、
（ｃ）前記システムが、当該リアルタイム位置決めデータを自動的に使用して、コンピュータ生成された３Ｄオブジェクトを作成、呼び出し、レンダリング、又は変更するように構成されており、
（ｄ）前記システムが、前記結果として生じるコンピュータ生成された３Ｄオブジェクトをリアルタイムで前記ビデオカメラからの前記ビデオフィードと混合又は合成して、例えば、テレビ放送、映画、又はビデオゲームのための拡張現実ビデオをリアルタイムで提供するように構成されており、
（ｅ）前記システムが、前記センサからの前記リアルタイム３Ｄ位置決めデータに加えて、例えば、立体視システムを形成する２つのカメラを含む前記カメラバーが視野を調査し、前記プロセッサ上で動作するソフトウェアが前記視野内の非ランダムに位置決めされたマーカを検出するように構成されているビデオフローを使用することによって、現実世界の３Ｄマップを参照して前記ビデオカメラの前記３Ｄ位置及び配向を判定するように構成されており、前記マーカ及びそれらの非ランダム位置が、前記プロセッサにおいて事前に記録され、前記現実世界の前記３Ｄマップに含まれ、前記マーカが、事前に手動又は人工的に当該視野に追加されている、混合又は合成システム。
【請求項44】
前記システムが、請求項３７又は３８に記載のシステムを含む、請求項４３に記載のシステム。
【請求項45】
請求項４１又は４２に記載の方法を使用して作成された、ビデオのビデオファイル。
【請求項46】
請求項４１又は４２に記載の方法を使用して作成された、ビデオのビデオストリーム。
【発明の詳細な説明】
【技術分野】
【0001】
１．発明の分野
本発明の分野は、カメラバーを追跡する、又はカメラバーを含むビデオカメラを追跡する方法、及び関連する方法、システム、コンピュータプログラム製品、ビデオファイル、並びにビデオストリームに関する。
本発明の分野は、カメラバーを追跡する、又はカメラバーを含むビデオカメラを追跡する方法、及び関連する方法、システム、コンピュータプログラム製品、ビデオファイル、並びにビデオストリームに関する。
【背景技術】
【0002】
２．技術的背景
コンピュータ生成された画像などの他の画像によって強化されたライブビデオを組み合わせた仮想シーンを作成するためのシステムを使用するとき、ユーザは、スタジオ時間が高価であるため、システムを迅速にセットアップすることができることを望む。ビデオ処理はかなりの量のエネルギーを使用する傾向があるため、そのようなシステムのエネルギー消費を低減することも望ましい。ユーザはまた、コンピュータ生成画像などの他の画像によって強化されたライブビデオを組み合わせた仮想シーンをリアルタイムで見ることができることを好む。
コンピュータ生成された画像などの他の画像によって強化されたライブビデオを組み合わせた仮想シーンを作成するためのシステムを使用するとき、ユーザは、スタジオ時間が高価であるため、システムを迅速にセットアップすることができることを望む。ビデオ処理はかなりの量のエネルギーを使用する傾向があるため、そのようなシステムのエネルギー消費を低減することも望ましい。ユーザはまた、コンピュータ生成画像などの他の画像によって強化されたライブビデオを組み合わせた仮想シーンをリアルタイムで見ることができることを好む。
【0003】
３．関連技術の考察
ＵＳ２００７／０２４８２８３（Ａ１）は、コンピュータ生成された画像を含む他の画像によって強化されたライブビデオを組み合わせた仮想シーンを作成するためのシステムを開示している。一実施形態では、それは、取り付けられた追跡カメラを備えたシーンカメラを含み、追跡カメラは、識別指標を有する複数の追跡マーカを有する追跡マーカパターンを見る。追跡マーカパターンは、追跡カメラによって見られるとき、シーンカメラの座標位置がリアルタイムで判定され得るように、近接して位置決めされる。本開示はまた、カメラの動きに基づいて変化し、正確な位置決めを維持するフィルタリングアルゴリズムを含む。代替の実施形態は、ランダムに分散されたマーカの配列、並びに様々なサイズ及び配向のマーカを含むことができることが開示されている。
ＵＳ２００７／０２４８２８３（Ａ１）は、コンピュータ生成された画像を含む他の画像によって強化されたライブビデオを組み合わせた仮想シーンを作成するためのシステムを開示している。一実施形態では、それは、取り付けられた追跡カメラを備えたシーンカメラを含み、追跡カメラは、識別指標を有する複数の追跡マーカを有する追跡マーカパターンを見る。追跡マーカパターンは、追跡カメラによって見られるとき、シーンカメラの座標位置がリアルタイムで判定され得るように、近接して位置決めされる。本開示はまた、カメラの動きに基づいて変化し、正確な位置決めを維持するフィルタリングアルゴリズムを含む。代替の実施形態は、ランダムに分散されたマーカの配列、並びに様々なサイズ及び配向のマーカを含むことができることが開示されている。
【発明の概要】
【0004】
本発明の第１の態様によれば、カメラバーの視野内に非ランダムに位置決めされたマーカをセットアップし、カメラバーのポーズを追跡する方法が提供されており、本方法は、
（ｉ）カメラバーが視野を見るステップあって、カメラバーが、ビデオカメラと固定されて取り付けられている、視野を見るステップと、
（ｉｉ）視野のカメラバーの視界を、コンピュータシステムのディスプレイ上に表示するステップと、
（ｉｉｉ）コンピュータシステムが、視野内の位置を含む非ランダムマーカ位置のパターンを生成し、視野内の非ランダムマーカ位置のパターンを、視野のカメラバーの視界とともに、コンピュータシステムのディスプレイ上に表示するステップと、
（ｉｖ）コンピュータシステムが、カメラバーの視界において、マーカが、ステップ（ｉｉｉ）で生成された、非ランダムマーカ位置の位置に配置されていることを検出するステップと、
（ｖ）コンピュータシステムが、ステップ（ｉｖ）において、マーカが非ランダムマーカ位置の位置に配置されたことを、カメラバーの視界内で検出したことに応答して、コンピュータシステムが、視野内のマーカ及びマーカのそれぞれの位置を記録するステップと、
（ｖｉ）所定の数の異なるマーカ及びそれぞれのマーカ位置が記録されるまで、ステップ（ｉｖ）及び（ｖ）を繰り返すステップと、
（ｖｉｉ）コンピュータシステムが、カメラバーの視野内で検出されたマーカを、記録されたマーカ及びそれらのそれぞれのマーカ位置と一致させて、カメラバーのポーズを取得するステップと、
（ｖｉｉｉ）ステップ（ｖｉｉ）を繰り返して、カメラバーのポーズを追跡するステップと、を含む。
（ｉ）カメラバーが視野を見るステップあって、カメラバーが、ビデオカメラと固定されて取り付けられている、視野を見るステップと、
（ｉｉ）視野のカメラバーの視界を、コンピュータシステムのディスプレイ上に表示するステップと、
（ｉｉｉ）コンピュータシステムが、視野内の位置を含む非ランダムマーカ位置のパターンを生成し、視野内の非ランダムマーカ位置のパターンを、視野のカメラバーの視界とともに、コンピュータシステムのディスプレイ上に表示するステップと、
（ｉｖ）コンピュータシステムが、カメラバーの視界において、マーカが、ステップ（ｉｉｉ）で生成された、非ランダムマーカ位置の位置に配置されていることを検出するステップと、
（ｖ）コンピュータシステムが、ステップ（ｉｖ）において、マーカが非ランダムマーカ位置の位置に配置されたことを、カメラバーの視界内で検出したことに応答して、コンピュータシステムが、視野内のマーカ及びマーカのそれぞれの位置を記録するステップと、
（ｖｉ）所定の数の異なるマーカ及びそれぞれのマーカ位置が記録されるまで、ステップ（ｉｖ）及び（ｖ）を繰り返すステップと、
（ｖｉｉ）コンピュータシステムが、カメラバーの視野内で検出されたマーカを、記録されたマーカ及びそれらのそれぞれのマーカ位置と一致させて、カメラバーのポーズを取得するステップと、
（ｖｉｉｉ）ステップ（ｖｉｉ）を繰り返して、カメラバーのポーズを追跡するステップと、を含む。
【0005】
非ランダムマーカ位置の生成されたパターンは、カメラバーの初期視野の外側の位置を含んでもよい。
【0006】
利点は、カメラバーの視野内の非ランダムに位置決めされたマーカを、ディスプレイを見ている間にマーカを配置することができるたった１人の人によって迅速にセットアップすることができ、一方でコンピュータシステムは、その人がいつマーカを非ランダムマーカ位置に配置したかを検出することができることである。利点は、カメラバーの視野内で検出されたマーカを、記録されたマーカ及びそれらのそれぞれの非ランダムに位置決めされたマーカ位置と一致させることが計算上効率的であるため、非ランダムに位置決めされたマーカ位置が非常に明確であるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、計算のためのエネルギー要件を軽減する。利点は、カメラバーの視野内で検出されたマーカを、記録されたマーカ及びそれらのそれぞれの非ランダムに位置決めされたマーカ位置と一致させることが計算上効率的であるため、非ランダムに位置決めされたマーカ位置が非常に明確であるため、カメラバーのポーズを、リアルタイムで追跡することができることであり、それは、計算のための時間要件を軽減する。
【0007】
カメラバー及びコンピュータシステムは、データケーブルによって接続されてもよく、又はそれらは、無線データ接続によって接続されてもよい。
【0008】
方法は、記録された所定の数の異なるマーカ及びそれぞれのマーカ位置を記憶するステップを含む方法であり得る。
【0009】
方法は、視野内の非ランダムマーカ位置の生成されたパターンが、コンピュータシステムによって視野内で検出される初期インジケータから開始する方法であり得る。利点は、セットアッププロセスが、セットアップをスピードアップするために選択され得る事前に選択されたポイントから開始するため、セットアッププロセスがスピードアップされ得ることである。
【0010】
方法は、視野内の非ランダムマーカ位置の生成されたパターンが、連続微分可能な（Ｃ１）連続経路又は関数によって表される経路を使用して生成される方法であり得る。利点は、非ランダムに位置決めされたマーカ位置が非常に明確であるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、追跡計算のためのエネルギー要件を軽減する。
【0011】
方法は、視野内の非ランダムマーカ位置の生成されたパターンが、滑らかな連続経路又は関数によって表される経路を使用して生成される方法であり得る。利点は、非ランダムに位置決めされたマーカ位置が非常に明確であるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、追跡計算のためのエネルギー要件を軽減する。
【0012】
方法は、マーカ位置が経路に沿って等間隔に離間されている方法であり得る。
【0013】
方法は、視野内の非ランダムマーカ位置の生成されたパターンが、１つ以上の明確に定義された決定論的な式に渡される一組のパラメータから生成される方法であり得る。
【0014】
方法は、式が、スパイラルパターンを生成し、パラメータが、初期マーカの位置、床の上のカメラバーの高さ、及びカメラバーの配向角度を含む方法であり得る。利点は、セットアップ時間をスピードアップすることができる、特定の環境に適切にカスタマイズされたスパイラルパターンが提供されることである。
【0015】
方法は、視野内の非ランダムマーカ位置の生成されたパターンが、スパイラルパターンである方法であり得る。利点は、非ランダムに位置決めされたマーカ位置が非常に明確であるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、追跡計算のためのエネルギー要件を軽減する。
【0016】
方法は、視野内の非ランダムマーカ位置の生成されたパターンが、準結晶パターンである方法であり得る。利点は、非ランダムに位置決めされたマーカ位置が非常に明確であるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、追跡計算のためのエネルギー要件を軽減する。
【0017】
方法は、視野内の非ランダムマーカ位置の生成されたパターンが、非周期性グリッド上、又は周期性グリッド上、又は非周期性格子上、又は周期性格子上にある方法であり得る。利点は、非ランダムに位置決めされたマーカ位置が非常に明確であるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、追跡計算のためのエネルギー要件を軽減する。
【0018】
方法は、視野内の非ランダムマーカ位置の生成されたパターンが、一組の非交差閉曲線上、例えば、一組の同心円上にある方法であり得る。利点は、非ランダムに位置決めされたマーカ位置が非常に明確であるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、追跡計算のためのエネルギー要件を軽減する。
【0019】
方法は、視野内の非ランダムマーカ位置の生成されたパターンが、一組の非交差開曲線上、例えば、一組の同心半円上にある方法であり得る。利点は、非ランダムに位置決めされたマーカ位置が非常に明確であるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、追跡計算のためのエネルギー要件を軽減する。
【0020】
方法は、ステップ（ｉｉｉ）において、視野内の非ランダムマーカ位置のパターンが、視野のカメラバーの視界上にオーバレイされる方法であり得る。
【0021】
方法は、ステップ（ｉｖ）において、コンピュータシステムが、例えば、非ランダムマーカ位置の表示された色を、例えば、赤から緑に変更することによって、カメラバーの視界において、マーカが非ランダムマーカ位置の位置内に配置されたことを検出したことをディスプレイ内に表示する方法であり得る。
【0022】
方法は、カメラバーが、モノスコピックカメラバーである方法であり得る。
【0023】
方法は、ステップ（ｖｉｉ）が、
（ａ）マーカ抽出アルゴリズムを使用して、カメラバーによって見られた画像のシーケンス内のマーカの２Ｄ位置を検出することであって、シーケンスの第１の画像及び最後の画像が、異なるカメラバー位置から撮影され、最も近い隣接するマッチングを使用して、シーケンスを通してマーカにラベル付けする、検出することと、
（ｂ）ロバスト抽出器を使用して、行列を抽出して、シーケンスの第１のフレームからシーケンスの最後のフレームまで、スケール係数が不明である回転及び平行移動を抽出することと、
（ｃ）カメラバー較正データを使用して、検出された２Ｄマーカ位置を使用して、スケール係数が不明である３Ｄマーカ位置を計算することと、
（ｄ１）計算された３Ｄマーカのスケーリングされた位置をマーカの３Ｄ経路に一致させることであって、世界座標系における３Ｄ経路が、既知であり、スケール係数を導出することを含む、計算された３Ｄマーカ位置のセットをマーカの３Ｄ経路に適合させることを含む、一致させることと、
（ｄ２）計算された３Ｄマーカのスケーリングされた位置をマーカの３Ｄ位置に一致させることであって、世界座標系におけるマーカの３Ｄ位置が、既知であり、スケール係数を導出することを含む、計算された３Ｄマーカ位置のセットをマーカの３Ｄ位置に適合させることを含む、一致させることと、
（ｅ）カメラバーポーズを表すために、マッチングソリューションをリー群のＳＩＭ（３）としてモデル化することであって、マッチングソリューションが、スケールを含む、モデル化することと、
（ｆ）世界座標系において、マッチングソリューションからカメラバーポーズを抽出することと、を含む、方法であり得る。利点は、単純なカメラバー、モノスコピックカメラバーを使用することができることである。
（ａ）マーカ抽出アルゴリズムを使用して、カメラバーによって見られた画像のシーケンス内のマーカの２Ｄ位置を検出することであって、シーケンスの第１の画像及び最後の画像が、異なるカメラバー位置から撮影され、最も近い隣接するマッチングを使用して、シーケンスを通してマーカにラベル付けする、検出することと、
（ｂ）ロバスト抽出器を使用して、行列を抽出して、シーケンスの第１のフレームからシーケンスの最後のフレームまで、スケール係数が不明である回転及び平行移動を抽出することと、
（ｃ）カメラバー較正データを使用して、検出された２Ｄマーカ位置を使用して、スケール係数が不明である３Ｄマーカ位置を計算することと、
（ｄ１）計算された３Ｄマーカのスケーリングされた位置をマーカの３Ｄ経路に一致させることであって、世界座標系における３Ｄ経路が、既知であり、スケール係数を導出することを含む、計算された３Ｄマーカ位置のセットをマーカの３Ｄ経路に適合させることを含む、一致させることと、
（ｄ２）計算された３Ｄマーカのスケーリングされた位置をマーカの３Ｄ位置に一致させることであって、世界座標系におけるマーカの３Ｄ位置が、既知であり、スケール係数を導出することを含む、計算された３Ｄマーカ位置のセットをマーカの３Ｄ位置に適合させることを含む、一致させることと、
（ｅ）カメラバーポーズを表すために、マッチングソリューションをリー群のＳＩＭ（３）としてモデル化することであって、マッチングソリューションが、スケールを含む、モデル化することと、
（ｆ）世界座標系において、マッチングソリューションからカメラバーポーズを抽出することと、を含む、方法であり得る。利点は、単純なカメラバー、モノスコピックカメラバーを使用することができることである。
【0024】
方法は、ステップ（ｄ１）又は（ｄ２）が、反復最近点（ＩＣＰ）適合若しくは曲線適合を使用することによって、又はレーベンバーグ・マルカートアルゴリズム（ＬＭＡ若しくは単にＬＭ）などの非線形最小化手法を使用することによって、又はガウス・ニュートンアルゴリズムを使用することによって、実行される方法であり得る。
【0025】
方法は、ステップ（ｂ）において、ランダムサンプルコンセンサス、ＲＡＮＳＡＣ、が使用される方法であり得る。
【0026】
方法は、カメラバーが、立体視構成において一定距離離れて装着された２つのカメラを含む、立体視カメラバーである方法であり得る。利点は、非ランダムに位置決めされたマーカ位置が迅速かつ正確に判定されるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、追跡計算のためのエネルギー要件を軽減する。
【0027】
方法は、カメラバーが、互いから一定の距離で、三角形（例えば、正三角形）に配置された３つのカメラを含む方法であり得る。利点は、非ランダムに位置決めされたマーカ位置が迅速かつ正確に判定されるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、追跡計算のためのエネルギー要件を軽減する。
【0028】
方法は、カメラバーが、複数のカメラを含む方法であり得る。利点は、非ランダムに位置決めされたマーカ位置が迅速かつ正確に判定されるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、追跡計算のためのエネルギー要件を軽減する。
【0029】
方法は、ステップ（ｖｉｉ）が、
（ａ）マーカ抽出アルゴリズムを使用して、カメラバーによって見られた画像上のマーカの２Ｄ位置を検出することと、
（ｂ）検出された２Ｄマーカ位置を使用して、カメラバー較正データを使用して、かつカメラバー座標系を使用して、３Ｄマーカ位置を計算することと、
（ｃ１）計算された３Ｄマーカ位置をマーカの３Ｄ経路に一致させることであって、世界座標系における３Ｄ経路が、既知であり、計算された３Ｄマーカ位置のセットをマーカの３Ｄ経路に適合させることを含む、一致させることと、
（ｃ２）計算された３Ｄマーカ位置をマーカの３Ｄ位置に一致させることであって、世界座標系におけるマーカの３Ｄ位置が、既知であり、計算された３Ｄマーカ位置のセットをマーカの３Ｄ位置に適合させることを含む、一致させることと、
（ｄ）カメラバーポーズを表すために、マッチングソリューションをリー群のＳＥ（３）としてモデル化することと、
（ｅ）世界座標系において、マッチングソリューションからカメラバーポーズを抽出することと、を含む、方法であり得る。利点は、非ランダムに位置決めされたマーカ位置が迅速かつ正確に判定されるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、追跡計算のためのエネルギー要件を軽減する。
（ａ）マーカ抽出アルゴリズムを使用して、カメラバーによって見られた画像上のマーカの２Ｄ位置を検出することと、
（ｂ）検出された２Ｄマーカ位置を使用して、カメラバー較正データを使用して、かつカメラバー座標系を使用して、３Ｄマーカ位置を計算することと、
（ｃ１）計算された３Ｄマーカ位置をマーカの３Ｄ経路に一致させることであって、世界座標系における３Ｄ経路が、既知であり、計算された３Ｄマーカ位置のセットをマーカの３Ｄ経路に適合させることを含む、一致させることと、
（ｃ２）計算された３Ｄマーカ位置をマーカの３Ｄ位置に一致させることであって、世界座標系におけるマーカの３Ｄ位置が、既知であり、計算された３Ｄマーカ位置のセットをマーカの３Ｄ位置に適合させることを含む、一致させることと、
（ｄ）カメラバーポーズを表すために、マッチングソリューションをリー群のＳＥ（３）としてモデル化することと、
（ｅ）世界座標系において、マッチングソリューションからカメラバーポーズを抽出することと、を含む、方法であり得る。利点は、非ランダムに位置決めされたマーカ位置が迅速かつ正確に判定されるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、追跡計算のためのエネルギー要件を軽減する。
【0030】
方法は、ステップ（ｃ１）又は（ｃ２）が、反復最近点（ＩＣＰ）適合若しくは曲線適合を使用することによって、又はレーベンバーグ・マルカートアルゴリズム（ＬＭＡ若しくは単にＬＭ）などの非線形最小化手法を使用することによって、又はガウス・ニュートンアルゴリズムを使用することによって、実行される方法であり得る。
【0031】
方法は、カメラバーポーズが、瞬時に提供される方法であり得る。
【0032】
方法は、カメラバーの視野が、ビデオカメラの視野とまったく一致しない方法であり得る。利点は、マーカが、ビデオカメラによって記録されたビデオ内に表示されないことである。
【0033】
方法は、カメラバーの視野が、ビデオカメラの視野と部分的に重複する方法であり得る。利点は、一部のマーカが、ビデオカメラによって記録されたビデオ内に表示されないことである。
【0034】
方法は、カメラバーの視野が、ビデオカメラの視野の全体を含む方法であり得る。利点は、カメラバーの追跡精度が向上することである。
【0035】
方法は、マーカが、特定の形状、及び／若しくは色を有し、並びに／又は特定の材料で作成されている方法であり得る。
【0036】
方法は、使用されるマーカが、外観において互いに著しく異ならない方法であり得る。利点は、異なるマーカの偶発的な混在がないため、カメラバーの視野内の非ランダムに位置決めされたマーカを迅速にセットアップすることができることである。
【0037】
方法は、使用されるマーカが、ほぼ球形、又はほぼ円形である方法であり得る。利点は、マーカの配向誤差がないため、カメラバーの視野内の非ランダムに位置決めされたマーカを迅速にセットアップすることができることである。
【0038】
方法は、カメラバーポーズが、カメラバー回転及びカメラバーの平行移動、すなわち、６自由度を含む方法であり得る。利点は、カメラバーの正確な追跡である。
【0039】
方法は、コンピュータシステムが、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、又はスマートフォンである方法であり得る。
【0040】
方法は、カメラバーが、カメラポーズが初めて追跡された後に、前の視野と部分的に重複する新しい視野を表示するように移動され、次いで、新しい視野内の非ランダムマーカ位置のパターンが、新しい視野のカメラバーの視界とともにコンピュータシステムのディスプレイ上に表示され、次いで、ステップ（ｉｖ）及び（ｖ）が実行される方法であり得る。利点は、カメラポーズ追跡を前の視野の外側の視野に提供することができることである。
【0041】
方法は、ステップ（ｖｉｉｉ）を実行することとともに、ステップ（ｉｖ）及び（ｖ）を繰り返すことを含む方法であり得る。利点は、更なる非ランダムに位置決めされたマーカを追加して、カメラバーの追跡を改善することができることである。
【0042】
方法は、ステップ（ｖｉｉｉ）を実行するとき、記録された異なるマーカ及びそれぞれのマーカ位置の数が、少なくとも１０であるか、又は１０～１０００の範囲内であるか、又は２０～５００の範囲内であることを含む方法であり得る。利点は、過度に長いセットアップ時間を必要とすることなく、カメラバーの追跡を改善することである。
【0043】
本発明の第２の態様によれば、ビデオカメラと、ビデオカメラに固定して取り付けられたカメラバーと、ディスプレイを含むコンピュータシステムと、を含む、システムが提供されており、コンピュータシステムは、
（ｉ）コンピュータシステムのディスプレイ上にカメラバーの視野の視界を表示することと、
（ｉｉ）視野内の位置を含む非ランダムマーカ位置のパターンを生成し、視野のカメラバーの視界とともに、コンピュータシステムのディスプレイ上に視野内の非ランダムマーカ位置のパターンを表示することと、
（ｉｉｉ）マーカが（ｉｉ）で生成された非ランダムマーカ位置の位置内に配置されていることを、カメラバーの視界内で検出することと、
（ｉｖ）（ｉｉｉ）において、マーカが非ランダムマーカ位置の位置内に配置されたことを、カメラバーの視界内で検出したことに応答して、視野内のマーカ及びマーカのそれぞれの位置を記録することと、
（ｖ）所定の数の異なるマーカ及びそれぞれのマーカ位置が記録されるまで、（ｉｉｉ）及び（ｉｖ）を繰り返すことと、
（ｖｉ）カメラバーの視野内で検出されたマーカを、記録されたマーカ及びそれらのそれぞれのマーカ位置と一致させて、カメラバーのポーズを取得することと、
（ｖｉｉ）（ｖｉ）を繰り返して、カメラバーのポーズを追跡することと、を行うように構成されている。
（ｉ）コンピュータシステムのディスプレイ上にカメラバーの視野の視界を表示することと、
（ｉｉ）視野内の位置を含む非ランダムマーカ位置のパターンを生成し、視野のカメラバーの視界とともに、コンピュータシステムのディスプレイ上に視野内の非ランダムマーカ位置のパターンを表示することと、
（ｉｉｉ）マーカが（ｉｉ）で生成された非ランダムマーカ位置の位置内に配置されていることを、カメラバーの視界内で検出することと、
（ｉｖ）（ｉｉｉ）において、マーカが非ランダムマーカ位置の位置内に配置されたことを、カメラバーの視界内で検出したことに応答して、視野内のマーカ及びマーカのそれぞれの位置を記録することと、
（ｖ）所定の数の異なるマーカ及びそれぞれのマーカ位置が記録されるまで、（ｉｉｉ）及び（ｉｖ）を繰り返すことと、
（ｖｉ）カメラバーの視野内で検出されたマーカを、記録されたマーカ及びそれらのそれぞれのマーカ位置と一致させて、カメラバーのポーズを取得することと、
（ｖｉｉ）（ｖｉ）を繰り返して、カメラバーのポーズを追跡することと、を行うように構成されている。
【0044】
利点は、カメラバーの視野内の非ランダムに位置決めされたマーカを、ディスプレイを見ている間にマーカを配置することができるたった１人の人によって迅速にセットアップすることができ、一方でコンピュータシステムは、その人がいつマーカを非ランダムマーカ位置に配置したかを検出することができることである。利点は、カメラバーの視野内で検出されたマーカを、記録されたマーカ及びそれらのそれぞれの非ランダムに位置決めされたマーカ位置と一致させることが計算上効率的であるため、非ランダムに位置決めされたマーカ位置が非常に明確であるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、計算のためのエネルギー要件を軽減する。利点は、カメラバーの視野内で検出されたマーカを、記録されたマーカ及びそれらのそれぞれの非ランダムに位置決めされたマーカ位置と一致させることが計算上効率的であるため、非ランダムに位置決めされたマーカ位置が非常に明確であるため、カメラバーのポーズを、リアルタイムで追跡することができることであり、それは、計算のための時間要件を軽減する。
【0045】
システムは、本発明の第１の態様のいずれかの態様の方法を実行するように構成されたものであってもよい。
【0046】
本発明の第３の態様によれば、コンピュータプログラム製品が提供されており、コンピュータプログラム製品は、ディスプレイを含むコンピュータシステム上で、
（ｉ）コンピュータシステムのディスプレイ上にカメラバーの視野の視界を表示することと、
（ｉｉ）視野内の位置を含む非ランダムマーカ位置のパターンを生成し、視野のカメラバーの視界とともに、コンピュータシステムのディスプレイ上に視野内の非ランダムマーカ位置のパターンを表示することと、
（ｉｉｉ）マーカが（ｉｉ）で生成された非ランダムマーカ位置の位置内に配置されていることを、カメラバーの視界内で検出することと、
（ｉｖ）（ｉｉｉ）において、マーカが非ランダムマーカ位置の位置内に配置されたことを、カメラバーの視界内で検出したことに応答して、視野内のマーカ及びマーカのそれぞれの位置を記録することと、
（ｖ）所定の数の異なるマーカ及びそれぞれのマーカ位置が記録されるまで、（ｉｉｉ）及び（ｉｖ）を繰り返すことと、
（ｖｉ）カメラバーの視野内で検出されたマーカを、記録されたマーカ及びそれらのそれぞれのマーカ位置と一致させて、カメラバーのポーズを取得することと、
（ｖｉｉ）（ｖｉ）を繰り返して、カメラバーのポーズを追跡することと、を行うように、実行可能である。
（ｉ）コンピュータシステムのディスプレイ上にカメラバーの視野の視界を表示することと、
（ｉｉ）視野内の位置を含む非ランダムマーカ位置のパターンを生成し、視野のカメラバーの視界とともに、コンピュータシステムのディスプレイ上に視野内の非ランダムマーカ位置のパターンを表示することと、
（ｉｉｉ）マーカが（ｉｉ）で生成された非ランダムマーカ位置の位置内に配置されていることを、カメラバーの視界内で検出することと、
（ｉｖ）（ｉｉｉ）において、マーカが非ランダムマーカ位置の位置内に配置されたことを、カメラバーの視界内で検出したことに応答して、視野内のマーカ及びマーカのそれぞれの位置を記録することと、
（ｖ）所定の数の異なるマーカ及びそれぞれのマーカ位置が記録されるまで、（ｉｉｉ）及び（ｉｖ）を繰り返すことと、
（ｖｉ）カメラバーの視野内で検出されたマーカを、記録されたマーカ及びそれらのそれぞれのマーカ位置と一致させて、カメラバーのポーズを取得することと、
（ｖｉｉ）（ｖｉ）を繰り返して、カメラバーのポーズを追跡することと、を行うように、実行可能である。
【0047】
利点は、カメラバーの視野内の非ランダムに位置決めされたマーカを、ディスプレイを見ている間にマーカを配置することができるたった１人の人によって迅速にセットアップすることができ、一方でコンピュータシステムは、その人がいつマーカを非ランダムマーカ位置に配置したかを検出することができることである。利点は、カメラバーの視野内で検出されたマーカを、記録されたマーカ及びそれらのそれぞれの非ランダムに位置決めされたマーカ位置と一致させることが計算上効率的であるため、非ランダムに位置決めされたマーカ位置が非常に明確であるため、カメラバーのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、計算のためのエネルギー要件を軽減する。利点は、カメラバーの視野内で検出されたマーカを、記録されたマーカ及びそれらのそれぞれの非ランダムに位置決めされたマーカ位置と一致させることが計算上効率的であるため、非ランダムに位置決めされたマーカ位置が非常に明確であるため、カメラバーのポーズを、リアルタイムで追跡することができることであり、それは、計算のための時間要件を軽減する。
【0048】
コンピュータプログラム製品は、コンピュータシステム上で、本発明の第１の態様のいずれかの態様の方法を実行するように、実行可能であり得る。
【0049】
本発明の第４の態様によれば、コンピュータ生成された３Ｄオブジェクトと、ビデオカメラからのビデオフィードと、を混合又は合成して、拡張現実ビデオをリアルタイムで生成するための方法が提供されており、
（ａ）ビデオカメラの本体を３Ｄで移動させることができ、ビデオカメラ内の、又はビデオカメラに直接若しくは間接的に取り付けられた６自由度にわたって感知する加速度計及びジャイロを含むセンサが、ビデオカメラの３Ｄ位置及び３Ｄ配向が計算されることを可能にするリアルタイムの位置決めデータを提供し、
（ｂ）例えば、立体視システムを形成する２つのカメラを含むカメラバーが、ビデオカメラに直接又は間接的に固定され、
（ｃ）次いで、当該リアルタイムの位置決めデータが、コンピュータ生成された３Ｄオブジェクトを作成、呼び出し、レンダリング、又は変更するために自動的に使用され、
（ｄ）次いで、結果として生じるコンピュータ生成された３Ｄオブジェクトが、ビデオカメラからのビデオフィードとリアルタイムで混合又は合成されて、例えば、テレビ放送、映画、又はビデオゲームのための拡張現実ビデオを提供し、
（ｅ）ビデオカメラの３Ｄ位置及び配向が、センサからのリアルタイム３Ｄ位置決めデータに加えて、例えば、立体視システムを形成する２つのカメラを含むカメラバーが視野を調査し、プロセッサ上で動作するソフトウェアが視野内の非ランダムに位置決めされたマーカを検出するために使用されるビデオフローを使用することによって、現実世界の３Ｄマップを参照して判定され、マーカ及びそれらの非ランダム位置が、プロセッサにおいて事前に記録され、現実世界の３Ｄマップに含まれ、マーカが、事前に手動又は人工的に当該視野に追加されている。
（ａ）ビデオカメラの本体を３Ｄで移動させることができ、ビデオカメラ内の、又はビデオカメラに直接若しくは間接的に取り付けられた６自由度にわたって感知する加速度計及びジャイロを含むセンサが、ビデオカメラの３Ｄ位置及び３Ｄ配向が計算されることを可能にするリアルタイムの位置決めデータを提供し、
（ｂ）例えば、立体視システムを形成する２つのカメラを含むカメラバーが、ビデオカメラに直接又は間接的に固定され、
（ｃ）次いで、当該リアルタイムの位置決めデータが、コンピュータ生成された３Ｄオブジェクトを作成、呼び出し、レンダリング、又は変更するために自動的に使用され、
（ｄ）次いで、結果として生じるコンピュータ生成された３Ｄオブジェクトが、ビデオカメラからのビデオフィードとリアルタイムで混合又は合成されて、例えば、テレビ放送、映画、又はビデオゲームのための拡張現実ビデオを提供し、
（ｅ）ビデオカメラの３Ｄ位置及び配向が、センサからのリアルタイム３Ｄ位置決めデータに加えて、例えば、立体視システムを形成する２つのカメラを含むカメラバーが視野を調査し、プロセッサ上で動作するソフトウェアが視野内の非ランダムに位置決めされたマーカを検出するために使用されるビデオフローを使用することによって、現実世界の３Ｄマップを参照して判定され、マーカ及びそれらの非ランダム位置が、プロセッサにおいて事前に記録され、現実世界の３Ｄマップに含まれ、マーカが、事前に手動又は人工的に当該視野に追加されている。
【0050】
利点は、カメラバーの視野内で検出されたマーカを記録されたマーカ及びそれらのそれぞれの非ランダムに位置決めされたマーカ位置と一致させることが計算上効率的であるため、非ランダムに位置決めされたマーカ位置が非常に明確であるため、ビデオカメラのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、計算のためのエネルギー要件を軽減する。利点は、カメラバーの視野内で検出されたマーカを記録されたマーカ及びそれらのそれぞれの非ランダムに位置決めされたマーカ位置と一致させることが計算上効率的であるため、非ランダムに位置決めされたマーカ位置が非常に明確であるため、ビデオカメラのポーズを、リアルタイムで追跡することができることであり、それは、計算のための時間要件を軽減する。
【0051】
方法は、本発明の第１の態様のいずれかの態様の方法を含む方法であり得る。
【0052】
本発明の第５の態様によれば、混合又は合成システムが提供されており、混合又は合成システムは、
（ｉ）ビデオカメラと、
（ｉｉ）６自由度にわたって感知する加速度計及びジャイロを含むセンサと、
（ｉｉｉ）例えば、立体視システムを形成する２つのカメラを含むカメラバーと、
（ｉｖ）プロセッサと、を含み、
コンピュータ生成された３Ｄオブジェクトと、ビデオカメラからのリアルタイムのビデオフィードとを混合又は合成して、例えば、テレビ放送、映画、又はビデオゲームのために拡張現実ビデオをリアルタイムで生成するために、
（ａ）ビデオカメラの本体を３Ｄで移動させることができ、ビデオカメラ内の、又はビデオカメラに直接若しくは間接的に取り付けられたセンサが、ビデオカメラの３Ｄ位置及び３Ｄ配向が計算されることを可能にするリアルタイムの位置決めデータを提供し、
（ｂ）例えば、立体視システムを形成する２つのカメラを含むカメラバーが、ビデオカメラに直接又は間接的に固定され、
（ｃ）システムが、当該リアルタイム位置決めデータを自動的に使用して、コンピュータ生成された３Ｄオブジェクトを作成、呼び出し、レンダリング、又は変更するように構成されており、
（ｄ）システムが、結果として生じるコンピュータ生成された３Ｄオブジェクトをリアルタイムでビデオカメラからのビデオフィードと混合又は合成して、例えば、テレビ放送、映画、又はビデオゲームのための拡張現実ビデオをリアルタイムで提供するように構成されており、
（ｅ）システムが、センサからのリアルタイム３Ｄ位置決めデータに加えて、例えば、立体視システムを形成する２つのカメラを含むカメラバーが視野を調査し、プロセッサ上で動作するソフトウェアが視野内の非ランダムに位置決めされたマーカを検出するように構成されているビデオフローを使用することによって、現実世界の３Ｄマップを参照してビデオカメラの３Ｄ位置及び配向を判定するように構成されており、マーカ及びそれらの非ランダム位置が、プロセッサにおいて事前に記録され、現実世界の３Ｄマップに含まれ、マーカが、事前に手動又は人工的に当該視野に追加されている。
（ｉ）ビデオカメラと、
（ｉｉ）６自由度にわたって感知する加速度計及びジャイロを含むセンサと、
（ｉｉｉ）例えば、立体視システムを形成する２つのカメラを含むカメラバーと、
（ｉｖ）プロセッサと、を含み、
コンピュータ生成された３Ｄオブジェクトと、ビデオカメラからのリアルタイムのビデオフィードとを混合又は合成して、例えば、テレビ放送、映画、又はビデオゲームのために拡張現実ビデオをリアルタイムで生成するために、
（ａ）ビデオカメラの本体を３Ｄで移動させることができ、ビデオカメラ内の、又はビデオカメラに直接若しくは間接的に取り付けられたセンサが、ビデオカメラの３Ｄ位置及び３Ｄ配向が計算されることを可能にするリアルタイムの位置決めデータを提供し、
（ｂ）例えば、立体視システムを形成する２つのカメラを含むカメラバーが、ビデオカメラに直接又は間接的に固定され、
（ｃ）システムが、当該リアルタイム位置決めデータを自動的に使用して、コンピュータ生成された３Ｄオブジェクトを作成、呼び出し、レンダリング、又は変更するように構成されており、
（ｄ）システムが、結果として生じるコンピュータ生成された３Ｄオブジェクトをリアルタイムでビデオカメラからのビデオフィードと混合又は合成して、例えば、テレビ放送、映画、又はビデオゲームのための拡張現実ビデオをリアルタイムで提供するように構成されており、
（ｅ）システムが、センサからのリアルタイム３Ｄ位置決めデータに加えて、例えば、立体視システムを形成する２つのカメラを含むカメラバーが視野を調査し、プロセッサ上で動作するソフトウェアが視野内の非ランダムに位置決めされたマーカを検出するように構成されているビデオフローを使用することによって、現実世界の３Ｄマップを参照してビデオカメラの３Ｄ位置及び配向を判定するように構成されており、マーカ及びそれらの非ランダム位置が、プロセッサにおいて事前に記録され、現実世界の３Ｄマップに含まれ、マーカが、事前に手動又は人工的に当該視野に追加されている。
【0053】
利点は、カメラバーの視野内で検出されたマーカを記録されたマーカ及びそれらのそれぞれの非ランダムに位置決めされたマーカ位置と一致させることが計算上効率的であるため、非ランダムに位置決めされたマーカ位置が非常に明確であるため、ビデオカメラのポーズを、より少ないエネルギーを使用して追跡することができることであり、それは、計算のためのエネルギー要件を軽減する。利点は、カメラバーの視野内で検出されたマーカを記録されたマーカ及びそれらのそれぞれの非ランダムに位置決めされたマーカ位置と一致させることが計算上効率的であるため、非ランダムに位置決めされたマーカ位置が非常に明確であるため、ビデオカメラのポーズを、リアルタイムで追跡することができることであり、それは、計算のための時間要件を軽減する。
【0054】
システムは、本発明の第２の態様のいずれかの態様のシステムを含むものであり得る。
【0055】
本発明の第６の態様によれば、本発明の第４の態様のいずれかの態様の方法を使用して作成されたビデオのビデオファイルが提供されている。
【0056】
本発明の第７の態様によれば、本発明の第４の態様のいずれかの態様の方法を使用して作成されたビデオのビデオストリームが提供されている。
【0057】
本発明の態様は、組み合わされてもよい。
【図面の簡単な説明】
【0058】
ここで、例として、以下の図を参照して、本発明の態様を説明する。
【0059】
【図1】視野を見るカメラバーの例を示し、視野はインジケータを含む。
【図2】視野を見るカメラバーの例を示し、視野はインジケータを含み、視野には非ランダムマーカ位置のセットが示されており、非ランダムマーカ位置のセットは、インジケータから開始するスパイラル上にある。
【図3】非ランダムスパイラルパターンが最初に生成されたときの、コンピュータシステムのディスプレイに提示される例示的なユーザインターフェースを示し、カメラバーは、非ランダムパターンの要素に向けられており、ディスプレイは、非ランダムパターンの要素を含むライブビデオストリームを示す。非ランダムパターンの要素は、ユーザを案内するために、ビデオストリームの上にオーバレイされている。
【図5】非ランダム準結晶パターンが最初に生成されたときの、コンピュータシステムのディスプレイに提示される例示的なユーザインターフェースを示し、カメラバーは、非ランダムパターンの要素に向けられており、ディスプレイは、非ランダムパターンの要素を含むライブビデオストリームを示す。非ランダムパターンの要素は、ユーザを案内するために、ビデオストリームの上にオーバレイされている。
【発明を実施するための形態】
【0060】
非ランダムに位置決めされたマーカのセットアップ及び追跡
概要
現実世界のビデオが仮想オブジェクトと混合されるビデオメディア（例えば、ビデオファイル、又はリアルタイムビデオ）を作成するとき、例えば、仮想３Ｄオブジェクト（例えば、プロップ）を作成するとき、ニュースプレゼンタは、ニュース番組又はニュースセグメント内を歩き回ることができ、又は例えば、コンピュータ生成モンスタを映画セットのビデオに追加することができ、現実世界のカメラが動くにつれて、現実世界のカメラの位置を追跡する必要があり、それによりグラフィックを現実的に追加することができる。一例では、現実世界のカメラに固定して取り付けられたステレオビジョンカメラバーを使用し、そこで、カメラバーは、カメラバーが取り付けられている現実世界のカメラの位置を追跡するために、立体視構成において一定の距離離れて装着された２つのカメラを含み、カメラバーは、カメラバー視野内の以前に記録された非ランダムに位置決めされマーカを検出して、カメラバーの位置を推測するために使用され得る。カメラバーの視野は、現実世界のカメラの視野とまったく一致しなくてもよい。カメラバーの視野は、現実世界のカメラの視野と部分的に重複してもよい。カメラバーの視野は、現実世界のカメラの視野の全体を含んでもよい。一例では、カメラバーから見ることができる３Ｄ空間に意図的に追加された合成マーカを使用し、それにより、合成マーカをカメラバーの作業空間内で（例えば、カメラバーの最大視野内で）見ることができる。合成マーカは、画像内でのそれらの検出を助けるために、特定の形状、及び／若しくは色を有してもよく、並びに／又は特定の材料で作成されてもよい。本明細書では、それらをマーカと呼ぶ。一例では、使用されるマーカは、外観において互いに著しく異ならない。一例では、使用されるマーカは、ほぼ球形である。一例では、マーカは、スパイラル上に分布している。一例では、マーカは、準結晶格子上に分布している。一例では、マーカは、非周期性グリッド上、又は周期性グリッド上、又は非周期性格子上、又は周期性格子上に分布している。一例では、マーカは、一組の非交差閉曲線上、例えば、一組の同心円上に分布している。閉曲線は、開始点及び終了点が同じ曲線である。一例では、マーカは、交差しない開曲線のセット上、例えば、同心半円のセット上に分布している。開曲線は、開始点及び終了点が異なる曲線である。
概要
現実世界のビデオが仮想オブジェクトと混合されるビデオメディア（例えば、ビデオファイル、又はリアルタイムビデオ）を作成するとき、例えば、仮想３Ｄオブジェクト（例えば、プロップ）を作成するとき、ニュースプレゼンタは、ニュース番組又はニュースセグメント内を歩き回ることができ、又は例えば、コンピュータ生成モンスタを映画セットのビデオに追加することができ、現実世界のカメラが動くにつれて、現実世界のカメラの位置を追跡する必要があり、それによりグラフィックを現実的に追加することができる。一例では、現実世界のカメラに固定して取り付けられたステレオビジョンカメラバーを使用し、そこで、カメラバーは、カメラバーが取り付けられている現実世界のカメラの位置を追跡するために、立体視構成において一定の距離離れて装着された２つのカメラを含み、カメラバーは、カメラバー視野内の以前に記録された非ランダムに位置決めされマーカを検出して、カメラバーの位置を推測するために使用され得る。カメラバーの視野は、現実世界のカメラの視野とまったく一致しなくてもよい。カメラバーの視野は、現実世界のカメラの視野と部分的に重複してもよい。カメラバーの視野は、現実世界のカメラの視野の全体を含んでもよい。一例では、カメラバーから見ることができる３Ｄ空間に意図的に追加された合成マーカを使用し、それにより、合成マーカをカメラバーの作業空間内で（例えば、カメラバーの最大視野内で）見ることができる。合成マーカは、画像内でのそれらの検出を助けるために、特定の形状、及び／若しくは色を有してもよく、並びに／又は特定の材料で作成されてもよい。本明細書では、それらをマーカと呼ぶ。一例では、使用されるマーカは、外観において互いに著しく異ならない。一例では、使用されるマーカは、ほぼ球形である。一例では、マーカは、スパイラル上に分布している。一例では、マーカは、準結晶格子上に分布している。一例では、マーカは、非周期性グリッド上、又は周期性グリッド上、又は非周期性格子上、又は周期性格子上に分布している。一例では、マーカは、一組の非交差閉曲線上、例えば、一組の同心円上に分布している。閉曲線は、開始点及び終了点が同じ曲線である。一例では、マーカは、交差しない開曲線のセット上、例えば、同心半円のセット上に分布している。開曲線は、開始点及び終了点が異なる曲線である。
【0061】
本明細書では、マーカをカメラバーによって見ることができるマーカの非ランダム配置を使用して、カメラのポーズ（カメラのポーズは通常、カメラの回転及びカメラの平行移動、すなわち６つの自由度を含む）を追跡するための方法及びシステムについて説明する。マーカは、非ランダムの、事前定義された位置に意図的に配置される。一例では、そのような非ランダム、事前定義された位置は、ユーザセットアップのための明瞭さ及び単純さを提供し得、また、改善された追跡品質をもたらすソフトウェア計算の予測可能性を提供し得るコンピュータ上で実行する（例えば、Ｎｃａｍ）ソフトウェアによって指示される。
【0062】
セットアップ
一例のセットアップでは、コンピュータシステムを使用するユーザは、単一の単眼カメラを追跡しようと試み、カメラは、画像センサアレイ及びレンズを含み、レンズは、画像光を画像センサアレイ上に焦点を合わせるように配置される。しかしながら、カメラが互いに一定の相対位置にある任意の数のカメラで同時に追跡セットアップを使用することもできる。カメラが互いに一定の相対位置にあるカメラのこの配置を、カメラバーと呼び、カメラバーのカメラは、同じ、又は非常に類似した視野を画像化するように配置される。カメラバーの一例では、２つのカメラが、互いから一定の距離でバー上に配置され、カメラは、同じ、又は非常に類似した視野を画像化するように配置される。カメラバーの一例では、３つのカメラが、互いから一定の距離で、支持体上で三角形（例えば、正三角形）に配置され、カメラは、同じ、又は非常に類似した視野を画像化するように配置される。最も単純なケースでは、カメラバーは、単一のカメラを備える。より単純ではないケースでは、カメラバーは、互いに一定の相対位置にある複数のカメラを備え、カメラは、同じ、又は非常に類似した視野を画像化するように配置される。
一例のセットアップでは、コンピュータシステムを使用するユーザは、単一の単眼カメラを追跡しようと試み、カメラは、画像センサアレイ及びレンズを含み、レンズは、画像光を画像センサアレイ上に焦点を合わせるように配置される。しかしながら、カメラが互いに一定の相対位置にある任意の数のカメラで同時に追跡セットアップを使用することもできる。カメラが互いに一定の相対位置にあるカメラのこの配置を、カメラバーと呼び、カメラバーのカメラは、同じ、又は非常に類似した視野を画像化するように配置される。カメラバーの一例では、２つのカメラが、互いから一定の距離でバー上に配置され、カメラは、同じ、又は非常に類似した視野を画像化するように配置される。カメラバーの一例では、３つのカメラが、互いから一定の距離で、支持体上で三角形（例えば、正三角形）に配置され、カメラは、同じ、又は非常に類似した視野を画像化するように配置される。最も単純なケースでは、カメラバーは、単一のカメラを備える。より単純ではないケースでは、カメラバーは、互いに一定の相対位置にある複数のカメラを備え、カメラは、同じ、又は非常に類似した視野を画像化するように配置される。
【0063】
マーカのセットアップは、以下の３つのステップを含み得る。
【0064】
初期マーカ配置
一例では、ユーザのための最初のステップは、カメラバーのカメラをマーカで飾りたいエリアに向けることである。このエリアの一部は、撮影中にカメラバーの移動領域から常に（又はほぼ常に）はっきりと見えるようにする必要がある。次に、ユーザは、インジケータ（例えば、基準マーカ又は単一のマーカ）を配置して、マーカの非ランダム配置の配置の開始を示す。例が、図１に示されている。基準マーカ又は基準は、参照点又は尺度として使用するために、作成された画像に現れる画像化システムの視野内に配置されたオブジェクトである。
一例では、ユーザのための最初のステップは、カメラバーのカメラをマーカで飾りたいエリアに向けることである。このエリアの一部は、撮影中にカメラバーの移動領域から常に（又はほぼ常に）はっきりと見えるようにする必要がある。次に、ユーザは、インジケータ（例えば、基準マーカ又は単一のマーカ）を配置して、マーカの非ランダム配置の配置の開始を示す。例が、図１に示されている。基準マーカ又は基準は、参照点又は尺度として使用するために、作成された画像に現れる画像化システムの視野内に配置されたオブジェクトである。
【0065】
次に、コンピュータ上で実行される（例えば、Ｎｃａｍ）ソフトウェアは、初期インジケータを使用してマーカの許容位置を生成し、ディスプレイを含むコンピュータシステム（例えば、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、又はスマートフォン）によって表示されるユーザインターフェース内のカメラバー視野にマーカの許容位置をユーザに表示し、それによりユーザは、カメラバー視野内のどこにマーカを配置するかを知ることができる。
【0066】
ユーザが撮影しているエリアのサイズに応じて、通常使用されるマーカの数は異なる。例えば、最も小さなスペース（おおよそ５ｍ２）における２０～５０個のマーカから、はるかに大きなスペース（おおよそ８０ｍ２）における２００～５００個のマーカまである。
【0067】
通常、カメラバーの視野は、例えあったとしても、ほとんどのシナリオにおいて全てのマーカを同時に見ることはほとんどないので、カメラバーは、これらのマーカのサブセットを見るのみである。マーカの明確に定義されたパターンは、典型的には、特定のマーカパターンは、ユニークなポーズから、又は限られたポーズのセットからのみ見ることができるので、カメラバーのポーズを判定する信頼性を向上させる。これは、非ランダムに配置されたマーカの位置から推測されるとき、カメラバーのポーズの曖昧さの可能性の範囲を縮小する。
【0068】
パターン生成
マーカの非ランダム配置は、１つ以上の十分に定義された決定論的な式に渡すことができるパラメータのセットから生成され得る。例えば、そのような式の１つは、スパイラルパターンを生成することができ、使用されるパラメータは、初期マーカの位置、メートル単位での床の上のカメラバーの高さ、及び度単位でのカメラバーの配向（例えば、（例えば、球面）座標系における傾斜角及び方位角）を含むことができる。例が、図２に示されている。
マーカの非ランダム配置は、１つ以上の十分に定義された決定論的な式に渡すことができるパラメータのセットから生成され得る。例えば、そのような式の１つは、スパイラルパターンを生成することができ、使用されるパラメータは、初期マーカの位置、メートル単位での床の上のカメラバーの高さ、及び度単位でのカメラバーの配向（例えば、（例えば、球面）座標系における傾斜角及び方位角）を含むことができる。例が、図２に示されている。
【0069】
一例では、マーカは、連続微分可能な（Ｃ１）連続経路又は関数によって表される経路上にある。一例では、マーカの位置と交差する３Ｄ経路が連続した連続微分可能な（Ｃ１）経路又は関数である場合、マーカの配置はランダムではない。一例では、マーカは、滑らかな連続経路又は関数によって表される経路上にある。一例では、マーカの位置と交差する３Ｄ経路が滑らかな連続経路又は関数である場合、マーカの配置はランダムではない。一例では、マーカ位置は、経路に沿って等間隔に離間されている。
【0070】
ここでは、非ランダムに位置決めされたマーカのパターンの多くの式が可能であるが、いくつかのパターンは他のパターンよりもうまく機能する。効果的なパターンを定義するものは、主に次の要因に帰着する。
●カメラが移動されるエリアから観察することができるマーカの分布の均一性。これは、カメラバーがマーカのないエリアを決して見ないことを保証するためであり、したがってその位置を失うことはない。
●カメラバーの視野内のパターンの一意性。これにより、コンピュータ上で実行される追跡ソフトウェアは、視界内のマーカのパターンが１つの視点から、又は限られた数の視点からのみ可能であるため、マーカが新たに識別される位置（「コールドスタート」）からその位置を迅速に判定することが可能になる。
●いつでも視界に入るマーカの数。視界内のマーカの数が多いほど、追跡がより堅牢になる。しかしながら、視界内のマーカが多すぎると、セットアップ時間が長くなる。したがって、妥当な数の密度のマーカを使用するパターンが望ましい。
●カメラが移動されるエリアから観察することができるマーカの分布の均一性。これは、カメラバーがマーカのないエリアを決して見ないことを保証するためであり、したがってその位置を失うことはない。
●カメラバーの視野内のパターンの一意性。これにより、コンピュータ上で実行される追跡ソフトウェアは、視界内のマーカのパターンが１つの視点から、又は限られた数の視点からのみ可能であるため、マーカが新たに識別される位置（「コールドスタート」）からその位置を迅速に判定することが可能になる。
●いつでも視界に入るマーカの数。視界内のマーカの数が多いほど、追跡がより堅牢になる。しかしながら、視界内のマーカが多すぎると、セットアップ時間が長くなる。したがって、妥当な数の密度のマーカを使用するパターンが望ましい。
【0071】
要件を十分に満たし得る非ランダムに位置決めされたマーカの別のパターンは、順序付けられているが周期的ではないパターンである準結晶のパターンである。
【0072】
コンピュータシステムのディスプレイに提示されるユーザインターフェースは、非ランダムスパイラルパターンが最初に生成されたときに図３の画像のように見えてもよく、カメラバーは、非ランダムパターンの要素に向けられており、ユーザは、非ランダムパターンの要素を含むライブビデオストリームを見る。非ランダムパターンの要素（例えば、赤い円など）は、ユーザを案内するために、ビデオストリームの上にオーバレイされている。（注：カメラバーステレオカメラは、図３のユーザインターフェース（ＵＩ）では「ウィットネス」カメラと呼ばれている）。図３の例では、初期マーカが画像の中央に示されている。
【0073】
コンピュータシステムのディスプレイに提示されるユーザインターフェースは、非ランダム準結晶パターンが最初に生成されたときに図５の画像のように見えてもよく、カメラバーは、非ランダムパターンの要素に向けられており、ユーザは、非ランダムパターンの要素を含むライブビデオストリームを見る。非ランダムパターンの要素（例えば、赤い円など）は、ユーザを案内するために、ビデオストリームの上にオーバレイされている。（注：カメラバーステレオカメラは、図５のユーザインターフェース（ＵＩ）では「ウィットネス」カメラと呼ばれている）。図５の例では、初期マーカが画像の中央に示されている。
【0074】
追跡スペースの残りのカバーリング
特定の数のマーカが非ランダムパターンに配置されると、一部のマーカがまだ見えている限り、カメラバーの動きを追跡することができる。一例では、ユーザインターフェースは、マーカが正しい位置に配置されたこと、及び最小量のマーカが達成されたかどうかをユーザに通知する。いくつかのマーカ（黒い塗りつぶした円）が非ランダムスパイラルパターンに配置された例が、図４に示されている。図４の例では、初期マーカが画像の中央に示されている。いくつかのマーカ（黒い塗りつぶした円）が非ランダム準結晶パターンに配置された例が、図６に示されている。図６の例では、初期マーカが画像の中央に示されている。一例では、マーカがそれらの中で検出されたときに、パターンの要素は色を変えてもよい（例えば、赤から緑に変わってもよい）。
特定の数のマーカが非ランダムパターンに配置されると、一部のマーカがまだ見えている限り、カメラバーの動きを追跡することができる。一例では、ユーザインターフェースは、マーカが正しい位置に配置されたこと、及び最小量のマーカが達成されたかどうかをユーザに通知する。いくつかのマーカ（黒い塗りつぶした円）が非ランダムスパイラルパターンに配置された例が、図４に示されている。図４の例では、初期マーカが画像の中央に示されている。いくつかのマーカ（黒い塗りつぶした円）が非ランダム準結晶パターンに配置された例が、図６に示されている。図６の例では、初期マーカが画像の中央に示されている。一例では、マーカがそれらの中で検出されたときに、パターンの要素は色を変えてもよい（例えば、赤から緑に変わってもよい）。
【0075】
カメラバーポーズ追跡が機能すると、３Ｄ空間のシーンにパターンをロックすることができる。これにより、ユーザが移動エリアの周りでカメラバーを徐々に動かすこと、及び追加のマーカを配置する際のガイダンスを受けることが可能になる。移動エリアがマーカで十分に覆われると、ユーザはセットアッププロセスを終了し、カメラバーポーズを自信を持って追跡することができる。
【0076】
以下は、カメラバーが、既知の３Ｄ経路、例えば、Ｃ１（滑らかさ係数）に、又は既知の３Ｄ位置（例えば、準結晶格子位置）にセットアップされたマーカを見るときに、カメラバーのポーズをしっかりと抽出するために使用される例示的なアルゴリズムについて説明する。
【0077】
カメラバーポーズの計算
以下の例示的な疑似アルゴリズム又は方法は、カメラバーに装着されたカメラの数に応じて異なる。
以下の例示的な疑似アルゴリズム又は方法は、カメラバーに装着されたカメラの数に応じて異なる。
【0078】
疑似アルゴリズム又は方法：２～ｎ（複数の）カメラのケース
これは、カメラバーによって見えるマーカのサブセット（例えば、８以上）のみを必要とする、瞬間的な追跡／再ローカリゼーションアルゴリズムである。カメラバーからのいずれか特定の動きは必要ない。これは、次のステップを含む。
１．マーカ抽出アルゴリズム（例えば、ブロブ（ｂｌｏｂ）抽出など）を使用して画像上のマーカの２Ｄ位置を検出するステップ
２．検出された２Ｄマーカ位置の３Ｄ位置を計算するステップ、ここでカメラバーは、カメラバー座標系を使用して、完全に較正されている（例えば、その本質的な（例えば、その２つのカメラ間の距離）及び非本質的な（例えば、その傾斜角及び方位角）パラメータを使用して）。
３．３Ｄ構築されたマーカを、世界座標系における３Ｄ経路が既知であるマーカの３Ｄ経路に、又は世界座標系におけるマーカの３Ｄ位置が既知であるマーカの３Ｄ位置に一致させるステップ。
ａ．３Ｄ点のセットを、ノイズに強いマーカの３Ｄ経路又はマーカの３Ｄ位置に適合させる（例えば、反復最近点（ＩＣＰ）適合又は同様のもの若しくは曲線適合、又は更には、減衰最小二乗（ＤＬＳ）法としても知られるレーベンバーグ・マルカートアルゴリズム（ＬＭＡ若しくは単にＬＭ）などの非線形最小化手法、又はガウス・ニュートン（ガウス・ニュートンアルゴリズムは、非線形最小二乗問題を解くために使用される）等を使用して）。次いで、ソリューションは、カメラバーポーズ（例えば、６つの自由度：位置、配向）を表すリー群のＳＥ（３）としてモデル化される。物理的に、ＳＥ（３）（三次元における特殊ユークリッド群）は、ベクトルの同時回転及び平行移動の群である。それは、ロボット工学及び一般的な運動学で使用されている。ＳＥ（３）は、ベクトルを１つのフレームから別のフレームに移動させる。
ｂ．世界座標系でのカメラバーのポーズをフィットから抽出する。
これは、カメラバーによって見えるマーカのサブセット（例えば、８以上）のみを必要とする、瞬間的な追跡／再ローカリゼーションアルゴリズムである。カメラバーからのいずれか特定の動きは必要ない。これは、次のステップを含む。
１．マーカ抽出アルゴリズム（例えば、ブロブ（ｂｌｏｂ）抽出など）を使用して画像上のマーカの２Ｄ位置を検出するステップ
２．検出された２Ｄマーカ位置の３Ｄ位置を計算するステップ、ここでカメラバーは、カメラバー座標系を使用して、完全に較正されている（例えば、その本質的な（例えば、その２つのカメラ間の距離）及び非本質的な（例えば、その傾斜角及び方位角）パラメータを使用して）。
３．３Ｄ構築されたマーカを、世界座標系における３Ｄ経路が既知であるマーカの３Ｄ経路に、又は世界座標系におけるマーカの３Ｄ位置が既知であるマーカの３Ｄ位置に一致させるステップ。
ａ．３Ｄ点のセットを、ノイズに強いマーカの３Ｄ経路又はマーカの３Ｄ位置に適合させる（例えば、反復最近点（ＩＣＰ）適合又は同様のもの若しくは曲線適合、又は更には、減衰最小二乗（ＤＬＳ）法としても知られるレーベンバーグ・マルカートアルゴリズム（ＬＭＡ若しくは単にＬＭ）などの非線形最小化手法、又はガウス・ニュートン（ガウス・ニュートンアルゴリズムは、非線形最小二乗問題を解くために使用される）等を使用して）。次いで、ソリューションは、カメラバーポーズ（例えば、６つの自由度：位置、配向）を表すリー群のＳＥ（３）としてモデル化される。物理的に、ＳＥ（３）（三次元における特殊ユークリッド群）は、ベクトルの同時回転及び平行移動の群である。それは、ロボット工学及び一般的な運動学で使用されている。ＳＥ（３）は、ベクトルを１つのフレームから別のフレームに移動させる。
ｂ．世界座標系でのカメラバーのポーズをフィットから抽出する。
【0079】
疑似アルゴリズム又は方法：単眼カメラバーのケース
この手法では、カメラバーに動きを適用する必要がある。
それは、動きの終わりのカメラバー位置からマーカの相対的な３Ｄ位置を計算し、次に、完全に知られているマーカの３Ｄ経路を使用して、又は完全に知られているマーカの３Ｄ位置を使用して、カメラバーの絶対的なポーズを計算するために使用される。
１．連続するフレーム上でマーカ抽出アルゴリズム（例えば、ブロブ抽出など）を使用して画像上のマーカの２Ｄ位置を検出し、最も近い隣接するマッチングを使用して、シーケンスを通してマーカにラベル付けする。
２．例えば、ｏｐｅｎｃｖライブラリを使用して、ロバスト抽出器（例えば、外れ値を含むデータセットから数学モデルを推定するための反復方法であるランダムサンプルコンセンサス、又はＲＡＮＳＡＣ）を使用して必須行列を抽出し、シーケンスの最初のフレームから最後のフレームまでの回転及び平行移動（スケールまで）を抽出する。
３．カメラバーの本質的なパラメータが完全に較正されている（例えば、焦点距離が較正されている）ため、検出された２Ｄマーカ位置の３Ｄ位置（スケール係数Ｓまで）を計算する。
４．３Ｄ構築されたスケーリングされたマーカの３Ｄ経路へのマッチング、ここで世界座標系における３Ｄ経路が既知である、又は３Ｄ構築されたスケーリングされたマーカの３Ｄマーカ位置へのマッチング、ここで世界座標系における３Ｄマーカ位置が既知である。
ａ．３Ｄ点のセットを、ノイズに強い３Ｄ経路又は３Ｄ位置に適合させる（例えば、反復最近点（ＩＣＰ）適合又は同様のもの若しくは曲線適合、又は更には、減衰最小二乗（ＤＬＳ）法としても知られるレーベンバーグ・マルカートアルゴリズム（ＬＭＡ若しくは単にＬＭ）などの非線形最小化手法、又はガウス・ニュートン（ガウス・ニュートンアルゴリズムは、非線形最小二乗問題を解くために使用される）等を使用して）。スケール係数は、最小化手法によって解かれる問題に対するもう１つの変数である。次いで、ソリューションは、類似性（７つの自由度：スケール、位置、配向）を表すリー群のＳＩＭ（３）としてモデル化される。ＳＩＭ（３）は、３Ｄ空間における相似変換の群であり、半直積ＳＥ（３）Ｘ Ｒ＊である。７つの自由度を有し、３つは平行移動、３つは回転、１つはスケールである。
ｂ．世界座標系でのカメラバーのポーズをフィットから抽出する。
この手法では、カメラバーに動きを適用する必要がある。
それは、動きの終わりのカメラバー位置からマーカの相対的な３Ｄ位置を計算し、次に、完全に知られているマーカの３Ｄ経路を使用して、又は完全に知られているマーカの３Ｄ位置を使用して、カメラバーの絶対的なポーズを計算するために使用される。
１．連続するフレーム上でマーカ抽出アルゴリズム（例えば、ブロブ抽出など）を使用して画像上のマーカの２Ｄ位置を検出し、最も近い隣接するマッチングを使用して、シーケンスを通してマーカにラベル付けする。
２．例えば、ｏｐｅｎｃｖライブラリを使用して、ロバスト抽出器（例えば、外れ値を含むデータセットから数学モデルを推定するための反復方法であるランダムサンプルコンセンサス、又はＲＡＮＳＡＣ）を使用して必須行列を抽出し、シーケンスの最初のフレームから最後のフレームまでの回転及び平行移動（スケールまで）を抽出する。
３．カメラバーの本質的なパラメータが完全に較正されている（例えば、焦点距離が較正されている）ため、検出された２Ｄマーカ位置の３Ｄ位置（スケール係数Ｓまで）を計算する。
４．３Ｄ構築されたスケーリングされたマーカの３Ｄ経路へのマッチング、ここで世界座標系における３Ｄ経路が既知である、又は３Ｄ構築されたスケーリングされたマーカの３Ｄマーカ位置へのマッチング、ここで世界座標系における３Ｄマーカ位置が既知である。
ａ．３Ｄ点のセットを、ノイズに強い３Ｄ経路又は３Ｄ位置に適合させる（例えば、反復最近点（ＩＣＰ）適合又は同様のもの若しくは曲線適合、又は更には、減衰最小二乗（ＤＬＳ）法としても知られるレーベンバーグ・マルカートアルゴリズム（ＬＭＡ若しくは単にＬＭ）などの非線形最小化手法、又はガウス・ニュートン（ガウス・ニュートンアルゴリズムは、非線形最小二乗問題を解くために使用される）等を使用して）。スケール係数は、最小化手法によって解かれる問題に対するもう１つの変数である。次いで、ソリューションは、類似性（７つの自由度：スケール、位置、配向）を表すリー群のＳＩＭ（３）としてモデル化される。ＳＩＭ（３）は、３Ｄ空間における相似変換の群であり、半直積ＳＥ（３）Ｘ Ｒ＊である。７つの自由度を有し、３つは平行移動、３つは回転、１つはスケールである。
ｂ．世界座標系でのカメラバーのポーズをフィットから抽出する。
【0080】
アプリケーション
コンピュータ生成された３Ｄオブジェクトと、ビデオカメラからのビデオフィードと、を混合又は合成して、拡張現実ビデオをリアルタイムで生成するための方法であって、
（ａ）ビデオカメラの本体を３Ｄで移動させることができ、ビデオカメラ内の、又はビデオカメラに直接若しくは間接的に取り付けられた６自由度にわたって感知する加速度計及びジャイロを含むセンサが、ビデオカメラの３Ｄ位置及び３Ｄ配向が計算されることを可能にするリアルタイムの位置決めデータを提供し、
（ｂ）例えば、立体視システムを形成する２つのカメラを含むカメラバーが、ビデオカメラに直接又は間接的に固定され、
（ｃ）次いで、当該リアルタイムの位置決めデータが、コンピュータ生成された３Ｄオブジェクトを作成、呼び出し、レンダリング、又は変更するために自動的に使用され、
（ｄ）次いで、結果として生じるコンピュータ生成された３Ｄオブジェクトが、ビデオカメラからのビデオフィードとリアルタイムで混合又は合成されて、例えば、テレビ放送、映画、又はビデオゲームのための拡張現実ビデオを提供し、
（ｅ）ビデオカメラの３Ｄ位置及び配向が、センサからのリアルタイム３Ｄ位置決めデータに加えて、例えば、立体視システムを形成する２つのカメラを含むカメラバーが視野を調査し、プロセッサ上で動作するソフトウェアが視野内の非ランダムに位置決めされたマーカを検出するために使用されるビデオフローを使用することによって、現実世界の３Ｄマップを参照して判定され、マーカ及びそれらの非ランダム位置が、プロセッサにおいて事前に記録され、現実世界の３Ｄマップに含まれ、マーカが、事前に手動又は人工的に当該視野に追加されている、方法。非ランダムに位置決めされたマーカは、本明細書の他の箇所で説明されるように、非ランダムに位置決めされたマーカであってもよい。カメラバーの視野は、ビデオカメラの視野とまったく一致しない場合がある。カメラバーの視野は、ビデオカメラの視野と部分的に重複してもよい。カメラバーの視野は、ビデオカメラの視野の全体を含んでもよい。
コンピュータ生成された３Ｄオブジェクトと、ビデオカメラからのビデオフィードと、を混合又は合成して、拡張現実ビデオをリアルタイムで生成するための方法であって、
（ａ）ビデオカメラの本体を３Ｄで移動させることができ、ビデオカメラ内の、又はビデオカメラに直接若しくは間接的に取り付けられた６自由度にわたって感知する加速度計及びジャイロを含むセンサが、ビデオカメラの３Ｄ位置及び３Ｄ配向が計算されることを可能にするリアルタイムの位置決めデータを提供し、
（ｂ）例えば、立体視システムを形成する２つのカメラを含むカメラバーが、ビデオカメラに直接又は間接的に固定され、
（ｃ）次いで、当該リアルタイムの位置決めデータが、コンピュータ生成された３Ｄオブジェクトを作成、呼び出し、レンダリング、又は変更するために自動的に使用され、
（ｄ）次いで、結果として生じるコンピュータ生成された３Ｄオブジェクトが、ビデオカメラからのビデオフィードとリアルタイムで混合又は合成されて、例えば、テレビ放送、映画、又はビデオゲームのための拡張現実ビデオを提供し、
（ｅ）ビデオカメラの３Ｄ位置及び配向が、センサからのリアルタイム３Ｄ位置決めデータに加えて、例えば、立体視システムを形成する２つのカメラを含むカメラバーが視野を調査し、プロセッサ上で動作するソフトウェアが視野内の非ランダムに位置決めされたマーカを検出するために使用されるビデオフローを使用することによって、現実世界の３Ｄマップを参照して判定され、マーカ及びそれらの非ランダム位置が、プロセッサにおいて事前に記録され、現実世界の３Ｄマップに含まれ、マーカが、事前に手動又は人工的に当該視野に追加されている、方法。非ランダムに位置決めされたマーカは、本明細書の他の箇所で説明されるように、非ランダムに位置決めされたマーカであってもよい。カメラバーの視野は、ビデオカメラの視野とまったく一致しない場合がある。カメラバーの視野は、ビデオカメラの視野と部分的に重複してもよい。カメラバーの視野は、ビデオカメラの視野の全体を含んでもよい。
【0081】
混合又は合成システムであって、
（ｉ）ビデオカメラと、
（ｉｉ）６自由度にわたって感知する加速度計及びジャイロを含むセンサと、
（ｉｉｉ）例えば、立体視システムを形成する２つのカメラを含むカメラバーと、
（ｉｖ）プロセッサと、を含み、
コンピュータ生成された３Ｄオブジェクトと、ビデオカメラからのリアルタイムのビデオフィードとを混合又は合成して、例えば、テレビ放送、映画、又はビデオゲームのための拡張現実ビデオをリアルタイムで生成するために、
（ａ）ビデオカメラの本体を３Ｄで移動させることができ、ビデオカメラ内の、又はビデオカメラに直接若しくは間接的に取り付けられたセンサが、ビデオカメラの３Ｄ位置及び３Ｄ配向が計算されることを可能にするリアルタイムの位置決めデータを提供し、
（ｂ）例えば、立体視システムを形成する２つのカメラを含むカメラバーが、ビデオカメラに直接又は間接的に固定され、
（ｃ）システムが、当該リアルタイム位置決めデータを自動的に使用して、コンピュータ生成された３Ｄオブジェクトを作成、呼び出し、レンダリング、又は変更するように構成されており、
（ｄ）システムが、結果として生じるコンピュータ生成された３Ｄオブジェクトをリアルタイムでビデオカメラからのビデオフィードと混合又は合成して、例えば、テレビ放送、映画、又はビデオゲームのための拡張現実ビデオをリアルタイムで提供するように構成されており、
（ｅ）システムが、センサからのリアルタイム３Ｄ位置決めデータに加えて、例えば、立体視システムを形成する２つのカメラを含むカメラバーが視野を調査し、プロセッサ上で動作するソフトウェアが視野内の非ランダムに位置決めされたマーカを検出するように構成されているビデオフローを使用することによって、現実世界の３Ｄマップを参照してビデオカメラの３Ｄ位置及び配向を判定するように構成されており、マーカ及びそれらの非ランダム位置が、プロセッサにおいて事前に記録され、現実世界の３Ｄマップに含まれ、マーカが、事前に手動又は人工的に当該視野に追加されている、混合又は合成システム。非ランダムに位置決めされたマーカは、本明細書の他の箇所で説明されるように、非ランダムに位置決めされたマーカであってもよい。カメラバーの視野は、ビデオカメラの視野とまったく一致しない場合がある。カメラバーの視野は、ビデオカメラの視野と部分的に重複してもよい。カメラバーの視野は、ビデオカメラの視野の全体を含んでもよい。
（ｉ）ビデオカメラと、
（ｉｉ）６自由度にわたって感知する加速度計及びジャイロを含むセンサと、
（ｉｉｉ）例えば、立体視システムを形成する２つのカメラを含むカメラバーと、
（ｉｖ）プロセッサと、を含み、
コンピュータ生成された３Ｄオブジェクトと、ビデオカメラからのリアルタイムのビデオフィードとを混合又は合成して、例えば、テレビ放送、映画、又はビデオゲームのための拡張現実ビデオをリアルタイムで生成するために、
（ａ）ビデオカメラの本体を３Ｄで移動させることができ、ビデオカメラ内の、又はビデオカメラに直接若しくは間接的に取り付けられたセンサが、ビデオカメラの３Ｄ位置及び３Ｄ配向が計算されることを可能にするリアルタイムの位置決めデータを提供し、
（ｂ）例えば、立体視システムを形成する２つのカメラを含むカメラバーが、ビデオカメラに直接又は間接的に固定され、
（ｃ）システムが、当該リアルタイム位置決めデータを自動的に使用して、コンピュータ生成された３Ｄオブジェクトを作成、呼び出し、レンダリング、又は変更するように構成されており、
（ｄ）システムが、結果として生じるコンピュータ生成された３Ｄオブジェクトをリアルタイムでビデオカメラからのビデオフィードと混合又は合成して、例えば、テレビ放送、映画、又はビデオゲームのための拡張現実ビデオをリアルタイムで提供するように構成されており、
（ｅ）システムが、センサからのリアルタイム３Ｄ位置決めデータに加えて、例えば、立体視システムを形成する２つのカメラを含むカメラバーが視野を調査し、プロセッサ上で動作するソフトウェアが視野内の非ランダムに位置決めされたマーカを検出するように構成されているビデオフローを使用することによって、現実世界の３Ｄマップを参照してビデオカメラの３Ｄ位置及び配向を判定するように構成されており、マーカ及びそれらの非ランダム位置が、プロセッサにおいて事前に記録され、現実世界の３Ｄマップに含まれ、マーカが、事前に手動又は人工的に当該視野に追加されている、混合又は合成システム。非ランダムに位置決めされたマーカは、本明細書の他の箇所で説明されるように、非ランダムに位置決めされたマーカであってもよい。カメラバーの視野は、ビデオカメラの視野とまったく一致しない場合がある。カメラバーの視野は、ビデオカメラの視野と部分的に重複してもよい。カメラバーの視野は、ビデオカメラの視野の全体を含んでもよい。
【0082】
一例では、６自由度にわたって感知する加速度計及びジャイロは、ビデオカメラの位置を予測して、カメラバーが見るものと現実世界の３Ｄマップとの間のマッチングプロセスを高速化及び／又はより堅牢にするために使用される。６自由度にわたって感知する加速度計及びジャイロ及び現実世界の３Ｄマップを使用することの追加の利点は、フレーム間のフレーム補間及び／又は１つ以上のフレームからのフレーム外挿の可能性である。
【0083】
注記
上で参照した構成は、本発明の原理の応用の例示にすぎないことを理解されたい。本発明の趣旨及び範囲から逸脱することなく、多数の修正及び代替構成を考案することができる。本発明は、図面に示し、本発明の最も実用的で好ましい例であると現在考えられるものに関連して具体的かつ詳細に上記に完全に説明してきたが、本明細書に記載される本発明の原理及び概念から逸脱することなく、多数の修正を行うことができることが当業者には明らかであろう。
上で参照した構成は、本発明の原理の応用の例示にすぎないことを理解されたい。本発明の趣旨及び範囲から逸脱することなく、多数の修正及び代替構成を考案することができる。本発明は、図面に示し、本発明の最も実用的で好ましい例であると現在考えられるものに関連して具体的かつ詳細に上記に完全に説明してきたが、本明細書に記載される本発明の原理及び概念から逸脱することなく、多数の修正を行うことができることが当業者には明らかであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】