(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022043028
(43)【公開日】2022-03-15
(54)【発明の名称】モーション・キャプチャ・システム
(51)【国際特許分類】
G03B 17/02 20210101AFI20220308BHJP
G03B 17/18 20210101ALI20220308BHJP
H04N 5/232 20060101ALI20220308BHJP
H04N 5/247 20060101ALI20220308BHJP
G03B 15/00 20210101ALN20220308BHJP
【ＦＩ】
G03B17/02
G03B17/18 Z
H04N5/232 030
H04N5/247
G03B15/00 U
G03B15/00 T
【審査請求】有
【請求項の数】33
【出願形態】ＯＬ
(21)【出願番号】P 2021183932
(22)【出願日】2021-11-11
(62)【分割の表示】P 2018516640の分割
【原出願日】2016-04-22
(31)【優先権主張番号】1509993.0
(32)【優先日】2015-06-09
(33)【優先権主張国・地域又は機関】GB
(71)【出願人】
【識別番号】517430646
【氏名又は名称】オックスフォード メトリックス ピーエルシー
(74)【代理人】
【識別番号】100125450
【弁理士】
【氏名又は名称】河野 広明
(72)【発明者】
【氏名】デイビッド レイノルズ
(72)【発明者】
【氏名】マシュー キングマン
(72)【発明者】
【氏名】ベン フリーマン
(72)【発明者】
【氏名】シェイン ロウ
(72)【発明者】
【氏名】ポール テイト
(72)【発明者】
【氏名】スティーブン マルトン
(72)【発明者】
【氏名】イモージェン ムーアハウス
(57)【要約】 （修正有）
【課題】モーションキャプチャプロセスに悪影響を及ぼすカメラの取り付け状態のずれや環境変化に対応するモーションキャプチャシステム及びモーションキャプチャを実行する方法を提供する。
【解決手段】モーションキャプチャのためのシステムにおいて、コンピュータ処理ハードウェア２０を有する複数個のカメラ４が設けられる。処理装置は、複数個のカメラの各々からの画像データを使用して処理を実行する。各カメラは、加速度計２２を備える。処理装置は、加速度計からの出力に依存する処理を実行する。また、各カメラは、コンピュータ処理ハードウェア２０に温度センサ１８を搭載する。処理装置は、温度センサからの出力に依存する処理を実行する。
【選択図】図３
【解決手段】モーションキャプチャのためのシステムにおいて、コンピュータ処理ハードウェア２０を有する複数個のカメラ４が設けられる。処理装置は、複数個のカメラの各々からの画像データを使用して処理を実行する。各カメラは、加速度計２２を備える。処理装置は、加速度計からの出力に依存する処理を実行する。また、各カメラは、コンピュータ処理ハードウェア２０に温度センサ１８を搭載する。処理装置は、温度センサからの出力に依存する処理を実行する。
【選択図】図３
【特許請求の範囲】
【請求項1】
複数個のカメラと、
前記複数個のカメラの各々からの画像データを使用して処理を実行するように構成される処理装置と、を備え、
前記カメラの各々は加速度計を備え、前記処理装置は前記加速度計からの出力に依存する処理を実行するように構成される、
モーション・キャプチャ・システム。
前記複数個のカメラの各々からの画像データを使用して処理を実行するように構成される処理装置と、を備え、
前記カメラの各々は加速度計を備え、前記処理装置は前記加速度計からの出力に依存する処理を実行するように構成される、
モーション・キャプチャ・システム。
【請求項2】
前記処理装置は、
前記加速度計からの出力に基づいて前記カメラのうちの１つを選択し、かつ、
前記カメラのどれが選択されたかに応じて選択されたカメラ処理を実行するように構成される、
請求項１に記載のシステム。
前記加速度計からの出力に基づいて前記カメラのうちの１つを選択し、かつ、
前記カメラのどれが選択されたかに応じて選択されたカメラ処理を実行するように構成される、
請求項１に記載のシステム。
【請求項3】
前記選択されたカメラ処理は、前記選択されたカメラからのデータを表示することを含む、
請求項２に記載のシステム。
請求項２に記載のシステム。
【請求項4】
前記選択されたカメラ処理は、複数個の前記カメラからのデータを表示することと、前記表示されたデータのうちのどれが前記選択されたカメラに対応するかを示す視覚情報を提供することとを含む、
請求項３に記載のシステム。
請求項３に記載のシステム。
【請求項5】
前記選択されたカメラ処理は、前記選択されたカメラからのデータを表示し、他のカメラからのデータは表示しないことを含む、
請求項３に記載のシステム。
請求項３に記載のシステム。
【請求項6】
前記表示されたデータは、前記選択されたカメラがキャプチャした画像データを含む、
請求項２乃至請求項５のいずれかに記載のシステム。
請求項２乃至請求項５のいずれかに記載のシステム。
【請求項7】
前記表示されたデータは、前記選択されたカメラの構成データを含む、
請求項２乃至請求項６のいずれかに記載のシステム。
請求項２乃至請求項６のいずれかに記載のシステム。
【請求項8】
前記選択されたカメラ処理は、ユーザが前記選択されたカメラを制御できるようにする選択されたカメラインタフェースをユーザに提供することを含む、
請求項２乃至請求項７のいずれかに記載のシステム。
請求項２乃至請求項７のいずれかに記載のシステム。
【請求項9】
前記選択されたカメラインタフェースは、複数個の前記カメラの制御を可能にし、前記カメラのうちのどれが前記選択されたカメラであるかを示す視覚表示を提供する、
請求項８に記載のシステム。
請求項８に記載のシステム。
【請求項10】
前記選択されたカメラインタフェースは、前記選択されたカメラを制御可能にし、他のカメラは制御可能にしない、
請求項８に記載のシステム。
請求項８に記載のシステム。
【請求項11】
前記処理装置は、前記カメラのうちの１つからの前記加速度計の前記出力における所定の閾値より大きい変動に応じて、該カメラを選択するように構成される、
請求項２乃至請求項１０のいずれかに記載のシステム。
請求項２乃至請求項１０のいずれかに記載のシステム。
【請求項12】
前記処理装置は、前記カメラのうちの１つからの前記加速度計の出力が所定のシグネチャ出力と一致する場合に該カメラを選択するように構成される、
請求項２乃至請求項１１のいずれかに記載のシステム。
請求項２乃至請求項１１のいずれかに記載のシステム。
【請求項13】
前記所定のシグネチャ出力は、ユーザが前記カメラを指でタップすることによる出力に対応する、
請求項１２に記載のシステム。
請求項１２に記載のシステム。
【請求項14】
前記所定のシグネチャ出力は、ユーザが前記カメラを所定の複数回タップすることによる出力に対応する、
請求項１２又は請求項は１３に記載のシステム。
請求項１２又は請求項は１３に記載のシステム。
【請求項15】
前記カメラの各々は、物理的に別個の装置であり、前記他のカメラから独立して取り付け可能である、
請求項１乃至請求項１４のいずれかに記載のシステム。
請求項１乃至請求項１４のいずれかに記載のシステム。
【請求項16】
前記処理装置は、前記カメラの各々と無線で通信するように構成されたポータブル・コンピューティング・デバイスに設けられる、
請求項１乃至請求項１５のいずれかに記載のシステム。
請求項１乃至請求項１５のいずれかに記載のシステム。
【請求項17】
前記処理装置は、前記加速度計からの出力に基づいて前記カメラのいずれかの向きの変化を検出するように構成される、
請求項１乃至請求項１６のいずれかに記載のシステム。
請求項１乃至請求項１６のいずれかに記載のシステム。
【請求項18】
カメラの向きの変化の前記検出は、該カメラに対する重力方向の変化を検出することによって実行される、
請求項１７に記載のシステム。
請求項１７に記載のシステム。
【請求項19】
前記処理装置は、カメラにおいて第１の方向の加速度の変動が検出された場合には前記カメラに関連する第１の方向選択処理を実行し、かつ前記カメラにおいて第２の方向の加速度の変動が検出された場合には、前記カメラに関連する第２の方向選択処理を実行するように構成され、前記第１および第２の方向は互いに異なり、前記第１および第２の方向選択処理は互いに異なる、
請求項１乃至請求項１８のいずれかに記載のシステム。
請求項１乃至請求項１８のいずれかに記載のシステム。
【請求項20】
複数個のカメラと、
前記複数個のカメラの各々からの画像データを使用して処理を実行するよう構成される処理装置とを備え、
前記カメラの各々は温度センサを備え、前記処理装置は前記温度センサの出力に依存する処理を実行するように構成される、
モーション・キャプチャ・システム。
前記複数個のカメラの各々からの画像データを使用して処理を実行するよう構成される処理装置とを備え、
前記カメラの各々は温度センサを備え、前記処理装置は前記温度センサの出力に依存する処理を実行するように構成される、
モーション・キャプチャ・システム。
【請求項21】
前記処理装置は、前記温度センサからの前記出力を使用して、前記カメラのうちの１つ以上の温度の視覚表示を提供するように構成される、
請求項２０に記載のシステム。
請求項２０に記載のシステム。
【請求項22】
各カメラの前記温度センサは、前記カメラ内のコンピュータ処理ハードウェアに搭載される、
請求項２０又は請求項２１に記載のシステム。
請求項２０又は請求項２１に記載のシステム。
【請求項23】
複数個のカメラを使用してモーションキャプチャを実行する方法であって、前記カメラの各々は加速度計を備え、
前記加速度計からの出力に依存する処理を処理装置で実行することを含む、
方法。
前記加速度計からの出力に依存する処理を処理装置で実行することを含む、
方法。
【請求項24】
前記処理は、
前記加速度計からの出力に基づいて前記カメラのうちの１つを選択することと、
前記カメラのどれが選択されたかに応じて選択されたカメラ処理を実行することとを含む、
請求項２３に記載の方法。
前記加速度計からの出力に基づいて前記カメラのうちの１つを選択することと、
前記カメラのどれが選択されたかに応じて選択されたカメラ処理を実行することとを含む、
請求項２３に記載の方法。
【請求項25】
前記選択されたカメラ処理は、前記選択されたカメラからのデータを表示することを含む、
請求項２４に記載の方法。
請求項２４に記載の方法。
【請求項26】
前記選択されたカメラ処理は、複数個の前記カメラからのデータを表示することと、前記表示されたデータのうちのどれが前記選択されたカメラに対応するかを示す視覚情報を提供することとを含む、
請求項２５に記載の方法。
請求項２５に記載の方法。
【請求項27】
前記選択されたカメラ処理は、前記選択されたカメラからのデータを表示し、他のカメラからのデータは表示しないことを含む、
請求項２６に記載の方法。
請求項２６に記載の方法。
【請求項28】
前記表示されたデータは、前記選択されたカメラがキャプチャした画像データを含む、
請求項２５乃至請求項２７のいずれかに記載の方法。
請求項２５乃至請求項２７のいずれかに記載の方法。
【請求項29】
前記表示されたデータは、前記選択されたカメラの構成データを含む、
請求項２５乃至請求項２８のいずれかに記載の方法。
請求項２５乃至請求項２８のいずれかに記載の方法。
【請求項30】
前記選択されたカメラ処理は、ユーザが前記選択されたカメラを制御できるようにする選択されたカメラインタフェースをユーザに提供することを含む、
請求項２４乃至請求項２９のいずれかに記載の方法。
請求項２４乃至請求項２９のいずれかに記載の方法。
【請求項31】
前記選択されたカメラインタフェースは、複数個の前記カメラの制御を可能にし、前記カメラのうちのどれが前記選択されたカメラであるかを示す視覚表示を提供する、
請求項３０に記載の方法。
請求項３０に記載の方法。
【請求項32】
前記選択されたカメラインタフェースは、前記選択されたカメラを制御可能にし、他のカメラは制御可能にしない、
請求項３０に記載の方法。
請求項３０に記載の方法。
【請求項33】
前記処理は、前記カメラのうちの１つからの前記加速度計の前記出力における所定の閾値より大きい変動に応じて、該カメラを選択することを含む、
請求項２４乃至請求項３２のいずれかに記載の方法。
請求項２４乃至請求項３２のいずれかに記載の方法。
【請求項34】
前記処理は、前記カメラのうちの１つからの前記加速度計の出力が所定のシグネチャ出力と一致する場合に該カメラを選択することを含む、
請求項２４乃至請求項３３のいずれかに記載の方法。
請求項２４乃至請求項３３のいずれかに記載の方法。
【請求項35】
前記所定のシグネチャ出力は、ユーザが前記カメラを指でタップすることによる出力に対応する、
請求項３４に記載の方法。
請求項３４に記載の方法。
【請求項36】
前記所定のシグネチャ出力は、ユーザが前記カメラを所定の複数回タップすることによる出力に対応する、
請求項３４又は請求項３５に記載の方法。
請求項３４又は請求項３５に記載の方法。
【請求項37】
前記処理は、前記加速度計からの出力に基づいて前記カメラのいずれかの向きの変化を検出することを含む、
請求項２３乃至請求項３６のいずれかに記載の方法。
請求項２３乃至請求項３６のいずれかに記載の方法。
【請求項38】
カメラの向きの変化の前記検出は、該カメラに対する重力方向の変化を検出することによって実行される、
請求項３７に記載の方法。
請求項３７に記載の方法。
【請求項39】
前記カメラの各々をターゲットである場所に向けて固定的に取り付けることと、カメラの向きの前記検出された変化を使用して、前記カメラの前記取り付けのずれを検出することとをさらに含む、
請求項３７又は請求項３８に記載の方法。
請求項３７又は請求項３８に記載の方法。
【請求項40】
前記処理は、カメラにおいて第１の方向の加速度の変動が検出された場合に前記カメラに関連する第１の方向選択処理を実行することと、前記カメラにおいて第２の方向の加速度の変動が検出された場合に前記カメラに関連する第２の方向選択処理を実行することとを含み、前記第１および第２の方向は互いに異なり、前記第１および第２の方向選択処理は互いに異なる、
請求項２３乃至請求項３９のいずれかに記載の方法。
請求項２３乃至請求項３９のいずれかに記載の方法。
【請求項41】
複数個のカメラを使用してモーションキャプチャを実行する方法であって、前記カメラの各々は温度センサを備え、
前記温度センサからの出力に依存する処理を処理装置で実行することを含む、
方法。
前記温度センサからの出力に依存する処理を処理装置で実行することを含む、
方法。
【請求項42】
前記処理は、前記カメラのうちの１つ以上の温度の視覚表示を提供することを含む、
請求項４１に記載の方法。
請求項４１に記載の方法。
【請求項43】
各カメラの前記温度センサは、前記カメラのコンピュータ処理ハードウェアに搭載される、
請求項４１又は請求項４２に記載の方法。
請求項４１又は請求項４２に記載の方法。
【請求項44】
前記カメラの１つに電源を投入することと、該カメラの前記温度センサの温度が所定の閾値温度を上回った後に該カメラの較正動作を実行することとをさらに含む、
請求項４１乃至請求項４３のいずれかに記載の方法。
請求項４１乃至請求項４３のいずれかに記載の方法。
【請求項45】
添付の図面を参照して記述され、および／または添付の図面に示されるように実質的に動作するように構成および／または配置される、
モーション・キャプチャ・システム。
モーション・キャプチャ・システム。
【請求項46】
添付の図面を参照して記述され、および／または添付の図面に示されるように実質的にモーションキャプチャを実行する、
方法。
方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、モーション・キャプチャ・システムおよびモーションキャプチャを実行する方法に関し、複数個のカメラはそれぞれ加速度計および／または温度センサを備える。
【背景技術】
【0002】
モーション・キャプチャ・システムは、通常、ターゲット、例えばアクタの動きがキャプチャされるターゲット領域を監視するように構成される複数個のカメラを含む。キャプチャされた動きは、例えば、アクタの動きに基づいて、映画またはコンピュータゲームにおいてデジタルキャラクタをアニメーション化するために使用されてもよい。一般的には、このようなシステムでは、カメラの各々は別個の位置に取り付けられ、かつターゲット領域の方に向けられなければならない。また、カメラは、較正され、かつデスクトップやラップトップコンピュータ、またはタブレットなどの処理装置に接続される必要がある。このようなモーション・キャプチャ・システムをセットアップするには、例えば処理装置と各カメラおよび／または関与する複数の人との間をオペレータが複数回往復しなければならず、時間がかかる可能性がある。例えば、１人が処理装置を直接操作する一方で、１人以上の別の人が処理装置の人とやりとりしながら部屋中を移動して各カメラを個別に調整し確認することがある。処理装置の人は、あるカメラから次のカメラに移動操作者が移動するときに、カメラの各々がキャプチャする画像についてのフィードバックを移動操作者に提供できる。
【0003】
モーション・キャプチャ・システムは、環境条件や外乱に敏感な場合がある。例えば、（例えば、軽くたたくこと、熱膨張／収縮、曲がりなどによる）カメラの取り付け状態のずれにより、カメラの位置または向きが経時的に変化することがある。これは、モーション・キャプチャ・プロセスに悪影響を及ぼす、および／または頻繁で時間がかかる再較正が必要となる可能性がある。
【0004】
既存のシステムのさらなる課題は、例えばレンズからカメラの撮像装置までの光路に差を生じさせることによるカメラ自体の温度変化が、カメラの性能を変える可能性があることである。これらの影響は、場合によっては、温度が定常状態に達した後にカメラを較正することによって緩和できる。しかし、このような較正をいつ行うかを判断するのは困難である。ユーザは、カメラの較正やシステムの使用を開始する前に、システムを起動してから一定期間待機するように指示されることがある。しかし、これは不便な遅延をもたらす可能性がある。さらに、このような手法は、再現性よく定常状態温度に到達しない場合、または、例えば個々のカメラの活動または周囲環境の温度の変化のためにシステムの使用中に温度が変化する場合は有効ではない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、上記の課題の１つ以上を少なくとも部分的に解決するモーション・キャプチャ・システムおよび方法を提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、モーション・キャプチャ・システムは、複数個のカメラと、複数個のカメラの各々からの画像データを使用して処理を実行する処理装置とを備え、カメラの各々は加速度計を備え、処理装置は加速度計からの出力に依存する処理を実行するように構成される。
【0007】
したがって、個々のカメラが各カメラに設けられた加速度計からの出力に反応できるシステムが提供される。この機能は、モーション・キャプチャ・システムのセットアップおよびメンテナンス方法の柔軟性を高め、ユーザと個々のカメラとを近接させることを含む特定の手順を容易にする。例えば、カメラをタップまたはダブルタップするなどして加速度計出力に変動をもたらすことでユーザが個々のカメラを選択できるように加速度計出力が使用されるよう、システムを構成できる。加速度計は、代替的にまたは追加的に、カメラの向きの望ましくないずれを検出するために使用されてもよく、それにより調査動作および／または再較正手順を促す。
【0008】
本発明の一態様によれば、モーション・キャプチャ・システムは、複数個のカメラと、複数個のカメラの各々からの画像データを使用して処理を実行する処理装置とを備え、各カメラは温度センサを備え、処理装置は温度センサからの出力に依存する処理を実行するように構成される。
【0009】
したがって、個々のカメラが各カメラの温度変化に反応できるシステムが提供される。この機能は、カメラに電源が投入されてからいつ定常状態温度に達したか検出するのを容易にし、定常状態でより確実に、さらにことによると他の手法を使用するよりも早く較正手順を開始できる。この機能により、電源投入直後以外、例えば環境温度の変化のために発生し得る温度変化に反応することも可能となる。
【0010】
本発明の別の態様によれば、複数個のカメラを使用してモーションキャプチャを実行する方法が提供され、ここで各カメラは加速度計を備え、方法は、加速度計からの出力に依存する処理を処理装置で実行することを含む。
【0011】
本発明の別の態様によれば、複数個のカメラを使用してモーションキャプチャを実行する方法が提供され、ここで各カメラは温度センサを備え、方法は、温度センサからの出力に依存する処理を処理装置で実行することを含む。
【0012】
本発明の実施形態は、対応する参照符号が対応する部分を示す添付の図面を参照して、単なる例として記載される。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
一例が図１～図３に示されている一実施形態では、複数個のカメラ４を備えるモーション・キャプチャ・システム２が提供される。処理装置６は、複数個のカメラ４の各々から受信した画像データを使用して処理を実行するように構成される。処理は、例えばモーションキャプチャの実行に関連する処理を含んでいてもよい。これに関連して、モーションキャプチャは、例えば映画またはコンピュータゲームにおいてデジタルキャラクタをアニメーション化する目的でアクタの動きを記録するために、動きのパターンをデジタルに記録する少なくともいずれかのプロセスまたは技法を包含するものと理解される。任意選択的に、複数個のカメラ４のうちの１つ以上は、モーションキャプチャ手順に関与する処理を実行するように構成されてもよい。例えば、カメラは、カメラがキャプチャした画像データを前処理してからデータを処理装置に送ってもよい。処理装置６は、様々な形態を取ってもよい。例えば、処理装置６は、コンピュータ（例えば、デスクトップまたはラップトップＰＣ）、タブレットコンピュータ、スマートフォン、または互いに通信するこれらの任意の組み合わせを含んでいてもよい。処理装置６は、ディスプレイ８を含んでいてもよい。処理装置６は、処理ハードウェア１０（例えば、ＣＰＵ、メモリなど）、およびユーザが処理装置６と相互作用できるようにするインタフェース１２をさらに含んでいてもよい。インタフェースは、タッチスクリーン、キーボード、マウス、または他の入力装置を含んでいてもよい。
【0015】
一実施形態では、カメラ４の各々は、加速度計２２を備えている。そのようなカメラの例を図３に示す。このタイプの実施形態では、処理装置６は、加速度計２２からの出力に依存する処理を実行するように構成される。
【0016】
一実施形態では、処理装置６は、カメラ４のうちの１つの加速度計２２からの出力に基づいて、当該カメラ４を選択するように構成される。処理装置６は、どのカメラ４が選択されたかに応じる、選択されたカメラ処理を実行するようにさらに構成される。選択されたカメラ処理は、選択されたカメラに関連する様々な異なる機能を含んでいてもよい。一実施形態では、選択されたカメラ処理は、選択されたカメラ４からのデータを、例えばディスプレイ８に表示することを含む。したがって、この機能により、加速度計からの出力を特定の方法で変化させる（例えば、タップまたは他の方法でカメラ４を操作する）だけで、ユーザは特定のカメラに関連するデータを見ることができる。
【0017】
一実施形態では、選択されたカメラ処理は、複数個のカメラからのデータを表示することと、表示されたデータのうちのどれが選択されたカメラに対応するかを示す視覚情報を提供することとを含む。例えば、処理装置６は、複数個のカメラ４がキャプチャした画像データを、ディスプレイ８の対応する複数個の別々のウィンドウに表示するように構成されてもよい。選択されたカメラは、例えば、選択されたカメラに対応するウィンドウを強調表示することによって、または該当ウィンドウを他のウィンドウに対して前面に持ってくることによって示されてもよい。
【0018】
代替的にまたは追加的に、選択されたカメラ処理は、選択されたカメラからのデータを表示し、他のカメラからのデータは表示しないことを含んでいてもよい。このように、カメラの加速度計２２からの出力の特性変化をもたらすカメラ操作を使用して、異なるカメラからのデータをディスプレイ８に切り替え表示させることができる。
【0019】
上記の機能は、処理装置６がラップトップまたはタブレットのようなポータブル部を含む場合に特に便利なことがある。この場合、ユーザは、ポータブル部をシステム内のあるカメラ４から他のカメラ４に運ぶことができ、加速度計からの出力を（例えばカメラ４をタップして）変化させるだけで、現在自分の隣にあるカメラに関連するデータを便利に選択して見ることができる。この機能により、ユーザは、ポータブル部自体と手動でやりとりしてカメラを選択する必要がなくなる。この手法は、特に多くの異なるカメラ４が設けられている場合に、かなりの時間と労力を節約できる。
【0020】
一実施形態では、選択されたカメラ処理で表示されるデータは、選択されたカメラ４がキャプチャした画像データを含む。代替的にまたは追加的に、表示されるデータは、選択されたカメラの構成データを含む。構成データは、カメラ４の任意の動作パラメータまたは他のパラメータを含んでいてもよい。一実施形態では、選択されたカメラ処理は、ユーザが選択されたカメラ４を制御できるようにする選択されたカメラインタフェースを、例えばディスプレイ８の一部として提供することを含み、これは例えばディスプレイ１２のタッチスクリーンのアクティブ部分である。したがって、ユーザは、カメラ４をタップしたり操作したりして加速度計２２からの出力を変化させることで、選択されたカメラ４を、処理装置６（例えば、ラップトップまたはタブレット）を介して制御できるインタフェースを便利に呼び出せる。
【0021】
選択されたカメラインタフェースは、複数個のカメラ４の制御を可能にし、カメラ４のうちのどれが選択されたカメラ４であるかを示す視覚表示を提供してもよい。この手法により、ユーザは、選択されたカメラ４を制御しながら、他のカメラからの構成データまたは他の関連データを見ることができる。これは、他のカメラからのデータが比較または参照するのに関連性がある場合に有用であり得る。
【0022】
一実施形態では、選択されたカメラインタフェースは、選択されたカメラ４を制御可能に構成され、他のカメラ４を制御可能に構成されない。選択されたカメラ４に関連する様々な他の機能が、選択されたカメラインタフェースによって提供されてもよい。
【0023】
一実施形態では、処理装置６は、カメラ４のうちの１つからの加速度計２２の出力における所定の閾値より大きい変動（例えば、加速度の大きさに比例する変動の振幅、または変動の持続時間）に応じて、当該カメラ４を選択するように構成される。変動は、例えば、システムのユーザがカメラ４を軽くタップすることで起きてもよい。
【0024】
代替的にまたは追加的に、処理装置６は、カメラ４のうちの１つからの加速度計２２の出力が所定のシグネチャ出力と一致する場合に、当該カメラ４を選択するように構成されてもよい。所定のシグネチャ出力は、ユーザがカメラを指でタップすることによる出力、またはカメラ４の取り付けを妨げない、ユーザによるカメラの他の任意の操作に対応してもよい。したがって、一般的には、処理装置６は、（単一またはダブルタッピングなど複数回の）タッピングまたは他の同様の軽い相互作用のようなユーザとカメラ４との比較的軽い相互作用を検出するように構成される。所定のシグネチャ出力は、一種類以上の想定相互作用に対するカメラ加速度計２２の反応を記録することによって決定されてもよい。例えば、様々な単一の指タップに対する反応を記録でき、平均的な反応を所定のシグネチャ出力として使用できる。使用中のカメラ４をユーザがタップすると、加速度計２２の反応を記録された平均反応と比較することができ、２つの反応が十分に同様である場合、加速度計からの出力と所定のシグネチャ出力とが一致していると推測できる。例えば、出力における変動の持続時間、出力の変動の振幅、または変動の振幅の経時変化を含む加速度計出力の様々な態様を、比較に使用できる。変動の振幅の経時変化を使用することは、例えば、ユーザによる相互作用がより複雑な形態、例えばダブルタップをとる場合に特に適切であり得る。この場合、例えば、加速度計出力２２の変動における極大値のペアおよび／または最大値の時間分離を検出して、ユーザの相互作用がダブルタップの所定のシグネチャ出力と一致するかどうかを判定することが適切であり得る。
【0025】
一実施形態では、処理装置６は、加速度計２２からの出力における変動の方向によって異なる反応をするように構成される。例えば、処理装置６は、カメラ４が一方の側面で（したがって第１の方向、例えば第１の側面に実質的に垂直な内向きの方向に）タップされる場合には第１の方向選択処理を実行し、カメラ４が第２の側面で（したがって第１の方向とは異なる第２の方向、例えば第２の側面に実質的に垂直な内向きの方向に）タップされる場合には第１の方向選択処理とは異なる第２の方向選択処理を実行するように構成される。例えば、第１の方向選択処理は、カメラがキャプチャした画像データの表示を含んでいてもよく、第２の方向選択処理は、カメラの構成データの表示を含んでいてもよい。
【0026】
図２は、モーション・キャプチャ・システム２の４つのカメラ４をターゲット領域１６に向くように構成する方法を示している。カメラ４を４つ設置するのは例示的なものである。必要に応じて、４つ未満または４つ以上のカメラ４を設置してもよい。一般的に、カメラ４の各々は物理的に別個の装置である。カメラ４の各々は、一般的に、他のカメラ４から独立して取り付け可能である。図示された例では、カメラ４は、別個の取り付け支持部１４に取り付けられている。
【0027】
カメラ４は、様々な方法で処理装置６と相互作用するように構成できる。例えば、カメラ４の各々と処理装置６との間に配線を設けてもよい。代替的にまたは追加的に、カメラ４と処理装置６との間で無線データ転送が可能である。
【0028】
上記の実施形態では、カメラ４内の加速度計２２は、ユーザが近接しているカメラを選択する、および／またはそのカメラに関連する機能を選択するのに便利な方法を提供するために使用される。しかし、加速度計２２は、上記の機能に加えて、または上記の機能の代替として、他の目的のために使用されてもよい。
【0029】
例えば、一実施形態では、処理装置６は、加速度計２２からの出力に基づいて１つ以上のカメラ４の向きの変化を検出するように構成される。これは、カメラ４に対する重力方向の変化を検出することによって実現してもよい。これは、図３の側面図に概略的に示されている。矢印２６は、加速度計２２に対する重力方向を示している。重力は加速度として作用するので加速度計２２によって検出される。加速度計２２は、カメラ４の基準軸２８に対する重力２６の方向を検出できる。図３に示す例では、これによって加速度計２２は、カメラ４の垂直に対する傾斜角２４を決定できる。一般的には、モーション・キャプチャ・システム２をセットアップする際、カメラ４のうちの１つ以上が固定して取り付けられて較正されてから、モーション・キャプチャ・システムが使用されてターゲット領域１６の動きがキャプチャされる。較正プロセスが終了した後のカメラ４の位置または向きのずれは、画像キャプチャプロセスの品質低下につながる。このようなずれは、例えば、カメラ４または取り付け１４を軽くたたくことや、温度変化やそれに付随するカメラ４または取り付け１４の熱膨張／収縮、または取り付け１４のたわみまたは曲がりなどによって発生し得る。本発明者らは、そのような広範囲のずれが重力方向に対するカメラ４の向きの変化を含み、これが加速度計２２によって検出され得ることを認識してきた。このように、加速度計２２は、いつカメラ取り付けにずれが発生したかを処理装置６が検出するための便利で正確な方法を提供する。長期間の温度変化などにより取り付けが徐々に傾いたり変化したりするような、時間経過とともにゆっくりと生じる変化であっても、加速度計２２は、カメラ４の向きの絶対的な測定値と同じカメラ４の向きの以前の絶対的な記録とを比較することによって、向きの変化を検出できる。例えば、システムを一晩放置した場合、午前中の加速度計２２からの出力と前日から記録された出力とを比較できる。有意な変動（例えば、所定の閾値より大きい変動）は、カメラの位置が著しく変化したこと、したがって取り付けの確認および／または再較正が必要であることを示す。
【0030】
上記の実施形態では、カメラ４の各々には加速度計２２が設けられている。これらおよび他の実施形態では、カメラ４の各々は、代替的または追加的に、カメラの状態に関する有用な情報を提供する１つ以上の他のセンサを備えていてもよい。
【0031】
一実施形態では、カメラ４の各々は、温度センサ１８を備えている。温度センサ１８は、加速度計２２の代わりに、または加速度計２２に加えて設けられてもよい。処理装置６は、このような実施形態では、温度センサ１８からの出力に依存する処理を実行するように構成される。一実施形態では、処理装置６は、１つ以上のカメラ４の温度の視覚表示を提供するように構成される。視覚表示は、例えば処理装置６のディスプレイ１２上に提供されてもよい。代替的にまたは追加的に、温度の視覚表示は個々のカメラ４に提供されてもよい。一実施形態では、各カメラ４の温度センサ１８は、カメラ４内のＰＣＢなどのコンピュータ処理ハードウェア２０に搭載される。したがって、このような実施形態での温度センサ１８は、コンピュータ処理ハードウェア２０の温度を測定するように構成される。一般的には、カメラ４に電源が投入されると、カメラ４内のコンピュータ処理ハードウェア２０に電力が供給され、それによりハードウェア２０が発熱する。この発熱は、コンピュータ処理ハードウェア２０の動作特性の変化および／またはカメラの他の部品の特性の変化をもたらす可能性がある。例えば、熱は、コンピュータ処理ハードウェア２０からカメラの光学部品または機械部品へ伝導されることがあり、例えば、カメラ４のレンズと、レンズのピクセルで受けた光をキャプチャされた画像を表す電気信号に変換するように構成される画像キャプチャ装置との間がある。コンピュータ処理ハードウェア２０の温度を測定することによって、例えば、ハードウェア２０の温度がいつ定常状態に達したかを検出できる。この時点で、熱が原因で起きるカメラ４の特性のさらなる変化は、非常に小さいだろう。したがって、その後の温度変化によって較正状態から著しくずれる可能性は低いので、ユーザはこの時点で安心して較正手順を開始できる。あらゆる温度安定化期間よりも安全であるように長めに選択された所定のタイプをユーザが待つだけの代替的な手法と比較して、本実施形態の手法により、ユーザは、より早期におよび／または定常状態の温度領域におけるより確実な時点で較正手順を開始できる。
【図1】
【図2】
【図3】
【手続補正書】
【提出日】2021-11-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
各々のカメラが標的シーンに向けられるように固定的に取り付けられている、複数個のカメラと、
前記複数個のカメラの各々からの画像データを使用して処理を実行するように構成される処理装置と、を備え、
前記カメラの各々は加速度計を備え、前記処理装置は前記加速度計からの出力に依存する処理を実行するように構成され、前記処理は、前記カメラに対する重力の方向の変化を検出することによって、前記加速度計からの出力に基づいて前記カメラのいずれかの向きの変化を検出することを含む、
モーション・キャプチャ・システム。
前記複数個のカメラの各々からの画像データを使用して処理を実行するように構成される処理装置と、を備え、
前記カメラの各々は加速度計を備え、前記処理装置は前記加速度計からの出力に依存する処理を実行するように構成され、前記処理は、前記カメラに対する重力の方向の変化を検出することによって、前記加速度計からの出力に基づいて前記カメラのいずれかの向きの変化を検出することを含む、
モーション・キャプチャ・システム。
【請求項2】
前記処理装置は、
前記加速度計からの出力に基づいて前記カメラのうちの１つを選択し、かつ、
前記カメラのどれが選択されたかに応じて選択されたカメラ処理を実行するように構成される、
請求項１に記載のシステム。
前記加速度計からの出力に基づいて前記カメラのうちの１つを選択し、かつ、
前記カメラのどれが選択されたかに応じて選択されたカメラ処理を実行するように構成される、
請求項１に記載のシステム。
【請求項3】
前記選択されたカメラ処理は、前記選択されたカメラからのデータを表示することを含む、
請求項２に記載のシステム。
請求項２に記載のシステム。
【請求項4】
前記選択されたカメラ処理は、複数個の前記カメラからのデータを表示することと、前記表示されたデータのうちのどれが前記選択されたカメラに対応するかを示す視覚情報を提供することとを含む、
請求項３に記載のシステム。
請求項３に記載のシステム。
【請求項5】
前記選択されたカメラ処理は、前記選択されたカメラからのデータを表示し、他のカメラからのデータは表示しないことを含む、
請求項３に記載のシステム。
請求項３に記載のシステム。
【請求項6】
前記表示されたデータは、前記選択されたカメラがキャプチャした画像データを含む、
請求項２乃至請求項５のいずれか１項に記載のシステム。
請求項２乃至請求項５のいずれか１項に記載のシステム。
【請求項7】
前記表示されたデータは、前記選択されたカメラの構成データを含む、
請求項２乃至請求項６のいずれか１項に記載のシステム。
請求項２乃至請求項６のいずれか１項に記載のシステム。
【請求項8】
前記選択されたカメラ処理は、ユーザが前記選択されたカメラを制御できるようにする選択されたカメラインタフェースをユーザに提供することを含む、
請求項２乃至請求項７のいずれか１項に記載のシステム。
請求項２乃至請求項７のいずれか１項に記載のシステム。
【請求項9】
前記選択されたカメラインタフェースは、複数個の前記カメラの制御を可能にし、前記カメラのうちのどれが前記選択されたカメラであるかを示す視覚表示を提供する、
請求項８に記載のシステム。
請求項８に記載のシステム。
【請求項10】
前記選択されたカメラインタフェースは、前記選択されたカメラを制御可能にし、他のカメラは制御可能にしない、
請求項８に記載のシステム。
請求項８に記載のシステム。
【請求項11】
前記処理装置は、前記カメラのうちの１つからの前記加速度計の前記出力における所定の閾値より大きい変動に応じて、該カメラを選択するように構成される、
請求項２乃至請求項１０のいずれか１項に記載のシステム。
請求項２乃至請求項１０のいずれか１項に記載のシステム。
【請求項12】
前記処理装置は、前記カメラのうちの１つからの前記加速度計の出力が所定のシグネチャ出力と一致する場合に該カメラを選択するように構成される、
請求項２乃至請求項１１のいずれか１項に記載のシステム。
請求項２乃至請求項１１のいずれか１項に記載のシステム。
【請求項13】
前記所定のシグネチャ出力は、ユーザが前記カメラを指でタップすることによる出力に対応する、
請求項１２に記載のシステム。
請求項１２に記載のシステム。
【請求項14】
前記所定のシグネチャ出力は、ユーザが前記カメラを所定の複数回タップすることによる出力に対応する、
請求項１２又は請求項は１３に記載のシステム。
請求項１２又は請求項は１３に記載のシステム。
【請求項15】
前記カメラの各々は、物理的に別個の装置であり、前記他のカメラから独立して取り付け可能である、
請求項１乃至請求項１４のいずれか１項に記載のシステム。
請求項１乃至請求項１４のいずれか１項に記載のシステム。
【請求項16】
前記処理装置は、前記カメラの各々と無線で通信するように構成されたポータブル・コンピューティング・デバイスに設けられる、
請求項１乃至請求項１５のいずれか１項に記載のシステム。
請求項１乃至請求項１５のいずれか１項に記載のシステム。
【請求項17】
前記処理装置は、カメラにおいて第１の方向の加速度の変動が検出された場合には前記カメラに関連する第１の方向選択処理を実行し、かつ前記カメラにおいて第２の方向の加速度の変動が検出された場合には、前記カメラに関連する第２の方向選択処理を実行するように構成され、前記第１および第２の方向は互いに異なり、前記第１および第２の方向選択処理は互いに異なる、
請求項１乃至請求項１６のいずれか１項に記載のシステム。
請求項１乃至請求項１６のいずれか１項に記載のシステム。
【請求項18】
複数のカメラを使用してモーション・キャプチャを実行する方法であって、前記カメラの各々は、加速度計を備え、標的シーンに向けられるように固定的に取り付けられ、
前記方法は、前記加速度計からの出力に依存する処理を処理装置で実行することであって、
前記処理は、前記カメラに対する重力の方向の変化を検出することによって、前記加速度計からの出力に基づいて前記カメラのいずれかの向きの変化を検出することを含む、
方法。
前記方法は、前記加速度計からの出力に依存する処理を処理装置で実行することであって、
前記処理は、前記カメラに対する重力の方向の変化を検出することによって、前記加速度計からの出力に基づいて前記カメラのいずれかの向きの変化を検出することを含む、
方法。
【請求項19】
前記処理は、
前記加速度計からの出力に基づいて前記カメラのうちの１つを選択することと、
前記カメラのどれが選択されたかに応じて選択されたカメラ処理を実行することとを含む、
請求項１８に記載の方法。
前記加速度計からの出力に基づいて前記カメラのうちの１つを選択することと、
前記カメラのどれが選択されたかに応じて選択されたカメラ処理を実行することとを含む、
請求項１８に記載の方法。
【請求項20】
前記選択されたカメラ処理は、前記選択されたカメラからのデータを表示することを含む、
請求項１９に記載の方法。
請求項１９に記載の方法。
【請求項21】
前記選択されたカメラ処理は、複数個の前記カメラからのデータを表示することと、前記表示されたデータのうちのどれが前記選択されたカメラに対応するかを示す視覚情報を提供することとを含む、
請求項２０に記載の方法。
請求項２０に記載の方法。
【請求項22】
前記選択されたカメラ処理は、前記選択されたカメラからのデータを表示し、他のカメラからのデータは表示しないことを含む、
請求項２０に記載の方法。
請求項２０に記載の方法。
【請求項23】
前記表示されたデータは、前記選択されたカメラがキャプチャした画像データを含む、
請求項２０乃至請求項２２のいずれか１項に記載の方法。
請求項２０乃至請求項２２のいずれか１項に記載の方法。
【請求項24】
前記表示されたデータは、前記選択されたカメラの構成データを含む、
請求項２０乃至請求項２３のいずれか１項に記載の方法。
請求項２０乃至請求項２３のいずれか１項に記載の方法。
【請求項25】
前記選択されたカメラ処理は、ユーザが前記選択されたカメラを制御できるようにする選択されたカメラインタフェースをユーザに提供することを含む、
請求項１９乃至請求項２４のいずれか１項に記載の方法。
請求項１９乃至請求項２４のいずれか１項に記載の方法。
【請求項26】
前記選択されたカメラインタフェースは、複数個の前記カメラの制御を可能にし、前記カメラのうちのどれが前記選択されたカメラであるかを示す視覚表示を提供する、
請求項２５に記載の方法。
請求項２５に記載の方法。
【請求項27】
前記選択されたカメラインタフェースは、前記選択されたカメラを制御可能にし、他のカメラは制御可能にしない、
請求項２５に記載の方法。
請求項２５に記載の方法。
【請求項28】
前記処理は、前記カメラのうちの１つからの前記加速度計の前記出力における所定の閾値より大きい変動に応じて、該カメラを選択することを含む、
請求項１９乃至請求項２７のいずれか１項に記載の方法。
請求項１９乃至請求項２７のいずれか１項に記載の方法。
【請求項29】
前記処理は、前記カメラのうちの１つからの前記加速度計の出力が所定のシグネチャ出力と一致する場合に該カメラを選択することを含む、
請求項１９乃至請求項２８のいずれか１項に記載の方法。
請求項１９乃至請求項２８のいずれか１項に記載の方法。
【請求項30】
前記所定のシグネチャ出力は、ユーザが前記カメラを指でタップすることによる出力に対応する、
請求項２９に記載の方法。
請求項２９に記載の方法。
【請求項31】
前記所定のシグネチャ出力は、ユーザが前記カメラを所定の複数回タップすることによる出力に対応する、
請求項２９又は請求項３０に記載の方法。
請求項２９又は請求項３０に記載の方法。
【請求項32】
カメラの向きの前記検出された変化を使用して、前記カメラの前記取り付けのずれを検出することとをさらに含む、
請求項１８乃至請求項３１のいずれか１項に記載の方法。
請求項１８乃至請求項３１のいずれか１項に記載の方法。
【請求項33】
前記処理は、カメラにおいて第１の方向の加速度の変動が検出された場合に前記カメラに関連する第１の方向選択処理を実行することと、前記カメラにおいて第２の方向の加速度の変動が検出された場合に前記カメラに関連する第２の方向選択処理を実行することとを含み、前記第１および第２の方向は互いに異なり、前記第１および第２の方向選択処理は互いに異なる、
請求項１８乃至請求項３２のいずれか１項に記載の方法。
請求項１８乃至請求項３２のいずれか１項に記載の方法。