特許 7395189 モーションキャプチャ・カメラシステム及びキャリブレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-01

(45)【発行日】2023-12-11

(54)【発明の名称】モーションキャプチャ・カメラシステム及びキャリブレーション方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231204BHJP

   G06T 7/80 20170101ALI20231204BHJP

【ＦＩ】

H04N23/60 500

G06T7/80

【請求項の数】 24

(21)【出願番号】P 2020557612

(86)(22)【出願日】2019-11-21

(86)【国際出願番号】 JP2019045552

(87)【国際公開番号】W WO2020105697

(87)【国際公開日】2020-05-28

【審査請求日】2022-10-20

(31)【優先権主張番号】62/770,766

(32)【優先日】2018-11-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100103137

【弁理士】

【氏名又は名称】稲葉 滋

(74)【代理人】

【識別番号】100145838

【弁理士】

【氏名又は名称】畑添 隆人

(72)【発明者】

【氏名】中村 仁彦

(72)【発明者】

【氏名】池上 洋介

(72)【発明者】

【氏名】山田 文香

(72)【発明者】

【氏名】小原 大輝

(72)【発明者】

【氏名】堀川 智行

(72)【発明者】

【氏名】鈴木 亮矢

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１６－１２６４２５（ＪＰ，Ａ）

【文献】特開２０１１－２３８２２２（ＪＰ，Ａ）

【文献】特開２０１１－１７０４８７（ＪＰ，Ａ）

【文献】特開２００４－０５３３７４（ＪＰ，Ａ）

【文献】特開平１１－１１８４２５（ＪＰ，Ａ）

【文献】特開２００４－１６３２９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ７／８０

(57)【特許請求の範囲】

【請求項1】

１つあるいは複数のカメラからなる複数のカメラユニットと、
各カメラユニットが搭載される複数のカメラマウンタと、
各カメラ画像を３次元再構成するためのカメラパラメータを取得するキャリブレーション手段と、
測角機能を備えた１つあるいは複数の測量機と、
を備えたモーションキャプチャ・カメラシステムであって、
前記カメラパラメータは、グローバル座標系における各カメラの位置・姿勢を表す外部パラメータを含み、
前記キャリブレーション手段は、グローバル座標系における各カメラマウンタの位置及び姿勢を用いて前記外部パラメータを取得するものであり、前記グローバル座標系におけるカメラマウンタの位置及び姿勢は、前記１つあるいは複数の測量機を用いて取得される、
モーションキャプチャ・カメラシステム。

【請求項2】

前記１つあるいは複数の測量機のうちの１つあるいは複数の測量機は、測距機能を備えている、請求項１のモーションキャプチャ・カメラシステム。

【請求項3】

前記複数のカメラマウンタの一部あるいは全部は、前記測量機である、請求項１、２いずれか１項に記載のモーションキャプチャ・カメラシステム。

【請求項4】

前記複数のカメラマウンタの一部あるいは全部は、前記測量機によって測量可能な複数のマーカを備えている、請求項１、２いずれか１項に記載のモーションキャプチャ・カメラシステム。

【請求項5】

前記カメラマウンタは、３つ以上のマーカを備えた平面を有している、請求項４に記載のモーションキャプチャ・カメラシステム。

【請求項6】

前記キャリブレーション手段は、各カメラの撮像空間に位置する複数の特徴点のグローバル座標系での位置情報と、各カメラ画像での各特徴点の位置情報と、を用いるものであり、
前記複数の特徴点のグローバル座標系での位置情報は、前記測量機を用いて取得される、
請求項１～５いずれか１項に記載のモーションキャプチャ・カメラシステム。

【請求項7】

前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を用いる、
請求項１～６いずれか１項に記載のモーションキャプチャ・カメラシステム。

【請求項8】

前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を取得する手段を備える、
請求項７に記載のモーションキャプチャ・カメラシステム。

【請求項9】

前記カメラマウンタは前記測量機から構成されており、
前記カメラマウンタ座標系における前記カメラの位置及び姿勢は、前記測量機を用いて取得される、
請求項８に記載のモーションキャプチャ・カメラシステム。

【請求項10】

前記キャリブレーション手段は、最適化計算によって前記外部パラメータを取得する、
請求項１～９いずれか１項に記載のモーションキャプチャ・カメラシステム。

【請求項11】

前記最適化計算において、グローバル座標系の位置情報が未知の１つあるいは複数の特徴点に対応する各カメラ画像の位置情報が用いられる、
請求項１０に記載のモーションキャプチャ・カメラシステム

【請求項12】

前記カメラパラメータは、光学パラメータと内部パラメータを含み、前記キャリブレーション手段は、最適化計算によって前記外部パラメータ及び前記光学パラメータと前記内部パラメータを取得する、請求項１０、１１いずれか１項に記載のモーションキャプチャ・カメラシステム。

【請求項13】

１つあるいは複数のカメラからなる複数のカメラユニットと、
各カメラユニットが搭載される複数のカメラマウンタと、
を備えたモーションキャプチャ・カメラシステムにおいて、複数のカメラ画像を３次元再構成するためのカメラパラメータを取得するキャリブレーション方法であって、
前記カメラパラメータは、グローバル座標系における各カメラの位置・姿勢を表す外部パラメータを含み、
測角機能を備えた１つあるいは複数の測量機を用いて、グローバル座標系における各カメラマウンタの位置及び姿勢を取得すること、
グローバル座標系における各カメラマウンタの位置及び姿勢を用いて前記外部パラメータを取得すること、
を含むキャリブレーション方法。

【請求項14】

前記１つあるいは複数の測量機のうちの１つあるいは複数の測量機は、測距機能を備えている、請求項１３に記載のモーションキャプチャ・カメラシステム。

【請求項15】

前記複数のカメラマウンタの一部あるいは全部は、前記測量機であり、複数の測定点の測量データを用いてグローバル座標系における各カメラマウンタの位置及び姿勢を取得する、請求項１３、１４いずれか１項に記載のキャリブレーション方法。

【請求項16】

前記複数のカメラマウンタの一部あるいは全部は、前記測量機によって測量可能な複数のマーカを備えており、複数のマーカの測量データを用いてグローバル座標系における当該カメラマウンタの位置及び姿勢を取得する、請求項１３、１４いずれか１項に記載のキャリブレーション方法。

【請求項17】

前記カメラマウンタは、３つ以上のマーカを備えた平面を有している、請求項１６に記載のキャリブレーション方法。

【請求項18】

前記外部パラメータの取得において、各カメラの撮像空間に位置する複数の複数の特徴点のグローバル座標系での位置情報と、各カメラ画像での各特徴点の位置情報と、が用いられ、
前記複数の特徴点のグローバル座標系での位置情報は、前記測量機を用いて取得される、
請求項１３～１７いずれか１項に記載のキャリブレーション方法。

【請求項19】

前記外部パラメータの取得において、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を用いる、
請求項１３～１８いずれか１項に記載のキャリブレーション方法。

【請求項20】

各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を取得することを含む、
請求項１９に記載のキャリブレーション方法。

【請求項21】

前記カメラマウンタは前記測量機から構成されており、
前記カメラマウンタ座標系における前記カメラの位置及び姿勢を、前記測量機を用いて取得する、
請求項２０に記載のキャリブレーション方法。

【請求項22】

最適化計算によって前記外部パラメータを取得する、請求項１３～２１いずれか１項に記載のキャリブレーション方法。

【請求項23】

前記最適化計算において、グローバル座標系の位置情報が未知の１つあるいは複数の特徴点に対応する各カメラ画像の位置情報が用いられる、
請求項２２に記載のキャリブレーション方法。

【請求項24】

前記カメラパラメータは、光学パラメータと内部パラメータを含み、最適化計算によって前記外部パラメータ及び前記光学パラメータと前記内部パラメータを取得する、請求項２２、２３いずれか１項に記載のキャリブレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モーションキャプチャ用のカメラシステムに関するものである。

【背景技術】

【0002】

モーションキャプチャ技術は、様々な運動計測に広く利用されている。しかしながら、チームスポーツにおいて、試合中の各選手の運動をキャプチャして動作解析を行うようなことは行われていない。例えば、サッカー、ラグビー、野球、バレーボール、ハンドボール等のスポーツの試合の動画を取得して、取得した動画に基づいて各選手の動作解析を行うことは行われていない。

【0003】

チームスポーツにおいて、試合中の各選手の運動をキャプチャして動作解析を行うためには、(a)モーションキャプチャが選手のパフォーマンスを低下させないこと、(b)モーションキャプチャがサポーティングオペレーション（テレビ放映、チームスタッフ、観客等）の妨げとならないこと、(c)大記憶容量、(d)距離が離れたハイスピードカメラ間の同期、(e)大量のデータをリアルタイムで受信する能力、(f)長時間稼働できる性能を備えた安定的なシステム、(g)正確な３次元再構成のためのカメラキャリブレーション、等の条件をクリアする必要がある。

【0004】

従来の典型的なモーションキャプチャ技術としては、光学式モーションキャプチャや慣性センサを用いたモーションキャプチャが知られている。これらのモーションキャプチャは、反射マーカや慣性センサを対象の身体に装着するための計測準備に時間を要するという欠点があり、さらに、該マーカや該センサが対象の円滑な動きの妨げになり得ることから試合中の各選手の動作取得に用いることができない。また、これらのモーションキャプチャは計測空間も限定的である。赤外線光源を用いた光学式モーションキャプチャでは、外光の影響を受けないカメラで囲まれた空間で計測を行う必要があり、センサデータを無線で受信する場合には、無線信号が届く限られた空間で計測する必要があった。

【0005】

最近では、いわゆるマーカレスモーションキャプチャ技術が登場している。例えば、ビデオモーションキャプチャ技術（非特許文献１）は、複数台のＲＧＢカメラの映像から完全非拘束でモーションキャプチャを行うもので、屋内の居住空間から、屋外でのスポーツフィールドの広い空間まで、原理的には映像が取得できれば、動作計測が可能となる技術である。

【0006】

複数のカメラを用いたモーションキャプチャにおいては、複数のカメラ画像を３次元再構成するためのカメラパラメータを取得する必要がある。カメラパラメータには、レンズの歪みなどの光学的パラメータ、焦点距離や光学的中心等の内部パラメータ、カメラが設置された空間におけるカメラの位置・姿勢を表す外部パラメータがある。従来のカメラキャリブレーションは、これら全てのパラメータのキャリブレーションを、既知の形状や寸法のキャリブレーション器具（チェッカーボードやキャリブレーションワンド等）を１台または複数台のカメラで撮影することで行っている。

【0007】

しかしながら、スポーツフィールドのような広い空間では、動作計測のための３次元再構成を行うためには、対象から遠く離れたカメラの高精度なキャリブレーションが必要となり、従来のモーションキャプチャシステムとは異なるシステム構成や比較的近距離でのカメラキャリブレーションとは異なるキャリブレーション法が必要となる。カメラパラメータのうち、レンズ歪みを含む光学パラメータ及び焦点距離などの内部パラメータのキャリブレーションは、カメラとレンズが確定すれば事前にキャリブレーションを行うことができるが、カメラの空間における位置姿勢に関する外部パラメータのキャリブレーションは、カメラが設置された現場で行う必要がある。

【0008】

スポーツフィールドや屋外における人やロボットの計測は、計測領域が大空間となるという特徴がある。従来のように、キャリブレーション器具（チェッカーボードやキャリブレーションワンド等）を用いてキャリブレーションを行うことは原理的に可能であるが、キャリブレーションの精度は撮像素子画の画素数に依存するため、撮影対象までの距離が数十メートルとなると、キャリブレーション精度が低下し、モーションキャプチャにおける三次元再構成には適しない。従来に比べて大型のキャリブレーション器具（例えば、大型のチェッカーボードや大型のキャリブレーションワンド等）を用意し、これを使用することも考えられるが、カメラの撮影範囲が水平方向及び高さ方向において広範囲に及ぶ場合には、このような広範囲をカバーするように大型のキャリブレーション器具を異なる位置及び姿勢で移動させることは現実的でない。

【先行技術文献】

【特許文献】

【0009】

【文献】米国特許第８６２５０８６号

【文献】ＷＯ２００５／０５９４７３

【文献】特許第３９６５７８１号

【非特許文献】

【0010】

【文献】T. Ohashi, Y. Ikegami, K. Yamamoto, W. Takano and Y. Nakamura, Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model, 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 4226-4231.

【文献】ハイブリッドビデオセオドライトシステムの人体の歩行解析への応用 穴井 哲治、近津 博文 写真測量とリモートセンシング４０巻(2001)２号

【発明の開示】

【発明が解決しようとする課題】

【0011】

本発明は、モーションキャプチャの撮像空間が大空間であっても簡便かつ高精度にカメラのキャリブレーションを行うことを目的とするものである。

【課題を解決するための手段】

【0012】

本発明に係るモーションキャプチャ・カメラシステムは、
１つあるいは複数のカメラからなる複数のカメラユニットと、
各カメラユニットが搭載される複数のカメラマウンタと、
各カメラ画像を３次元再構成するためのカメラパラメータを取得するキャリブレーション手段と、
測角機能を備えた１つあるいは複数の測量機と、
を備え、
前記カメラパラメータは、グローバル座標系における各カメラの位置・姿勢を表す外部パラメータを含み、
前記キャリブレーション手段は、グローバル座標系における各カメラマウンタの位置及び姿勢を用いて前記外部パラメータを取得するものであり、前記グローバル座標系におけるカメラマウンタの位置及び姿勢は、前記１つあるいは複数の測量機を用いて取得される。
１つの態様では、前記１つあるいは複数の測量機のうちの１つあるいは複数の測量機は、測距機能を備えている。
測角機能を備えた測量機としては、セオドライト、トータルステーションを例示することができる。
測角機能及び測距機能を備えた測量機としては、トータルステーションを例示することができる。

【0013】

１つの態様では、前記複数のカメラマウンタの一部あるいは全部は、前記測量機である。
１つの態様では、１つのカメラマウンタがトータルステーションから構成され、残りのカメラマウンタがセオドライトから構成される。
カメラマウンタを構成する測量機は整準されている。

【0014】

１つの態様では、前記複数のカメラマウンタの一部あるいは全部は、前記測量機によって測量可能な複数のマーカ（特徴点）を備えている。
１つの態様では、全てのカメラマウンタが、マーカを備えたカメラマウンタである。
１つの態様では、前記カメラマウンタは、３つ以上のマーカ（例えば、４つの測量マーカ）を備えた平面を有している。

【0015】

１つの態様では、前記キャリブレーション手段は、各カメラの撮像空間に位置する複数の特徴点のグローバル座標系での位置情報（３次元位置情報）と、各カメラ画像での各特徴点の位置情報（２次元位置情報）と、を用いるものであり、
前記複数の特徴点のグローバル座標系での位置情報は、前記測量機を用いて取得される。
１つの態様では、前記特徴点は、各カメラの撮像空間に位置する不動点であり、例えば、コート上のラインの交点（角部を含む）や交差部や、ゴールポスト上の点（ポストとクロスバーの交差部やポストの下端）を特徴点として利用することができる。
１つの態様では、前記特徴点の３次元位置情報及び２次元位置情報は、外部パラメータを取得する際の最適化計算に用いられる。

【0016】

１つの態様では、前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢（例えば、カメラマウントに対するカメラの位置・姿勢が既知の場合）を用いる。
１つの態様では、前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を取得する手段を備える。
１つの態様では、前記カメラマウンタは前記測量機から構成されており、
前記カメラマウンタ座標系における前記カメラの位置及び姿勢の取得において、前記測量機が用いられる。
１つの態様では、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢は既知ないし予め取得されている。

【0017】

１つの態様では、前記キャリブレーション手段は、最適化計算によって前記外部パラメータを取得する。
１つの態様では、最適化計算において、前記グローバル座標系におけるカメラマウンタの位置及び姿勢、及び、前記特徴点の前記３次元位置情報及び前記２次元位置情報が用いられる。
１つの態様では、前記最適化計算において、グローバル座標系の位置情報が未知の１つあるいは複数の特徴点に対応する各カメラ画像の位置情報が用いられる。

【0018】

１つの態様において、前記カメラパラメータは、光学パラメータ、内部パラメータを含み、前記キャリブレーション手段は、最適化計算によって前記外部パラメータ、前記光学パラメータ、内部パラメータの一部あるいは全部を取得する。
光学パラメータ及び内部パラメータは、従来手法（キャリブレーション器具を用いる）によって取得してもよい。
例えば、前記カメラマウンタが前記測量機から構成されている場合には、光学パラメータ及び内部パラメータの取得において、前記測量機を用いてもよい。
外部パラメータの取得において、取得した光学パラメータ及び内部パラメータの一部あるいは全部を用いてもよい。

【0019】

本発明は、１つあるいは複数のカメラからなる複数のカメラユニットと、
各カメラユニットが搭載される複数のカメラマウンタと、
を備えたモーションキャプチャ・カメラシステムにおいて、前記複数のカメラ画像を３次元再構成するためのカメラパラメータを取得するキャリブレーション方法であって、
前記カメラパラメータは、グローバル座標系における各カメラの位置・姿勢を表す外部パラメータを含み、
測角機能を備えた１つあるいは複数の測量機を用いて、グローバル座標系における各カメラマウンタの位置及び姿勢を取得すること、
グローバル座標系における各カメラマウンタの位置及び姿勢を用いて前記外部パラメータを取得すること、
を含む。

【0020】

１つの態様では、前記複数のカメラマウンタの一部あるいは全部は、前記測量機であり、複数の計測点（特徴点）の測量データを用いてグローバル座標系における各カメラマウンタの位置及び姿勢を取得する。
１つの態様では、前記複数の計測点は、各測量機から測量可能な２つの特徴点Ａ、Ｂ（間隔が既知、例えば、垂直の測量用ポール上の点Ａと点Ｂ）と、各カメラマウンタ上の特徴点（例えば、振り子錘の下端）と、を含む。
測量機で前記２つの特徴点Ａ、Ｂを測量することで、各カメラマウンタ座標系の原点から点Ａ、点Ｂまでのベクトルを取得することができる。例えば、該ベクトルの水平角と同じ水平角の水平軸をｚ軸、垂直軸をｘ軸とする。
各測量機で他のカメラマウンタ上の特徴点を測量することで、各マウンタ座標系間の角度を取得することができる。
グローバル座標系のｚ軸とｘ軸を、１つのマウンタの座標系のｚ軸とｘ軸に一致させ、点Ａと点Ｂ間の距離と上記設定情報を用いることで、三角法によって、各カメラマウンタのグローバル座標系における位置及び姿勢を取得する。

【0021】

１つの態様では、前記複数のカメラマウンタの一部あるいは全部は、前記測量機によって測量可能な複数のマーカ（特徴点）を備えており、複数のマーカの測量データを用いてグローバル座標系におけるカメラマウンタの位置及び姿勢を取得する。
１つの態様では、前記カメラマウンタは、３つ以上のマーカ（例えば、４つの測量マーカ）を備えた平面を有している。
１つの態様では、３つ以上のマーカ間の距離が既知であり、かつ、これらのマーカが垂直面上に設けてあり、測量機（例えば、測角機能及び測距機能を備える）で３つのマーカを測量し、測量機の中心を原点としてグローバル座標系を設定することで、測量情報と三角法を用いることで、各カメラマウンタのグローバル座標系における位置及び姿勢を取得する。

【0022】

１つの態様では、前記外部パラメータの取得において、各カメラの撮像空間に位置する複数の特徴点のグローバル座標系での位置情報と、各カメラ画像での各特徴点の位置情報と、が用いられ、
前記複数の特徴点のグローバル座標系での位置情報は、前記測量機を用いて取得される。
１つの態様では、前記特徴点は、各カメラの撮像空間に位置する不動点であり、例えば、コート上のラインの交点（角部を含む）や交差部や、ゴールポスト上の点（ポストとクロスバーの交差部やポストの下端）を特徴点として利用することができる。
１つの態様では、前記特徴点の３次元位置情報及び２次元位置情報は最適化計算に用いられる。

【0023】

１つの態様では、前記外部パラメータの取得において、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を用いる。
１つの態様では、前記キャリブレーション手段は、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢を取得する手段を備える。
１つの態様では、前記カメラマウンタは前記測量機から構成されており、
前記カメラマウンタ座標系における前記カメラの位置及び姿勢は、前記測量機を用いて取得される。
１つの態様では、前記測量機を用いてカメラマウンタ座標系の位置が既知な複数の特徴点を設定し（図１５参照）、
各カメラ画像における各特徴点の位置情報を取得し、
前記特徴点のカメラマウンタ座標系の位置情報とカメラ画像における位置情報を用いて、前記カメラマウンタ座標系における前記カメラの位置及び姿勢を取得する。
１つの態様では、各カメラマウンタ座標系における当該カメラマウンタに搭載された各カメラの位置・姿勢は既知ないし予め取得されている。

【0024】

１つの態様では、最適化計算によって前記外部パラメータを取得する。
１つの態様では、最適化計算において、前記グローバル座標系におけるカメラマウンタの位置及び姿勢、及び、前記特徴点の３次元位置情報及び２次元位置情報が用いられる。
１つの態様では、前記最適化計算において、グローバル座標系の位置情報が未知の１つあるいは複数の特徴点に対応する各カメラ画像の位置情報が用いられる。
１つの態様では、各カメラは同期されており、各カメラで異なる位置・姿勢にあるキャリブレーション器具を撮影し、キャリブレーショ器具上の複数の特徴点の各カメラ画像での位置情報が用いられる。

【0025】

１つの態様において、前記カメラパラメータは、光学パラメータ、内部パラメータを含み、前記キャリブレーション手段は、最適化計算によって前記外部パラメータ、前記光学パラメータ、内部パラメータの一部あるいは全部を取得する。
光学パラメータ及び内部パラメータは、従来手法（キャリブレーション器具を用いる）によって取得してもよい。
例えば、前記カメラマウンタが前記測量機から構成されている場合には、光学パラメータ及び内部パラメータの取得において、前記測量機を用いてもよい。
外部パラメータの取得において、取得した光学パラメータ及び内部パラメータの一部あるいは全部を用いてもよい。

【発明の効果】

【0026】

本発明は、カメラのキャリブレーションにおいて、測量機で計測した高精度の測量データを用いることで、モーションキャプチャの撮像空間が大空間であっても簡便かつ高精度にカメラのキャリブレーションを行うことができる。
したがって、屋内外スポーツフィールド、屋内外コート、アリーナ、ドーム、体育館等で行われるスポーツの試合を撮影することで、試合中の各選手の運動を３次元再構成してモーションキャプチャを行い、動作解析を行うことができる。

【図面の簡単な説明】

【0027】

【図1】本実施形態に係るモーションキャプチャ・カメラシステムをサッカーコートを撮影するように配置した態様を示す概念図である。

【図2】本実施形態に係るモーションキャプチャ・カメラシステムをバレーボールコートを撮影するように配置した態様を示す概念図である。

【図3】本実施形態に係るカメラネットワークの概略図である。

【図4】本実施形態に係るカメラマウンタの一例を示す図であり、カメラマウンタとしてのセオドライトと、セオドライト上に搭載された３つのカメラを示している。

【図5】本実施形態に係るカメラマウンタの一例を示す図であり、カメラマウンタとしてのフラットプレートと、フラットプレートの四隅に設けた４つのマーカ、フラットプレートの幅方向中央部位下端に搭載した１つのカメラを示している。

【図6】本実施形態に係る測量機として例示するトータルステーションを示す図である。

【図7】バレーボールコートの周囲に配置した複数個のカメラ及びそれらのFOV、及び、ケーブルの配線を示す図である。

【図8】バレーボールコート上の空間でのターゲットボールの軌道を示し、バンドル調整のためのカメラ画像データの取得に用いられる。

【図9】バレーボールコート上の１８個の特徴点を示す図である。

【図10】測量されたコート上の特徴点及びカメラマウンタの位置を示す図である。

【図11】カメラ座標系とOpenCV上の画像面との関係を示す図である。

【図12】セオドライトを用いた三角測量を示す図である。

【図13】セオドライトを用いた三角側量を示す図である。

【図14】トータルステーションを用いた、マーカ付きカメラマウンタの位置・姿勢を測量を説明する図である。

【図15】相対外部パラメータのキャリブレーションを説明する図である。

【図16】モーションキャプチャシステムの全体図である。

【図17】モーションキャプチャを用いた動作分析の工程を示すフローチャートである。

【発明を実施するための形態】

【0028】

［Ａ］モーションキャプチャ・カメラシステム
［Ａ－１］全体構成
本実施形態に係るモーションキャプチャ・カメラシステムは、スポーツフィールドやアリーナ等の大空間で行われるチームスポーツを複数のカメラで撮影するものであり、各カメラで取得された撮影画像を用いて各選手のモーションキャプチャを行うものである。本実施形態で用いるモーションキャプチャは、ビデオモーションキャプチャ技術（非特許文献１）であり、その具体的な内容は後述する。

【0029】

モーションキャプチャ・カメラシステムは、１つあるいは複数のカメラからなる複数のカメラユニットと、各カメラユニットが搭載される複数のカメラマウンタと、を備える。例えば、図１は、サッカーの試合を撮影するモーションキャプチャ・カメラシステムの概念図であり、４台のカメラを備えた４台のカメラユニットがサッカーコートを囲むように配置される。各カメラから対象である選手までの距離は数十メートルとなる。

【0030】

図１に示すモーションキャプチャ・カメラシステムは、４つのカメラユニットCU₁、CU₂、CU₃、CU₄を備え、カメラユニットCU₁は４つのカメラC₁₁、C₁₂、C₁₃、C₁₄、カメラユニットCU₂は４つのカメラC₂₁、C₂₂、C₂₃、C₂₄、カメラユニットCU₃は４つのカメラC₃₁、C₃₂、C₃₃、C₃₄、カメラユニットCU₄は４つのカメラC₄₁、C₄₂、C₄₃、C₄₄を備えている。カメラユニットCU₁はカメラマウンタCM₁に搭載されており、カメラユニットCU₂はカメラマウンタCM₂に搭載されており、カメラユニットCU₃はカメラマウンタCM₃に搭載されており、カメラユニットCU₄はカメラマウンタCM₄に搭載されている。図１では便宜上、４つのカメラユニットを示したが、実際には、より多くのカメラユニットが配置され得ることになるであろう。なお、１台のカメラユニットに搭載されるカメラの数は限定されない。

【0031】

図２は、バレーボールの試合を撮影するモーションキャプチャ・カメラシステムの概念図であり、１台のカメラを備えた４台のカメラユニットがバレーボールコートを囲むように配置される。図２に示すように、モーションキャプチャ・カメラシステムは、４つのカメラユニットCU₁、CU₂、CU₃、CU₄を備え、カメラユニットCU₁は１つのカメラC₁₁、カメラユニットCU₂は１つのカメラC₂₁、カメラユニットCU₃は１つのカメラC₃₁、カメラユニットCU4は１つのカメラC₄₁を備えている。カメラユニットCU₁はカメラマウンタCM₁に搭載されており、カメラユニットCU₂はカメラマウンタCM₂に搭載されており、カメラユニットCU₃はカメラマウンタCM₃に搭載されており、カメラユニットCU₄はカメラマウンタCM₄に搭載されている。なお、１台のカメラユニットに搭載されるカメラの数は限定されない。

【0032】

後述する実験例では、図７に示すように、１台のカメラを備えた１０台カメラユニットがバレーボールコートを囲むように配置される。バレーボールコートの寸法は１８ｍ×９ｍの長方形であり、その周囲に幅３ｍのフリーゾーンが設けてある。各カメラは、少なくも、フリーゾーンを含む領域で高さ３ｍの空間を撮影できるように配置される。各カメラは、所定位置に整準した三脚に搭載したり、手すりに固定することで配置される。各カメラは位置・姿勢を固定した状態で事前にキャリブレーションが行われ、撮影中は位置・姿勢が維持される。

【0033】

図７で示したモーションキャプチャ・カメラシステムのカメラネットワークを図３に示す。カメラネットワークは１２台のカメラが接続可能であるが、実施例では１０台のカメラが用いている点に留意されたい。本実施形態に係るカメラネットワークは複数台のカメラと、送信ボックスと、カメラハブと、１台あるいは複数台のコンピュータと、電源と、同期信号を生成する波形発生器と、を備えている。各カメラは送信ボックスと電気的に接続されており、送信ボックスとカメラハブは、hybrid copper/fiber cableで電気的に接続されており、カメラハブとコンピュータは電気的に接続されている。各カメラは同期している。

【0034】

各カメラは、120Hzで解像度1920x1200の画像を取得する。各カメラはUSB3.0インターフェースを備えており、画像信号の伝送には、USB3 to Fiber Optic Extenderが用いられる。送信ボックスには、USB3 to Fiber Optic ExtenderのTransmitterが設けられ、カメラハブには、USB3 to Fiber Optic ExtenderのReceiverが設けてあり、画像信号は、USB3 to Fiber Optic Extenderを介してコンピュータに送信される。コンピュータは、データ受信部、処理部、記憶部を備えており、データ受信部で受信された画像データは、処理部で適宜データ圧縮されて、記憶部に格納される。

【0035】

各カメラは、カメラマウンタに搭載されており、カメラマウンタに対して各カメラの位置・姿勢が固定されている。キャリブレーションによって、カメラの内部パラメータ、外部パラメータ、歪み係数が得られており、これらのカメラパラメータはコンピュータの記憶部に格納される。カメラパラメータは、各カメラ画像を用いた対象の運動の３次元再構成に用いられる。

【0036】

本実施形態に係るモーションキャプチャ・カメラシステムは、さらに、キャリブレーション手段と、測角機能を備えた１つあるいは複数の測量機と、を備えている。キャリブレーション手段は、コンピュータ（入力部、演算部、記憶部、出力部等を備える）から構成される。キャリブレーション手段は、各カメラ画像を３次元再構成するためのカメラパラメータを取得する。本実施形態に係るキャリブレーションは、キャリブレーションの計算において、測量機の測量データを用いる点に特徴を備えている。より具体的には、該キャリブレーション手段は、グローバル座標系における各カメラマウンタの位置及び姿勢を用いて外部パラメータを取得するものであり、前記グローバル座標系におけるカメラマウンタの位置及び姿勢は、１つあるいは複数の測量機を用いて取得される。１つの態様では、モーションキャプチャ時には、カメラの位置・姿勢は固定され、測量機は用いない。典型的には、キャリブレーション手段は、最適化計算によってカメラパラメータを取得するものであり、キャリブレーション手段は、最適化計算を実行する最適化計算部を含んでいる。

【0037】

屋外の広い空間における高精度な測量技術として、セオドライトやトータルステーションが知られている。セオドライトは代表的な測角機能を備えた角度測量機であり、水平回動・上下回動可能な可動部（望遠鏡を備える）を備え、水平角・高度角を高精度で計測することができる。トータルステーションは、測角機能を備えたセオドライトに測距機能（レーザ計測）が備わった機器である。後述する実験で用いたトータルステーションは、パン角度（水平角度）及びチルト角度（垂直角度）の精度は、20 secondsであり、レーザレンジファインダの精度は、２８．８ｍにおいて±1mmである。

【0038】

本発明は、大空間における計測に用いるモーションキャプチャ・カメラシステムにおいて、測量機、具体的には、セオドライトやトータルステーション、及び、必要に応じて、これらの計測に用いられる測量器具（反射プリズムや反射マーカ等）、を含むカメラシステムを構成することで、大空間でも簡便かつ高精度にカメラパラメータのキャリブレーションを行うことを可能とする。

【0039】

［Ａ－２］カメラマウンタが測量機から構成される場合
カメラマウンタの第１の実施形態では、１つあるいは複数のカメラからなる各カメラユニットのカメラマウンタは、セオドライトやトータルステーションの測量機から構成される。図１に示す態様では、カメラマウンタCM₁、CM₂、CM₃、CM₄は測量機から構成されている。各カメラユニットは、測量機の可動部に搭載されており、測角時に可動部と一体で水平方向及び縦方向に回動可能となっている。具体的には、１台あるいは複数のカメラを搭載したカメラ台を、セオドライトやトータルステーションに固定して設置する。セオドライトやトータルステーションは、例えば、整準した三脚に整準して搭載されており、その上にカメラユニットが搭載される（図４参照）。

【0040】

カメラマウンタを測量機から構成することで、測量技術を用いて、カメラマウンタのグローバル座標系における姿勢・位置を取得することができる。各カメラユニット、カメラ台と、カメラ台に搭載された複数個のカメラから構成され、カメラ台が測量機に搭載される。例えば、４台のカメラが、各カメラの光軸が同一平面内に位置し、全てのカメラの光軸が一点で交差するように等角度で放射状に配置される。別の例では、各カメラは正多角錘の側面に配置され、全てのカメラの光軸が正多角錐の軸上の一点で交差する。各カメラユニットのカメラの台数や配置態様は限定されない。複数のカメラマウンタを測量機から構成する場合には、１つの態様では、全てのカメラマウンタが測量機から構成される。他の態様では、複数のカメラマウンタの一部が測量機から構成される。２つ以上のカメラマウンタが測量機から構成される場合に、少なくとも１つのカメラマウンタがトータルステーションから構成されてもよい。

【0041】

ここで、カメラを備えたセオドライトは、例えば、特許文献１－３、非特許文献２に開示されており、また、ビデオセオドライトとして知られている。従来のビデオセオドライトにおけるカメラは、通常の使用時には回動可能な状態にあり、測角部の回動と共にカメラも回動し、測角情報と共にカメラ画像情報を用いるものである。これに対して、本実施形態における測量機をカメラマウンタとしたカメラユニットでは、カメラのキャリブレーションにおいてのみ測量機の測角機能が用いられ、使用時（モーションキャプチャ時）にはカメラの位置が固定され、セオドライトの測角機能は用いられない。なお、本発明において、モーションキャプチャ時に測量機の測角機能を用いることは排除されるものではなく、後述する動的キャリブレーションでは、測角機能を用いてもよい。

【0042】

［Ａ－３］カメラマウンタが測量機により測量可能なマーカを備えている場合
カメラマウンタの第２の実施形態では、カメラマウンタには複数のマーカ（特徴点）が設けてあり、測量機によってマーカが測量可能となっている。より具体的には、カメラマウンタは、所定形状・寸法の平面を有するプレート（例えば、３０ｃｍ×３０ｃｍないし４０ｃｍ×４０ｃｍの正方形）を備え、プレートの平面部には、セオドライトやトータルステーションのターゲットとなる反射マーカを３個以上（例えば４個）設ける。図２に示す態様では、カメラマウンタCM₁、CM₂、CM₃、CM₄は、複数の反射マーカを有する平面を備えたプレートから構成されている。

【0043】

フラットプレートには、相対的な位置を固定したカメラが搭載されている。例えば、各カメラユニットは１個のカメラを備え、正方形状のフラットプレートの下方部位において、幅方向中央に位置してカメラが固定される。３個以上の反射マーカを備え、カメラと相対的な位置を固定した平板は、カメラと共にカメラ台（雲台）に取り付け、カメラ台は三脚等に固定して設置する。なお、複数のマーカを備えたプレートからなるカメラマウンタにおいて、複数個のカメラを搭載してもよい。

【0044】

測量技術を用いることで、カメラマウンタ（フラットプレート）のグローバル座標系における姿勢・位置を取得することができる。カメラマウンタが測量機により測量可能なマーカを備えている場合において、該マーカの測量には、測角機能及び測距機能を備えた測量機（典型的にはトータルステーション）を用いることが有利である。

【0045】

測量機を用いるにあたり、測量技術で用いられているその他の器具、測量手法、計算方法を用い得ることが当業者に理解される。セオドライト、トータルステーション以外の測量器具としては、三脚、アルミスタッフ、アルミロッド、ポール、水準器、オートレベル、反射プリズム、プリズムポールを例示することができる。

【0046】

［Ｂ］カメラのキャリブレーション
大空間モーションキャプチャにおける３次元再構成のためのカメラキャリブレーションについて説明する。以下に第１手法、第２手法、第３手法の３つの手法について説明する。第１手法は公知の手法であるが、第３手法は、第１手法と第２手法を組み合わせたものであることから、カメラパラメータの説明と合わせて第１手法についても言及する。

【0047】

［Ｂ－１］位置が未知の特徴点群を用いた一般的なバンドル調整（第１手法）
本実施形態で用いるカメラシステムの各カメラのキャリブレーションについて説明する。ここで、バンドル調整とは、３次元特徴点からカメラへの光線の束（bundle）が、３次元特徴点とカメラの位置・姿勢の両方に対して最適に調整される（adjustment）ことをいう。この最適化は一般的に、特徴点の再投影誤差を最小化する非線形最適化問題として解かれる。

【0048】

特徴点の再投影には、最もシンプルなカメラモデルであるピンホールカメラモデルに基づく透視投影変換行列を用いる。この透視投影変換行列は各カメラごとに次のように表せる。

ここで、iはカメラ番号、行列X＝(x₁・・・x_n)はn個の特徴点のグローバル座標系での位置x_i＝(x_i y_i z_j 1)^T、行列ⁱY＝(ⁱy₁・・・ⁱy_n)はn個の特徴点の画像平面でのピクセル単位の位置ⁱy_j＝(ⁱu_j ⁱv_j 1)^T、行列ⁱS＝diag{ⁱs₁,・・・,ⁱs_n}は画像平面に投影するためのスケールⁱs_j＝(001)ⁱAiBx_jを指す。

【0049】

カメラの内部パラメータ、外部パラメータをそれぞれ表す行列ⁱA，ⁱBについては、次のように表せる。

ここで、ⁱf_x，ⁱf_yは画像平面上のx軸、y軸それぞれのピクセル単位の焦点距離、ⁱc_x，ⁱc_yは画像平面での主点（画像平面と光軸の交点）の位置、行列ⁱRはカメラ座標系におけるグローバル座標系の姿勢、ⁱtはカメラ座標系におけるグローバル座標系の原点の位置を表す。コンピュータビジョンで一般的に使用される座標軸において、３次元空間から画像平面への投影を図１１に示す。これにしたがい、次の式でカメラの内部パラメータ行列Aを定義する。

ここで、行列ⁱAについては、ⁱf_x＝ⁱf_y＝ⁱfとし、ⁱc_x，ⁱc_yを画像平面の中心とすることで、最適化変数の数を減らすことができる。受光素子の大きさの縦横比は１：１、かつ、画像平面の中心で光軸と交わっている、と仮定できるからである。行列ⁱRについては、オイラー角で表記する場合には、ⁱＲ(ⁱθ_α,ⁱθ_β,ⁱθ_γ)として３変数として扱える。本明細書では、この回転行列の表記としてZYXオイラー角ⁱＲ(ⁱθ_α,ⁱθ_β,ⁱθ_γ)= Ｒ_Z(ⁱθ_α)Ｒ_Y (ⁱθ_β)Ｒ_X (ⁱθ_γ) を採用する。

【0050】

カメラ複数台における特徴点の再投影誤差を最小化する非線形最小自乗問題は次のように表せる。

ここで、最適化変数である焦点距離ⁱf_x,ⁱf_yとカメラ位置ⁱtは、片方を固定しなければもう片方が定まらないような関係にある。そのため、片方を固定するか、それぞれに上限・下限を狭く設定するか、どちらかの必要がある。

【0051】

マルチカメラキャリブレーションのために得られるデータが、複数台のカメラにおけるタイポイント（グローバル座標系での位置が未知の特徴点群。例えばカラーボールの中心位置の軌跡など）の画像平面でのピクセル位置ⁱY_tieだけであったとする。このとき、特徴点群のグローバル座標系での位置X_tieは、複数台のカメラの位置・姿勢に依存して定まる。このバンドル調整は次のように表せる。

ここで、上記非線形方程式系は、Levenberg-Marquardt法を用いて解くことができる。

【0052】

［Ｂ－２］測量機による直接計測に基づくバンドル調整（第２手法）
キャリブレーションのために得られるデータが、コントロールポイント（グローバル座標系での位置が既知の特徴点の特徴点群、例えば測量機で計測したコート上特徴点など）のグローバル座標系での位置ⁱX_controlと、画像平面でのピクセル位置ⁱY_control、そして、カメラのマウンタの位置・姿勢ⁱB_mの３つであったとする。測量機を用いて直接計測を行って、コントロールポイント、及び、カメラのマウンタの位置・姿勢ⁱB_mの値を得た。このとき、カメラ間に拘束がないため、カメラごとに最適化できる。このバンドル調整は次のように表せる。

ここで、上記非線形方程式は、Levenberg-Marquardt法、ないし、Trust-Region-Reflective法を用いて解くことができる。Trust-Region-Reflective法では、最適化変数に対して、

のような範囲制約を設定できる。得られたカメラのマウンタの位置・姿勢ⁱB_mを基準に、最適化変数の初期値と狭い範囲制約を設定することで、前述の焦点距離ⁱf_x,ⁱf_yとカメラ位置ⁱtの関係に対して測量的に妥当な制約を加えることができる。

【0053】

カメラの歪み係数は、格子点の間隔が既知の距離をもつチェッカーボードに対して、様々な距離・角度で撮影した複数枚の画像を用いて、OpenCVの関数cv::calibrateCameraを用いて内部パラメータと共に求める。本実施形態では、内部パラメータもバンドル調整の変数として最適化している。最適化ソルバとして、MATLABのOptimization Toolboxにある、非線形最小二乗問題を解く関数lsqnonlinを用いて最適化を行った。

【0054】

［Ｂ－３］位置が未知の特徴点群と測量値を併用したバンドル調整（第３手法）
キャリブレーションのために得られるデータが、タイポイントの画像平面でのピクセル位置ⁱY_tie、コントロールポイントのグローバル座標系での位置ⁱX_control と画像平面でのピクセル位置ⁱY_control、そして、カメラのマウンタの位置・姿勢ⁱB_mの４つであったとする。このバンドル調整は次のように表せる。

ここで、n_tie, n_controlはそれぞれ、タイポイント、コントロールポイントの個数、k_tie, k_controlはk_tie＞0，k_control＞0となる２種の特徴点群に対する重みを指す。本実施形態では、k_tie＝k_control＝0.5とする。上記非線形方程式は、Levenberg-Marquardt法を用いて解くことができる。

【0055】

［Ｂ－４］実験例
バレーボールの試合におけるモーションキャプチャについて、以下の３種類のマルチカメラキャリブレーションを行った。
（a）位置が未知の特徴点群を用いた一般的なバンドル調整（第１手法）、
（b）測量機による直接計測に基づくバンドル調整（第２手法）、そして、
（c）位置が未知の特徴点群と測量機による直接計測を併用したバンドル調整（第３手法）。
これらの計測に用いた複数カメラの配置を図７に示す。実験では、１０台のカメラのうち、６台のカメラに対してキャリブレーションを行った。

【0056】

（a）同期済みカメラ複数台でのカラーボールの軌跡の画像位置情報を用いて、カメラ複数台のバンドル調整を行い、カメラの位置・姿勢を求めた。実験では、計測範囲であるバレーボールコート内にて黄色いカラーボールを図８ように動かし、その軌跡を同期済みの複数のカメラにて撮影した。OpenCVを用いてカラーボールの中心の画像平面での位置・半径を算出し、MATLAB上で外れ値を除外する処理を行った。カラーボールの中心位置は外れ値を除いて2223フレーム取得することができた。このデータをタイポイントとする。式（４）を解くことでキャリブレーションを行う。

【0057】

（b）コート上特徴点とカメラマウンタの位置・姿勢を測量機を用いて求め、カメラ１台ずつのバンドル調整を行い、カメラ位置・姿勢を求めた。実験で使用した測量マーカ付きカメラマウンタ、測量機を、それぞれ、図５、図６に示す。測量機は、トータルステーション（角度測量計・レーザ距離計）であり、カメラマウンタは40cm×40cmのフラットプレートであり、４隅に測量マーカが設けてある。図９は、18点のコート上特徴点（白線交点）を示す。これらの特徴点のグローバル座標系における位置情報は、測量機を用いて取得される。

【0058】

グローバル座標系は、コート上特徴点の番号0を原点とし、X軸が原点からコート上特徴点の番号9に向かう方向を正、Z軸がトータルステーションの整準で定められた鉛直上向き方向を正としている。この定義に沿うように、最適化により得られる結果の座標系の軸を回転させ、測量により得られた３次元位置も平行移動・回転させている。これにより、グローバル座標系での位置が既知であるコート上特徴点をコントロールポイントとする。また、測量マーカ付きカメラマウンタのグローバル座標系での位置・姿勢をカメラマウンタのローカル座標系に変換させ、それをカメラの外部パラメータ行列の初期値とする。式（５）を解くことでキャリブレーションを行う。また、測量機による直接計測に基づいて、カメラ毎に最適化を行っているが、測量機による直接計測に基づいて、複数カメラのバンドル調整を行ってもよい。これは、評価関数

を最小化する問題として扱うことができる。

【0059】

（c）カラーボールの軌跡（位置が未知の特徴点群）と、測量機による直接計測と、を併用したバンドル調整を行い、式（６）を解くことで、カメラ位置・姿勢を求めた。

【0060】

本実験では、カメラキャリブレーションデータと、ビデオモーションキャプチャシステム（非特許文献１参照）と、を用いて、バレーボール試合中の１２人の選手の全身の動作を再構成した。本実験では、アリーナで行われたバレーボールの試合を撮影して、試合中のバレーボール選手の動きを取得した。本実施形態に係るモーションキャプチャ・カメラシステムは、スポーツの種類、場所に限定されることなく、あらゆる動作計測に適用することができる。対象となるスポーツとして、サッカー、フットサル、ラグビー、野球、バレーボール、ハンドボール、テニス、体操を例示することができる。撮影場所としては、屋外スポーツフィールド、屋内スポーツフィールド、屋外コート、屋内コート、アリーナ、ドーム、体育館を例示することができる。

【0061】

［Ｂ－５］動的キャリブレーション
本実施形態に係るキャリブレーションは、カメラマンが焦点距離、パン・チルトなどをマニュアルで操る放送・記録用の複数台のカメラ映像からのビデオモーションキャプチャに適用することができる。この場合は、光学パラメータ（レンズ歪）、内部パラメータ（焦点距離）、外部パラメータがすべて手動により変動することになる。これらのパラメータを、スポーツフィールドないしコートを形成する要素上の不動特徴点（例えば、ライン上の点やゴール上の点）と、位置未知の特徴点（例えば、球技におけるボール）を用いて、各時刻の全てのパラメータを動的に最適化計算により取得する。

【0062】

先ず、モーションキャプチャ前に、測角機能を備えた測量機（測距機能を備えていてもよい）によって複数の不動特徴点のグローバル座標系での位置情報を取得して記憶しておく。不動特徴点は、スポーツフィールドないしコートを形成する要素上の点であり、フィールドないしコート上のラインの交点（角部を含む）や交差部や、ゴールポスト上の点（ポストとクロスバーの交差部やポストの下端）を例示することができる。

【0063】

モーションキャプチャ時に、前記複数の不動特徴点の各カメラ画像での位置情報と、グローバル座標系の位置情報が未知の１つあるいは複数の特徴点の各カメラ画像での位置情報と、を用いて、最適化計算によって、前記カメラパラメータを取得する。グローバル座標系の位置情報が未知の特徴点としては、球技におけるボールを例示することができる。また、選手が着用しているユニフォーム上の特定の位置のマークやシューズの特定点を位置が未知の特徴点として用いてもよい。

【0064】

最適化計算においては、経験則を用いて、一部のパラメータの変動幅を小さく設定したり、一部のパラメータの変化速度を小さく設定したりしてもよい。また、カメラマウンタを、測角機能を備えた測量機から構成し、測量機を用いて取得したカメラマウンタの姿勢情報を最適化計算に用いてもよい。最適化計算では、測量機の計測値（角度）の時系列情報を取得して記憶したものを用いたり、あるいは、測量機の計測値を最適化計算部が実時間で受信して、実時間で最適化計算を行ってもよい。

【0065】

［Ｃ］カメラマウンタの位置・姿勢の取得
［Ｃ－１］測量機による直接計測
1) 角度測量による測量ポール上の計測点の相対位置・姿勢の定義:
整準されたi番目の角度測量計により、同様に整準された測量ポール上の計測点A、Bと角度測量計の相対位置・姿勢は、図１２にしたがって次のように求まる。ここで、点O、A、Bはポール上の計測点（高位、低位）であり、点Oをグローバル座標系の原点（ポールと地面との交点）とする。点T_iはi番目の角度測量計のローカル座標系の原点、点Hiはポール上におけるT_iからの垂線の足で、軸X_Ti、Y_Ti、X_Tiは角度測量計のローカル座標系の各軸を指す。また、角度θⁱ _Aは角度

角度θⁱ _Bは角度

とする。各線分は次のようになる。

したがって、ベクトル

は、以下のようになる。

レーザ距離計により線分T_iA、T_iB の実測値がある場合には、その値も考慮して最適化によりベクトル

求める。

【0066】

［Ｃ－２］グローバル座標系における角度測量計の位置・姿勢
ベースとなる角度測量計T₀とし、角度測量計T₀のローカル座標系の姿勢をグローバル座標系の姿勢、測量ポール上の原点Oをグローバル座標系の原点とする。このとき、前節で得られたベクトル

を用いて、グローバル座標系に対する角度測量計T₀のローカル座標系の同次変換行列^O ₀Hを図１３にしたがい次のように定義できる。

また、グローバル座標系における他の角度測量計の位置・姿勢についても、次のように定める。

ここで、角度θ⁰ _Tiは角度

角度θⁱ _T0は角度

とする。

【0067】

セオドライトをカメラのマウンタとするとき、その位置・姿勢を表す外部パラメータ行列ⁱB_mは、次のように定義できる。

【0068】

［Ｃ－３］測量マーカ付きカメラマウンタの位置・姿勢
図１４において、測量マーカ付きカメラマウンタのローカル座標系の原点をF_iとする。この座標系の、グローバル座標系に対する位置^Op_Fiと姿勢^O _FiR を最適化により次のように求める。

ここで、^Op_iPj は各測量マーカの点(j＝1,…,4)である。
w_frillはマーカ間距離の設計値、ⁱL_slopej、ⁱL_horizontalj、ⁱL_verticaljは、レーザ距離計で測ったマーカへの斜距離・水平距離・高低差である。また、角度ⁱθ_horizontalj、ⁱθ_verticaljは、角度距離計で測ったマーカへの方向角・高度角を指す。測量マーカ付きカメラマウンタトをカメラのマウンタとするとき、前節と同様に外部バラメータⁱB_mは次のように定義される。

【0069】

［Ｃ－４］相対外部パラメータの定義と最適化:
カメラの外部パラメータ行列ⁱBに対して、カメラマウンタの外部パラメータ行列ⁱB_mのみが測量機で直接計測をすることができる。それらは相対外部パラメ―タ行列

を用いて次のように変換できる。

相対外部パラメ―タ行列を第２手法で最適化すると、次の問題になる。

【0070】

現場での計測だけではなく、相対外部パラメータ行列だけを求めるための事前のキャリブレーションを行えるのであれば、カメラの焦点距離とカメラ-マウンタ間の相対外部パラメータ行列を最適化によって求めるのが好ましい。焦点距離を事前に求めて固定する方が、現場で妥当なカメラ位置を求めることができる。このとき、カメラマウンタとして角度測量計を用いるならば、より厳密にカメラの焦点距離を求めることができる。具体的にその手順について述べる。まず、整準された測量ポールに対して、整準された角度測量計を用いて、前述のようにグローバル座標系を定義する。次に、一定間隔（1°ずつ、±10°の範囲）で動かし、測量ポールを撮影する。そのことで、測量ポール上にコントロールポイントを定義することができる（図１５参照）。セオドライトの精度に保証されたコントロールポイントの位置を得ることができる。

【0071】

［Ｄ］測量機をカメラマウンタに用いたカメラシステムにおけるカメラキャリブレーション
測量機をカメラマウンタに用いた実施形態におけるキャリブレーションについて詳細に説明する。カメラシステムは、複数個（例えば、４個ないし２個）のカメラからなるカメラユニットを備え、各カメラユニットは測量機（セオドライトないしトータルステーション）に搭載されている。各カメラユニットは、測量機の可動部に搭載されており、測角時に可動部と一体で水平方向及び縦方向に回動可能となっている。１つの態様では、１つのカメラユニットがトータルステーションに搭載されており、他のカメラユニットがセオドライトに搭載されている。もちろん、複数のカメラユニットが複数のトータルステーションに搭載されていてもよい。本セクションの説明において、iはセオドライトの通し番号を示し、jはi番目のセオドライトに搭載されたj番目のカメラを示す。上記セクション［Ｃ］では、iはカメラの通し番号を示し、カメラのマウンタ（セオドライトである場合も含む）には、カメラの通し番号が割り当てある点に留意されたい。

【0072】

［Ｄ－１］ワールド座標系におけるセオドライト座標系
ワールド座標系からのセオドライト座標系への同次変換行列の取得について説明する。先ず、セオドライト及びトータルステーションを三脚に搭載する。各三脚を、各カメラの視野に計測範囲が含まれるように立てる。セオドライト及びトータルステーションを、水準器を用いて整準する。計測範囲の中心に測量用ポールを立てる。測量用ポールは、測量で一般に用いられる周知のポールであり、例えば、赤と白のストライプが10cm幅で形成されている。ポール上の上側の計測点をＡ、下側の計測点をＢとする。

【0073】

各セオドライトないし各トータルステーションにおいて、ポール上の計測点Ａを視準し、Yaw_A及びPitch_Aを読む。Yawをロックして計測点Ｂを視準し、Pitch_Bを読む。Yaw_Aをセオドライトやトータルステーションの初期Yaw角度として設定する。すなわち、Yaw_AでYawをリセットする。

【0074】

各セオドライトないし各トータルステーションにおいて、以下のように座標系を設定する。各セオドライトないし各トータルステーションの中心を原点とし、ｚ軸を、Yaw=Yaw_A及びPitch=0（水平）にとり、ｘ軸をPitch=90°の方向（垂直）にとる。

【0075】

トータルステーションの座標系を座標系｛0｝とする。セオドライトの座標系を基準に反時計回りに座標系｛1｝,｛2｝,..,｛M｝とする。ここで、Mはセオドライトの番号である。M＝３である。

【0076】

ポールの計測点Ｂにおいて、グローバル座標｛a｝を設定する。ｚ軸とｘ軸はトータルステーションの座標系｛0｝のｚ軸とｘ軸に一致させる。

【0077】

カメラマウンタ（例えば、１つのトータルステーションと複数のセオドライト）間のYaw角度をセオドライトないし各トータルステーションを用いて計測する。例えば、座標系｛0｝から座標系｛1｝のYaw角度をα₀₁によって表す。この測定においては、ターゲットとなるセオドライトないしトータルステーションの振り子錘の先端をターゲット（特徴点）とする。複数のカメラマウンタ間のYaw角度を計測することで、角度α_ij(i=0,…,M;J=0,…M;i≠j)を取得する。

【0078】

計測点Ａと計測点Ｂの距離が既知であることを用いて、三角法によってワールド座標系からのセオドライト座標系への同次変換行列

を取得する

【0079】

［Ｄ－２］カメラの内部パラメータ
カメラの内部パラメータの取得について説明する。各カメラユニットは、セオドライトないしトータルステーションのYaw回転と一体で回転可能な水平面上の固定された４つのカメラを備えている。カメラは、セクター角度22.5°で扇形状に軸

でセットされており、軸はz-x平面に対して対称である。各軸を軸

回りに9.65°で回転させる。

【0080】

カメラは、各トータルステーション及びセオドライトをi=0,…,Mとし、各トータルステーション及びセオドライト上の各カメラをYaw軸時計回りにj=0,1,2,3として、カメラ(i,j)のようにインデックスされる。

【0081】

カメラはしぼり開放とし、∞にフォーカスする。光量はシャッタースピードでコントロールする。チェッカーボードを１５の異なる位置及び向きでカメラに見せる。OpenCVのcvCalibrateCamera2を用いて、カメラの内部パラメータP_ij(i=1,…,M;J=1,2,3,4)を取得する。

【0082】

カメラ座標系における３次元位置

は、カメラ画像I_ijにおいて、以下の形式で現れる。

歪みフリー画像I_ij ^*は、P_ijを用いてI_ijから以下のような形式で生成され、

歪みフリー画像は、カメラ座標系の３次元位置

を

で示す。

【0083】

［Ｄ－３］セオドライト／トータルステーション座標系におけるカメラ座標系
セオドライト座標系からのカメラ座標系への同次変換行列の取得について説明する。水準器を用いてポールを垂直に立てる。セオドライト／トータルステーション(i=0,…,M)について、座標系｛i｝のセオドライトないしトータルステーションを、水準器を用いて垂直に立てる。カメラの高さを水平面から例えば１．７ｍとし、ポールからカメラまでの距離を例えば１０ｍとする。セオドライト／トータルステーションのpitch角度を0°（水平）に設定する。そして、Yawを調整してポールの中心を視準し、Yaw角度(0°)をリセットする。

【0084】

ポールの軸上に２つの点Ａ、Ｂを決定し、点Ａ、Ｂの３次元位置を

として三角法で計算する。セオドライトないしトータルステーションの回転角度を、β₀＝-33.75°、β₁＝-11.25°、β₂＝11.25°、β₃＝33.75°、に設定する。カメラ(j=0,…,M)、及び、角度(k=0,…,20)について、座標系｛i｝のYawをγ_jkに設定し、ここで、

である。そして、角度(k=0,…,20)を変化させて、カメラ(i,j)の画像I_ijkを取得する。

上記２つの式を満たすように最適化計算を行って、セオドライト座標系からのカメラ座標系への同次変換行列

を取得する。同様に、次のカメラjについて同時変換行列を取得し、次のセオドライトについて同様に計算を行って同時変換行列を取得する。

【0085】

本実施形態に係るキャリブレーションの結果は以下の３つの式で表される。

【0086】

［Ｅ］モーションキャプチャシステム
図１６を参照しつつ、本実施形態に係るモーションキャプチャシステムについて説明する。モーションキャプチャシステムは、いわゆるビデオモーションキャプチャシステム（非特許文献１参照）であり、モーションキャプチャ・カメラシステムで取得された複数のカメラの映像から深層学習を用いて推定した関節位置から３次元再構成を行うものであり、対象は、いかなるマーカやセンサを装着する必要がなく、計測空間も限定されない。複数台のＲＧＢカメラの映像から完全非拘束でモーションキャプチャを行うもので、屋内の居住空間から、屋外でのスポーツフィールドの広い空間まで、原理的には映像が取得できれば、動作計測が可能となる技術である。以下に述べるモーションキャプチャシステムは、例示であり、本発明に係るモーションキャプチャ・カメラシステムと共に用いるモーションキャプチャを限定するものではなく、他の手法を採用してもよい。

【0087】

１枚の画像に含まれる対象の数は限定されない。例えば、競技スポーツでは、カメラによって複数人の人間の動作を撮影することで、各画像には、複数の人間が含まれることになる。各画像において、前記複数の人間から選択された１人あるいは任意数の複数の人間の関節位置を取得する。１枚の画像に複数人が含まれている場合に、例えば、PAFとPCM（Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person 2d pose estimation using part affinity fields. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition. CVPR 2017, 2017.）を用いれば、各人毎に関節位置を同時に取得することができる。また、計測初期時に各人毎に関節位置を識別すれば、その後はフレーム間の連続性で関節位置を追跡することで、各人を識別することができる。モーションキャプチャシステムによる動作取得において、対象はリンク構造ないし多関節構造を備えている。典型的には対象は骨格構造を備えた人間であるが、対象はロボットであってもよい。

【0088】

ビデオモーションキャプチャシステムは、対象の動作を取得するモーションキャプチャ・カメラシステムと、カメラシステムで取得された画像に基づいて、関節位置を含む特徴点（Keypoints）の位置の確からしさの程度を色強度で表示するヒートマップ情報を取得するヒートマップ取得部と、ヒートマップ取得部で取得されたヒートマップ情報を用いて対象の関節位置を取得する関節位置取得部と、関節位置取得部で取得された関節位置を平滑化する平滑化処理部と、対象の身体の骨格構造、ビデオシステムで取得された画像の時系列データ、関節位置取得部で取得された関節位置の時系列データ等を記憶する記憶部と、カメラシステムで取得された対象の画像や対象のポーズに対応する骨格構造等を表示するディスプレイと、を備えている。

【0089】

モーションキャプチャ・カメラシステムは複数のカメラを備え、複数の同期したカメラによって対象者の動作が撮影され、各カメラから所定のフレームレートでRGB画像が出力される。同時刻で取得された複数枚のカメラ画像がヒートマップ取得部に送信される。ヒートマップ取得部は、RGB画像に基づいてヒートマップを生成する。ヒートマップは、身体上の特徴点の位置の確からしさの尤度の空間分布を表す。ヒートマップ取得部は、入力画像に基づいて、各関節位置を含む身体上の特徴点（keypoints）の位置の確からしさの尤度の２次元あるいは３次元の空間分布を生成し、前記尤度の空間分布をヒートマップ形式で表示する。ヒートマップ取得部は、典型的には、畳み込みニューラルネットワーク（CNN）を用いて、入力された単一の画像から対象の身体上の特徴点の位置（典型的には関節位置）を、ヒートマップとして推定する。

【0090】

生成されたヒートマップ情報は関節位置取得部に送信され、関節位置取得部によって関節位置が取得される。関節位置取得部は、ヒートマップ取得部から取得されたヒートマップ情報を用いて関節位置候補を推定し、当該関節位置候補を用いて逆運動学に基づく最適化計算を実行することで骨格モデルの関節角、関節位置を更新する。関節位置取得部は、ヒートマップデータに基づいて関節位置候補を推定する関節位置候補取得部と、関節位置候補を用いて逆運動学に基づく最適化計算を実行して関節角を算出する逆運動学計算部と、算出された関節角を用いて順運動学計算を実行して関節位置を算出する順運動学計算部と、を備えている。取得された関節位置データは、関節位置の時系列データとして記憶部に格納される。

【0091】

取得された関節位置データは、平滑化処理部に送信され、平滑化関節位置、関節角が取得される。平滑化処理部の平滑化関節位置取得部では、取得された関節位置に対して、過去のフレームにおける関節位置を用いて、平滑化処理を実行することで、関節位置の時間的な動きを滑らかにする。平滑化された特徴点の位置を用いて再度逆運動学に基づく最適化計算を実行して、対象の関節角を取得し、取得した関節角を用いて順運動学計算を実行して、対象の関節位置を取得する。平滑化された関節位置ないし関節角、及び、対象の身体の骨格構造によって対象のポーズが決定され、ポーズの時系列データからなる対象の動作をディスプレイに表示する。

【0092】

図１７にモーションキャプチャを用いた動作解析の処理工程を例示する。本実施形態に係るモーションキャプチャにより対象の動作を取得する。取得した関節角及び関節位置の時系列データを取得する。さらにこれに基づいて、逆動力学計算により関節トルクを取得し、前記関節トルクを用いて、筋を模倣したワイヤーを備えた筋骨格モデルにおけるワイヤー張力を最適化計算（２次計画法や線形計画法）により取得し、前記ワイヤー張力を用いて筋活動度を算出し、筋活動度の程度に応じた色が割り当てられた筋骨格画像を生成し、視覚化された筋活動度を伴う筋骨格画像を所定のフレームレートで出力して動画としてディスプレイに表示する。このように、対象の運動の撮影から、運動時の対象の３次元ポーズの取得、運動に必要な筋活動の推定と可視化までを、自動的に効率的に行うことができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】