特許 7231918 三次元座標データ生成システム及びその方法並びにその方法を用いた動作分析装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-21

(45)【発行日】2023-03-02

(54)【発明の名称】三次元座標データ生成システム及びその方法並びにその方法を用いた動作分析装置

(51)【国際特許分類】

   G06T 7/593 20170101AFI20230222BHJP

   G01B 11/00 20060101ALI20230222BHJP

【ＦＩ】

G06T7/593

G01B11/00 H

【請求項の数】 3

(21)【出願番号】P 2018176156

(22)【出願日】2018-09-20

(65)【公開番号】P2020047065

(43)【公開日】2020-03-26

【審査請求日】2021-08-24

(73)【特許権者】

【識別番号】593006630

【氏名又は名称】学校法人立命館

(74)【代理人】

【識別番号】100154014

【弁理士】

【氏名又は名称】正木 裕士

(74)【代理人】

【識別番号】100154520

【弁理士】

【氏名又は名称】三上 祐子

(72)【発明者】

【氏名】長野 明紀

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開２００８－０２６２３６（ＪＰ，Ａ）

【文献】藤本 浩介、他３名，広範囲移動体験のための車両型ＭＲにおける複数全方位カメラを使用した頑健な位置合わせ，ヒューマンインタフェース学会 研究報告集 ２０１５ Ｖｏｌ．１７ ［ＣＤ－ＲＯＭ］ Correspondences on Human Interface，日本，Human Interface Society，2015年10月01日，第１７巻，第７号，p.73-79

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

一対のレンズを用いて全天球を撮像可能な第１カメラと、
一対のレンズを用いて全天球を撮像可能な第２カメラと、
前記第１カメラ及び前記第２カメラにて撮像された曲面画像データを取得する画像データ取得手段と、
前記画像データ取得手段にて取得した曲面画像データを平面画像データに変換する変換手段と、
前記変換手段にて変換した前記平面画像データを用いて、グローバル座標系での前記第１カメラ及び前記第２カメラの位置と方位を算定する算定手段と、
前記算定手段にて算定したグローバル座標系での前記第１カメラの位置と方位、及び、グローバル座標系での前記第２カメラの位置と方位に基づいて、前記曲面画像データの所定箇所における三次元座標データを算出する算出手段と、を有してなる三次元座標データ生成システム。

【請求項2】

一対のレンズを用いて全天球を撮像可能な第１カメラ及び一対のレンズを用いて全天球を撮像可能な第２カメラにて撮像された曲面画像データを取得し、
前記取得した曲面画像データを平面画像データに変換し、
前記変換した前記平面画像データを用いて、グローバル座標系での前記第１カメラ及び前記第２カメラの位置と方位を算定し、
前記算定したグローバル座標系での前記第１カメラの位置と方位、及び、グローバル座標系での前記第２カメラの位置と方位に基づいて、前記曲面画像データの所定箇所における三次元座標データを算出してなる三次元座標データ生成方法。

【請求項3】

前記請求項２に記載の三次元座標データ生成方法を用いて、複数のマーカーを所定箇所に取り付けられた被検体の動作を分析する動作分析装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラの台数を削減しても三次元座標データを生成することができる三次元座標データ生成システム及びその方法並びにその方法を用いた動作分析装置に関する。

【背景技術】

【0002】

従来、三次元動作分析の計測方式として、光学式モーションキャプチャによる動作分析システムが良く知られている。光学式モーションキャプチャでは、複数の光学マーカーを被検体の所定箇所に取り付け、被検体を取り囲むように複数のカメラで被検体の動作を撮影することで、光学マーカーの移動軌跡から被検体の動作を計測するというものである（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２９４０４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上記のようなシステムでは、透視投影モデルに基づいたカメラを用いている。しかるに、この種のカメラは、撮像範囲が限られていることから、被検体の動作を計測しようとすると、多数のカメラを用意する必要があった。それゆえ、システム全体のコストが増大し、さらに、カメラの配置に多大な時間と労力を要するという問題があった。

【0005】

そこで、本発明は、上記問題に鑑み、カメラの台数を削減しても三次元座標データを生成することができる三次元座標データ生成システム及びその方法並びにその方法を用いた動作分析装置を提供することを目的としている。

【課題を解決するための手段】

【0006】

上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

【0007】

請求項１に係る三次元座標データ生成システムは、
一対のレンズを用いて全天球を撮像可能な第１カメラ（３ａ）と、
一対のレンズを用いて全天球を撮像可能な第２カメラ（３ｂ）と、
前記第１カメラ（３ａ）及び前記第２カメラ（３ｂ）にて撮像された曲面画像データ（ＴＨ）を取得する画像データ取得手段（ＣＰＵ４０、ステップＳ１）と、
前記画像データ取得手段（ＣＰＵ４０、ステップＳ１）にて取得した曲面画像データ（ＴＨ）を平面画像データ（ＴＷ）に変換する変換手段（ＣＰＵ４０、ステップＳ２）と、
前記変換手段（ＣＰＵ４０、ステップＳ２）にて変換した前記平面画像データ（ＴＷ）を用いて、グローバル座標系での前記第１カメラ（３ａ）及び前記第２カメラ（３ｂ）の位置と方位を算定する算定手段（ＣＰＵ４０、ステップＳ３）と、
前記算定手段（ＣＰＵ４０、ステップＳ３）にて算定したグローバル座標系での前記第１カメラ（３ａ）の位置と方位、及び、グローバル座標系での前記第２カメラ（３ｂ）の位置と方位に基づいて、前記曲面画像データ（ＴＨ）の所定箇所における三次元座標データを算出する算出手段（ＣＰＵ４０、ステップＳ４）と、を有してなることを特徴としている。

【0008】

また、請求項２に係る三次元座標データ生成方法は、一対のレンズを用いて全天球を撮像可能な第１カメラ（３ａ）及び一対のレンズを用いて全天球を撮像可能な第２カメラ（３ｂ）にて撮像された曲面画像データ（ＴＨ）を取得し（ステップＳ１）、
前記取得した曲面画像データ（ＴＨ）を平面画像データ（ＴＷ）に変換し（ステップＳ２）、
前記変換した前記平面画像データ（ＴＷ）を用いて、グローバル座標系での前記第１カメラ（３ａ）及び前記第２カメラ（３ｂ）の位置と方位を算定し（ステップＳ３）、
前記算定したグローバル座標系での前記第１カメラ（３ａ）の位置と方位、及び、グローバル座標系での前記第２カメラ（３ｂ）の位置と方位に基づいて、前記曲面画像データ（ＴＨ）の所定箇所における三次元座標データを算出してなる（ステップＳ４）ことを特徴としている。

【0009】

さらに、請求項３に係る動作分析装置は、上記請求項２に記載の三次元座標データ生成方法を用いて、複数のマーカー（２ａ）を所定箇所に取り付けられた被検体（２）の動作を分析することを特徴としている。

【発明の効果】

【0010】

請求項１及び請求項２に係る発明によれば、カメラの台数を削減しても三次元座標データを生成することができる。また、請求項２に係る方法を用いれば、複数のマーカー（２ａ）を所定箇所に取り付けられた被検体（２）の動作を分析することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本発明に係る三次元座標データ生成システムの一実施形態を示すブロック図である。

【図2】同実施形態に係る三次元座標データ生成システムの制御手順を示すフローチャート図である。

【図3】（ａ）は、同実施形態に係るカメラを用いて撮像した曲面画像データの例を示し、（ｂ）は、（ａ）に示す曲面画像データを、正距円筒図法を用いて変換した場合の平面画像データの例を示す図である。

【図4】（ａ）は、直交座標系の表記と極座標系における表記を説明するための説明図、（ｂ）は、図３（ｂ）に示す平面画像データにおける経度と緯度を説明するための説明図である。

【図5】図４（ｂ）に示す点Ｐのグローバル座標系での位置を説明するための説明図である。

【図6】ある点Ｑを同実施形態に係る第１カメラ，第２カメラから見たときにおける説明をするための説明図である。

【図7】同実施形態に係る第１カメラ，第２カメラからを同時に使用した場合を説明するための説明図である。

【図8】グローバル座標系を別途設定する場合を説明するための説明図である。

【発明を実施するための形態】

【0012】

以下、本発明に係る三次元座標データ生成システムの一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。

【0013】

図１に示すように、三次元座標データ生成システム１は、被検体２と、被検体２を撮像可能なカメラ３と、画像処理装置４と、で構成されている。

【0014】

被検体２は、人物や物体等からなるもので、図１では人物を例示している。しかして、この被検体２には、図１に示すように、被検体２の特徴点にマーカー２ａが装着されている。なお、被検体２の特徴点とは、被検体２が人物の場合、身体の動きを把握するための特徴点を示すものである。例えば、関節部、重心近傍の腹部（臍）、頭頂などが該当する。

【0015】

カメラ３は、図１に示すように、第１カメラ３ａと、第２カメラ３ｂとで構成され、この第１カメラ３ａと、第２カメラ３ｂは、共に、一対のレンズを用いて全天球（全方位）の動画や静止画を撮像可能な全天球カメラからなる。それゆえ、この第１カメラ３ａと、第２カメラ３ｂは、共に、透視投影モデルに基づいたカメラよりも広角な範囲を撮像可能となる。かくして、被検体２は、このような第１カメラ３ａと、第２カメラ３ｂとで、全方位（３６０°）撮像されることとなる。

【0016】

画像処理装置４は、ＣＰＵ４０と、マウスやキーボード、タッチパネル等にて外部から所定データを画像処理装置４に入力することができる入力部４１と、画像処理装置４外に所定データを出力することができる出力部４２と、所定のプログラム等を格納した書込み可能なフラッシュＲＯＭ等からなるＲＯＭ４３と、作業領域やバッファメモリ等として機能するＲＡＭ４４と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等からなる表示部４５と、で構成されている。

【0017】

かくして、上記のような三次元座標データ生成システムを使用するにあたっては、作業者が、図１に示す画像処理装置４の入力部４１を用いて、図１に示すＲＯＭ４３内に格納されているプログラムの起動を指示する。これにより、画像処理装置４のＣＰＵ４０（図１参照）は、図２に示すような処理を行う。以下、図２を参照して説明する。なお、図２に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。

【0018】

まず、ＣＰＵ４０（図１参照）は、第１カメラ３ａと、第２カメラ３ｂとで撮像された曲面画像データを取得する（ステップＳ１）。具体的に例示すると、第１カメラ３ａ又は第２カメラ３ｂで撮像された曲面画像データとしては、図３（ａ）に示すような曲面画像データＴＨを取得することとなる。なお、この曲面画像データＴＨは、図３（ａ）に示すように、全天球カメラの一対のレンズのうち一方のレンズを介して撮像された第１半球画像ＴＨａと、他方のレンズを介して撮像された第２半球画像ＴＨｂとで構成されているものである。

【0019】

次いで、ＣＰＵ４０（図１参照）は、取得した曲面画像データを平面画像データに変換する（ステップＳ２）。具体的には、図３（ａ）に示す第１半球画像ＴＨａと、第２半球画像ＴＨｂとを正距円筒図法を用いて変換するものである。これにより、図３（ｂ）に示すような平面画像データＴＷが生成されることとなる。

【0020】

次いで、ＣＰＵ４０（図１参照）は、カメラ３の位置と方位を算定する。具体的には、以下のような数式を用いて算定される。以下、具体的に説明する。

【0021】

まず、カメラ３に固定されている図４（ａ）に示すようなカメラ座標系において、直交座標系の表記と極座標系の表記は、以下の数式で表すことができる。

【0022】

【数1】

【0023】

なお、θは経度、φは緯度に相当するものである。

【0024】

一方、正距円筒図法では、図４（ｂ）に示すように、横軸が経度、縦軸が緯度として表されることとなるから、平面画像データＴＷの所定箇所を点Ｐとすると、点Ｐはカメラ３に固定された直交座標系では、原点Ｏと下記数式２を結ぶ直線、数式１上にある。

【0025】

【数2】

【0026】

なお、ｒはカメラ３の原点Ｏから点Ｐまでの距離を表す未知数である。

【0027】

かくして、点Ｐのグローバル座標系での位置は以下のように表される。すなわち、グローバル座標系は、被検体２がカメラ３にて撮像されている実験室に固定されているもので、図５に示すように、グローバル座標系、カメラ座標系の原点Ｏ_Ａ，Ｏ_Ｂ間を結ぶベクトルは以下の数式で表される。

【0028】

【数3】

【0029】

なお、ｌ_ＡＢｘ、ｌ_ＡＢｙ、ｌ_ＡＢｚは、未知数である。

【0030】

一方、座標系ＡＢ間の回転行列は以下の数式で表される。

【0031】

【数4】

【0032】

ただし、Ｃ_１＝ｃｏｓ（ｑ_１）、Ｓ_１＝ｓｉｎ（ｑ_１）、Ｃ_２＝ｃｏｓ（ｑ_２）、Ｓ_２＝ｓｉｎ（ｑ_２）、Ｃ_３＝ｃｏｓ（ｑ_３）、Ｓ_３＝ｓｉｎ（ｑ_３）である。なお、ｑ_１，ｑ_２，ｑ_３は未知数である。

【0033】

ところで、この回転行列は、軸１→２→３の順に回転させたと考えた時の形を示している。回転の順序は、軸１→２→３の順に回転させた場合を含め１２通りあるため、１２通りの形が考えられるが、何れの場合も、未知数の数は、等しく３つである。

【0034】

しかして、点Ｐのグローバル座標系での位置は以下の数式で表されることとなる。

【0035】

【数5】

【0036】

なお、ｌ_ＡＢｘ，ｌ_ＡＢｙ，ｌ_ＡＢｚ，ｑ_１，ｑ_２，ｑ_３，ｒの７変数は、未知数である。

【0037】

ここで、上記未知数を求めるにあたり、以下のようにすることができる。

【0038】

すなわち、三次元座標値が既知であるコントロールポイントＰ_１（ｘ_１，ｙ_１，ｚ_１）の位置をカメラ３で見ると、以下の数式が成り立つこととなる。

【0039】

【数6】

【0040】

なお、上記数式において、ｌ_ＡＢｘ，ｌ_ＡＢｙ，ｌ_ＡＢｚ，ｑ_１，ｑ_２，ｑ_３，ｒ_１の７変数が未知数で、式が３つ成り立つこととなる。

【0041】

もう一点、三次元座標値が既知であるコントロールポイントＰ_２（ｘ_２，ｙ_２，ｚ_２）の位置をカメラ３で見ると、以下の数式が成り立つこととなる。

【0042】

【数7】

【0043】

なお、上記数式において、新たな未知数ｒ_２が加わり、８変数が未知数で、上記数式６に加え、式が６つ成り立つこととなる。

【0044】

さらにもう一点、三次元座標値が既知であるコントロールポイントＰ_３（ｘ_３，ｙ_３，ｚ_３）の位置をカメラ３で見ると、以下の数式が成り立つこととなる。

【0045】

【数8】

【0046】

なお、上記数式において、新たな未知数ｒ_３が加わり、９変数が未知数で、上記数式６，７に加え、式が９つ成り立つこととなる。

【0047】

これにより、９変数の未知数に対し、式が９つ成り立つため、９変数の未知数が求まることとなる。

【0048】

ところで、実際には、３点以上の三次元座標値が既知であるコントロールポイントを使用することとなるため、コントロールポイントをＮ点とすると、上記説明した内容で考えていくと、式の数は３Ｎとなり、未知数の数は、６＋Ｎとなる。そのため、３Ｎ≧６＋Ｎを満たせば未知数は求まることとなる。

【0049】

かくして、未知数を求めるにあたって、左辺－右辺の差を求めると、以下の数式が成り立つこととなる。

【0050】

【数9】

【0051】

次いで、上記数式Ｄ_ｎのノルムを計算し、その総和をとると、以下の数式が成り立つこととなる。

【0052】

【数10】

【0053】

かくして、上記数式Ｊを最小化すれば、未知数が求まることとなる。なお、その際、ｌ_ＡＢｘ，ｌ_ＡＢｙ，ｌ_ＡＢｚ，ｑ_１，ｑ_２，ｑ_３，ｒ_１，・・・・，ｒ_ｎの値を非線形の数値最適化アルゴリズムを用いて求めることとなる。

【0054】

しかして、上記のような数式らを用いることにより、ＣＰＵ４０（図１参照）は、グローバル座標系でのカメラ３の位置と方位を算定することができる。なお、三次元座標値が既知であるコントロールポイントは、必要になった際、作業者に入力部４１を用いて入力するよう促す表示を表示部４５にするようにするか、又は、予め、ＲＯＭ４３内に記憶させておけば良い。

【0055】

次いで、ＣＰＵ４０（図１参照）は、算定したカメラ３の位置と方位に基づいて、取得した曲面画像データの所定箇所の位置関係を算出する（ステップＳ４）。以下、具体的に説明する。

【0056】

第１カメラ３ａと、第２カメラ３ｂは上記ステップＳ３にて説明した方法で、グローバル座標系での第１カメラ３ａと、第２カメラ３ｂの位置と方位を算定することができる。そのため、図６に示すように、ある点Ｑを第１カメラ３ａ、第２カメラ３ｂから見たとき、以下の数式が成り立つこととなる。

【0057】

【数11】

【0058】

同じく、以下の数式が成り立つこととなる。

【0059】

【数12】

【0060】

ここで、数式１１と数式１２の未知数は、ｒ_Ｂ，ｒ_Ｃのみであり、数式１１と数式１２は、ｘ，ｙ，ｚ座標が一致することから、下記数式１３が成り立ち、｜Ｄ｜を最小二乗法により最小化すれば、ｒ_Ｂ，ｒ_Ｃが求まることとなる。

【0061】

【数13】

【0062】

かくして、上記のように、ｒ_Ｂ，ｒ_Ｃが求まれば、三次元画像データにおける点Ｑの三次元座標データ（ｘ，ｙ，ｚ）が算出されることとなる。

【0063】

しかして、上記のような数式らを用いることにより、ＣＰＵ４０（図１参照）は、算定したカメラ３の位置と方位に基づいて、取得した曲面画像データの所定箇所の位置関係を算出することができる。これにより、取得した曲面画像データにおける三次元座標データが算出されることとなる。

【0064】

しかるに、取得した曲面画像データの所定箇所、すなわち、被検体２の特徴点に装着されているマーカー２ａの三次元座標データを算出することができるため、マーカー２ａの各時間（フレーム毎）における三次元座標データを算出することができることとなる。それゆえ、ＣＰＵ４０（図１参照）は、マーカー２ａの移動軌跡から被検体２の動作を計測することができ、もって、被検体２の動作を分析することが可能となる。

【0065】

しかして、以上説明した本実施形態によれば、カメラの台数を削減しても（本実施形態の例示では、２台）、曲面画像データの所定箇所における三次元座標データを算出することができるため、従来のように、被検体２を取り囲むように複数のカメラで被検体２の動作を撮影する必要がなくなる。それゆえ、本実施形態によれば、カメラの台数を削減しても、三次元座標データを生成することが可能となる。

【0066】

なお、本実施形態において示した形状等はあくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、カメラ３を２台で構成したが、取得する三次元座標データの精度を高めるため、２台以上のカメラを用いても良い。

【0067】

また、本実施形態においては、グローバル座標系でのカメラ３の位置と方位を算定する例を示したが、それに限らず、図７に示すように、第１カメラ３ａと、第２カメラ３ｂを同時に使用して、カメラ３の位置と方位を算定するようにしても良い。

【0068】

すなわち、カメラ３の位置と方位を算定するにあたって、第１カメラ３ａを基準として考える。この際、図７に示すように、第１カメラ座標系、第２カメラ座標系の原点Ｏ_Ｂ，Ｏ_Ｃ間を結ぶベクトルは以下の数式で表される。

【0069】

【数14】

【0070】

なお、ｌ_ＢＣｘ、ｌ_ＢＣｙ、ｌ_ＢＣｚは、未知数である。

【0071】

一方、座標系ＢＣ間の回転行列は以下の数式で表される。

【0072】

【数15】

【0073】

ただし、Ｃ_１＝ｃｏｓ（ｑ_１）、Ｓ_１＝ｓｉｎ（ｑ_１）、Ｃ_２＝ｃｏｓ（ｑ_２）、Ｓ_２＝ｓｉｎ（ｑ_２）、Ｃ_３＝ｃｏｓ（ｑ_３）、Ｓ_３＝ｓｉｎ（ｑ_３）である。なお、ｑ_１，ｑ_２，ｑ_３は未知数である。

【0074】

ここで、図７に示すある点Ｐを第１カメラ３ａと、第２カメラ３ｂとで同時に見ると、以下の数式が成り立つこととなる。

【0075】

【数16】

【0076】

さらに、以下の数式が成り立つこととなる。

【0077】

【数17】

【0078】

ここで、数式１６と数式１７のｘ，ｙ，ｚ座標が一致することから、式が３つ成り立こととなる。しかしながら、未知数は、ｒ_Ｂ，ｒ_Ｃ，ｌ_ＢＣｘ，ｌ_ＢＣｙ，ｌ_ＢＣｚ，ｑ_１，ｑ_２，ｑ_３の８変数あるため、このままでは、未知数を求めることはできない。そこで、長さの次元を持つ未知数が全ての項にかかっているため、ｌ_ＢＣｘ＝１として良いとすると、未知数は、ｒ_Ｂ，ｒ_Ｃ，ｌ_ＢＣｙ，ｌ_ＢＣｚ，ｑ_１，ｑ_２，ｑ_３の７変数となる。しかしながら、式は３つしか成立していないため、まだ、未知数を求めることはできない。

【0079】

そこで、上記説明した三次元座標値が既知であるコントロールポイントと同様、未知数を求めることが可能な数の数式を成立させるべく、複数の点を第１カメラ３ａと、第２カメラ３ｂとで同時に見るようにする。すなわち、ある点Ｐ_１を第１カメラ３ａと、第２カメラ３ｂとで同時に見ると、上記数式１６，１７のような式が成り立つため、未知数が７つの式が３つ成り立つこととなる。

【0080】

さらに、ある点Ｐ_２を第１カメラ３ａと、第２カメラ３ｂとで同時に見ると、上記数式１６，１７のような式が成り立つため、未知数、ｒ_Ｂ２，ｒ_Ｃ２が２つ加わり、９つの未知数と、式が６つ成り立つこととなる。しかして、このようにして、ある点Ｐ_ｎを第１カメラ３ａと、第２カメラ３ｂとで同時に見ると、上記数式１６，１７のような式が成り立つため、式の数は、３Ｎ、未知数の数は、５＋２Ｎとなる。そのため、３Ｎ≧５＋２Ｎを満たせば未知数は求まることとなる。

【0081】

これにより、グローバル座標系でのカメラ３の位置と方位を算定した場合と同様、非線形の数値最適化アルゴリズムを用いれば、ｌ_ＢＣｙ，ｌ_ＢＣｚ，ｑ_１，ｑ_２，ｑ_３の未知数を求めることができるため、第１カメラ３ａと、第２カメラ３ｂとの間の位置関係が定まることとなる。

【0082】

しかして、このようにしてもカメラ３の位置と方位を算定することができる。なお、この際、三次元座標値が既知であるコントロールポイントを使用せずとも良いため、作業者に入力部４１を用いて入力するよう促す表示を表示部４５にするようにするか、又は、予め、ＲＯＭ４３内に記憶させておく処理は不要となる。

【0083】

ところで、上記算定したカメラ３の位置と方位に基づいて、取得した曲面画像データの所定箇所の位置関係を算出するにあたっては、以下のようにすることができる。

【0084】

すなわち、ｌ_ＢＣｘ＝１としたため、実際の長さが分かっている点を用いて補正を行う。例えば、一定距離（例えば、０．５ｍ）離れた点Ｑ，点Ｒを用いて補正を行うこととする。

【0085】

ある点Ｑを第１カメラ３ａ、第２カメラ３ｂから見たとき、以下の数式が成り立つこととなる。

【0086】

【数18】

【0087】

同じく、以下の数式が成り立つこととなる。

【0088】

【数19】

【0089】

ここで、数式１８と数式１９の未知数は、ｒ_Ｂ，ｒ_Ｃのみであり、数式１８と数式１９は、ｘ，ｙ，ｚ座標が一致することから、下記数式２０が成り立ち、｜Ｄ｜を最小二乗法により最小化すれば、ｒ_Ｂ，ｒ_Ｃが求まることとなる。

【0090】

【数20】

【0091】

かくして、上記のように、ｒ_Ｂ，ｒ_Ｃが求まれば、曲面画像データにおける点Ｑの三次元座標データ（ｘ，ｙ，ｚ）が算出されることとなる。

【0092】

次いで、同様にして、曲面画像データにおける点Ｒの三次元座標データ（ｘ，ｙ，ｚ）を算出する。

【0093】

次いで、下記数式２１に示すように、ｄ_ＱＲを定義し、実際の長さ（例えば、０．５ｍ）をｌ_ＱＲとすると、ｌ_ＢＣｘ、ｌ_ＢＣｙ、ｌ_ＢＣｚ、ｒ_Ｂ，ｒ_Ｃの全てについてこれらをｌ_ＱＲ／ｄ_ＱＲ倍したものが真の値となる。

【0094】

【数21】

【0095】

しかして、このようにすれば、上記算定したカメラ３の位置と方位に基づいて、取得した曲面画像データの所定箇所の位置関係を算出することができる。これにより、取得した曲面画像データにおける三次元座標データが算出されることとなる。

【0096】

ところで、上記説明において算出した三次元座標データは、第１カメラ３ａを基準として算出したものである。そのため、グローバル座標系を別途設定する場合は、原点、Ｘ軸、Ｙ軸、Ｚ軸を定め、平行移動と座標系の回転を用いて変換する必要がある。具体的には、以下のようにすることができる。すなわち、図８に示すグローバル座標系での三次元座標（ｘ，ｙ，ｚ）は以下の数式で表すことができる。

【0097】

【数22】

【0098】

また、座標系ＢＡ間の回転行列は以下のように求められる。

【0099】

【数23】

【0100】

この時、以下の数式２４が成り立つとき、数式２５として、回転行列が求まることとなる。

【0101】

【数24】

【0102】

【数25】

【0103】

しかして、このようにすれば、グローバル座標系を別途設定することができる。

【0104】

ところで、本実施形態においては、被検体２として、被検体２の特徴点に装着されているマーカー２ａの三次元座標データを算出する例を示したが、それに限らず、どのような被検体２を撮像するようにしてもよい。しかしながら、被検体２の特徴点に装着されているマーカー２ａの三次元座標データを算出するようにすれば、マーカー２ａの移動軌跡から被検体２の動作を計測することができ、もって、被検体２の動作を分析することが可能となるため、好適である。

【符号の説明】

【0105】

１ 三次元座標データ生成システム
２ 被検体
２ａ マーカー
３ カメラ
３ａ 第１カメラ
３ｂ 第２カメラ
４ 画像処理装置
４０ ＣＰＵ
ＴＨ 曲面画像データ
ＴＨａ 第１半球画像
ＴＨｂ 第２半球画像
ＴＷ 平面画像データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】