ホーム > 特許ランキング > 株式会社バイオネット研究所
特許7462178動体自動追跡装置、動体自動追跡方法、及び動体自動追跡プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-03-28
(45)【発行日】2024-04-05
(54)【発明の名称】動体自動追跡装置、動体自動追跡方法、及び動体自動追跡プログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20240329BHJP
【ＦＩ】
G06T7/20 300Z
【請求項の数】
6
(21)【出願番号】P 2022150762
(22)【出願日】2022-09-21
【審査請求日】2022-09-21
(73)【特許権者】
【識別番号】510222006
【氏名又は名称】株式会社バイオネット研究所
(74)【代理人】
【識別番号】100122574
【弁理士】
【氏名又は名称】吉永 貴大
(72)【発明者】
【氏名】新川 隆朗
【審査官】笠田 和宏
(56)【参考文献】
【文献】中国特許出願公開第１０９５９９１６２（ＣＮ，Ａ）
【文献】国際公開第２０２１／１９２９０８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／２０
(57)【特許請求の範囲】
【請求項1】
動体物についての動体自動追跡装置であって、前記動体物を計測する計測部と、
前記計測部の計測結果を評価する評価部と、を備え、
前記計測部は、
前記動体物を撮影する画像取得部と、
前記画像取得部による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得部と、を備え、
前記評価部は、
撮影された前記画像から前記動体物に関する特徴点を抽出する特徴点位置判断部と、
抽出された前記特徴点までの空間距離を計算する特徴点距離計算部と、
前記特徴点までの前記空間距離に基づいて前記動体物の骨格を再構成する３次元骨格再構成部と、
前記動体物の前記骨格に基づいて前記動体物の不変量若しくは漸変量を推定する不変量推定部と、
前フレームにおける前記動体物の前記不変量若しくは前記漸変量並びに変量を取得する前フレームでの不変量・変量情報取得部と、
前記特徴点までの前記空間距離又は前記動体物の前記骨格を用いて当該フレームにおける前記動体物の前記変量を推定する変量推定部と、
前記前フレームにおける前記不変量若しくは前記漸変量と前記当該フレームにおける前記不変量若しくは前記漸変量とを比較するとともに、前記前フレームにおける前記変量と前記当該フレームにおける前記変量とを比較する最適選択推定部と、を備え、
前記最適選択推定部は、
前記当該フレームにおける全ての前記動体物の概略重心位置について前記動体物の前記概略重心位置間が所定間隔ａ以内となる動体物の組において前記動体物各々の前記概略重心位置を中心に半径がａ／２の円が繋がった連続的閉領域を定義し、
前記当該フレームの或る前記連続的閉領域を構成する前記動体物の前記概略重心位置と、前記前フレームにおいて前記当該フレームの前記或る前記連続的閉領域内に存在する前記動体物の前記概略重心位置と、の組み合わせのうち前記概略重心位置どうしの間の距離がａ／２以下の組み合わせに基づいて、前記前フレームにおける前記動体物と前記当該フレームにおける前記動体物とを対応付けるとともに、前記当該フレームにおいて新たな動体物が生成したこと、及び前記当該フレームにおいて前記前フレームにおける既存の動体物が消滅したことを推定する、
ことを特徴とする動体自動追跡装置。
【請求項2】
前記画像取得部は、前記動体物について連続する動画像を撮影し、前記距離取得部は、撮影された前記動画像の各フレーム画像に同期し、撮影された前記フレーム画像と重複する視野をもち、前記動体物までの距離を計測する、
ことを特徴とする請求項１に記載の動体自動追跡装置。
【請求項3】
前記画像取得部は、時間的に同期して、前記動体物について異なった視野からの複数の画像を撮影し、前記距離取得部は、撮影と時間的に同期し、撮影された前記複数の画像と重複する視野をもち、前記動体物までの異なる視点からの複数の距離を計測する、
ことを特徴とする請求項１に記載の動体自動追跡装置。
【請求項4】
前記画像取得部は、前記動体物について異なった視野からの複数の画像を撮影し、前記距離取得部は、撮影された前記複数の画像から前記動体物までの距離を計測する、
ことを特徴とする請求項１に記載の動体自動追跡装置。
【請求項5】
動体物についての動体自動追跡方法であって、前記動体物を計測する計測ステップと、
前記計測ステップの計測結果を評価する評価ステップと、を備え、
前記計測ステップは、
前記動体物を撮影する画像取得ステップと、
前記画像取得ステップによる撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得ステップと、を備え、
前記評価ステップは、
撮影された前記画像から前記動体物に関する特徴点を抽出する特徴点位置判断ステップと、
抽出された前記特徴点までの空間距離を計算する特徴点距離計算ステップと、
前記特徴点までの前記空間距離に基づいて前記動体物の骨格を再構成する３次元骨格再構成ステップと、
前記動体物の前記骨格に基づいて前記動体物の不変量若しくは漸変量を推定する不変量推定ステップと、
前フレームにおける前記動体物の前記不変量若しくは前記漸変量並びに変量を取得する前フレームでの不変量・変量情報取得ステップと、
前記特徴点までの前記空間距離又は前記動体物の前記骨格を用いて当該フレームにおける前記動体物の前記変量を推定する変量推定ステップと、
前記前フレームにおける前記不変量若しくは前記漸変量と前記当該フレームにおける前記不変量若しくは前記漸変量とを比較するとともに、前記前フレームにおける前記変量と前記当該フレームにおける前記変量とを比較する最適選択推定ステップと、を備え、
前記最適選択推定ステップにおいて、
前記当該フレームにおける全ての前記動体物の概略重心位置について前記動体物の前記概略重心位置間が所定間隔ａ以内となる動体物の組において前記動体物各々の前記概略重心位置を中心に半径がａ／２の円が繋がった連続的閉領域を定義し、
前記当該フレームの或る前記連続的閉領域を構成する前記動体物の前記概略重心位置と、前記前フレームにおいて前記当該フレームの前記或る前記連続的閉領域内に存在する前記動体物の前記概略重心位置と、の組み合わせのうち前記概略重心位置どうしの間の距離がａ／２以下の組み合わせに基づいて、前記前フレームにおける前記動体物と前記当該フレームにおける前記動体物とを対応付けるとともに、前記当該フレームにおいて新たな動体物が生成したこと、及び前記当該フレームにおいて前記前フレームにおける既存の動体物が消滅したことを推定する、
ことを特徴とする動体自動追跡方法。
【請求項6】
動体物についての動体自動追跡プログラムであって、コンピュータに、
前記動体物を計測する計測処理と、
前記計測処理の計測結果を評価する評価処理と、を実行させ、
前記計測処理は、
前記動体物を撮影する画像取得処理と、
前記画像取得処理による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得処理と、を備え、
前記評価処理は、
撮影された前記画像から前記動体物に関する特徴点を抽出する特徴点位置判断処理と、
抽出された前記特徴点までの空間距離を計算する特徴点距離計算処理と、
前記特徴点までの前記空間距離に基づいて前記動体物の骨格を再構成する３次元骨格再構成処理と、
前記動体物の前記骨格に基づいて前記動体物の不変量若しくは漸変量を推定する不変量推定処理と、
前フレームにおける前記動体物の前記不変量若しくは前記漸変量並びに変量を取得する前フレームでの不変量・変量情報取得処理と、
前記特徴点までの前記空間距離又は前記動体物の前記骨格を用いて当該フレームにおける前記動体物の前記変量を推定する変量推定処理と、
前記前フレームにおける前記不変量若しくは前記漸変量と前記当該フレームにおける前記不変量若しくは前記漸変量とを比較するとともに、前記前フレームにおける前記変量と前記当該フレームにおける前記変量とを比較する最適選択推定処理と、を備え、
前記最適選択推定処理において、
前記当該フレームにおける全ての前記動体物の概略重心位置について前記動体物の前記概略重心位置間が所定間隔ａ以内となる動体物の組において前記動体物各々の前記概略重心位置を中心に半径がａ／２の円が繋がった連続的閉領域を定義し、
前記当該フレームの或る前記連続的閉領域を構成する前記動体物の前記概略重心位置と、前記前フレームにおいて前記当該フレームの前記或る前記連続的閉領域内に存在する前記動体物の前記概略重心位置と、の組み合わせのうち前記概略重心位置どうしの間の距離がａ／２以下の組み合わせに基づいて、前記前フレームにおける前記動体物と前記当該フレームにおける前記動体物とを対応付けるとともに、前記当該フレームにおいて新たな動体物が生成したこと、及び前記当該フレームにおいて前記前フレームにおける既存の動体物が消滅したことを推定する、
ことを特徴とする動体自動追跡プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動体物についてのその位置の自動追跡装置、自動追跡方法、及び自動追跡プログラムに関する。
【背景技術】
【0002】
従来、製造業における製造現場や手作業による建築現場などでは、作業者の安全管理や作業負担の軽減のために様々な取り組みがなされている。例えば、製鉄所の溶鉱炉付近においては、立ち入り禁止区域の設定などが為されているが、誤って、立ち入り禁止区域に入った時の警報発生などの取り組みは十分とは言えない。また建設現場などの立ち入り禁止区域、危険区域などは工程の進捗により日々、区割りが変わることが想定され、簡易な手段で、立体的な禁止区域の設定と、立ち入り者の有無を計測できるような装置及びプログラムが求められている。また、個々の作業員についても、大きな作業場などでは、自身がどの位置にいるかの位置同定も容易でない。位置計測のための手段も従来は、例えばＢＬＥビーコンを使った位置測定等の手段もあるが、一定距離の間隔で、センサーを設置する必要が有り、簡便な手段とは言えない。他の電波帯域を用いた無線による位置認識方法も、遮蔽物等が有ると、作業者に届かない、或いは作業者から発する無線信号が受信側に届かないという欠点がある。
【0003】
このような状況に対応するため、例えば、製造現場や建築現場における作業者の位置を把握して安全管理を行うための安全管理装置（特許文献１参照）や建設機械（特許文献２参照）が提案されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０２１－００５２２９号公報
【文献】特開２０２０－１８３６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記のような従来技術では、同一の動体物を時系列で追跡することができない、という問題がある。
【0006】
本発明は、このような問題に着目してなされたもので、動体物の位置を非接触で定時間ごとに定量的に計測し、その特徴量を評価し、同一個体の位置のトレースを行う、動体自動追跡装置、動体自動追跡方法、及び動体自動追跡プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記した課題を解決するために本発明の第１の観点は、動体物についての動体自動追跡装置であって、前記動体物を計測する計測部と、前記計測部の計測結果を評価する評価部と、を備え、前記計測部は、前記動体物を撮影する画像取得部と、前記画像取得部による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得部と、を備え、前記評価部は、撮影された前記画像から前記動体物に関する特徴点を抽出する特徴点位置判断部と、抽出された前記特徴点までの空間距離を計算する特徴点距離計算部と、前記特徴点までの前記空間距離に基づいて前記動体物の骨格を再構成する３次元骨格再構成部と、前記動体物の前記骨格に基づいて前記動体物の不変量若しくは漸変量を推定する不変量推定部と、前フレームにおける前記動体物の前記不変量若しくは前記漸変量並びに変量を取得する前フレームでの不変量・変量情報取得部と、前記特徴点までの前記空間距離又は前記動体物の前記骨格を用いて当該フレームにおける前記動体物の前記変量を推定する変量推定部と、前記前フレームにおける前記不変量若しくは前記漸変量と前記当該フレームにおける前記不変量若しくは前記漸変量とを比較するとともに、前記前フレームにおける前記変量と前記当該フレームにおける前記変量とを比較することにより、前記前フレームにおける前記動体物と前記当該フレームにおける前記動体物とを対応付ける最適選択推定部と、を備える、ことを特徴とする。
【0008】
上記した課題を解決するために本発明の第２の観点は、動体物についての動体自動追跡方法であって、前記動体物を計測する計測ステップと、前記計測ステップの計測結果を評価する評価ステップと、を備え、前記計測ステップは、前記動体物を撮影する画像取得ステップと、前記画像取得ステップによる撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得ステップと、を備え、前記評価ステップは、撮影された前記画像から前記動体物に関する特徴点を抽出する特徴点位置判断ステップと、抽出された前記特徴点までの空間距離を計算する特徴点距離計算ステップと、前記特徴点までの前記空間距離に基づいて前記動体物の骨格を再構成する３次元骨格再構成ステップと、前記動体物の前記骨格に基づいて前記動体物の不変量若しくは漸変量を推定する不変量推定ステップと、前フレームにおける前記動体物の前記不変量若しくは前記漸変量並びに変量を取得する前フレームでの不変量・変量情報取得ステップと、前記特徴点までの前記空間距離又は前記動体物の前記骨格を用いて当該フレームにおける前記動体物の前記変量を推定する変量推定ステップと、前記前フレームにおける前記不変量若しくは前記漸変量と前記当該フレームにおける前記不変量若しくは前記漸変量とを比較するとともに、前記前フレームにおける前記変量と前記当該フレームにおける前記変量とを比較することにより、前記前フレームにおける前記動体物と前記当該フレームにおける前記動体物とを対応付ける最適選択推定ステップと、を備える、ことを特徴とする。
【0009】
上記した課題を解決するために本発明の第３の観点は、動体物についての動体自動追跡プログラムであって、コンピュータに、前記動体物を計測する計測処理と、前記計測処理の計測結果を評価する評価処理と、を実行させ、前記計測処理は、前記動体物を撮影する画像取得処理と、前記画像取得処理による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得処理と、を備え、前記評価処理は、撮影された前記画像から前記動体物に関する特徴点を抽出する特徴点位置判断処理と、抽出された前記特徴点までの空間距離を計算する特徴点距離計算処理と、前記特徴点までの前記空間距離に基づいて前記動体物の骨格を再構成する３次元骨格再構成処理と、前記動体物の前記骨格に基づいて前記動体物の不変量若しくは漸変量を推定する不変量推定処理と、前フレームにおける前記動体物の前記不変量若しくは前記漸変量並びに変量を取得する前フレームでの不変量・変量情報取得処理と、前記特徴点までの前記空間距離又は前記動体物の前記骨格を用いて当該フレームにおける前記動体物の前記変量を推定する変量推定処理と、前記前フレームにおける前記不変量若しくは前記漸変量と前記当該フレームにおける前記不変量若しくは前記漸変量とを比較するとともに、前記前フレームにおける前記変量と前記当該フレームにおける前記変量とを比較することにより、前記前フレームにおける前記動体物と前記当該フレームにおける前記動体物とを対応付ける最適選択推定処理と、を備える、ことを特徴とする。
【発明の効果】
【0010】
本発明によれば、動体物の位置を非接触で定時間ごとに定量的に計測し、その特徴量を評価し、同一個体の位置のトレースを行う、動体自動追跡装置、動体自動追跡方法、及び動体自動追跡プログラムを提供することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態に係る動体自動追跡装置の全体構成（計測部、評価部、選択結果表示部）を説明する図である。
【図3】図１の動体自動追跡装置の計測部並びに評価部の特徴点（関節）位置判断部及び特徴点（関節）距離計算部を説明する図であり、計測部が１台の光学カメラ及び１台の距離カメラで構成される場合（例２）の例である。
【図5】３次元関節の位置を説明する図である。
【図6】ステレオカメラを用いた従来のテンプレート・マッチング法の問題点を説明する図（その１）である。
【図7】ステレオカメラを用いた従来のテンプレート・マッチング法の問題点を説明する図（その２）である。
【図8】ステレオカメラを用いた従来のテンプレート・マッチング法の問題点を説明する図（その３）である。
【図9】ステレオカメラを用いた従来のテンプレート・マッチング法の問題点を説明する図（その４）である。
【図10】ステレオカメラを用いた従来のテンプレート・マッチング法の問題点を説明する図（その５）である。
【図14】３次元関節の位置に関係する不変量を説明する図である。
【図16】姿勢評価の一例としてＯＷＡＳ法を説明する図（その１）である。
【図17】姿勢評価の一例としてＯＷＡＳ法を説明する図（その２）である。
【図18】姿勢評価のアルゴリズムを説明する図（その１）である。
【図19】姿勢評価のアルゴリズムを説明する図（その２）である。
【図20】姿勢評価のアルゴリズムを説明する図（その３）である。
【図21】姿勢評価のアルゴリズムを説明する図（その４）である。
【図22】姿勢評価のアルゴリズムを説明する図（その５）である。
【図23】姿勢評価のアルゴリズムを説明する図（その６）である。
【図24】姿勢評価のアルゴリズムを説明する図（その７）である。
【図25】下肢分類１～７について、人間の姿勢変化として、通常の動画撮影時のフレーム間隔の30ms間で、変化可能な状態の遷移例を示す図である。
【図26】連続的閉領域を説明する図である。
【発明を実施するための形態】
【0012】
【0013】
［自動追跡装置の全体構成］
まず、図１により、本実施形態に係る動体自動追跡装置１の全体構成について説明する。なお、本明細書では、動体自動追跡装置１を構成する各部に対し、それぞれが実行する動作を冠した個別の名を付している。
まず、図１により、本実施形態に係る動体自動追跡装置１の全体構成について説明する。なお、本明細書では、動体自動追跡装置１を構成する各部に対し、それぞれが実行する動作を冠した個別の名を付している。
【0014】
動体自動追跡装置１は、例えば、人体、動物、及びロボットのうちの少なくとも１つの動体物ＭＯを対象としてその位置を追跡する。図１ほかでは、動体物ＭＯの例として人体を想定して図示しているが、動体自動追跡装置１の追跡対象としての動体物は人体に限られないことに留意されたい。図１に示すように、動体物ＭＯについての動体自動追跡装置１は、動体物ＭＯを計測する計測部１０と、計測部１０による計測結果を評価する評価部２０と、評価部２０による処理結果（具体的には、時系列で同一の動体物の選択結果）を表示する選択結果表示部３０とを備える。なお、この発明の要点はあくまでも動体物ＭＯの位置を追跡することであり、選択結果表示部３０はこの発明において必須の構成ではない。
【0015】
計測部１０は、動体物ＭＯを撮影する画像取得部１１と、画像取得部１１による撮影と時間的に同期し（つまり、画像取得部１１によって撮影された動画像の各フレーム画像に同期し）、撮影された画像と重複する視野をもつ、動体物ＭＯまでの距離を計測する距離取得部１２とを備える。画像取得部１１によって撮影された動画像について、解析対象とする時系列における或る時点（例えば、現時点）における画像を「当該フレーム」と称し、前記の或る時点よりも前の時点における画像を「前フレーム」と称する。
【0016】
評価部２０は、撮影された画像から動体物ＭＯに関する任意の特徴点（例えば、関節位置）を抽出する特徴点位置判断部（関節位置判断部）２１と、抽出された特徴点（例えば、関節位置）までの空間距離を計算する特徴点距離計算部（関節距離計算部）２２と、計算された、特徴点（例えば、関節位置）までの空間距離に基づいて動体物ＭＯの骨格を再構成する３次元骨格再構成部２３と、再構成された動体物ＭＯの骨格に基づいて動体物ＭＯの不変量若しくは漸変量を推定する不変量推定部２４と、前フレームにおける動体物ＭＯの不変量若しくは漸変量並びに変量を取得する前フレームでの不変量・変量情報取得部２５と、計算された、特徴点（例えば、関節位置）までの空間距離、又は、再構成された動体物ＭＯの骨格を用いて当該フレームにおける動体物ＭＯの変量を推定する変量推定部２６と、前フレームにおける不変量若しくは漸変量と当該フレームにおける不変量若しくは漸変量とを比較するとともに、前フレームにおける変量と当該フレームにおける変量とを比較することにより、前フレームにおける動体物ＭＯと当該フレームにおける動体物ＭＯとを対応付ける最適選択推定部２７と、を備える。
【0017】
選択結果表示部３０は、評価部２０による処理結果（具体的には、時系列で同一の動体物の選択結果）を表示する。
【0018】
以下、計測部１０、評価部２０、及び選択結果表示部３０の各部について、詳しく説明する。
【0019】
【0020】
図２に示すように、例１は、画像取得部１１として空間位置が予め既知の複数の光学カメラ１１ａ１，１１ａ２，１１ａ３を相互に同期するように設け、これらによって動体物ＭＯを同時に撮影して取得された複数の画像Ｐ１，Ｐ２，Ｐ３について、距離取得部１２において同一の動体物ＭＯの画像上の視差から距離を測定する方法を用いて、距離を計算して距離情報Ｄを取得する例である。
【0021】
図３に示すように、例２は、画像取得部１１として空間位置が予め既知の光学カメラ１１ａを、距離取得部１２として空間位置が予め既知の距離カメラ１２ａ（例えば、ＴＯＦ＜Ｔime－Ｏf－Ｆlight＞カメラ、パターン投影カメラ、レーザ距離計、レーザスキャナ、ライダー＜ＬｉＤＡＲ：Ｌight Ｄetection Ａnd Ｒanging＞などの距離情報を直接計測できるデバイスであり、以下、「距離カメラ」と称する）を相互に同期するように設け、動体物ＭＯを同時に撮影することにより、画像Ｐと距離情報Ｄとを別々に取得する例である。なお、この場合、光学カメラ１１ａと距離カメラ１２ａとは、必ずしも同一視野範囲となっている必要はないが、それぞれの視野内に計測対象物である動体物ＭＯが含まれなければならない。
【0022】
例３は、計測部１０の例１と例２とを組み合わせた例である。すなわち、複数の光学カメラ１１ａ１，１１ａ２，１１ａ３は画像取得部１１として広域の複数の画像Ｐ１，Ｐ２，Ｐ３を取得する手段として用いられ、複数の距離カメラ１２ａ１，１２ａ２は距離取得部１２としてそれぞれ特定の視野範囲の距離情報Ｄを取得する手段として用いられる。
【0023】
例３は、複数の光学カメラ１１ａ１，１１ａ２，１１ａ３により得られた複数の画像Ｐ１，Ｐ２，Ｐ３上の動体物ＭＯの視差を基に広域での動体物ＭＯまでの距離情報Ｄを推定するとともに、距離カメラ１２ａ１，１２ａ２で捉えられている視野領域については、推定された距離情報Ｄを距離カメラ１２ａ１，１２ａ２で得られた距離情報Ｄで補完するようにする。
【0024】
画像取得部１１は、上記の各例によって取得された画像Ｐ１又は画像Ｐを評価部２０の特徴点位置判断部（関節位置判断部）２１へと、距離取得部１２は、同じく取得された距離情報Ｄを評価部２０の特徴点距離計算部（関節距離計算部）２２へと、それぞれ出力する。
【0025】
［評価部］
[[関節位置判断部]]
次に、評価部２０の特徴点位置判断部（関節位置判断部）２１の例について、図４及び図５を参照して説明する。特徴点は人体の関節に限られないが、以下では、特徴点を人体の関節とした場合を想定して、関節位置判断部２１として説明する。図４に示すように、関節位置判断部２１は、被検体である動体物ＭＯの動画像（作業者であれば人体の動画像）について、予め機械学習で学習した学習済の関節位置判断用重み付けデータ２１ａを備えており、これを用いて、計測部１０の画像取得部１１から入力された画像Ｐ１又はＰにおいて、関節部位に相当する画像の存否を推定し、関節位置判断２１ｂを行う。機械学習の方法については様々な方法が提唱されているが、特定の方法に限定する必要はない。動画像の１フレームを入力し、例えば、図４の下段に例示するように、図５で示す人体の特徴点としての関節部位（ここでは、右肩ＳＲ、左肩ＳＬ、右肘ＥＲ）の光学カメラ１１ａ１又は１１ａ上の関節位置２次元座標ＴｗＤを抽出できればよい。
[[関節位置判断部]]
次に、評価部２０の特徴点位置判断部（関節位置判断部）２１の例について、図４及び図５を参照して説明する。特徴点は人体の関節に限られないが、以下では、特徴点を人体の関節とした場合を想定して、関節位置判断部２１として説明する。図４に示すように、関節位置判断部２１は、被検体である動体物ＭＯの動画像（作業者であれば人体の動画像）について、予め機械学習で学習した学習済の関節位置判断用重み付けデータ２１ａを備えており、これを用いて、計測部１０の画像取得部１１から入力された画像Ｐ１又はＰにおいて、関節部位に相当する画像の存否を推定し、関節位置判断２１ｂを行う。機械学習の方法については様々な方法が提唱されているが、特定の方法に限定する必要はない。動画像の１フレームを入力し、例えば、図４の下段に例示するように、図５で示す人体の特徴点としての関節部位（ここでは、右肩ＳＲ、左肩ＳＬ、右肘ＥＲ）の光学カメラ１１ａ１又は１１ａ上の関節位置２次元座標ＴｗＤを抽出できればよい。
【0026】
ここで、図５は、動体物ＭＯが人体である場合について、特徴点として関節部位及び線分を含む各部位を次のように例示している。すなわち、ＨＤ：頭部、Ｓ：肩幅、両肩：ＳＬ／ＳＲ、両肩の中点：Ｓ０、Ｂ：背部（背骨）、Ｗ：腰幅、両腰：ＷＬ／ＷＲ、両腰の中点：Ｗ０、両上腕：ＡｒｍＬ１／ＡｒｍＲ１、両肘：ＥＬ／ＥＲ、両前腕：ＡｒｍＬ２／ＡｒｍＲ２、両手首：ＨＬ／ＨＲ、両大腿：ＴｈｉＬ／ＴｈｉＲ、両膝：ＫＬ／ＫＲ、両下腿：ＬｌｉｍＬ／ＬｌｉｍＲ、両足首：ＡｎＬ／ＡｎＲ、である。
【0027】
なお、前述したとおり、特徴点は、図５に示した関節部位を含む各部位に限られるものではない。動体物ＭＯの種類によって、あるいは動体物ＭＯが人体でも評価すべき基本的な姿勢の違いによって、任意に設定してよい。例えば、動体物ＭＯが動物の場合には、犬であれば耳や尾を特徴点としてもよく、ロボットの場合には、人型ではなく基台に対して作業部が回動するものであれば作業部の基準点を特徴点としてもよい。また、横臥している状態が通常の人体の場合には、寝返り姿勢を評価するために頭部ＨＤや背部Ｂについても左右に分けて特徴点としてもよい。これらの意味において、関節位置判断部２１は、特徴点位置判断部２１に拡張して把握することができる。
【0028】
[[関節距離計算部]]
次に、評価部２０の特徴点距離計算部（関節距離計算部）２２の例は図１２に示すとおりであるが、後ほど説明することとし、その説明に先立ち、図６から図１０を参照して従来のステレオカメラを用いた関節距離計算の課題について述べるとともに、図１１を参照して本実施形態に係る関節距離計算について述べる。
次に、評価部２０の特徴点距離計算部（関節距離計算部）２２の例は図１２に示すとおりであるが、後ほど説明することとし、その説明に先立ち、図６から図１０を参照して従来のステレオカメラを用いた関節距離計算の課題について述べるとともに、図１１を参照して本実施形態に係る関節距離計算について述べる。
【0029】
関節距離計算の実施においては、上記した計測部１０の例２及び例３のように距離カメラ１２ａ，１２ａ１，１２ａ２を用いる場合は、距離情報Ｄを直接計測できるために、光学カメラ１１ａ，１１ａ１，１１ａ２，１１ａ３と距離カメラ１２ａ，１２ａ１，１２ａ２との位置と視野方向とが確定されていれば、画像Ｐ又はＰ１上の特徴点例えば関節位置と距離カメラ１２ａ，１２ａ１，１２ａ２上の関節位置とは座標変換により容易に決定できる。しかし、上記した計測部１０の例１のように複数の光学カメラ１１ａ１，１１ａ２，１１ａ３を用いて距離計算する場合は、困難が伴う。その理由は、従来は光学カメラを用いた距離測定において２台の光学カメラを用いるステレオカメラが多く用いられており、ステレオカメラの場合、計測に大きな制約があったことによる。その制約とは、次のようなものである。なお、以下では、説明の便宜上、ステレオカメラを構成する２台の光学カメラを各別にカメラＡ、カメラＢとして説明するが、構造的に１台のステレオカメラの場合も同様である。
【0030】
従来のステレオカメラを用いる手法の場合、左右のカメラＡ、カメラＢで撮った共通部分の画像上の視差を計算するには、共通部分が同一の物体であるという事実を見出すためにテンプレート・マッチング法が必要となる。テンプレート・マッチング法とは、例えば一方のカメラＡで撮ったある領域の画像が、他方のカメラＢで撮った画像の中のどの位置に対応するかを、画像処理アルゴリズムにより画像マッチングを行い、その位置を特定する方法である。両者の画像の位置のずれから、カメラＡ、カメラＢの視差角を計算し、距離を推定することができる。その結果、図６から図８に示すような（１）から（３）の制約が生じる。
【0031】
（１）カメラ間隔が小さい場合
（図６「ステレオカメラ１：カメラを近づけた場合」参照）
カメラＡ、カメラＢそれぞれと対象物との距離の違いにより、マッチングを取る対象領域の範囲が大きく異なってくる。すなわち、カメラＡとカメラＢを近づけたとき、観察できる範囲は広がるが、対象物との距離により、マッチング範囲（視差角の変化量）が異なる。対象物までの距離は予め分かっているわけではないので、広い距離範囲を計測しようとすると、広い範囲でのマッチングが必要となり、誤認識が生じやすい。また、マッチングで誤認識をした場合でも、誤認識かどうかを判別する手段がなく、この点が立体形状測定にとって致命的である。
（図６「ステレオカメラ１：カメラを近づけた場合」参照）
カメラＡ、カメラＢそれぞれと対象物との距離の違いにより、マッチングを取る対象領域の範囲が大きく異なってくる。すなわち、カメラＡとカメラＢを近づけたとき、観察できる範囲は広がるが、対象物との距離により、マッチング範囲（視差角の変化量）が異なる。対象物までの距離は予め分かっているわけではないので、広い距離範囲を計測しようとすると、広い範囲でのマッチングが必要となり、誤認識が生じやすい。また、マッチングで誤認識をした場合でも、誤認識かどうかを判別する手段がなく、この点が立体形状測定にとって致命的である。
【0032】
図６の例を補足すると、カメラＡとカメラＢを例えば１０ｃｍの間隔に近づけた場合、５００ｃｍ先の視差θは、ｓｉｎθ≒θとして、１０／５００＝０．０２ラジアン≒１°となり、カメラＡ及びカメラＢの視野角を６０°、横方向の画素数を１０００とすれば、１°の差は約２０画素に当たる。一方、５０ｃｍ先の視差θは、同様に、１０／５０＝０．２ラジアン≒１２°となり、２００画素となる。２００画素離れていることは、１画像の１／５離れている同じ画像を探し出す必要があることを意味する。
【0033】
（２）カメラ間隔が大きい場合
（図７「ステレオカメラ２：カメラを離した場合」参照）
視差は大きくとれるが、距離計算対象領域が狭くなってくる。すなわち、カメラＡとカメラＢを離したとき、マッチング範囲（視差角の変化量）は狭くなり、観測できる範囲も狭いものとなる。また、カメラＡやカメラＢの面前の対象物を計測できないという状態に陥る。
（図７「ステレオカメラ２：カメラを離した場合」参照）
視差は大きくとれるが、距離計算対象領域が狭くなってくる。すなわち、カメラＡとカメラＢを離したとき、マッチング範囲（視差角の変化量）は狭くなり、観測できる範囲も狭いものとなる。また、カメラＡやカメラＢの面前の対象物を計測できないという状態に陥る。
【0034】
（３）カメラの方向を変えた場合
（図８「ステレオカメラ３：カメラの向きを変えた場合」参照）
カメラＡ及びカメラＢそれぞれで捉える対象物の形状が異なってくる。すなわち、カメラＡとカメラＢの向きを変えたとき、マッチング範囲（視差角の変化量）はある程度広がるが、左右のカメラＡ及びカメラＢで見る同一の対象物の形状が歪み、マッチングが困難となる。
（図８「ステレオカメラ３：カメラの向きを変えた場合」参照）
カメラＡ及びカメラＢそれぞれで捉える対象物の形状が異なってくる。すなわち、カメラＡとカメラＢの向きを変えたとき、マッチング範囲（視差角の変化量）はある程度広がるが、左右のカメラＡ及びカメラＢで見る同一の対象物の形状が歪み、マッチングが困難となる。
【0035】
上記した（１）から（３）の制約は、ステレオカメラの限界を示すものである。つまり、対象物との距離や位置がある程度限定され、かつ対象物の形状が既知の場合は、簡便な距離計算法として、ある程度有効であった。しかし、対象物との距離が５０ｃｍ～５００ｃｍと広い範囲の、しかも対象物の形状も時事刻々と変化する、例えば作業現場における作業者などの計測は極めて困難であった。
【0036】
ステレオカメラの欠点を端的に示す例を図９に示す。図９の左側に示した白黒の縦縞模様をステレオカメラでテンプレート・マッチングすると、マッチング・ポイント（一致画像）が多数現れ（例えば、図中、破線で囲んだ範囲の複数の画像）、計測不能になる。類似の状況は頻繁に現れることが知られていて、ステレオカメラによる距離計算法は限定的にしか使えないことが分かる。図９の右側に示したように、カメラＡでテンプレート領域を決定して、カメラＢの画像内で、同一部位に相当する画像を探すとき、幾らでも一致点が見つかるので、当該テンプレートまでの距離に関する情報が既知でないと、解は不定となる。
【0037】
そうすると、ステレオカメラを用いる方法は、例えば作業場の工作機械のように、直線が多い画像では、どこでもマッチングが起こりうることと、距離が不定であり、事前の視差量が推定できないために、テンプレート・マッチングする範囲が決まらなくなるので、マッチングエラー（マッチング無し）や、複数マッチングの頻発が起こると予測される。
【0038】
さらに、図１０は、カメラＡ、カメラＢの２台のカメラを用いて円形物体ＣＯと矩形物体ＲＯについて、テンプレート・マッチングを行う例を示す。図１０の左側に示したような位置関係にある円形物体ＣＯと矩形物体ＲＯをカメラＡ、カメラＢでそれぞれ撮影すると、カメラＡ、カメラＢからそれぞれ見える図は図１０の右側に示したようなものとなり、マッチングエラーを起こす（マッチングできない、すなわち、距離計算できない）ことが分かる。円形物体ＣＯと矩形物体ＲＯが異なる距離に有るという情報が無いので、円形物体ＣＯと矩形物体ＲＯの組み合わせが単一物体か否かの違いを数学的に区別できないからである。
【0039】
以上述べたステレオカメラを用いた手法に対し、本実施形態では、光学カメラ１１ａ１，１１ａ２，１１ａ３から得られた画像上の特徴点を用いて距離計算する手法を提案する。本実施形態では、複数の光学カメラ１１ａ１，１１ａ２，１１ａ３を用いて距離計算する場合に、テンプレート・マッチングを行わないこととし、また、ステレオカメラではなく、３台以上の光学カメラ１１ａ１，１１ａ２，１１ａ３によって、相互に同期した撮影で得られる複数画像からの距離再構成を行うことを特徴とする。
【0040】
その手法は、次のとおりである。
（ａ）予め、各光学カメラ１１ａ１，１１ａ２，１１ａ３の位置及び視野方位を測定しておく。
（ｂ）相互に同期して取得した複数の画像Ｐ１，Ｐ２，Ｐ３から機械学習により動体物ＭＯの関節位置を抽出する。
（ｃ）各光学カメラ１１ａ１，１１ａ２，１１ａ３の位置及び視野方位をもとに、各関節位置の光学カメラ毎の視線方位を計算する。その交点方向の近接領域において複数画像上に関節位置を認めた場合に、それらの複数画像の組み合わせが、特定個体である動体物ＭＯの特定の関節位置を示していると仮定する。
（ｄ）上記によりサンプリングされた複数画像に関し、後記するアルゴリズムを適用することにより、一般化された３次元座標系内での当該関節位置を求める。
（ａ）予め、各光学カメラ１１ａ１，１１ａ２，１１ａ３の位置及び視野方位を測定しておく。
（ｂ）相互に同期して取得した複数の画像Ｐ１，Ｐ２，Ｐ３から機械学習により動体物ＭＯの関節位置を抽出する。
（ｃ）各光学カメラ１１ａ１，１１ａ２，１１ａ３の位置及び視野方位をもとに、各関節位置の光学カメラ毎の視線方位を計算する。その交点方向の近接領域において複数画像上に関節位置を認めた場合に、それらの複数画像の組み合わせが、特定個体である動体物ＭＯの特定の関節位置を示していると仮定する。
（ｄ）上記によりサンプリングされた複数画像に関し、後記するアルゴリズムを適用することにより、一般化された３次元座標系内での当該関節位置を求める。
【0041】
上記の手法により、動体物ＭＯの関節部位を含む各部位の３次元座標のみを効果的に抽出でき、かつ多方向からの計測により、従来のステレオカメラ法より、遮蔽物に妨げられる頻度が低い、ロバストな計測が可能となる。
【0042】
多方向からの画像による３次元座標位置計算のアルゴリズムとして、Ｎ台の光学カメラで１つの対象物を撮影した場合に、対象物の位置を推定する具体的なアルゴリズムの一例について図１１を参照して以下に説明する。
【0043】
（§１ 設定）
設定条件は、以下のとおりである。
・対象物は、３次元空間Ｒ^3のある１点Ｐ_0である、とする。ただし、その座標値（ｘ，ｙ，ｚ）は未知とする。
・Ｎ台の光学カメラのインデックスをｋ＝１，２，・・・，Ｎとする。第ｋ光学カメラの位置をＰ_kとする。ただし、Ｐ_kの座標値は既知とする。
・Ｐ_kを始点とし、Ｐ_0を終点とするベクトルをＶ_kとする。つまり、Ｖ_k＝Ｐ_0－Ｐ_kとする。
・ベクトルＶのノルムをｎｏｒｍ(Ｖ)と表すことにして、ノルムが１のベクトルＵ_kをＶ_k／ｎｏｒｍ(Ｖ_k)と定義する。
・Ｐ_0が未知なのでＶ_kも未知ではあるが、マッチングの結果得られた視差データから、Ｕ_kは既知である、とする。ただし、Ｕ_kはあくまでも光学カメラ撮影で得られたものなので、誤差が混入していることを考慮する。
・Ｐ_kからＵ_kの方向に伸びる直線をＬ_kとする。もしも、Ｕ_kに誤差がないならば、Ｌ_1，Ｌ_2，・・・，Ｌ_NはＰ_0を交点として共有するはずであるが、Ｕ_kは誤差をもつので、互いに異なるインデックスｉとｊとに対して、Ｌ_iとＬ_jとは交点をもつとは限らない。
設定条件は、以下のとおりである。
・対象物は、３次元空間Ｒ^3のある１点Ｐ_0である、とする。ただし、その座標値（ｘ，ｙ，ｚ）は未知とする。
・Ｎ台の光学カメラのインデックスをｋ＝１，２，・・・，Ｎとする。第ｋ光学カメラの位置をＰ_kとする。ただし、Ｐ_kの座標値は既知とする。
・Ｐ_kを始点とし、Ｐ_0を終点とするベクトルをＶ_kとする。つまり、Ｖ_k＝Ｐ_0－Ｐ_kとする。
・ベクトルＶのノルムをｎｏｒｍ(Ｖ)と表すことにして、ノルムが１のベクトルＵ_kをＶ_k／ｎｏｒｍ(Ｖ_k)と定義する。
・Ｐ_0が未知なのでＶ_kも未知ではあるが、マッチングの結果得られた視差データから、Ｕ_kは既知である、とする。ただし、Ｕ_kはあくまでも光学カメラ撮影で得られたものなので、誤差が混入していることを考慮する。
・Ｐ_kからＵ_kの方向に伸びる直線をＬ_kとする。もしも、Ｕ_kに誤差がないならば、Ｌ_1，Ｌ_2，・・・，Ｌ_NはＰ_0を交点として共有するはずであるが、Ｕ_kは誤差をもつので、互いに異なるインデックスｉとｊとに対して、Ｌ_iとＬ_jとは交点をもつとは限らない。
【0044】
（§２ 推定方法）
上記の設定を踏まえて、Ｐ_0の位置を推定する方法は、以下のとおりである。
・ベクトルＰ_0は、（ｘ，ｙ，ｚ）座標値からなる縦ベクトルであるとする。
・同様に、Ｐ_1，Ｐ_2，・・・，Ｐ_Nも、Ｕ_1，Ｕ_2，・・・，Ｕ_Nも、（ｘ，ｙ，ｚ）座標値からなる縦ベクトルとする。
・Ｘを任意のベクトル又は行列として、その転置をＸ^*と表すことにする。
・Ｉを３行３列の単位行列とする。
・ｋ＝１，２，・・・，Ｎに対して、３行３列の行列Ｑ_kを
Ｑ_k＝Ｉ－Ｕ_k Ｕ_k^*
と定義する。定義から、Ｑ_kはランクが２（後記参照）の対称行列であり、非負定置である。しかも、Ｑ_kは射影行列である。つまり、Ｑ_k^2=Ｑ_kが成り立つ。ただし、^2は２乗を意味するものとする。
・次に、３行３列の行列Ｒを
Ｒ＝Ｑ_1＋Ｑ_2＋・・・＋Ｑ_N
と定義する。一般的には、Ｒの行列式ｄｅｔ(Ｒ)はゼロ以上の実数であり、ｄｅｔ(Ｒ)＝０となる可能性があるが、以下では、ｄｅｔ(Ｒ)＞０である、と仮定する。ｄｅｔ(Ｒ)＞０の仮定から、Ｒは逆行列ｉｎｖ(Ｒ)をもつことになる。
・ｋ＝１，２，・・・，Ｎに対して、縦ベクトルＳ_kを
Ｓ_k＝ｉｎｖ(Ｒ) Ｑ_k Ｐ_k
と定義する。
・すると、Ｐ_0の推定値は、Ｓ_1＋Ｓ_2＋・・・＋Ｓ_Nである。
上記の設定を踏まえて、Ｐ_0の位置を推定する方法は、以下のとおりである。
・ベクトルＰ_0は、（ｘ，ｙ，ｚ）座標値からなる縦ベクトルであるとする。
・同様に、Ｐ_1，Ｐ_2，・・・，Ｐ_Nも、Ｕ_1，Ｕ_2，・・・，Ｕ_Nも、（ｘ，ｙ，ｚ）座標値からなる縦ベクトルとする。
・Ｘを任意のベクトル又は行列として、その転置をＸ^*と表すことにする。
・Ｉを３行３列の単位行列とする。
・ｋ＝１，２，・・・，Ｎに対して、３行３列の行列Ｑ_kを
Ｑ_k＝Ｉ－Ｕ_k Ｕ_k^*
と定義する。定義から、Ｑ_kはランクが２（後記参照）の対称行列であり、非負定置である。しかも、Ｑ_kは射影行列である。つまり、Ｑ_k^2=Ｑ_kが成り立つ。ただし、^2は２乗を意味するものとする。
・次に、３行３列の行列Ｒを
Ｒ＝Ｑ_1＋Ｑ_2＋・・・＋Ｑ_N
と定義する。一般的には、Ｒの行列式ｄｅｔ(Ｒ)はゼロ以上の実数であり、ｄｅｔ(Ｒ)＝０となる可能性があるが、以下では、ｄｅｔ(Ｒ)＞０である、と仮定する。ｄｅｔ(Ｒ)＞０の仮定から、Ｒは逆行列ｉｎｖ(Ｒ)をもつことになる。
・ｋ＝１，２，・・・，Ｎに対して、縦ベクトルＳ_kを
Ｓ_k＝ｉｎｖ(Ｒ) Ｑ_k Ｐ_k
と定義する。
・すると、Ｐ_0の推定値は、Ｓ_1＋Ｓ_2＋・・・＋Ｓ_Nである。
【0045】
上記したＱ_kのランクについては、次のとおりである。
・Ｕ_kと直交するノルムが１の縦ベクトルをＧ_kとし、Ｕ_kともＧ_kとも直交するノルムが１の縦ベクトルをＨ_kとすると、
Ｉ＝Ｕ_k Ｕ_k^*＋Ｇ_k Ｇ_k^*＋Ｈ_k Ｈ_k^*
であるから、
Ｑ_k＝Ｇ_k Ｇ_k^*＋Ｈ_k Ｈ_k^*
である。したがって、Ｑ_kのランクは、２である。
・Ｕ_kと直交するノルムが１の縦ベクトルをＧ_kとし、Ｕ_kともＧ_kとも直交するノルムが１の縦ベクトルをＨ_kとすると、
Ｉ＝Ｕ_k Ｕ_k^*＋Ｇ_k Ｇ_k^*＋Ｈ_k Ｈ_k^*
であるから、
Ｑ_k＝Ｇ_k Ｇ_k^*＋Ｈ_k Ｈ_k^*
である。したがって、Ｑ_kのランクは、２である。
【0046】
（§３ 導出方法）
上記したＰ_0の推定値は、以下の方法で導出されたものである。
・３次元空間Ｒ^3の任意の点を３次元縦ベクトルＷで表し、３次元空間Ｒ^3の任意の直線をＬで表わすことにする。
・また、ＬとＷの距離ｄｉｓｔ(Ｌ，Ｗ)を、ＷからＬにおろされた垂線の長さ、として定義する。
・すると、ｋ＝１，２，・・・，Ｎに対して、ｄｉｓｔ(Ｌ_k，Ｗ)は、ベクトルＷ－Ｐ_kからＵ_kに平行な成分を除外したベクトルのノルム、つまり、Ｗ－Ｐ_kをＵ_kに垂直な平面に射影してから求めたノルムであるから、
ｄｉｓｔ(Ｌ_k，Ｗ)＝ｎｏｒｍ[(Ｉ－Ｕ_k Ｕ_k^*)(Ｗ－Ｐ_k)]
＝ｓｑｒｔ[(Ｗ－Ｐ_k)^* Ｑ_k (Ｗ－Ｐ_k)]
である。
・そして、ｄｉｓｔ(Ｌ_1，Ｗ)，ｄｉｓｔ(Ｌ_2，Ｗ)，・・・，ｄｉｓｔ(Ｌ_N，Ｗ)の二乗和をｆ(Ｗ)と書くことにする。つまり、
ｆ(Ｗ)＝ｄｉｓｔ(Ｌ_1，Ｗ)^2＋ｄｉｓｔ(Ｌ_2，Ｗ)^2＋・・・
＋ｄｉｓｔ(Ｌ_N，Ｗ)^2
とする。
・対象物の位置Ｐ_0の推定値は、このｆ(Ｗ)の値を最小にするＷと定義する。
・すると、平方完成によって（後記参照）、Ｓ_1＋Ｓ_2＋・・・＋Ｓ_NがＰ_0の推定値となる。
上記したＰ_0の推定値は、以下の方法で導出されたものである。
・３次元空間Ｒ^3の任意の点を３次元縦ベクトルＷで表し、３次元空間Ｒ^3の任意の直線をＬで表わすことにする。
・また、ＬとＷの距離ｄｉｓｔ(Ｌ，Ｗ)を、ＷからＬにおろされた垂線の長さ、として定義する。
・すると、ｋ＝１，２，・・・，Ｎに対して、ｄｉｓｔ(Ｌ_k，Ｗ)は、ベクトルＷ－Ｐ_kからＵ_kに平行な成分を除外したベクトルのノルム、つまり、Ｗ－Ｐ_kをＵ_kに垂直な平面に射影してから求めたノルムであるから、
ｄｉｓｔ(Ｌ_k，Ｗ)＝ｎｏｒｍ[(Ｉ－Ｕ_k Ｕ_k^*)(Ｗ－Ｐ_k)]
＝ｓｑｒｔ[(Ｗ－Ｐ_k)^* Ｑ_k (Ｗ－Ｐ_k)]
である。
・そして、ｄｉｓｔ(Ｌ_1，Ｗ)，ｄｉｓｔ(Ｌ_2，Ｗ)，・・・，ｄｉｓｔ(Ｌ_N，Ｗ)の二乗和をｆ(Ｗ)と書くことにする。つまり、
ｆ(Ｗ)＝ｄｉｓｔ(Ｌ_1，Ｗ)^2＋ｄｉｓｔ(Ｌ_2，Ｗ)^2＋・・・
＋ｄｉｓｔ(Ｌ_N，Ｗ)^2
とする。
・対象物の位置Ｐ_0の推定値は、このｆ(Ｗ)の値を最小にするＷと定義する。
・すると、平方完成によって（後記参照）、Ｓ_1＋Ｓ_2＋・・・＋Ｓ_NがＰ_0の推定値となる。
【0047】
平方完成については、次のとおりである。
・ｆ(Ｗ)の式変形をすると、
ｆ(Ｗ)＝Σ_(k=1)^N (Ｗ-Ｐ_k)^* Ｑ_k (Ｗ－Ｐ_k)
＝(Ｗ－ｉｎｖ(Ｒ) Σ_(k=1)^N Ｑ_k Ｐ_k)^* Ｒ(Ｗ－ｉｎｖ(Ｒ) Σ_(k=1)^N Ｑ_k Ｐ_k)＋定数項
＝(Ｗ－Σ_(k=1)^N Ｓ_k)^* Ｒ(Ｗ－Σ_(k=1)^N Ｓ_k)＋定数項
であるから、ｆ(Ｗ)が最小になるのはＷ＝Σ_(k=1)^N Ｓ_kのときである。
・ｆ(Ｗ)の式変形をすると、
ｆ(Ｗ)＝Σ_(k=1)^N (Ｗ-Ｐ_k)^* Ｑ_k (Ｗ－Ｐ_k)
＝(Ｗ－ｉｎｖ(Ｒ) Σ_(k=1)^N Ｑ_k Ｐ_k)^* Ｒ(Ｗ－ｉｎｖ(Ｒ) Σ_(k=1)^N Ｑ_k Ｐ_k)＋定数項
＝(Ｗ－Σ_(k=1)^N Ｓ_k)^* Ｒ(Ｗ－Σ_(k=1)^N Ｓ_k)＋定数項
であるから、ｆ(Ｗ)が最小になるのはＷ＝Σ_(k=1)^N Ｓ_kのときである。
【0048】
評価部２０の関節距離計算部２２の例は、前述したように、図１２のとおりである。図１２に示すように、関節距離計算部２２では、関節位置判断部２１で位置決定された光学カメラ１１ａ，１１ａ１，１１ａ２，１１ａ３から得られた関節位置２次元座標ＴｗＤを入力し、光学カメラ座標系から、距離カメラ座標系へ座標変換２２ａを行った後に、距離カメラ１２ａ，１２ａ１，１２ａ２から得られた距離情報Ｄより、当該関節位置の、距離カメラ座標系における関節位置３次元座標計算２２ｂを行う。
【0049】
関節位置３次元座標ＴｈＤの計算アルゴリズムは、距離カメラ１２ａ，１２ａ１，１２ａ２等で得られた関節距離のデータを、カメラの画素数と視野角の仕様に基づいて極座標（天頂角、方位角、半径）に変換後、直交座標（ｘ，ｙ，ｚ）に変換し、関節位置３次元座標ＴｈＤとする。図１２の下段には、図５で示した人体の特徴点としての関節部位（ここでは、右肩ＳＲ、左肩ＳＬ、右肘ＥＲ）の光学カメラ１１ａ１又は１１ａ上の関節位置３次元座標ＴｈＤを例示している。
【0050】
[[３次元骨格再構成部]]
次に、評価部２０の３次元骨格再構成部２３の例について、図１３を参照して説明する。図１３に示すように、３次元骨格再構成部２３は、関節位置３次元座標ＴｈＤを基に、隣接する関節までの関節間距離及び角度の計算２３ａを行った後、それらの妥当性の検証２３ｂを行う。
次に、評価部２０の３次元骨格再構成部２３の例について、図１３を参照して説明する。図１３に示すように、３次元骨格再構成部２３は、関節位置３次元座標ＴｈＤを基に、隣接する関節までの関節間距離及び角度の計算２３ａを行った後、それらの妥当性の検証２３ｂを行う。
【0051】
具体的には、対象物の動体物ＭＯが人体であれば、関節間距離を計算した後、計算結果が人体の関節間距離として妥当かどうかを評価し、妥当であれば骨格データ（関節間距離データＬＤ）として採用し、不適であれば、その部分の骨格を計測不可として排除する。同様に、隣接する関節までを結ぶ直線を骨と仮定したときに、骨と近接する骨の開き角を求め、人体の骨の可動範囲から人体の骨と骨の接する角度として妥当かどうか評価し、妥当であれば骨格データ（角度データＡＤ）として採用し、不適であれば、その部分の骨格を計測不可として排除する。例えば、左右腰ＷＬ，ＷＲに対し、背骨（背部Ｂ）の前傾度や後傾度の測定を行う。通常、立位姿勢の場合は、前傾については９０度以上の前傾も姿勢として取りうるが、後傾は立位姿勢の場合は３０度以上となると転倒する確率が高い。このように通常あり得ない数値が出た場合は、その部分の骨格を計測不可として排除する。
【0052】
図１３の下段には、関節間距離データＬＤとして、図５で示した人体の特徴点としての部位（ここでは、肩幅Ｓ、腰幅Ｗ、背丈Ｂ（背部Ｂ）、右上腕ＡｒｍＲ１、左上腕ＡｒｍＬ１、右大腿ＴｈｉＲ、左大腿ＴｈｉＬ）の長さ［ｃｍ］を、角度データＡＤとして、後記する図２２から図２３に示す開き角（ここでは、腰幅Ｗに対する背部Ｂのひねり角θ１、横曲げ角θ２、前曲げ角θｆ、後ろ曲げ角θｂ）の角度［°］を例示している。図１３の下段に示す例のような関節間距離データＬＤ及び角度データＡＤに基づいて、３次元骨格再構成部２３により、動体物ＭＯの骨格（具体的には、３次元骨格図）が再構成される。
【0053】
[[不変量推定部]]
不変量推定部２４では、被写体（具体的には、対象物の動体物ＭＯ）の不変量若しくは漸変量を３次元骨格図より求める。ここで重要な点は、図１４のような各関節の３次元位置情報（具体的には、関節位置３次元座標ＴｈＤ；尚、これらの集合として、対象物の動体物ＭＯについての３次元骨格図が構成される）が得られた場合に、動体物の姿勢の変化に対し、より数値が不変な物理量を選択することである。
不変量推定部２４では、被写体（具体的には、対象物の動体物ＭＯ）の不変量若しくは漸変量を３次元骨格図より求める。ここで重要な点は、図１４のような各関節の３次元位置情報（具体的には、関節位置３次元座標ＴｈＤ；尚、これらの集合として、対象物の動体物ＭＯについての３次元骨格図が構成される）が得られた場合に、動体物の姿勢の変化に対し、より数値が不変な物理量を選択することである。
【0054】
＜不変量の例１＞
例えば、１次元情報としては、図１４内の背骨の線分Ｂの長さを動体物ＭＯ固有の不変量として用いることが考えられる。Ｂは左肩ＳＬと右肩ＳＲとを結ぶ線分の中点をＳ０とするとともに、左腰ＷＬと右腰ＷＲとを結ぶ線分の中点をＷ０としたときに、Ｓ０とＷ０とを結ぶ線分とする。Ｂは、空間の平行移動と回転変換に関して不変量となる。両肩や両腰の４点の３次元位置情報は、カメラと動体物との位置関係から、必ずしも４点全て正確に得られるとは限らないものの、４点のいずれかが欠けた場合にも、他の位置情報を補完して推定できる背骨の線分Ｂは不変性が高い。例えば右肩ＳＲの３次元位置の推定ができないときは、左肩ＳＬと左腰ＷＬとの距離（ＳＬ－ＷＬ）で補完することが考えられる。
例えば、１次元情報としては、図１４内の背骨の線分Ｂの長さを動体物ＭＯ固有の不変量として用いることが考えられる。Ｂは左肩ＳＬと右肩ＳＲとを結ぶ線分の中点をＳ０とするとともに、左腰ＷＬと右腰ＷＲとを結ぶ線分の中点をＷ０としたときに、Ｓ０とＷ０とを結ぶ線分とする。Ｂは、空間の平行移動と回転変換に関して不変量となる。両肩や両腰の４点の３次元位置情報は、カメラと動体物との位置関係から、必ずしも４点全て正確に得られるとは限らないものの、４点のいずれかが欠けた場合にも、他の位置情報を補完して推定できる背骨の線分Ｂは不変性が高い。例えば右肩ＳＲの３次元位置の推定ができないときは、左肩ＳＬと左腰ＷＬとの距離（ＳＬ－ＷＬ）で補完することが考えられる。
【0055】
＜不変量の例２＞
また、動体物ＭＯ固有の不変量として、図１４中の左肩ＳＬ、右肩ＳＲ、左腰ＷＬ、及び右腰ＷＲの４点の３次元位置情報から求まる四辺形の面積を用いることも考えられる。ただし、この場合は、立体計測時のカメラの位置と動体物の位置との関係によっては、面積が変動する可能性が有る。例えば人体を体側方向から距離計測すると、カメラに近い側の肩及び腰の位置は正確に計測できるが、反対側の肩や腰は計測できない、又は誤った３次元位置を計測する可能性が高い。
また、動体物ＭＯ固有の不変量として、図１４中の左肩ＳＬ、右肩ＳＲ、左腰ＷＬ、及び右腰ＷＲの４点の３次元位置情報から求まる四辺形の面積を用いることも考えられる。ただし、この場合は、立体計測時のカメラの位置と動体物の位置との関係によっては、面積が変動する可能性が有る。例えば人体を体側方向から距離計測すると、カメラに近い側の肩及び腰の位置は正確に計測できるが、反対側の肩や腰は計測できない、又は誤った３次元位置を計測する可能性が高い。
【0056】
＜不変量の例３＞
また、動体物ＭＯ固有の不変量として、背の高さを用いることも考えられる。背の高さは図１４の背骨の線分Ｂと、左右の足の長さ（ＷＬ－ＫＬ－ＡｎＬ 及び ＷＲ－ＫＲ－ＡｎＲ）の平均値とを足すことで足から首までの長さが求まる。
また、動体物ＭＯ固有の不変量として、背の高さを用いることも考えられる。背の高さは図１４の背骨の線分Ｂと、左右の足の長さ（ＷＬ－ＫＬ－ＡｎＬ 及び ＷＲ－ＫＲ－ＡｎＲ）の平均値とを足すことで足から首までの長さが求まる。
【0057】
＜不変量の例４＞
また、骨格情報をさらに細分化して、前から見た左肩位置ＳＬＦ、後ろから見た左肩位置ＳＬＢ、前から見た右肩位置ＳＲＦ、後ろから見た右肩位置ＳＲＢ、前から見た左腰位置ＷＬＦ、後ろから見た左腰位置ＷＬＢ、前から見た右腰位置ＷＲＦ、及び後ろから見た右腰位置ＷＲＢの８個の３次元位置情報から求まる６面体の３次元空間を胴体体積と考え、動体物ＭＯ固有の不変量として用いることも考えられる。
また、骨格情報をさらに細分化して、前から見た左肩位置ＳＬＦ、後ろから見た左肩位置ＳＬＢ、前から見た右肩位置ＳＲＦ、後ろから見た右肩位置ＳＲＢ、前から見た左腰位置ＷＬＦ、後ろから見た左腰位置ＷＬＢ、前から見た右腰位置ＷＲＦ、及び後ろから見た右腰位置ＷＲＢの８個の３次元位置情報から求まる６面体の３次元空間を胴体体積と考え、動体物ＭＯ固有の不変量として用いることも考えられる。
【0058】
＜不変量若しくは漸変量の例＞
また、３次元骨格図を解析して得られる、姿勢の分類結果を不変量、又は漸変量（変量の変化に対して時間的制約がある変量）として用いることも考えられる。
また、３次元骨格図を解析して得られる、姿勢の分類結果を不変量、又は漸変量（変量の変化に対して時間的制約がある変量）として用いることも考えられる。
【0059】
３次元骨格図を解析して得られる、姿勢の分類（「姿勢評価」とも称する）結果を不変量、又は漸変量（変量の変化に対して時間的制約がある変量）として用いる場合の例について、図１５を参照して説明する。図１５に示すように、不変量推定部２４は、関節位置３次元座標ＴｈＤ並びに関節間距離データＬＤ及び角度データＡＤを基に、対象となる動体物ＭＯの態様に応じた姿勢評価アルゴリズムＡＬ１，ＡＬ２，・・・を選択して、姿勢の評価２４ａを行う。評価の結果は、姿勢評価データＰＥＤとして出力される。図１５の下段には、姿勢評価データＰＥＤとして、上半身、下半身、手に区分した場合の評価の結果を例示している。
【0060】
姿勢評価アルゴリズムＡＬ１，ＡＬ２，・・・は、動体物ＭＯの計測の目的に対応した姿勢評価基準により、様々なアルゴリズムを用いることができる。
【0061】
動体自動追跡装置１は動体物ＭＯの計測（言い換えると、追跡、トレース）の種々の目的に対応することが可能であることから、その姿勢評価に用いる関節位置３次元座標ＴｈＤや関節間距離データＬＤと角度データＡＤも、図１３、図１４に挙げた例に限られることはない。例えば、肩ＳＬ／ＳＲ、肘ＥＬ／ＥＲ、手首ＨＬ／ＨＲに指の各関節を特徴点として追加し、上肢の動きに特化した関節位置３次元座標ＴｈＤや関節間距離データＬＤと角度データＡＤを生成してもよく、その場合には、上肢のみについての姿勢評価アルゴリズムが用いられる。
【0062】
（姿勢評価の例）
以下では、不変量推定部２４による姿勢評価の例として、図１６及び図１７を参照して、作業者の姿勢負荷の評価として使われているＯＷＡＳ法の分類（ＯＷＡＳ：Ｏvako Ｗorking Ｐosture Ａnalyzing Ｓystem）を応用した場合を例として挙げる。
以下では、不変量推定部２４による姿勢評価の例として、図１６及び図１７を参照して、作業者の姿勢負荷の評価として使われているＯＷＡＳ法の分類（ＯＷＡＳ：Ｏvako Ｗorking Ｐosture Ａnalyzing Ｓystem）を応用した場合を例として挙げる。
【0063】
（ＯＷＡＳ法の概要）
まず、ＯＷＡＳ法の概要について、以下の説明を抜粋して引用する（引用元：「ＯＷＡＳ：Ｏｖａｋｏ式作業姿勢分析システム」http://www.nrec.sakura.ne.jp/OWAS.htmより。ただし、一部図番等修正）。
まず、ＯＷＡＳ法の概要について、以下の説明を抜粋して引用する（引用元：「ＯＷＡＳ：Ｏｖａｋｏ式作業姿勢分析システム」http://www.nrec.sakura.ne.jp/OWAS.htmより。ただし、一部図番等修正）。
【0064】
「［２］各種作業姿勢評価法とＯＷＡＳ
ＯＷＡＳは、フィンランドの製鉄会社（Ovako Oy，現Fundia Wire）に勤めていたKarhuやNasmanらやフィンランド労働衛生研究所（Institute of Occupational Health）のKuorinkaらによって１９７０年代前半に開発が開始された。（中略）測定者間の姿勢判別の一致率は９０％以上と高く、２０以上の業種でテストされた。１９８０年代後半以降ＯＷＡＳを調査や作業改善に利用した報告が増えている。
［３］ＯＷＡＳによる作業姿勢の記録法
図１６の例に示すように、ＯＷＡＳではある時点の作業姿勢を背部・上肢・下肢・重さの４項目でとらえ、これをコード化した４桁の数字（姿勢コード）で記録する。この姿勢コードの分類は、不快感の主観的評価・姿勢による健康影響・実用可能性を考慮して決定されたものである。」
ＯＷＡＳは、フィンランドの製鉄会社（Ovako Oy，現Fundia Wire）に勤めていたKarhuやNasmanらやフィンランド労働衛生研究所（Institute of Occupational Health）のKuorinkaらによって１９７０年代前半に開発が開始された。（中略）測定者間の姿勢判別の一致率は９０％以上と高く、２０以上の業種でテストされた。１９８０年代後半以降ＯＷＡＳを調査や作業改善に利用した報告が増えている。
［３］ＯＷＡＳによる作業姿勢の記録法
図１６の例に示すように、ＯＷＡＳではある時点の作業姿勢を背部・上肢・下肢・重さの４項目でとらえ、これをコード化した４桁の数字（姿勢コード）で記録する。この姿勢コードの分類は、不快感の主観的評価・姿勢による健康影響・実用可能性を考慮して決定されたものである。」
【0065】
ここで、ＯＷＡＳ法では、図１６に示すように、姿勢コードが「１．背部：１）から４）の４つの姿勢に分類（例えば、１）は「まっすぐ」）」、「２．上肢：１）から３）の３つの姿勢に分類（例えば、１）は「両腕とも肩より下」）」、「３．下肢：１）から７）の７つの姿勢に分類（例えば、１）は「すわる」）」、「４．重さまたは力：１）から３）の３つの程度に分類（例えば、１）は「１０ｋｇ以下」）」に整理されているが、このうち、「４．重さまたは力」は作業する対象物の重さや、作業者の力を要する程度を示すものなので、ここでは計測対象外とする。
【0066】
次に、ＯＷＡＳ法では、上記の姿勢に関する記録を行った後に、姿勢の負担度と改善要求度を以下の４段階に分類して判定する（ＡＣ：Ａction Ｃategory）。
ＡＣ１：この姿勢による筋骨格系負担は問題ない。改善は不要である。
ＡＣ２：この姿勢は筋骨格系に有害である。近いうちに改善すべきである。
ＡＣ３：この姿勢は筋骨格系に有害である。できるだけ早期に改善すべきである。
ＡＣ４：この姿勢は筋骨格系に非常に有害である。ただちに改善すべきである。
ＡＣ１：この姿勢による筋骨格系負担は問題ない。改善は不要である。
ＡＣ２：この姿勢は筋骨格系に有害である。近いうちに改善すべきである。
ＡＣ３：この姿勢は筋骨格系に有害である。できるだけ早期に改善すべきである。
ＡＣ４：この姿勢は筋骨格系に非常に有害である。ただちに改善すべきである。
【0067】
この判定にあたっては、図１７に示すＡＣ判定表が用いられる。ＡＣ判定表では、図１７に示すように、左側に「１．背部」と「２．上肢」が、上側に「３．下肢」と「４．重さまたは力」が、それぞれ組み合わされている。組み合わせの数は、「１．背部」の１）から４）の分類それぞれに「２．上肢」の１）から３）の分類を組み合わせた１２通りの区分と、「３．下肢」の１）から７）の分類それぞれに「４．重さまたは力」の１）から３）の分類を組み合わせた２１通りの区分とにより、全体として２５２通りの区分が設定される。そして、それぞれの区分にＡＣ１からＡＣ４の判定が割り振られている。
【0068】
（姿勢評価アルゴリズム）
次に、図１８から図２４を参照して、姿勢評価アルゴリズムを説明する。姿勢評価アルゴリズムでは、ＯＷＡＳ法の分類を応用して以下のアルゴリズムで姿勢評価を自動化する。図１８に、座標位置及び線分、角度に関する名称の定義を、図１９に、アルゴリズムとして、対象となる部位（「１．背部」、「２．上肢」、「３．下肢」）、部位ごとの姿勢の分類、判定方法とデフォルト値を示す。図１９における３つの部位及び部位ごとの姿勢の分類は、図１６に示したＯＷＡＳ法の分類と同様である一方、前述したとおり、「４．重さまたは力」はアルゴリズムに含まれない。
次に、図１８から図２４を参照して、姿勢評価アルゴリズムを説明する。姿勢評価アルゴリズムでは、ＯＷＡＳ法の分類を応用して以下のアルゴリズムで姿勢評価を自動化する。図１８に、座標位置及び線分、角度に関する名称の定義を、図１９に、アルゴリズムとして、対象となる部位（「１．背部」、「２．上肢」、「３．下肢」）、部位ごとの姿勢の分類、判定方法とデフォルト値を示す。図１９における３つの部位及び部位ごとの姿勢の分類は、図１６に示したＯＷＡＳ法の分類と同様である一方、前述したとおり、「４．重さまたは力」はアルゴリズムに含まれない。
【0069】
姿勢評価アルゴリズムは図１９に示したとおりであるが、それらのうち、「２．上肢の分類：１）から３）」、及び「３．下肢の分類：１）から６）」については、図１８に記載した、座標位置（例えば、左右手首ＨＬ，ＨＲのＸ，Ｙ，Ｚ座標）、線分（例えば、右肩ＳＲと右肘ＥＲの間の右上腕ＡｒｍＲ１）、角度（例えば、両肩の中点Ｓ０から床面への垂線の交点をＳ０Ｚ０とした時の、Ｓ０Ｚ０－Ｓ０－Ｗ０で決まる角度θ_S0Z0SW）の定義に基づいて、関連する指標同士の大小関係によって判断されるので、図１９によって説明に代える。それら以外の「１．背部の分類：１）から４）」及び「３．下肢の分類：７）」について、以下に補足する。
【0070】
まず、「１．背部の分類：１）から４）」について、図２０から図２４を参照して説明する。背部Ｂの曲げの判断に使用する関節及び線分は、図２０に示すように、肩幅Ｓ、両肩ＳＬ／ＳＲ、肩幅Ｓの中点Ｓ０、腰幅Ｗ、両腰ＷＬ／ＷＲ、腰幅Ｗの中点Ｗ０、中点Ｓ０と中点Ｗ０を結ぶ背部Ｂ（背骨に相当する）を用いる。
【0071】
背部Ｂの曲げは、以下の４つの曲げを取り扱う。
（イ）ひねり
（ロ）横曲げ
（ハ）前曲げ
（ニ）後ろ曲げ
（イ）ひねり
（ロ）横曲げ
（ハ）前曲げ
（ニ）後ろ曲げ
【0072】
４つの曲げの定義にあたって、前提条件として、空間のｘ－ｙ－ｚ方向を、光学カメラ１１ａ，１１ａ１，１１ａ２，１１ａ３で撮影する画角の左右方向をｘ軸、距離カメラ１２ａ，１２ａ１，１２ａ２のレンズ中心から被写体（動体物ＭＯ）方向に進む光線方向をｙ軸、光学カメラ１１ａ，１１ａ１，１１ａ２，１１ａ３で撮影する画角の上下方向をｚ軸とする。分かり易いように、座標系は、図２１のように、人体の概略重心位置ＧＣを原点（ｘ＝０、Ｙ＝０、Ｚ＝０）として設定する。概略重心位置ＧＣは、例えば、左肩ＳＬ、右肩ＳＲ、左腰ＷＬ、右腰ＷＲの４点の座標平均でもよいし、左肘ＥＬ、右肘ＥＲ、左膝ＫＬ、右膝ＫＲを加えた８点の座標平均でもよい。
【0073】
（イ）ひねり
図２２に示すように、図２０において、背部Ｂ（Ｓ０－Ｗ０）に垂直であり、中点Ｗ０を含む平面を平面Ｐとし、肩幅Ｓの平面Ｐへの射影線を線分Ｓ’、腰幅Ｗの平面Ｐへの射影線を線分Ｗ’とする。そして、線分Ｓ’及び線分Ｗ’のなす角をθ１とする。θ１は、右腰ＷＲの平面Ｐへの射影点をＷＲ’、右肩ＳＲの平面Ｐへの射影点をＳＲ’としたときに、ＷＲ’－Ｗ０－ＳＲ’のなす角となる。このθ１が、
θ１＞θ１_ひねりｌｉｍｉｔ
のとき、ひねり状態と認定する。この定義は、一般的な、例えば横臥位、腹臥位も考慮した定義とするためである。
図２２に示すように、図２０において、背部Ｂ（Ｓ０－Ｗ０）に垂直であり、中点Ｗ０を含む平面を平面Ｐとし、肩幅Ｓの平面Ｐへの射影線を線分Ｓ’、腰幅Ｗの平面Ｐへの射影線を線分Ｗ’とする。そして、線分Ｓ’及び線分Ｗ’のなす角をθ１とする。θ１は、右腰ＷＲの平面Ｐへの射影点をＷＲ’、右肩ＳＲの平面Ｐへの射影点をＳＲ’としたときに、ＷＲ’－Ｗ０－ＳＲ’のなす角となる。このθ１が、
θ１＞θ１_ひねりｌｉｍｉｔ
のとき、ひねり状態と認定する。この定義は、一般的な、例えば横臥位、腹臥位も考慮した定義とするためである。
【0074】
（ロ）横曲げ
図２３に示すように、図２０において、腰幅Ｗと背部Ｂを含む平面をＱとする。平面Ｑ上で、中点Ｗ０を通り、腰幅Ｗに垂直な垂線上への背部Ｂの射影線を線分Ｂ”とし、中点Ｓ０の射影点をＳ０”とする。そして、Ｓ０－Ｗ０－Ｓ０”のなす角をθ２とする。このθ２が、
θ２＞θ２_横曲げｌｉｍｉｔ
のとき、横曲げ状態と認定する。この定義は、背骨が左右に曲がっているかを考慮したものである。
図２３に示すように、図２０において、腰幅Ｗと背部Ｂを含む平面をＱとする。平面Ｑ上で、中点Ｗ０を通り、腰幅Ｗに垂直な垂線上への背部Ｂの射影線を線分Ｂ”とし、中点Ｓ０の射影点をＳ０”とする。そして、Ｓ０－Ｗ０－Ｓ０”のなす角をθ２とする。このθ２が、
θ２＞θ２_横曲げｌｉｍｉｔ
のとき、横曲げ状態と認定する。この定義は、背骨が左右に曲がっているかを考慮したものである。
【0075】
（ハ）前曲げ、（ニ）後ろ曲げ
図２４に示すように、図２０において、腰幅Ｗをｚ軸方向から、ｘ－ｙ平面に射影する。射影された端点をそれぞれＷＬ’及びＷＲ’とし、その中点をＷ０’とする。背骨に相当する背部Ｂを平行移動し、Ｗ０’を端点とした線分Ｂ’（Ｗ０’－Ｓ０’）を作る。線分ＷＬ’－ＷＲ’の中点Ｗ０’を通る線分に垂直な平面への線分Ｂ’の射影線を線分Ｂｆとする。ｚ’－Ｗ０’－Ｓ０ｆで作られる角度がｙプラス方向の角度であれば前曲げ角度θｆとする。ｙマイナス方向の角度すなわちｚ’－Ｗ０’－Ｓ０’で作られる角度であれば、後ろ曲げ角度θｂとする。図２４は、前曲げ角度θｆの場合を図示している。このθｆ又はθｂが、それぞれ、
θｆ＞θｆ_前曲げｌｉｍｉｔ
のとき、前曲げ状態と認定し、
θｂ＞θｂ_後ろ曲げｌｉｍｉｔ
のとき、後ろ曲げ状態と認定する。なお、θｆを±で定義した場合には、図１９に示したように、後ろ曲げ状態は次のように置き換えてもよい。
θｆ＜θｆ_後ろ曲げｌｉｍｉｔ
図２４に示すように、図２０において、腰幅Ｗをｚ軸方向から、ｘ－ｙ平面に射影する。射影された端点をそれぞれＷＬ’及びＷＲ’とし、その中点をＷ０’とする。背骨に相当する背部Ｂを平行移動し、Ｗ０’を端点とした線分Ｂ’（Ｗ０’－Ｓ０’）を作る。線分ＷＬ’－ＷＲ’の中点Ｗ０’を通る線分に垂直な平面への線分Ｂ’の射影線を線分Ｂｆとする。ｚ’－Ｗ０’－Ｓ０ｆで作られる角度がｙプラス方向の角度であれば前曲げ角度θｆとする。ｙマイナス方向の角度すなわちｚ’－Ｗ０’－Ｓ０’で作られる角度であれば、後ろ曲げ角度θｂとする。図２４は、前曲げ角度θｆの場合を図示している。このθｆ又はθｂが、それぞれ、
θｆ＞θｆ_前曲げｌｉｍｉｔ
のとき、前曲げ状態と認定し、
θｂ＞θｂ_後ろ曲げｌｉｍｉｔ
のとき、後ろ曲げ状態と認定する。なお、θｆを±で定義した場合には、図１９に示したように、後ろ曲げ状態は次のように置き換えてもよい。
θｆ＜θｆ_後ろ曲げｌｉｍｉｔ
【0076】
以上を踏まえ、「１．背部の分類：１）から４）」は、図１９に示すように、次のとおり判定される。
・分類２）の判定：「θｆ＞θｆ_前曲げｌｉｍｉｔ」又は「θｂ＞θｂ_後ろ曲げｌｉｍｉｔ（θｆが±で定義される場合は、θｆ＜θｆ_後ろ曲げｌｉｍｉｔ）」であれば、背部Ｂは、「分類２）：前または後ろに曲げる」と判定される。
・分類４）の判定：分類２）でなく、「θ２＞θ２_横曲げｌｉｍｉｔ」かつ「θ１＞θ１_ひねりｌｉｍｉｔ」であれば、背部Ｂは、「分類４）：ひねりかつ横に曲げる、または斜め前に曲げる」と判定される。
・分類３）の判定：分類４）でなければ、背部Ｂは、「分類３）：ひねるまたは横に曲げる」と判定される。
・分類１）の判定：分類３）でなければ、背部Ｂは、「分類１）：まっすぐ」と判定される。
・分類２）の判定：「θｆ＞θｆ_前曲げｌｉｍｉｔ」又は「θｂ＞θｂ_後ろ曲げｌｉｍｉｔ（θｆが±で定義される場合は、θｆ＜θｆ_後ろ曲げｌｉｍｉｔ）」であれば、背部Ｂは、「分類２）：前または後ろに曲げる」と判定される。
・分類４）の判定：分類２）でなく、「θ２＞θ２_横曲げｌｉｍｉｔ」かつ「θ１＞θ１_ひねりｌｉｍｉｔ」であれば、背部Ｂは、「分類４）：ひねりかつ横に曲げる、または斜め前に曲げる」と判定される。
・分類３）の判定：分類４）でなければ、背部Ｂは、「分類３）：ひねるまたは横に曲げる」と判定される。
・分類１）の判定：分類３）でなければ、背部Ｂは、「分類１）：まっすぐ」と判定される。
【0077】
次に、「３．下肢の分類：７）」について、図１９に示した姿勢評価アルゴリズムでは、ＯＷＡＳ法における「３．下肢の分類：７）歩く又は移動する」に関する判定については、別のアルゴリズムで求めるとしている。これは、「歩く又は移動する」を検知するためには、動画による連続的な動体の動きの計測と、その動画の各フレームに同期した動体物ＭＯの関節までの距離情報Ｄを用いて、３次元骨格図の時系列的変化を計測し、評価する必要があることによる。この場合は、連続するある一定期間の、フレーム間での一個体である動体物ＭＯの動きを認識する必要がある。
【0078】
そのためには、動体物ＭＯを空間上の１点又は有限な３次元空間領域として捉える。例えば頭部ＨＤの１点を動体物ＭＯの代表点として捉え、その点の動きを、標準的な動画のサンプリング・タイムである３０フレーム／ｓｅｃでサンプリングした場合、約３０ｍｓｅｃごとの３次元空間上での頭部ＨＤの移動時間から、「歩く又は移動する」を推定できる。この場合、代表点は、前述の人体の概略重心位置ＧＣを用いてもよい。また、足が見える状態であれば、両足首ＡｎＬ／ＡｎＲを代表点としてもよい。通常人の歩行は２～３ｍ／ｓｅｃであり、３０フレーム／ｓｅｃでサンプリングした場合、１フレーム間での移動距離は７～１０ｃｍ程度であるので、７～１０ｃｍ程度の移動量で一定方向に一定間隔以上移動していれば、「歩く又は移動する」と判定してよい。このほか、複数の関節位置情報から動体物ＭＯを特定の空間領域として捉え、その個体が、３次元空間内を歩いていると考え、歩行の場合の骨格の動きを考慮して「歩く又は移動する」を判断してもよい。
【0079】
以上により、ＯＷＡＳ法の分類に従い、人体の姿勢が、背部、上肢、及び下肢の３部に分けて、それぞれについて、背部４分類、上肢４分類、及び下肢７分類に分けられる。ただし、人体の姿勢の分類（即ち、姿勢評価）は、ＯＷＡＳ法に従う分類に限定されるものではなく、他の手法に従って分類されるようにしてもよい。そして、人体の姿勢の分類結果が、不変量、又は漸変量（変量の変化に対して時間的制約がある変量）として用いられるようにしてもよい。
【0080】
（複数の距離情報からの３次元骨格再構成）
３次元骨格再構成部２３については前述したが、ここで一部補足する。設置場所や視野角の異なる複数の距離カメラ１２ａ１，１２ａ２による同一の動体物ＭＯの関節距離が得られた場合には、複数の距離情報Ｄから一個体の３次元骨格の再構成を行うこととなる。この場合は、例えば、各距離カメラ１２ａ１，１２ａ２で得られた一個体の３次元関節位置の情報を用いて、それぞれの距離カメラ１２ａ１，１２ａ２で得られている個体が同一個体であることを認識する必要がある。そのためには、前述のような一個体の頭部ＨＤの３次元座標位置や、動体物ＭＯの概略重心位置ＧＣ又は中心位置を用いて、３次元空間上の位置の同一性を判断する必要がある。
３次元骨格再構成部２３については前述したが、ここで一部補足する。設置場所や視野角の異なる複数の距離カメラ１２ａ１，１２ａ２による同一の動体物ＭＯの関節距離が得られた場合には、複数の距離情報Ｄから一個体の３次元骨格の再構成を行うこととなる。この場合は、例えば、各距離カメラ１２ａ１，１２ａ２で得られた一個体の３次元関節位置の情報を用いて、それぞれの距離カメラ１２ａ１，１２ａ２で得られている個体が同一個体であることを認識する必要がある。そのためには、前述のような一個体の頭部ＨＤの３次元座標位置や、動体物ＭＯの概略重心位置ＧＣ又は中心位置を用いて、３次元空間上の位置の同一性を判断する必要がある。
【0081】
同一個体と判定された場合は、各関節部の位置関係の整合性を確認する。遮蔽物等により欠落した距離情報Ｄが有り、当該する関節位置が別の距離カメラ１２ａ１，１２ａ２で得られる場合は、別の距離カメラ１２ａ１，１２ａ２で得られた値を採用する。ただし、両肩ＳＬ／ＳＲや両腰ＷＬ／ＷＲなどの関節部はカメラに対する人体の向きに依存し、人体の背部、臀部の厚さ分に応じて誤差が生じるので、必要に応じて補正することにする。これにより、遮蔽物による関節データの欠落を少なくし、可能な限りの完成度の高い３次元骨格を再構成することが可能となる。
【0082】
[[前フレームでの不変量・変量情報取得部]]
前フレームでの不変量・変量情報取得部２５は、動画の前フレームの解析で得られた３次元骨格情報から求まる、上記の不変量若しくは漸変量（例えば、背骨の線分Ｂの長さ、人体の姿勢の分類結果）と、変量として、動体物ＭＯの位置（例えば、動体物の３次元重心位置で、簡易的には背骨の線分Ｂの中点Ｂ０の３次元位置としてもよい）、速度（速度量と進行方向）、加速度（加速度量と加速度方向）を得る。本情報は、動体物ＭＯとして、画像上で捉えられているすべての物体に対して取得する。
前フレームでの不変量・変量情報取得部２５は、動画の前フレームの解析で得られた３次元骨格情報から求まる、上記の不変量若しくは漸変量（例えば、背骨の線分Ｂの長さ、人体の姿勢の分類結果）と、変量として、動体物ＭＯの位置（例えば、動体物の３次元重心位置で、簡易的には背骨の線分Ｂの中点Ｂ０の３次元位置としてもよい）、速度（速度量と進行方向）、加速度（加速度量と加速度方向）を得る。本情報は、動体物ＭＯとして、画像上で捉えられているすべての物体に対して取得する。
【0083】
[[変量推定部]]
変量推定部２６では、当該フレームの当該動体物ＭＯの位置と、前フレームで計測された全ての動体物の位置、速度情報との組み合わせにより、予想される変量の組を作る。例えば当該のｉフレームでｎ番目に計測された動体物の位置をＰ(ｉ)ｎ（Ｐ(ｉ)ｎｘ，Ｐ(ｉ)ｎｙ，Ｐ(ｉ)ｎｚ）とし、前の（ｉ－１）フレームでＭ個の動体物位置Ｐ(ｉ－１)１，Ｐ(ｉ－１)２，・・・，Ｐ(ｉ－１)Ｍ、速度Ｖ(ｉ－１)１，Ｖ(ｉ－１)２，・・・，Ｖ(ｉ－１)Ｍ、加速度α(ｉ－１)１，α(ｉ－１)２，・・・，α(ｉ－１)Ｍが得られているとすると、新たな、Ｍ個の変量の組み合わせが考えられる。
変量推定部２６では、当該フレームの当該動体物ＭＯの位置と、前フレームで計測された全ての動体物の位置、速度情報との組み合わせにより、予想される変量の組を作る。例えば当該のｉフレームでｎ番目に計測された動体物の位置をＰ(ｉ)ｎ（Ｐ(ｉ)ｎｘ，Ｐ(ｉ)ｎｙ，Ｐ(ｉ)ｎｚ）とし、前の（ｉ－１）フレームでＭ個の動体物位置Ｐ(ｉ－１)１，Ｐ(ｉ－１)２，・・・，Ｐ(ｉ－１)Ｍ、速度Ｖ(ｉ－１)１，Ｖ(ｉ－１)２，・・・，Ｖ(ｉ－１)Ｍ、加速度α(ｉ－１)１，α(ｉ－１)２，・・・，α(ｉ－１)Ｍが得られているとすると、新たな、Ｍ個の変量の組み合わせが考えられる。
【0084】
動体物ＭＯの位置Ｐ(ｉ)ｎ（Ｐ(ｉ)ｎｘ，Ｐ(ｉ)ｎｙ，Ｐ(ｉ)ｎｚ）は、前述と同じく、例えば動体物の３次元重心位置で、簡易的には背骨の線分Ｂの中点Ｂ０の３次元位置としてもよい。動体物ＭＯの位置Ｐ(ｉ)ｎ（Ｐ(ｉ)ｎｘ，Ｐ(ｉ)ｎｙ，Ｐ(ｉ)ｎｚ）は、３次元骨格再構成部２３によって再構成された動体物ＭＯの３次元骨格が用いられて計算されるようにしてもよく、或いは、（動体物ＭＯの３次元骨格は用いられないで、）関節距離計算部２２によって計算された、特徴点（例えば、関節位置）までの空間距離から直接計算されるようにしてもよい。
【0085】
速度Ｖ(ｉ)ｎの候補は、(Ｐ(ｉ)ｎ－Ｐ(ｉ－１)１)／Δｔ，(Ｐ(ｉ)ｎ－Ｐ(ｉ－１)２)／Δｔ，・・・，(Ｐ(ｉ)ｎ－Ｐ(ｉ－１)Ｍ)／Δｔ となる。
【0086】
加速度α(ｉ)ｎの候補は、((Ｐ(ｉ)ｎ－Ｐ(ｉ－１)１)／Δｔ－Ｖ(ｉ－１)１)／Δｔ，((Ｐ(ｉ)ｎ－Ｐ(ｉ－１)２)／Δｔ－Ｖ(ｉ－１)２)／Δｔ，・・・，((Ｐ(ｉ)ｎ－Ｐ(ｉ－１)Ｍ）／Δｔ－Ｖ(ｉ－１)Ｍ)／Δｔ となる。
【0087】
記載を分かり易くするため、速度Ｖ(ｉ)ｎの候補を Ｖ(ｉ)ｎ・１，Ｖ(ｉ)ｎ・２，・・・，Ｖ(ｉ)ｎ・Ｍ と記載し、加速度α(ｉ)ｎの候補を α(ｉ)ｎ・１、α(ｉ)ｎ・２、・・・α(ｉ)ｎ・Ｍ と記載する。
【0088】
いま、当該フレームにおいてＮ個の動体物を計測したとすると、前フレームで計測されたＭ個の動体物との組み合わせで生じる速度Ｖや加速度αの組み合わせの数はＮ×Ｍ個となる。例えば、当該フレームで１０個の動体物が計測され、前フレームでも１０個の動体物が計測された場合、組み合わせの数は１０×１０＝１００個となる。
【0089】
[[最適選択推定部]]
最適選択推定部２７は、変量推定部２６で得られたｍ個の速度候補と加速度候補との中から、変量の妥当性と、不変量若しくは漸変量を用いて最も妥当性の高い動体物ＭＯの軌跡と思われるペアを想定する。
最適選択推定部２７は、変量推定部２６で得られたｍ個の速度候補と加速度候補との中から、変量の妥当性と、不変量若しくは漸変量を用いて最も妥当性の高い動体物ＭＯの軌跡と思われるペアを想定する。
【0090】
この際、動体物の移動速度、加速度の限界等を考慮する。具体的には例えば、動体物が人体であれば、通常の人の歩行速度を例えば、１分間に１２０ｍ以内と仮定すれば１秒２ｍであり、秒間３０フレームでの動画撮影とすれば１フレーム間での移動距離は約７ｃｍとなる。７ｃｍ以内であれば、通常の人体の大きさに比して十分小さく、３次元座標計算により人体の特定は容易に行われる。しかしながら、例えば、人体の最高速と思われる秒速１０ｍで走っている場合は、移動距離は秒間３０フレームの動画撮影では３０ｃｍ強の変化となる。また、複数人が立ち話や、交差する又は衝突したりするような場合の最適な、動体物の追跡は容易ではない。
【0091】
本実施形態では、下記のアルゴリズムを１例として、３次元計測による不変量若しくは漸変量を用いることで、この問題を解決する。下記説明では、簡略化のため３次元空間について、高さ方向（ｚ軸方向）を省略し、ｘ－ｙ軸方向に射影された２次元平面で説明する。
【0092】
＜１＞
当該フレーム内で観測された全ての動体物ＭＯの概略重心位置ＧＣについて、相互の概略重心位置ＧＣ間が一定間隔ａ（例えば、６０ｃｍ。即ち、上記で検討した３０ｃｍ強のの凡そ２倍）以内となる動体物の組において、各動体物の概略重心位置ＧＣを中心に半径がａ／２の円が繋がった連続的閉領域Ｓを定義する（図２５；図中の網掛けの領域が連続的閉領域Ｓ）。いま、或るｉ番目の連続的閉領域ＳｉがＫ個の動体物から構成されていると仮定する。
当該フレーム内で観測された全ての動体物ＭＯの概略重心位置ＧＣについて、相互の概略重心位置ＧＣ間が一定間隔ａ（例えば、６０ｃｍ。即ち、上記で検討した３０ｃｍ強のの凡そ２倍）以内となる動体物の組において、各動体物の概略重心位置ＧＣを中心に半径がａ／２の円が繋がった連続的閉領域Ｓを定義する（図２５；図中の網掛けの領域が連続的閉領域Ｓ）。いま、或るｉ番目の連続的閉領域ＳｉがＫ個の動体物から構成されていると仮定する。
【0093】
＜２＞
前フレームにおいて、当該連続的閉領域Ｓ内にＬ個の概略重心位置ＧＣが存在すると仮定する。したがって、連続的閉領域Ｓ内では、Ｋ×Ｌ個の組み合わせが想定される。
前フレームにおいて、当該連続的閉領域Ｓ内にＬ個の概略重心位置ＧＣが存在すると仮定する。したがって、連続的閉領域Ｓ内では、Ｋ×Ｌ個の組み合わせが想定される。
【0094】
＜３＞
Ｋ×Ｌ個の組み合わせについて、概略重心位置ＧＣ間の距離がａ／２以下の組み合わせを抽出する。その結果、Ｊ個の組み合わせが生じたとする。ｊ番目の組み合わせに関し、組み合わせの結果は以下の６種類となる。
ア）当該フレームには概略重心位置ＧＣが存在するが、前フレームにおいて、該当する組み合わせが無い。この場合、新たな動体物が生成したと考えられる。
イ）当該フレームと前フレームとにおいて、該当する組み合わせが１対１で対応する。
ウ）当該フレームと前フレームとにおいて、該当する組み合わせが１対多で対応する。
エ）当該フレームと前フレームとにおいて、該当する組み合わせが多対１で対応する。
オ）当該フレームと前フレームとにおいて、該当する組み合わせが多対多で対応する。
カ）前フレームには概略重心位置ＧＣが存在するが、当該フレーム内に、該当する組み合わせが無い。この場合、既存の動体物が消滅したと考えられる。
Ｋ×Ｌ個の組み合わせについて、概略重心位置ＧＣ間の距離がａ／２以下の組み合わせを抽出する。その結果、Ｊ個の組み合わせが生じたとする。ｊ番目の組み合わせに関し、組み合わせの結果は以下の６種類となる。
ア）当該フレームには概略重心位置ＧＣが存在するが、前フレームにおいて、該当する組み合わせが無い。この場合、新たな動体物が生成したと考えられる。
イ）当該フレームと前フレームとにおいて、該当する組み合わせが１対１で対応する。
ウ）当該フレームと前フレームとにおいて、該当する組み合わせが１対多で対応する。
エ）当該フレームと前フレームとにおいて、該当する組み合わせが多対１で対応する。
オ）当該フレームと前フレームとにおいて、該当する組み合わせが多対多で対応する。
カ）前フレームには概略重心位置ＧＣが存在するが、当該フレーム内に、該当する組み合わせが無い。この場合、既存の動体物が消滅したと考えられる。
【0095】
＜４＞
上記＜３＞におけるウ、エ、及びオに関して、変量（概略重心位置ＧＣ、速度Ｖ、加速度α）と不変量若しくは漸変量（例えば、背骨の線分Ｂの長さ、人体の姿勢の分類結果）から、当該フレーム内の動体物との対応で、最も蓋然性が高い、前フレーム内の動体物の組み合わせを抽出する（尚、動体物の生成、消滅を含む）。
上記＜３＞におけるウ、エ、及びオに関して、変量（概略重心位置ＧＣ、速度Ｖ、加速度α）と不変量若しくは漸変量（例えば、背骨の線分Ｂの長さ、人体の姿勢の分類結果）から、当該フレーム内の動体物との対応で、最も蓋然性が高い、前フレーム内の動体物の組み合わせを抽出する（尚、動体物の生成、消滅を含む）。
【0096】
具体的には、３次元骨格図から求められる物理量（例えば、背骨の線分Ｂの長さ）が不変量として用いられる場合には、例えば下記のように判断されるようにしてもよい。
ウであれば、当該フレームの当該動体物に最も不変量が近い（不変量の変化率が低い）前フレームの動体物を、適正な組み合わせとし、他の前フレームの動体物を消滅とする。
エであれば、前フレームの動体物に最も不変量が近い（不変量の変化率が低い）当該フレームの動体物を、適正な組み合わせとし、他の当該フレームの動体物を生成とする。
オであれば、当該フレームと前フレームの動体物に関する全ての組み合わせにおける、不変量が近い（不変量の変化率が低い）組み合わせから、順に組み合わせを選択する。当該フレームと前フレームの動体物の個数が異なる場合は、少ない方の個数分の組み合わせを終了後、当該フレームに動体物が残った場合は、その残った動体物を生成とし、また、前フレームに動体物が残った場合は、その残った動体物を消滅とする。
ウであれば、当該フレームの当該動体物に最も不変量が近い（不変量の変化率が低い）前フレームの動体物を、適正な組み合わせとし、他の前フレームの動体物を消滅とする。
エであれば、前フレームの動体物に最も不変量が近い（不変量の変化率が低い）当該フレームの動体物を、適正な組み合わせとし、他の当該フレームの動体物を生成とする。
オであれば、当該フレームと前フレームの動体物に関する全ての組み合わせにおける、不変量が近い（不変量の変化率が低い）組み合わせから、順に組み合わせを選択する。当該フレームと前フレームの動体物の個数が異なる場合は、少ない方の個数分の組み合わせを終了後、当該フレームに動体物が残った場合は、その残った動体物を生成とし、また、前フレームに動体物が残った場合は、その残った動体物を消滅とする。
【0097】
なお、３次元骨格図を解析して得られる人体の姿勢の分類結果（例えば、ＯＷＡＳ法に従う人体の姿勢の分類結果）が不変量、又は漸変量（変量の変化に対して時間的制約がある変量）として用いられる場合には、上記における「不変量が近い」は例えば以下のように判断されるようにしてもよい。
【0098】
基本的な考え方としては、動画のフレーム間の時間（例えば、通常の光学カメラで３０ｍｓ程度）の間で姿勢が変化していない場合や姿勢の変化としてあり得ると考えられる場合には「不変量が近い」と判断する。具体的には例えば、ＯＷＡＳ法に従う姿勢の分類結果に基づいて下記のように判断することが考えられる。
・前フレームが「両膝をまっすぐにして立つ」（下肢分類２）で当該フレームも「両膝をまっすぐにして立つ」（下肢分類２）である場合は、姿勢が変化していないので、「不変量が近い」と判断する。
・前フレームが「両膝をまっすぐにして立つ」（下肢分類２）で当該フレームが「両膝を曲げて立つか中腰」（下肢分類４）である場合は、フレーム間の時間（例えば、３０ｍｓ程度）の間での姿勢の変化としてあり得ると考えられるので、「不変量が近い」と判断する。
・前フレームが「歩くまたは移動する」（下肢分類７）で当該フレームが「すわる」（下肢分類１）である場合は、フレーム間の時間の間で歩行状態から座る状態へと移行することは困難である（更に言えば、姿勢の変化としてあり得ない）と考えられるので、「不変量が近い」とは判断しない。
・前フレームが「歩くまたは移動する」（下肢分類７）で当該フレームが「両膝をまっすぐにして立つ」（下肢分類２）又は「両膝を曲げて立つか中腰」（下肢分類４）である場合は、フレーム間の時間の間での姿勢の変化としてあり得ると考えられるので、「不変量が近い」と判断する。
・前フレームが「両膝をまっすぐにして立つ」（下肢分類２）で当該フレームも「両膝をまっすぐにして立つ」（下肢分類２）である場合は、姿勢が変化していないので、「不変量が近い」と判断する。
・前フレームが「両膝をまっすぐにして立つ」（下肢分類２）で当該フレームが「両膝を曲げて立つか中腰」（下肢分類４）である場合は、フレーム間の時間（例えば、３０ｍｓ程度）の間での姿勢の変化としてあり得ると考えられるので、「不変量が近い」と判断する。
・前フレームが「歩くまたは移動する」（下肢分類７）で当該フレームが「すわる」（下肢分類１）である場合は、フレーム間の時間の間で歩行状態から座る状態へと移行することは困難である（更に言えば、姿勢の変化としてあり得ない）と考えられるので、「不変量が近い」とは判断しない。
・前フレームが「歩くまたは移動する」（下肢分類７）で当該フレームが「両膝をまっすぐにして立つ」（下肢分類２）又は「両膝を曲げて立つか中腰」（下肢分類４）である場合は、フレーム間の時間の間での姿勢の変化としてあり得ると考えられるので、「不変量が近い」と判断する。
【0099】
上記のように、動画のフレーム間の時間の間で姿勢が変化していない場合に加えて姿勢が変化していても姿勢の変化としてあり得ると考えられる場合を含む点において特に、人体の姿勢の分類結果は不変量若しくは漸変量であるといえる。
【0100】
下肢分類１～７について、人間の姿勢変化として、通常の動画撮影時のフレーム間隔の30ms間で、変化可能な状態の遷移例を図２５に示す。
【0101】
＜５＞
なお、図２６は、２次元平面上の模式図であり、実際の動体物の概略重心位置ＧＣ間の距離計算は、３次元空間上の距離を計算する。概略重心位置ＧＣ、速度Ｖ、加速度αも３次元空間領域を用いた計算となる。
なお、図２６は、２次元平面上の模式図であり、実際の動体物の概略重心位置ＧＣ間の距離計算は、３次元空間上の距離を計算する。概略重心位置ＧＣ、速度Ｖ、加速度αも３次元空間領域を用いた計算となる。
【0102】
最適選択推定部２７における処理により、時間経過に合わせて取得される複数のフレームにおいて同一の動体物の選択が行われ、ひいては、時系列で同一の動体物の追跡が行われる。最適選択推定部２７は、すなわち、前フレームにおける、動体物の不変量若しくは漸変量と当該フレームにおける動体物の不変量若しくは漸変量とを比較するとともに、前フレームにおける動体物の変量と当該フレームにおける動体物の変量とを比較することにより、前フレームにおける動体物と当該フレームにおける動体物との対応付け（尚、前フレームと当該フレームとの対比として、当該フレームにおける動体物の生成や消滅を含む）を行う。
【0103】
［選択結果表示部］
次に、選択結果表示部３０の例について説明する。選択結果表示部３０では、上記した最適選択推定部２７による処理結果に基づき、動体自動追跡装置１が用いられる目的に応じて、いろいろな表示方法が採用されてよいが、主に次の３種類に大別される。
次に、選択結果表示部３０の例について説明する。選択結果表示部３０では、上記した最適選択推定部２７による処理結果に基づき、動体自動追跡装置１が用いられる目的に応じて、いろいろな表示方法が採用されてよいが、主に次の３種類に大別される。
【0104】
（１）数値情報
数値情報としては、例えば、動体物ＭＯごとに、時間の経過に伴う概略重心位置ＧＣについて、３次元位置情報（距離カメラ系、被写体座標系、一般座標系などのような座標系によって数値及び単位は異なる）を表示する。
（２）文字情報、音情報
動体自動追跡装置１は、動体物ＭＯの計測（言い換えると、追跡、トレース）の種々の目的に対応することが可能である。文字情報や音情報としては、例えば、立ち入り禁止区域や危険区域などへの進入監視システムの場合には、動体物が所定の区域へと接近している（言い換えると、所定の区域への進入ルートを辿っている）ときに、「接近注意」の文字を表示したり、「警報音」を発したりしてもよい。なおこの場合は、例えば、選択結果表示部３０が管理室に設置されて管理人などに対して報知されるようにしてもよく、或いは、選択結果表示部３０が所定の区域の周辺に設置されて所定の区域へと接近している動体物に対して報知されるようにしてもよい。
（３）図情報
図情報としては、例えば、動体物ＭＯごとの概略重心位置ＧＣや３次元骨格図の、時間の経過に伴う移動の軌跡を、ｘ－ｚ平面投影図、ｙ－ｚ平面投影図、又はｘ－ｙ平面投影図や、任意の視点から見た鳥瞰図などとして表示する。
数値情報としては、例えば、動体物ＭＯごとに、時間の経過に伴う概略重心位置ＧＣについて、３次元位置情報（距離カメラ系、被写体座標系、一般座標系などのような座標系によって数値及び単位は異なる）を表示する。
（２）文字情報、音情報
動体自動追跡装置１は、動体物ＭＯの計測（言い換えると、追跡、トレース）の種々の目的に対応することが可能である。文字情報や音情報としては、例えば、立ち入り禁止区域や危険区域などへの進入監視システムの場合には、動体物が所定の区域へと接近している（言い換えると、所定の区域への進入ルートを辿っている）ときに、「接近注意」の文字を表示したり、「警報音」を発したりしてもよい。なおこの場合は、例えば、選択結果表示部３０が管理室に設置されて管理人などに対して報知されるようにしてもよく、或いは、選択結果表示部３０が所定の区域の周辺に設置されて所定の区域へと接近している動体物に対して報知されるようにしてもよい。
（３）図情報
図情報としては、例えば、動体物ＭＯごとの概略重心位置ＧＣや３次元骨格図の、時間の経過に伴う移動の軌跡を、ｘ－ｚ平面投影図、ｙ－ｚ平面投影図、又はｘ－ｙ平面投影図や、任意の視点から見た鳥瞰図などとして表示する。
【0105】
選択結果表示部３０は、すなわち、最適選択推定部２７による前フレームにおける動体物と当該フレームにおける動体物との対応付けの結果を数値情報、文字情報、音情報、及び図情報のうちの少なくとも１つをもって表示する。
【0106】
［動体自動追跡方法］
以上、動体自動追跡装置１について実施形態を説明したが、動体自動追跡装置１において採用されている方法は、動体自動追跡方法として構成されてもよい。すなわち、動体物ＭＯについての動体自動追跡方法は、動体物ＭＯを計測する計測ステップと、計測ステップの計測結果を評価する評価ステップと、を備える。計測ステップは、動体物ＭＯを撮影する画像取得ステップと、画像取得ステップによる撮影と時間的に同期し、撮影された画像と重複する視野をもつ、動体物ＭＯまでの距離を計測する距離取得ステップとを備える。評価ステップは、撮影された画像から動体物ＭＯに関する任意の特徴点を抽出する特徴点位置判断ステップ（関節位置判断ステップ）と、抽出された特徴点までの空間距離を計算する特徴点距離計算ステップ（関節距離計算ステップ）と、計算された、特徴点までの空間距離に基づいて動体物ＭＯの骨格を再構成する３次元骨格再構成ステップと、再構成された動体物ＭＯの骨格に基づいて動体物の不変量若しくは漸変量を推定する不変量推定ステップと、前フレームにおける動体物の不変量若しくは漸変量並びに変量を取得する前フレームでの不変量・変量情報取得ステップと、計算された、特徴点までの空間距離、又は、再構成された動体物ＭＯの骨格を用いて当該フレームにおける動体物ＭＯの変量を推定する変量推定ステップと、前フレームにおける不変量若しくは漸変量と当該フレームにおける不変量若しくは漸変量とを比較するとともに、前フレームにおける変量と当該フレームにおける変量とを比較することにより、前フレームにおける動体物ＭＯと当該フレームにおける動体物ＭＯとを対応付ける最適選択推定ステップと、を備える。なお、最適選択推定ステップによる前フレームにおける動体物と当該フレームにおける動体物との対応付けの結果を数値情報、文字情報、音情報、及び図情報のうちの少なくとも１つをもって表示する、選択結果表示ステップがさらに備えられるようにしてもよい。
以上、動体自動追跡装置１について実施形態を説明したが、動体自動追跡装置１において採用されている方法は、動体自動追跡方法として構成されてもよい。すなわち、動体物ＭＯについての動体自動追跡方法は、動体物ＭＯを計測する計測ステップと、計測ステップの計測結果を評価する評価ステップと、を備える。計測ステップは、動体物ＭＯを撮影する画像取得ステップと、画像取得ステップによる撮影と時間的に同期し、撮影された画像と重複する視野をもつ、動体物ＭＯまでの距離を計測する距離取得ステップとを備える。評価ステップは、撮影された画像から動体物ＭＯに関する任意の特徴点を抽出する特徴点位置判断ステップ（関節位置判断ステップ）と、抽出された特徴点までの空間距離を計算する特徴点距離計算ステップ（関節距離計算ステップ）と、計算された、特徴点までの空間距離に基づいて動体物ＭＯの骨格を再構成する３次元骨格再構成ステップと、再構成された動体物ＭＯの骨格に基づいて動体物の不変量若しくは漸変量を推定する不変量推定ステップと、前フレームにおける動体物の不変量若しくは漸変量並びに変量を取得する前フレームでの不変量・変量情報取得ステップと、計算された、特徴点までの空間距離、又は、再構成された動体物ＭＯの骨格を用いて当該フレームにおける動体物ＭＯの変量を推定する変量推定ステップと、前フレームにおける不変量若しくは漸変量と当該フレームにおける不変量若しくは漸変量とを比較するとともに、前フレームにおける変量と当該フレームにおける変量とを比較することにより、前フレームにおける動体物ＭＯと当該フレームにおける動体物ＭＯとを対応付ける最適選択推定ステップと、を備える。なお、最適選択推定ステップによる前フレームにおける動体物と当該フレームにおける動体物との対応付けの結果を数値情報、文字情報、音情報、及び図情報のうちの少なくとも１つをもって表示する、選択結果表示ステップがさらに備えられるようにしてもよい。
【0107】
［動体自動追跡プログラム］
また、この動体自動追跡方法は、その実行内容をプログラム化し、コンピュータに実行させるように動体自動追跡プログラムとして構成されてもよい。すなわち、動体物ＭＯについての動体自動追跡プログラムは、コンピュータに、動体物ＭＯを計測する計測処理と、計測処理の計測結果を評価する評価処理と、を実行させる。計測処理は、動体物ＭＯを撮影する画像取得処理と、画像取得処理による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、動体物ＭＯまでの距離を計測する距離取得処理とを備える。評価処理は、撮影された画像から動体物ＭＯに関する任意の特徴点を抽出する特徴点位置判断処理（関節位置判断処理）と、抽出された特徴点までの空間距離を計算する特徴点距離計算処理（関節距離計算処理）と、計算された、特徴点までの空間距離に基づいて動体物ＭＯの骨格を再構成する３次元骨格再構成処理と、再構成された動体物ＭＯの骨格に基づいて動体物の不変量若しくは漸変量を推定する不変量推定処理と、前フレームにおける動体物の不変量若しくは漸変量並びに変量を取得する前フレームでの不変量・変量情報取得処理と、計算された、特徴点までの空間距離、又は、再構成された動体物ＭＯの骨格を用いて当該フレームにおける動体物ＭＯの変量を推定する変量推定処理と、前フレームにおける不変量若しくは漸変量と当該フレームにおける不変量若しくは漸変量とを比較するとともに、前フレームにおける変量と当該フレームにおける変量とを比較することにより、前フレームにおける動体物ＭＯと当該フレームにおける動体物ＭＯとを対応付ける最適選択推定処理と、を備える。なお、最適選択推定処理による前フレームにおける動体物と当該フレームにおける動体物との対応付けの結果を数値情報、文字情報、音情報、及び図情報のうちの少なくとも１つをもって表示する、選択結果表示処理がさらに備えられるようにしてもよい。
また、この動体自動追跡方法は、その実行内容をプログラム化し、コンピュータに実行させるように動体自動追跡プログラムとして構成されてもよい。すなわち、動体物ＭＯについての動体自動追跡プログラムは、コンピュータに、動体物ＭＯを計測する計測処理と、計測処理の計測結果を評価する評価処理と、を実行させる。計測処理は、動体物ＭＯを撮影する画像取得処理と、画像取得処理による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、動体物ＭＯまでの距離を計測する距離取得処理とを備える。評価処理は、撮影された画像から動体物ＭＯに関する任意の特徴点を抽出する特徴点位置判断処理（関節位置判断処理）と、抽出された特徴点までの空間距離を計算する特徴点距離計算処理（関節距離計算処理）と、計算された、特徴点までの空間距離に基づいて動体物ＭＯの骨格を再構成する３次元骨格再構成処理と、再構成された動体物ＭＯの骨格に基づいて動体物の不変量若しくは漸変量を推定する不変量推定処理と、前フレームにおける動体物の不変量若しくは漸変量並びに変量を取得する前フレームでの不変量・変量情報取得処理と、計算された、特徴点までの空間距離、又は、再構成された動体物ＭＯの骨格を用いて当該フレームにおける動体物ＭＯの変量を推定する変量推定処理と、前フレームにおける不変量若しくは漸変量と当該フレームにおける不変量若しくは漸変量とを比較するとともに、前フレームにおける変量と当該フレームにおける変量とを比較することにより、前フレームにおける動体物ＭＯと当該フレームにおける動体物ＭＯとを対応付ける最適選択推定処理と、を備える。なお、最適選択推定処理による前フレームにおける動体物と当該フレームにおける動体物との対応付けの結果を数値情報、文字情報、音情報、及び図情報のうちの少なくとも１つをもって表示する、選択結果表示処理がさらに備えられるようにしてもよい。
【0108】
［実施形態の効果］
上記の実施形態に係る動体自動追跡装置１、動体自動追跡方法、及び動体自動追跡プログラムについて説明したが、動体自動追跡装置１、動体自動追跡方法、及び動体自動追跡プログラムは、上記のように構成したことにより、動体物ＭＯの形状を非接触で定時間ごとに３次元的に計測し、その位置と移動方向を決定することができ、延いては動体物ＭＯの位置を非接触で定時間ごとに定量的に計測し、その特徴量を評価し、同一個体（動体物ＭＯ）の位置のトレースを行うことができる。
上記の実施形態に係る動体自動追跡装置１、動体自動追跡方法、及び動体自動追跡プログラムについて説明したが、動体自動追跡装置１、動体自動追跡方法、及び動体自動追跡プログラムは、上記のように構成したことにより、動体物ＭＯの形状を非接触で定時間ごとに３次元的に計測し、その位置と移動方向を決定することができ、延いては動体物ＭＯの位置を非接触で定時間ごとに定量的に計測し、その特徴量を評価し、同一個体（動体物ＭＯ）の位置のトレースを行うことができる。
【0109】
また、動体自動追跡装置１、動体自動追跡方法、及び動体自動追跡プログラムを利用することにより、具体的には例えば、計測対象空間全体に対する必要な計測機器の最適配置決定手段を提供することができる。例えば、溶鉱炉等の危険な場所を抱えた作業場を想定した場合、作業場は、作業員が作業する作業領域の立体領域と、溶鉱炉等の立入禁止領域の立体領域とから構成される。計測の対象領域は、作業領域と立入禁止領域との接面部分、又は、立入禁止領域の相当部分からなると想定される。その場合、作業員の位置を推定できる計測装置をできるだけ数を少なくし、効率的に配置できるかを推定する手段が必要となる。動体自動追跡装置１、動体自動追跡方法、及び動体自動追跡プログラムを利用することにより、そのような手段を提供することも可能となる。
【符号の説明】
【0110】
１ 動体自動追跡装置
１０ 計測部
１１ 画像取得部
１１ａ，１１ａ１，１１ａ２，１１ａ３ 光学カメラ
１２ 距離取得部
１２ａ，１２ａ１，１２ａ２ 距離カメラ
２０ 評価部
２１ 関節位置判断部（特徴点位置判断部）
２２ 関節距離計算部（特徴点距離計算部）
２３ ３次元骨格再構成部
２４ 不変量推定部
２５ 前フレームでの不変量・変量情報取得部
２６ 変量推定部
２７ 最適選択推定部
３０ 表示部
ＭＯ 動体物
Ａ，Ｂ ステレオカメラ
ＣＯ 円形物体
ＲＯ 矩形物体
１０ 計測部
１１ 画像取得部
１１ａ，１１ａ１，１１ａ２，１１ａ３ 光学カメラ
１２ 距離取得部
１２ａ，１２ａ１，１２ａ２ 距離カメラ
２０ 評価部
２１ 関節位置判断部（特徴点位置判断部）
２２ 関節距離計算部（特徴点距離計算部）
２３ ３次元骨格再構成部
２４ 不変量推定部
２５ 前フレームでの不変量・変量情報取得部
２６ 変量推定部
２７ 最適選択推定部
３０ 表示部
ＭＯ 動体物
Ａ，Ｂ ステレオカメラ
ＣＯ 円形物体
ＲＯ 矩形物体
【要約】
【課題】動体物の位置を非接触で定時間ごとに定量的に計測し、その特徴量を評価し、同一個体の位置のトレースを行う。
【解決手段】動体自動追跡装置１は、動体物ＭＯの関節位置を抽出する関節位置判断部２１と、関節位置までの空間距離を計算する関節距離計算部２２と、動体物ＭＯの骨格を再構成する３次元骨格再構成部２３と、動体物ＭＯの不変量若しくは漸変量を推定する不変量推定部２４と、前フレームにおける動体物ＭＯの不変量若しくは漸変量並びに変量を取得する前フレームでの不変量・変量情報取得部２５と、当該フレームにおける動体物ＭＯの変量を推定する変量推定部２６と、前フレームと当該フレームとの不変量若しくは漸変量を比較するとともに、前フレームと当該フレームとの変量を比較することにより、前フレームにおける動体物ＭＯと当該フレームにおける動体物ＭＯとを対応付ける最適選択推定部２７と、を備える。
【選択図】図１
【解決手段】動体自動追跡装置１は、動体物ＭＯの関節位置を抽出する関節位置判断部２１と、関節位置までの空間距離を計算する関節距離計算部２２と、動体物ＭＯの骨格を再構成する３次元骨格再構成部２３と、動体物ＭＯの不変量若しくは漸変量を推定する不変量推定部２４と、前フレームにおける動体物ＭＯの不変量若しくは漸変量並びに変量を取得する前フレームでの不変量・変量情報取得部２５と、当該フレームにおける動体物ＭＯの変量を推定する変量推定部２６と、前フレームと当該フレームとの不変量若しくは漸変量を比較するとともに、前フレームと当該フレームとの変量を比較することにより、前フレームにおける動体物ＭＯと当該フレームにおける動体物ＭＯとを対応付ける最適選択推定部２７と、を備える。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
