ホーム > 特許ランキング > 株式会社バイオネット研究所
知財求人 - 知財ポータルサイト「IP Force」
2023-59753姿勢自動評価装置、姿勢自動評価方法及び姿勢自動評価プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023059753
(43)【公開日】2023-04-27
(54)【発明の名称】姿勢自動評価装置、姿勢自動評価方法及び姿勢自動評価プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230420BHJP
G06T 7/70 20170101ALI20230420BHJP
【ＦＩ】
G06T7/00 660B
G06T7/70 Z
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021169943
(22)【出願日】2021-10-15
(71)【出願人】
【識別番号】510222006
【氏名又は名称】株式会社バイオネット研究所
(71)【出願人】
【識別番号】591055975
【氏名又は名称】水戸工業株式会社
(71)【出願人】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】100122574
【弁理士】
【氏名又は名称】吉永 貴大
(72)【発明者】
【氏名】新川 隆朗
(72)【発明者】
【氏名】大橋 正隆
(72)【発明者】
【氏名】津田 美幸
(72)【発明者】
【氏名】羽尻 皓一
(72)【発明者】
【氏名】増渕 陽一
(72)【発明者】
【氏名】中井 正一郎
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA05
5L096DA04
5L096FA12
5L096FA66
5L096FA67
5L096FA69
(57)【要約】
【課題】動体物の姿勢の負荷を非接触で定時間ごとに定量的に計測し、その負荷を評価する、姿勢自動評価装置、姿勢自動評価方法及び姿勢自動評価プログラムを提供する。
【解決手段】動体物ＭＯについての姿勢自動評価装置１は、計測部１０と、評価部２０と、評価結果表示部２０とを備え、計測部１０は、動体物を撮影する画像取得部１１と、画像取得部１１による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、動体物までの距離を計測する距離取得部１２とを備え、評価部２０は、撮影された画像から任意の特徴点を抽出する特徴点（関節）位置判断部２１と、抽出された特徴点までの空間距離を計算する特徴点（関節）距離計算部２２と、動体物の骨格を再構成する３次元骨格再構成部２３と、動体物の姿勢を評価する姿勢評価部２４とを備え、評価結果表示部３０は、評価結果を数値、文字、音及び３次元骨格図の少なくとも１つをもって表示する。
【選択図】図１
【解決手段】動体物ＭＯについての姿勢自動評価装置１は、計測部１０と、評価部２０と、評価結果表示部２０とを備え、計測部１０は、動体物を撮影する画像取得部１１と、画像取得部１１による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、動体物までの距離を計測する距離取得部１２とを備え、評価部２０は、撮影された画像から任意の特徴点を抽出する特徴点（関節）位置判断部２１と、抽出された特徴点までの空間距離を計算する特徴点（関節）距離計算部２２と、動体物の骨格を再構成する３次元骨格再構成部２３と、動体物の姿勢を評価する姿勢評価部２４とを備え、評価結果表示部３０は、評価結果を数値、文字、音及び３次元骨格図の少なくとも１つをもって表示する。
【選択図】図１
【特許請求の範囲】
【請求項1】
動体物についての姿勢自動評価装置であって、
前記動体物を計測する計測部と、
前記計測部の計測結果を評価する評価部と、
前記評価部の評価結果を表示する評価結果表示部と、を備え、
前記計測部は、
前記動体物を撮影する画像取得部と、
前記画像取得部による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得部と、を備え、
前記評価部は、
撮影された前記画像から任意の特徴点を抽出する特徴点位置判断部と、
抽出された前記特徴点までの空間距離を計算する特徴点距離計算部と、
前記動体物の骨格を再構成する３次元骨格再構成部と、
前記動体物の姿勢を評価する姿勢評価部と、を備え、
前記評価結果表示部は、前記評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する、
ことを特徴とする姿勢自動評価装置。
前記動体物を計測する計測部と、
前記計測部の計測結果を評価する評価部と、
前記評価部の評価結果を表示する評価結果表示部と、を備え、
前記計測部は、
前記動体物を撮影する画像取得部と、
前記画像取得部による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得部と、を備え、
前記評価部は、
撮影された前記画像から任意の特徴点を抽出する特徴点位置判断部と、
抽出された前記特徴点までの空間距離を計算する特徴点距離計算部と、
前記動体物の骨格を再構成する３次元骨格再構成部と、
前記動体物の姿勢を評価する姿勢評価部と、を備え、
前記評価結果表示部は、前記評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する、
ことを特徴とする姿勢自動評価装置。
【請求項2】
前記画像取得部は、前記動体物について連続する動画像を撮影し、
前記距離取得部は、撮影された前記動画像の各フレーム画像に同期し、撮影された前記フレーム画像と重複する視野をもち、前記動体物までの距離を計測する、
ことを特徴とする請求項１に記載の姿勢自動評価装置。
前記距離取得部は、撮影された前記動画像の各フレーム画像に同期し、撮影された前記フレーム画像と重複する視野をもち、前記動体物までの距離を計測する、
ことを特徴とする請求項１に記載の姿勢自動評価装置。
【請求項3】
前記画像取得部は、時間的に同期して、前記動体物について異なった視野からの複数の画像を撮影し、
前記距離取得部は、撮影と時間的に同期し、撮影された前記複数の画像と重複する視野をもち、前記動体物までの異なる視点からの複数の距離を計測する、
ことを特徴とする請求項１に記載の姿勢自動評価装置。
前記距離取得部は、撮影と時間的に同期し、撮影された前記複数の画像と重複する視野をもち、前記動体物までの異なる視点からの複数の距離を計測する、
ことを特徴とする請求項１に記載の姿勢自動評価装置。
【請求項4】
前記距離取得部は、距離を計測する距離カメラを備えるとき、撮影対象の空間に関して、前記距離カメラの仰角について、半自動又は全自動で認識する、
ことを特徴とする請求項１から３のいずれか１項に記載の姿勢自動評価装置。
ことを特徴とする請求項１から３のいずれか１項に記載の姿勢自動評価装置。
【請求項5】
前記画像取得部は、前記動体物について異なった視野からの複数の画像を撮影し、
前記距離計測部は、撮影された前記複数の画像から前記動体物までの距離を計測をする、
ことを特徴とする請求項１に記載の姿勢自動評価装置。
前記距離計測部は、撮影された前記複数の画像から前記動体物までの距離を計測をする、
ことを特徴とする請求項１に記載の姿勢自動評価装置。
【請求項6】
動体物についての姿勢自動評価方法であって、
前記動体物を計測する計測ステップと、
前記計測ステップの計測結果を評価する評価ステップと、
前記評価ステップの評価結果を表示する評価結果表示ステップと、を備え、
前記計測ステップは、
前記動体物を撮影する画像取得ステップと、
前記画像取得ステップによる撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得ステップと、を備え、
前記評価ステップは、
撮影された前記画像から任意の特徴点を抽出する特徴点位置判断ステップと、
抽出された前記特徴点までの空間距離を計算する特徴点距離計算ステップと、
前記動体物の骨格を再構成する３次元骨格再構成ステップと、
前記動体物の姿勢を評価する姿勢評価ステップと、を備え、
前記評価結果表示ステップは、前記評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する、
ことを特徴とする姿勢自動評価方法。
前記動体物を計測する計測ステップと、
前記計測ステップの計測結果を評価する評価ステップと、
前記評価ステップの評価結果を表示する評価結果表示ステップと、を備え、
前記計測ステップは、
前記動体物を撮影する画像取得ステップと、
前記画像取得ステップによる撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得ステップと、を備え、
前記評価ステップは、
撮影された前記画像から任意の特徴点を抽出する特徴点位置判断ステップと、
抽出された前記特徴点までの空間距離を計算する特徴点距離計算ステップと、
前記動体物の骨格を再構成する３次元骨格再構成ステップと、
前記動体物の姿勢を評価する姿勢評価ステップと、を備え、
前記評価結果表示ステップは、前記評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する、
ことを特徴とする姿勢自動評価方法。
【請求項7】
動体物についての姿勢自動評価プログラムであって、
コンピュータに、
前記動体物を計測する計測処理と、
前記計測処理の計測結果を評価する評価処理と、
前記評価処理の評価結果を表示する評価結果表示処理と、を実行させ、
前記計測処理は、
前記動体物を撮影する画像取得処理と、
前記画像取得処理による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得処理と、を備え、
前記評価処理は、
撮影された前記画像から任意の特徴点を抽出する特徴点位置判断処理と、
抽出された前記特徴点までの空間距離を計算する特徴点距離計算処理と、
前記動体物の骨格を再構成する３次元骨格再構成処理と、
前記動体物の姿勢を評価する姿勢評価処理と、を備え、
前記評価結果表示処理は、前記評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する、
ことを特徴とする姿勢自動評価プログラム。
コンピュータに、
前記動体物を計測する計測処理と、
前記計測処理の計測結果を評価する評価処理と、
前記評価処理の評価結果を表示する評価結果表示処理と、を実行させ、
前記計測処理は、
前記動体物を撮影する画像取得処理と、
前記画像取得処理による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得処理と、を備え、
前記評価処理は、
撮影された前記画像から任意の特徴点を抽出する特徴点位置判断処理と、
抽出された前記特徴点までの空間距離を計算する特徴点距離計算処理と、
前記動体物の骨格を再構成する３次元骨格再構成処理と、
前記動体物の姿勢を評価する姿勢評価処理と、を備え、
前記評価結果表示処理は、前記評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する、
ことを特徴とする姿勢自動評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動体物についての姿勢自動評価装置、姿勢自動評価方法及び姿勢自動評価プログラムに関する。
【背景技術】
【0002】
従来、製造業における製造現場や手作業による建築現場などでは、作業者の安全管理や作業負担の軽減のために様々な取り組みがなされている。その業務改善の基礎データとしては、作業者の姿勢の定期的な目視確認等が計測者によって行われているが、長時間にわたる計測の困難さや、人の判断による恣意性の問題、作業者が遮蔽物に隠れる等の問題がある。このような状況に対応するため、例えば、製造現場や建築現場における作業者の姿勢や位置を把握して安全管理を行うための安全管理装置（特許文献１参照）や建設機械（特許文献２参照）が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－００５２２９号公報
【特許文献2】特開２０２０－１８３６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、計測者による作業者の目視確認等では、長時間にわたる場合の計測の不正確性や属人的な判断となる可能性を排除することが困難であり、先行技術の提案では、作業者である人体以外の例えば動物やロボットなどを含む動体物一般や、それぞれの動体物の様々な行動態様や行動環境に対応して、動体物の姿勢や位置を把握して評価することに必ずしも十分ではないという課題がある。
【0005】
本発明は、このような課題に着目してなされたもので、動体物の姿勢の負荷を非接触で定時間ごとに定量的に計測し、その負荷を評価する、姿勢自動評価装置、姿勢自動評価方法及び姿勢自動評価プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記した課題を解決するために本発明の第１の観点は、動体物についての姿勢自動評価装置であって、前記動体物を計測する計測部と、前記計測部の計測結果を評価する評価部と、前記評価部の評価結果を表示する評価結果表示部とを備え、前記計測部は、前記動体物を撮影する画像取得部と、前記画像取得部による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得部とを備え、前記評価部は、撮影された前記画像から任意の特徴点を抽出する特徴点位置判断部と、抽出された前記特徴点までの空間距離を計算する特徴点距離計算部と、前記動体物の骨格を再構成する３次元骨格再構成部と、前記動体物の姿勢を評価する姿勢評価部とを備え、前記評価結果表示部は、前記評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する、ことを特徴とする。
【0007】
上記した課題を解決するために本発明の第２の観点は、動体物についての姿勢自動評価方法であって、前記動体物を計測する計測ステップと、前記計測ステップの計測結果を評価する評価ステップと、前記評価ステップの評価結果を表示する評価結果表示ステップとを備え、前記計測ステップは、前記動体物を撮影する画像取得ステップと、前記画像取得ステップによる撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得ステップとを備え、前記評価ステップは、撮影された前記画像から任意の特徴点を抽出する特徴点位置判断ステップと、抽出された前記特徴点までの空間距離を計算する特徴点距離計算ステップと、前記動体物の骨格を再構成する３次元骨格再構成ステップと、前記動体物の姿勢を評価する姿勢評価ステップとを備え、前記評価結果表示ステップは、前記評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する、ことを特徴とする。
【0008】
上記した課題を解決するために本発明の第３の観点は、動体物についての姿勢自動評価プログラムであって、コンピュータに、前記動体物を計測する計測処理と、前記計測処理の計測結果を評価する評価処理と、前記評価処理の評価結果を表示する評価結果表示処理とを実行させ、前記計測処理は、前記動体物を撮影する画像取得処理と、前記画像取得処理による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、前記動体物までの距離を計測する距離取得処理とを備え、前記評価処理は、撮影された前記画像から任意の特徴点を抽出する特徴点位置判断処理と、抽出された前記特徴点までの空間距離を計算する特徴点距離計算処理と、前記動体物の骨格を再構成する３次元骨格再構成処理と、前記動体物の姿勢を評価する姿勢評価処理とを備え、前記評価結果表示処理は、前記評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する、ことを特徴とする。
【発明の効果】
【0009】
本発明によれば、動体物の姿勢の負荷を非接触で定時間ごとに定量的に計測し、その負荷を評価する、姿勢自動評価装置、姿勢自動評価方法及び姿勢自動評価プログラムを提供することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態に係る姿勢自動評価装置の全体構成（計測部、評価部、評価結果表示部）を説明する図である。
【図2】計測部を説明する図（その１）である。
【図3】計測部を説明する図（その２）である。
【図4】計測部を説明する図（その３）である。
【図5】評価部のうち特徴点（関節）位置判断部を説明する図である。
【図6】特徴点の部位の例を説明する図である。
【図7】ステレオカメラを用いた従来のテンプレート・マッチング法の問題点を説明する図（その１）である。
【図8】ステレオカメラを用いた従来のテンプレート・マッチング法の問題点を説明する図（その２）である。
【図9】ステレオカメラを用いた従来のテンプレート・マッチング法の問題点（を説明する図その３）である。
【図10】ステレオカメラを用いた従来のテンプレート・マッチング法の問題点を説明する図（その４）である。
【図11】ステレオカメラを用いた従来のテンプレート・マッチング法の問題点を説明する図（その５）である。
【図12】特徴点（関節）位置距離計算部のアルゴリズムを説明する図である。
【図13】評価部のうち特徴点（関節）距離計算部を説明する図である。
【図14】評価部のうち３次元骨格再構成部を説明する図である。
【図15】評価部のうち姿勢評価部を説明する図である。
【図16】姿勢評価の一例としてＯＷＡＳ法を説明する図（その１）である。
【図17】姿勢評価の一例としてＯＷＡＳ法を説明する図（その２）である。
【図18】姿勢評価部のアルゴリズムを説明する図（その１）である。
【図19】姿勢評価部のアルゴリズムを説明する図（その２）である。
【図20】姿勢評価部のアルゴリズムを説明する図（その３）である。
【図21】姿勢評価部のアルゴリズムを説明する図（その４）である。
【図22】姿勢評価部のアルゴリズムを説明する図（その５）である。
【図23】姿勢評価部のアルゴリズムを説明する図（その６）である。
【図24】姿勢評価部のアルゴリズムを説明する図（その７）である。
【図25】評価結果表示部による表示を説明する図（その１）である。
【図26】評価結果表示部による表示を説明する図（その２）である。
【図27】評価結果表示部による表示を説明する図（その３）である。
【図28】評価結果表示部による表示を説明する図（その４）である。
【図29】評価結果表示部による表示を説明する図（その５）である。
【図30】評価結果表示部による表示を説明する図（その６）である。
【図31】評価結果表示部による表示を説明する図（その７）である。
【図32】評価結果表示部による表示を説明する図（その８）である。
【発明を実施するための形態】
【0011】
【0012】
［姿勢自動評価装置の全体構成］
まず、図１により、本実施形態に係る姿勢自動評価装置１の全体構成について説明する。なお、本明細書では、姿勢自動評価装置１を構成する各部に対し、それぞれが実行する動作を冠した個別の名を付している。
まず、図１により、本実施形態に係る姿勢自動評価装置１の全体構成について説明する。なお、本明細書では、姿勢自動評価装置１を構成する各部に対し、それぞれが実行する動作を冠した個別の名を付している。
【0013】
姿勢自動評価装置１は、人体、動物及びロボットの少なくとも１つの動体物ＭＯを対象として姿勢を評価する。図１ほかでは、動体物ＭＯの例として人体を想定して図示しているが、人体に限られるものではないことに留意されたい。図１に示すように、動体物ＭＯについての姿勢自動評価装置１は、動体物ＭＯを計測する計測部１０と、計測部１０による計測結果を評価する評価部２０と、評価部２０による評価結果を表示する評価結果表示部３０とを備える。
【0014】
計測部１０は、動体物ＭＯを撮影する画像取得部１１と、画像取得部１１による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、動体物ＭＯまでの距離を計測する距離取得部１２とを備える。評価部２０は、撮影された画像から任意の特徴点（例えば、関節位置）を抽出する特徴点位置判断部（関節位置判断部）２１と、抽出された特徴点（例えば、関節位置）までの空間距離を計算する特徴点距離計算部（関節距離計算部）２２と、動体物ＭＯの骨格を再構成する３次元骨格再構成部２３と、動体物ＭＯの姿勢を評価する姿勢評価部２４とを備える。評価結果表示部３０は、評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する。以下、各部について、詳しく説明する。
【0015】
【0016】
図２に示すように、例１は、画像取得部１１として空間位置があらかじめ既知の複数の光学カメラ１１ａ１，１１ａ２，１１ａ３を同期するように設け、これらによって動体物ＭＯを同時に撮影して取得された複数の画像Ｐ１，Ｐ２，Ｐ３について、距離取得部１２において同一の動体物ＭＯの画像上の視差から距離を測定する方法を用いて、距離を計算して距離情報Ｄを取得する例である。
【0017】
図３に示すように、例２は、画像取得部１１として空間位置があらかじめ既知の光学カメラ１１ａを、距離取得部１２として空間位置があらかじめ既知の距離カメラ１２ａ（ＴＯＦ＜Time-of-Flight＞カメラ、パターン投影カメラ、レーザ距離計、レーザスキャナ、ライダー＜ＬｉＤＡＲ：Light Detection and Ranging＞等の距離情報を直接計測できるデバイスであり、以下、「距離カメラ」と称する）をそれぞれ同期するように設け、動体物ＭＯを同時に撮影することにより、画像Ｐと距離情報Ｄを別々に取得する例である。なお、この場合、光学カメラ１１ａと距離カメラ１２ａは、必ずしも同一視野範囲となっている必要はないが、それぞれの視野内に計測対象物である動体物ＭＯが含まれなければならない。
【0018】
図４に示すように、例３は、計測部１０の例１と例２を組み合わせた例である。図４では、複数の光学カメラ１１ａ１，１１ａ２，１１ａ３は画像取得部１１として広域の複数の画像Ｐ１，Ｐ２，Ｐ３を取得する手段として用い、複数の距離カメラ１２ａ１，１２ａ２は距離取得部１２としてそれぞれ特定の視野範囲の距離情報Ｄを取得する手段として用いられている。
【0019】
図４に示した例３は、複数の光学カメラ１１ａ１，１１ａ２，１１ａ３により得られた複数の画像Ｐ１，Ｐ２，Ｐ３上の動体物ＭＯの視差を基に広域での動体物ＭＯまでの距離情報Ｄを推定するとともに、距離カメラ１２ａ１，１２ａ２で捉えられている視野領域については、推定された距離情報Ｄを距離カメラ１２ａ１，１２ａ２で得られた距離情報Ｄで補足する態様に容易に拡張できる。
【0020】
画像取得部１１は、上記の各例によって取得された画像Ｐ１又はＰを評価部２０の特徴点位置判断部（関節位置判断部）２１へ、距離取得部１２は、同じく取得された距離情報Ｄを評価部２０の特徴点位置計算部（関節位置計算部）２２へ、それぞれ出力する。
【0021】
［評価部］
［［関節位置判断部］］
次に、評価部２０の特徴点位置判断部（関節位置判断部）２１の例について、図５及び図６を参照して説明する。特徴点は関節に限られないが、以下では、特徴点を関節とした場合を想定して、関節位置判断部２１として説明する。図５に示すように、関節位置判断部２１は、被検体である動体物ＭＯの動画像（作業者であれば人体の動画像）について、あらかじめ機械学習で学習した学習済の関節位置判断用重み付けデータ２１ａを備えており、これを用いて、計測部１０の画像取得部１１から入力された画像Ｐ１又はＰにおいて、関節部位に相当する画像の存否を推定し、関節位置判断２１ｂを行う。機械学習の方法については様々な方法が提唱されているが、特定の方法に限定する必要はない。動画像の１フレームを入力し、例えば、図５の下段に例示するように、図６で示す人体の特徴点としての関節部位（ここでは、右肩ＳＲ、左肩ＳＬ、右肘ＥＲ）の光学カメラ１１ａ１又は１１ａ上の関節位置２次元座標ＴｗＤを抽出できればよい。
［［関節位置判断部］］
次に、評価部２０の特徴点位置判断部（関節位置判断部）２１の例について、図５及び図６を参照して説明する。特徴点は関節に限られないが、以下では、特徴点を関節とした場合を想定して、関節位置判断部２１として説明する。図５に示すように、関節位置判断部２１は、被検体である動体物ＭＯの動画像（作業者であれば人体の動画像）について、あらかじめ機械学習で学習した学習済の関節位置判断用重み付けデータ２１ａを備えており、これを用いて、計測部１０の画像取得部１１から入力された画像Ｐ１又はＰにおいて、関節部位に相当する画像の存否を推定し、関節位置判断２１ｂを行う。機械学習の方法については様々な方法が提唱されているが、特定の方法に限定する必要はない。動画像の１フレームを入力し、例えば、図５の下段に例示するように、図６で示す人体の特徴点としての関節部位（ここでは、右肩ＳＲ、左肩ＳＬ、右肘ＥＲ）の光学カメラ１１ａ１又は１１ａ上の関節位置２次元座標ＴｗＤを抽出できればよい。
【0022】
ここで、図６は、動体物ＭＯが人体である場合について、特徴点として関節部位及び線分を含む各部位を次のように例示している。すなわち、ＨＤ：頭部、Ｓ：肩幅、両肩：ＳＬ／ＳＲ、両肩の中点：Ｓ０、Ｂ：背部、Ｗ：腰幅、両腰：ＷＬ／ＷＲ、両腰の中点Ｗ０、両上腕：ＡｒｍＬ１／ＡｒｍＲ１、両肘：ＥＬ／ＥＲ、両前腕：ＡｒｍＬ２／ＡｒｍＲ２、両手首：ＨＬ／ＨＲ、両大腿：ＴｈｉＬ／ＴｈｉＲ、両膝：ＫＬ／ＫＲ、両下腿：ＬｌｉｍＬ／ＬｌｉｍＲ、両足首：ＡｎＬ／ＡｎＲ、である。
【0023】
なお、前述したとおり、特徴点は、図６に示した関節部位を含む各部位に限られるものではない。動体物ＭＯの種類によって、あるいは動体物ＭＯが人体でも評価すべき基本的な姿勢の違いによって、任意に設定してよい。例えば、動体物ＭＯが動物の場合には、犬であれば耳や尾を特徴点としてもよく、ロボットの場合には、人型ではなく基台に対して作業部が回動するものであれば作業部の基準点を特徴点としてもよい。また、横臥している状態が通常の人体の場合には、寝返り姿勢を評価するために頭部ＨＤや背部Ｂについても左右に分けて特徴点としてもよい。これらの意味において、関節位置判断部２１は、特徴点位置判断部２１に拡張して把握することができる。
【0024】
［［関節距離計算部］］
次に、評価部２０の関節距離計算部２２の例は図１３に示すとおりであるが、後ほど説明することとし、その説明に先立ち、図７から図１１を参照して従来のステレオカメラを用いた関節距離計算の課題について述べるとともに、図１２を参照して本実施形態に係る関節距離計算について述べる。
次に、評価部２０の関節距離計算部２２の例は図１３に示すとおりであるが、後ほど説明することとし、その説明に先立ち、図７から図１１を参照して従来のステレオカメラを用いた関節距離計算の課題について述べるとともに、図１２を参照して本実施形態に係る関節距離計算について述べる。
【0025】
関節距離計算の実施においては、上記した計測部１０の例２及び例３のように距離カメラ１２ａ，１２ａ１，１２ａ２を用いる場合は、距離情報Ｄを直接計測できるために、光学カメラ１１ａ，１１ａ１，１１ａ２，１１ａ３と距離カメラ１２ａ，１２ａ１，１２ａ２の位置と視野方向が確定されていれば、画像Ｐ又はＰ１上の特徴点例えば関節位置と距離カメラ１２ａ，１２ａ１，１２ａ２上の関節位置は座標変換により容易に決定できる。しかし、上記した計測部１０の例１のように複数の光学カメラ１１ａ１，１１ａ２，１１ａ３を用いて距離計算する場合は、困難が伴う。その理由は、従来は光学カメラを用いた距離測定において２台の光学カメラを用いるステレオカメラが多く用いられており、ステレオカメラの場合、計測に大きな制約があったことによる。その制約とは、次のようなものである。なお、以下では、説明の便宜上、ステレオカメラを構成する２台の光学カメラを各別にカメラＡ、カメラＢとして説明するが、構造的に１台のステレオカメラの場合も同様である。
【0026】
従来のステレオカメラを用いる手法の場合、左右のカメラＡ、カメラＢで撮った共通部分の画像上の視差を計算するには、共通部分が同一の物体であるという事実を見出すためにテンプレート・マッチング法が必要となる。テンプレート・マッチング法とは、例えば一方のカメラＡで撮ったある領域の画像が、他方のカメラＢで撮った画像の中のどの位置に対応するかを、画像処理アルゴリズムにより画像マッチングを行い、その位置を特定する方法である。両者の画像の位置のずれから、カメラＡ、カメラＢの視差角を計算し、距離を推定することができる。その結果、図７から図９に示すような（１）から（３）の制約が生じる。
【0027】
（１）カメラ間隔が小さい場合（図７「ステレオカメラ１：カメラを近づけた場合」参照）
カメラＡ、カメラＢそれぞれと対象物との距離の違いにより、マッチングを取る対象領域の範囲が大きく異なってくる。すなわち、カメラＡとカメラＢを近づけたとき、観察できる範囲は広がるが、対象物との距離により、マッチング範囲（視差角の変化量）が異なる。対象物までの距離はあらかじめ分かっているわけではないので、広い距離範囲を計測しようとすると、広い範囲でのマッチングが必要となり、誤認識が生じやすい。また、マッチングで誤認識をした場合でも、誤認識かどうかを判別する手段がなく、この点が立体形状測定にとって致命的である。
カメラＡ、カメラＢそれぞれと対象物との距離の違いにより、マッチングを取る対象領域の範囲が大きく異なってくる。すなわち、カメラＡとカメラＢを近づけたとき、観察できる範囲は広がるが、対象物との距離により、マッチング範囲（視差角の変化量）が異なる。対象物までの距離はあらかじめ分かっているわけではないので、広い距離範囲を計測しようとすると、広い範囲でのマッチングが必要となり、誤認識が生じやすい。また、マッチングで誤認識をした場合でも、誤認識かどうかを判別する手段がなく、この点が立体形状測定にとって致命的である。
【0028】
図７の例を補足すると、カメラＡとカメラＢを例えば１０ｃｍの間隔に近づけた場合、５００ｃｍ先の視差θは、ｓｉｎθ≒θとして、１０／５００＝０．０２ラジアン≒１°となり、カメラＡ及びカメラＢの視野角を６０°、横方向の画素数を１０００とすれば、１°の差は約２０画素に当たる。一方、５０ｃｍ先の視差θは、同様に、１０／５０＝０．２ラジアン≒１２°となり、２００画素となる。２００画素離れていることは、１画像の１／５離れている同じ画像を探し出す必要があることを意味する。
【0029】
（２）カメラ間隔が大きい場合（図８「ステレオカメラ２：カメラを離した場合」参照）
視差は大きくとれるが、距離計算対象領域が狭くなってくる。すなわち、カメラＡとカメラＢを離したとき、マッチング範囲（視差角の変化量）は狭くなり、観測できる範囲も狭いものとなる。また、カメラＡやカメラＢの面前の対象物を計測できないという状態に陥る。
視差は大きくとれるが、距離計算対象領域が狭くなってくる。すなわち、カメラＡとカメラＢを離したとき、マッチング範囲（視差角の変化量）は狭くなり、観測できる範囲も狭いものとなる。また、カメラＡやカメラＢの面前の対象物を計測できないという状態に陥る。
【0030】
（３）カメラの方向を変えた場合（図９「ステレオカメラ３：カメラの向きを変えた場合」参照）
カメラＡ及びカメラＢそれぞれで捉える対象物の形状が異なってくる。すなわち、カメラＡとカメラＢの向きを変えたとき、マッチング範囲（視差角の変化量）はある程度広がるが、左右のカメラＡ及びカメラＢで見る同一の対象物の形状が歪み、マッチングが困難となる。
カメラＡ及びカメラＢそれぞれで捉える対象物の形状が異なってくる。すなわち、カメラＡとカメラＢの向きを変えたとき、マッチング範囲（視差角の変化量）はある程度広がるが、左右のカメラＡ及びカメラＢで見る同一の対象物の形状が歪み、マッチングが困難となる。
【0031】
上記した（１）から（３）の制約は、ステレオカメラの限界を示すものである。つまり、対象物との距離や位置がある程度限定され、かつ対象物の形状が既知の場合は、簡便な距離計算法として、ある程度有効であった。しかし、対象物との距離が５０ｃｍ～５００ｃｍと広い範囲の、しかも対象物の形状も時事刻々と変化する、例えば作業現場における作業者などの計測は極めて困難であった。
【0032】
ステレオカメラの欠点を端的に示す例を図１０に示す。図１０の左側に示した白黒の縦縞模様をステレオカメラでテンプレート・マッチングすると、マッチング・ポイント（一致画像）が多数現れ（例えば、図中、破線で囲んだ範囲の複数の画像）、計測不能になる。類似の状況は頻繁に現れることが知られていて、ステレオカメラによる距離計算法は限定的にしか使えないことが分かる。図１０の右側に示したように、カメラＡでテンプレート領域を決定して、カメラＢの画像内で、同一部位に相当する画像を探すとき、幾らでも一致点が見つかるので、当該テンプレートまでの距離に関する情報が既知でないと、解は不定となる。
【0033】
そうすると、ステレオカメラを用いる方法は、例えば作業場の工作機械のように、直線が多い画像では、どこでもマッチングが起こりうることと、距離が不定であり、事前の視差量が推定できないために、テンプレート・マッチングする範囲が決まらなくなるので、マッチングエラー（マッチング無し）や、複数マッチングの頻発が起こると予測される。
【0034】
さらに、図１１は、カメラＡ、カメラＢの２台のカメラを用いて円形物体ＣＯと矩形物体ＲＯについて、テンプレート・マッチングを行う例を示す。図１１の左側に示したような位置関係にある円形物体ＣＯと矩形物体ＲＯをカメラＡ、カメラＢでそれぞれ撮影すると、カメラＡ、カメラＢからそれぞれ見える図は図１１の右側に示したようなものとなり、マッチングエラーを起こす（マッチングできない、すなわち、距離計算できない）ことが分かる。円形物体ＣＯと矩形物体ＲＯが異なる距離に有るという情報が無いので、円形物体ＣＯと矩形物体ＲＯの組合せが単一物体か否かの違いを数学的に区別できないからである。
【0035】
以上述べたステレオカメラを用いた手法に対し、本実施形態では、光学カメラ１１ａ１，１１ａ２，１１ａ３から得られた画像上の特徴点を用いて距離計算する手法を提案する。本実施形態では、複数の光学カメラ１１ａ１，１１ａ２，１１ａ３を用いて距離計算する場合に、テンプレート・マッチングを行わないこととし、また、ステレオカメラではなく、３台以上の光学カメラ１１ａ１，１１ａ２，１１ａ３によって、同期した撮影で得られる複数画像からの距離再構成を行うことを特徴とする。
【0036】
その手法は、次のとおりである。
（ａ）あらかじめ、各光学カメラ１１ａ１，１１ａ２，１１ａ３の位置及び視野方位を測定しておく。
（ｂ）同期して取得した複数の画像Ｐ１，Ｐ２，Ｐ３から機械学習により動体物ＭＯの関節位置を抽出する。
（ｃ）各光学カメラ１１ａ１，１１ａ２，１１ａ３の位置及び視野方位をもとに、各関節位置の光学カメラ毎の視線方位を計算する。その交点方向の近接領域に複数画面上に関節位置を認めた場合に、それらの複数画面の組み合わせが、特定個体である動体物ＭＯの特定の関節位置を示していると仮定する。
（ｄ）上記によりサンプリングされた複数画像に関し、後記するアルゴリズムを適用することにより、一般化された３次元座標系内での当該関節位置を求める。
（ａ）あらかじめ、各光学カメラ１１ａ１，１１ａ２，１１ａ３の位置及び視野方位を測定しておく。
（ｂ）同期して取得した複数の画像Ｐ１，Ｐ２，Ｐ３から機械学習により動体物ＭＯの関節位置を抽出する。
（ｃ）各光学カメラ１１ａ１，１１ａ２，１１ａ３の位置及び視野方位をもとに、各関節位置の光学カメラ毎の視線方位を計算する。その交点方向の近接領域に複数画面上に関節位置を認めた場合に、それらの複数画面の組み合わせが、特定個体である動体物ＭＯの特定の関節位置を示していると仮定する。
（ｄ）上記によりサンプリングされた複数画像に関し、後記するアルゴリズムを適用することにより、一般化された３次元座標系内での当該関節位置を求める。
【0037】
上記の手法により、動体物ＭＯの姿勢評価に必要な部位の３次元座標のみを効果的に抽出でき、かつ多方向からの計測により、従来のステレオカメラ法より、遮蔽物に妨げられる頻度が低い、ロバストな計測が可能となる。
【0038】
多方向からの画像による３次元座標位置計算のアルゴリズムとして、Ｎ台の光学カメラで１つの対象物を撮影した場合に、対象物の位置を推定する具体的なアルゴリズムの一例について図１２を参照して以下に説明する。
【0039】
（§１ 設定）
設定条件は、以下のとおりである。
・対象物は、３次元空間R^3のある1点P_0である、とする。ただし、その座標値(x, y, z)は未知とする。
・N台の光学カメラのインデックスをk=1, 2, …, Nとする。第k光学カメラの位置をP_kとする。ただし、P_kの座標値は既知とする。
・P_kを始点とし、P_0を終点とするベクトルをV_kとする。つまり、Ｖ_k=P_0-P_kとする。
・ベクトルVのノルムをnorm(V)と表すことにして、ノルムが１のベクトルU_kをV_k/norm(V_k)と定義する。
・P_0が未知なのでV_kも未知ではあるが、マッチングの結果得られた視差データから、U_kは既知である、とする。ただし、U_kはあくまでも光学カメラ撮影で得られたものなので、誤差が混入していることを考慮する。
・P_kからU_kの方向に伸びる直線をL_kとする。もしも、U_kに誤差がないならば、L_1, L_2, …, L_NはP_0を交点として共有するはずであるが、U_kは誤差をもつので、互いに異なるインデックスiとjに対して、L_iとL_jは交点をもつとは限らない。
設定条件は、以下のとおりである。
・対象物は、３次元空間R^3のある1点P_0である、とする。ただし、その座標値(x, y, z)は未知とする。
・N台の光学カメラのインデックスをk=1, 2, …, Nとする。第k光学カメラの位置をP_kとする。ただし、P_kの座標値は既知とする。
・P_kを始点とし、P_0を終点とするベクトルをV_kとする。つまり、Ｖ_k=P_0-P_kとする。
・ベクトルVのノルムをnorm(V)と表すことにして、ノルムが１のベクトルU_kをV_k/norm(V_k)と定義する。
・P_0が未知なのでV_kも未知ではあるが、マッチングの結果得られた視差データから、U_kは既知である、とする。ただし、U_kはあくまでも光学カメラ撮影で得られたものなので、誤差が混入していることを考慮する。
・P_kからU_kの方向に伸びる直線をL_kとする。もしも、U_kに誤差がないならば、L_1, L_2, …, L_NはP_0を交点として共有するはずであるが、U_kは誤差をもつので、互いに異なるインデックスiとjに対して、L_iとL_jは交点をもつとは限らない。
【0040】
（§２ 推定方法）
上記の設定を踏まえて、P_0の位置を推定する方法は、以下のとおりである。
・ベクトルP_0は、(x, y, z)座標値からなる縦ベクトルであるとする。
・同様に、P_1, P_2, …, P_Nも、U_1, U_2, …, U_Nも、(x, y, z)座標値からなる縦ベクトルとする。
・Xを任意のベクトル又は行列として、その転置をX^*と表すことにする。
・Iを３行３列の単位行列とする。
・k=1, 2, …, Nに対して、３行３列の行列Q_kを
Q_k=I-U_k U_k^*
と定義する。定義から、Q_kはランクが２（後記参照）の対称行列であり、非負定置である。しかも、Q_kは射影行列である。つまり、Q_k^2=Q_kが成り立つ。ただし、^2は２乗を意味するものとする。
・次に、３行３列の行列Rを
R=Q_1+Q_2+…+Q_N
と定義する。一般的には、Rの行列式det(R)はゼロ以上の実数であり、det(R)=0となる可能性があるが、以下では、det(R)>0である、と仮定する。det(R)>0の仮定から、Rは逆行列inv(R)をもつことになる。
・k=1, 2, …, Nに対して、縦ベクトルS_kを
S_k=inv(R) Q_k P_k
と定義する。
・すると、P_0の推定値は、S_1+S_2+…+S_Nである。
上記の設定を踏まえて、P_0の位置を推定する方法は、以下のとおりである。
・ベクトルP_0は、(x, y, z)座標値からなる縦ベクトルであるとする。
・同様に、P_1, P_2, …, P_Nも、U_1, U_2, …, U_Nも、(x, y, z)座標値からなる縦ベクトルとする。
・Xを任意のベクトル又は行列として、その転置をX^*と表すことにする。
・Iを３行３列の単位行列とする。
・k=1, 2, …, Nに対して、３行３列の行列Q_kを
Q_k=I-U_k U_k^*
と定義する。定義から、Q_kはランクが２（後記参照）の対称行列であり、非負定置である。しかも、Q_kは射影行列である。つまり、Q_k^2=Q_kが成り立つ。ただし、^2は２乗を意味するものとする。
・次に、３行３列の行列Rを
R=Q_1+Q_2+…+Q_N
と定義する。一般的には、Rの行列式det(R)はゼロ以上の実数であり、det(R)=0となる可能性があるが、以下では、det(R)>0である、と仮定する。det(R)>0の仮定から、Rは逆行列inv(R)をもつことになる。
・k=1, 2, …, Nに対して、縦ベクトルS_kを
S_k=inv(R) Q_k P_k
と定義する。
・すると、P_0の推定値は、S_1+S_2+…+S_Nである。
【0041】
上記したQ_kのランクについては、次のとおりである。
・U_kと直交するノルムが１の縦ベクトルをG_kとし、U_kともG_kとも直交するノルムが１の縦ベクトルをH_kとすると、
I=U_k U_k^*+G_k G_k^*+H_k H_k^*
であるから、
Q_k=G_k G_k^*+H_k H_k^*
である。したがって、Q_kのランクは、2である。
・U_kと直交するノルムが１の縦ベクトルをG_kとし、U_kともG_kとも直交するノルムが１の縦ベクトルをH_kとすると、
I=U_k U_k^*+G_k G_k^*+H_k H_k^*
であるから、
Q_k=G_k G_k^*+H_k H_k^*
である。したがって、Q_kのランクは、2である。
【0042】
（§３ 導出方法）
上記したP_0の推定値は、以下の方法で導出されたものである。
・R^3の任意の点を３次元縦ベクトルWで表し、R^3の任意の直線をLで表わすことにする。
・また、LとWの距離dist(L, W)を、WからLにおろされた垂線の長さ、として定義する。
・すると、k=1, 2, …, Nに対して、dist(L_k, W)は、ベクトルW-P_kからU_kに平行な成分を除外したベクトルのノルム、つまり、W-P_kをU_kに垂直な平面に射影してから求めたノルムであるから、
dist(L_k, W)=norm[(I-U_k U_k^*)(W-P_k)]=sqrt[(W-P_k)^* Q_k (W-P_k)]
である。
・そして、dist(L_1, W), dist(L_2, W), …, dist(L_N, W)の二乗和をf(W)と書くことにする。つまり、
f(W)=dist(L_1, W)^2+dist(L_2, W)^2+…+dist(L_N, W)^2
とする。
・対象物の位置P_0の推定値は、このf(W)の値を最小にするWと定義する。
・すると、平方完成によって（後記参照）、S_1+S_2+…+S_NがP_0の推定値となる。
上記したP_0の推定値は、以下の方法で導出されたものである。
・R^3の任意の点を３次元縦ベクトルWで表し、R^3の任意の直線をLで表わすことにする。
・また、LとWの距離dist(L, W)を、WからLにおろされた垂線の長さ、として定義する。
・すると、k=1, 2, …, Nに対して、dist(L_k, W)は、ベクトルW-P_kからU_kに平行な成分を除外したベクトルのノルム、つまり、W-P_kをU_kに垂直な平面に射影してから求めたノルムであるから、
dist(L_k, W)=norm[(I-U_k U_k^*)(W-P_k)]=sqrt[(W-P_k)^* Q_k (W-P_k)]
である。
・そして、dist(L_1, W), dist(L_2, W), …, dist(L_N, W)の二乗和をf(W)と書くことにする。つまり、
f(W)=dist(L_1, W)^2+dist(L_2, W)^2+…+dist(L_N, W)^2
とする。
・対象物の位置P_0の推定値は、このf(W)の値を最小にするWと定義する。
・すると、平方完成によって（後記参照）、S_1+S_2+…+S_NがP_0の推定値となる。
【0043】
平方完成については、次のとおりである。
・f(W)の式変形をすると、
f(W)=Σ_(k=1)^N (W-P_k)^* Q_k (W-P_k)
=(W-inv(R) Σ_(k=1)^N Q_k P_k)^* R (W-inv(R) Σ_(k=1)^N Q_k P_k)+定数項
=(W-Σ_(k=1)^N S_k)^* R (W-Σ_(k=1)^N S_k)+定数項
であるから、f(W)が最小になるのはW=Σ_(k=1)^N S_kのときである。
・f(W)の式変形をすると、
f(W)=Σ_(k=1)^N (W-P_k)^* Q_k (W-P_k)
=(W-inv(R) Σ_(k=1)^N Q_k P_k)^* R (W-inv(R) Σ_(k=1)^N Q_k P_k)+定数項
=(W-Σ_(k=1)^N S_k)^* R (W-Σ_(k=1)^N S_k)+定数項
であるから、f(W)が最小になるのはW=Σ_(k=1)^N S_kのときである。
【0044】
評価部２０の関節距離計算部２２の例は、前述したように、図１３のとおりである。図１３に示すように、関節距離計算部２２では、関節位置判断部２１で位置決定された光学カメラ１１ａ，１１ａ１，１１ａ２，１１ａ３から得られた関節位置２次元座標ＴｗＤを入力し、光学カメラ座標系から、距離カメラ座標系へ座標変換２２ａを行った後に、距離カメラ１２ａ，１２ａ１，１２ａ２から得られた距離情報Ｄより、当該関節位置の、距離カメラ座標系における関節位置３次元座標計算２２ｂを行う。
【0045】
関節位置３次元座標ＴｈＤの計算アルゴリズムは、距離カメラ１２ａ，１２ａ１，１２ａ２等で得られた関節距離のデータを、カメラの画素数と視野角の仕様に基づいて極座標（天頂角、方位角、半径）に変換後、直交座標(x, y, z)に変換し、関節位置３次元座標ＴｈＤとする。図１３の下段には、図６で示した人体の特徴点としての関節部位（ここでは、右肩ＳＲ、左肩ＳＬ、右肘ＥＲ）の光学カメラ１１ａ１又は１１ａ上の関節位置３次元座標ＴｈＤを例示している。
【0046】
［［３次元骨格再構成部］］
次に、評価部２０の３次元骨格再構成部２３の例について、図１４を参照して説明する。図１４に示すように、３次元骨格再構成部２３は、関節位置３次元座標ＴｈＤを基に、隣接する関節までの関節間距離及び角度の計算２３ａを行った後、それらの妥当性の検証２３ｂを行う。
次に、評価部２０の３次元骨格再構成部２３の例について、図１４を参照して説明する。図１４に示すように、３次元骨格再構成部２３は、関節位置３次元座標ＴｈＤを基に、隣接する関節までの関節間距離及び角度の計算２３ａを行った後、それらの妥当性の検証２３ｂを行う。
【0047】
具体的には、対象物の動体物ＭＯが人体であれば、関節間距離を計算した後、計算結果が人体の関節間距離として妥当かどうかを評価し、妥当であれば骨格データ（関節間距離データＬＤ）として採用し、不適であれば、その部分の骨格を計測不可として排除する。同様に、隣接する関節までを結ぶ直線を骨と仮定したときに、骨と近接する骨の開き角を求め、人体の骨の可動範囲から人体の骨と骨の接する角度として妥当かどうか評価し、妥当であれば骨格データ（角度データＡＤ）として採用し、不適であれば、その部分の骨格を計測不可として排除する。例えば、左右腰ＷＬ，ＷＲに対し、背骨（背部Ｂ）の前傾度や後傾度の測定を行う。通常、立位姿勢の場合は、前傾については９０度以上の前傾も姿勢として取りうるが、後傾は立位姿勢の場合は３０度以上となると転倒する確率が高い。このように通常あり得ない数値が出た場合は、その部分の骨格を計測不可として排除する。
【0048】
図１４の下段には、関節間距離データＬＤとして、図６で示した人体の特徴点としての部位（ここでは、肩幅Ｓ、腰幅Ｗ、背丈Ｂ（背部Ｂ）、右上腕ＡｒｍＲ１、左上腕ＡｒｍＬ１、右大腿ＴｈｉＲ、左大腿ＴｈｉＬ）の長さ［ｃｍ］を、角度データＡＤとして、後記する図２２から図２３に示す開き角（ここでは、腰幅Ｗに対する背部Ｂのひねり角θ１、横曲げ角θ２、前曲げ角θｆ、後ろ曲げ角θｂ）の角度［度］を例示している。
【0049】
［［姿勢評価部］］
次に、評価部２０の姿勢評価部２４の例について、図１５を参照して説明する。図１５に示すように、姿勢評価部２４は、関節位置３次元座標ＴｈＤ及び関節間距離データＬＤと角度データＡＤを基に、対象となる動体物ＭＯの態様に応じた姿勢評価アルゴリズムＡＬ１，ＡＬ２，…を選択して、姿勢の評価２４ａを行う。評価の結果は、姿勢評価データＰＥＤとして出力される。図１５の下段には、姿勢評価データＰＥＤとして、上半身、下半身、手に区分した場合の評価の結果を例示している。
次に、評価部２０の姿勢評価部２４の例について、図１５を参照して説明する。図１５に示すように、姿勢評価部２４は、関節位置３次元座標ＴｈＤ及び関節間距離データＬＤと角度データＡＤを基に、対象となる動体物ＭＯの態様に応じた姿勢評価アルゴリズムＡＬ１，ＡＬ２，…を選択して、姿勢の評価２４ａを行う。評価の結果は、姿勢評価データＰＥＤとして出力される。図１５の下段には、姿勢評価データＰＥＤとして、上半身、下半身、手に区分した場合の評価の結果を例示している。
【0050】
姿勢評価アルゴリズムＡＬ１，ＡＬ２，…は、動体物ＭＯの計測の目的に対応した姿勢評価基準により、様々なアルゴリズムを用いることができる。例えば、姿勢自動評価装置１が腰痛監視システムとして採用される場合には、大きな箱等を持って歩く、又はしゃがんで持ち上げようとする姿勢に特化して認識する姿勢評価アルゴリズムが必要とされる。また、見守りシステムとして採用される場合には、１日に何時間寝て、何時間部屋を出て、何時間テレビを見ているか、あるいは定期的に食事をとっているか等の生活のリズムを計測する姿勢評価アルゴリズムが必要とされる。また、一連の流れ作業を行う作業場での作業効率の検証システムとして採用される場合には、特定の姿勢の発生頻度をチェックする姿勢評価アルゴリズムが必要とされる。
【0051】
このように、姿勢自動評価装置１は動体物ＭＯの計測の種々の目的に対応することが可能であることから、その姿勢評価に用いる関節位置３次元座標ＴｈＤや関節間距離データＬＤと角度データＡＤも、図１３、図１４に挙げた例に限られることはない。例えば、肩ＳＬ／ＳＲ、肘ＥＬ／ＥＲ、手首ＨＬ／ＨＲに指の各関節を特徴点として追加し、上肢の動きに特化した関節位置３次元座標ＴｈＤや関節間距離データＬＤと角度データＡＤを生成してもよく、その場合には、上肢のみについての姿勢評価アルゴリズムが用いられる。
【0052】
（姿勢評価の例）
以下では、姿勢評価部２４による姿勢評価の例として、図１６及び図１７を参照して、作業者の姿勢負荷の評価として使われているＯＷＡＳ法の分類（OWAS: Ovako Working Posture Analyzing System）を応用した場合を例として挙げる。本実施形態では、後記する分類アルゴリズムにより、作業負荷分類の自動化が達成される。
以下では、姿勢評価部２４による姿勢評価の例として、図１６及び図１７を参照して、作業者の姿勢負荷の評価として使われているＯＷＡＳ法の分類（OWAS: Ovako Working Posture Analyzing System）を応用した場合を例として挙げる。本実施形態では、後記する分類アルゴリズムにより、作業負荷分類の自動化が達成される。
【0053】
（ＯＷＡＳ法の概要）
まず、ＯＷＡＳ法の概要について、以下の説明を抜粋して引用する（引用元：「ＯＷＡＳ：Ovako式作業姿勢分析システム」http://www.nrec.sakura.ne.jp/OWAS.htmより。ただし、一部図番等修正）。
まず、ＯＷＡＳ法の概要について、以下の説明を抜粋して引用する（引用元：「ＯＷＡＳ：Ovako式作業姿勢分析システム」http://www.nrec.sakura.ne.jp/OWAS.htmより。ただし、一部図番等修正）。
【0054】
「［２］各種作業姿勢評価法とＯＷＡＳ
ＯＷＡＳは、フィンランドの製鉄会社（Ovako Oy, 現Fundia Wire）に勤めていたKarhuやNasmanらやフィンランド労働衛生研究所（Institute of Occupational Health）のKuorinkaらによって１９７０年代前半に開発が開始された。（中略）測定者間の姿勢判別の一致率は９０％以上と高く、２０以上の業種でテストされた。１９８０年代後半以降ＯＷＡＳを調査や作業改善に利用した報告が増えている。
［３］ＯＷＡＳによる作業姿勢の記録法
図１６の例に示すように、ＯＷＡＳではある時点の作業姿勢を背部・上肢・下肢・重さの４項目でとらえ、これをコード化した４桁の数字（姿勢コード）で記録する。この姿勢コードの分類は、不快感の主観的評価・姿勢による健康影響・実用可能性を考慮して決定されたものである。」
ＯＷＡＳは、フィンランドの製鉄会社（Ovako Oy, 現Fundia Wire）に勤めていたKarhuやNasmanらやフィンランド労働衛生研究所（Institute of Occupational Health）のKuorinkaらによって１９７０年代前半に開発が開始された。（中略）測定者間の姿勢判別の一致率は９０％以上と高く、２０以上の業種でテストされた。１９８０年代後半以降ＯＷＡＳを調査や作業改善に利用した報告が増えている。
［３］ＯＷＡＳによる作業姿勢の記録法
図１６の例に示すように、ＯＷＡＳではある時点の作業姿勢を背部・上肢・下肢・重さの４項目でとらえ、これをコード化した４桁の数字（姿勢コード）で記録する。この姿勢コードの分類は、不快感の主観的評価・姿勢による健康影響・実用可能性を考慮して決定されたものである。」
【0055】
ここで、ＯＷＡＳ法では、図１６に示すように、姿勢コードが「１．背部：１）から４）の４つの姿勢に分類（例えば、１）は「まっすぐ」）」、「２．上肢：１）から３）の３つの姿勢に分類（例えば、１）は「両腕とも肩より下」）」、「３．下肢：１）から７）の７つの姿勢に分類（例えば、１）は「すわる」）」、「４．重さまたは力：１）から３）の３つの程度に分類（例えば、１）は「１０ｋｇ以下」）」に整理されているが、このうち、「４．重さまたは力」は作業する対象物の重さや、作業者の力を要する程度を示すものなので、本実施形態では計測対象外とする。「４．重さまたは力」については計測者が指定するものとする。
【0056】
次に、ＯＷＡＳ法では、上記の姿勢に関する記録を行った後に、姿勢の負担度と改善要求度を以下の４段階に分類して判定する（ＡＣ：Action Category）。
ＡＣ１：この姿勢による筋骨格系負担は問題ない。改善は不要である。
ＡＣ２：この姿勢は筋骨格系に有害である。近いうちに改善すべきである。
ＡＣ３：この姿勢は筋骨格系に有害である。できるだけ早期に改善すべきである。
ＡＣ４：この姿勢は筋骨格系に非常に有害である。ただちに改善すべきである。
ＡＣ１：この姿勢による筋骨格系負担は問題ない。改善は不要である。
ＡＣ２：この姿勢は筋骨格系に有害である。近いうちに改善すべきである。
ＡＣ３：この姿勢は筋骨格系に有害である。できるだけ早期に改善すべきである。
ＡＣ４：この姿勢は筋骨格系に非常に有害である。ただちに改善すべきである。
【0057】
この判定にあたっては、図１７に示すＡＣ判定表が用いられる。ＡＣ判定表では、図１７に示すように、左側に「１．背部」と「２．上肢」が、上側に「３．下肢」と「４．重さまたは力」が、それぞれ組み合わされている。組合せの数は、「１．背部」の１）から４）の分類それぞれに「２．上肢」の１）から３）の分類を組み合わせた１２通りの区分と、「３．下肢」の１）から７）の分類それぞれに「４．重さまたは力」の１）から３）の分類を組み合わせた２１通りの区分とにより、全体として２５２通りの区分が設定される。そして、それぞれの区分にＡＣ１からＡＣ４の判定が割り振られている。
【0058】
（本実施形態の姿勢評価アルゴリズム）
次に、図１８から図２４を参照して、本実施形態に係る姿勢評価アルゴリズムを説明する。姿勢評価アルゴリズムでは、ＯＷＡＳ法の分類を応用して以下のアルゴリズムで姿勢評価を自動化する。図１８に、座標位置及び線分、角度に関する名称の定義を、図１９に、アルゴリズムとして、対象となる部位（「１．背部」、「２．上肢」、「３．下肢」）、部位ごとの姿勢の分類、判定方法とデフォルト値を示す。図１９における３つの部位及び部位ごとの姿勢の分類は、図１６に示したＯＷＡＳ法の分類と同様である一方、前述したとおり、「４．重さまたは力」はアルゴリズムに含まれない。
次に、図１８から図２４を参照して、本実施形態に係る姿勢評価アルゴリズムを説明する。姿勢評価アルゴリズムでは、ＯＷＡＳ法の分類を応用して以下のアルゴリズムで姿勢評価を自動化する。図１８に、座標位置及び線分、角度に関する名称の定義を、図１９に、アルゴリズムとして、対象となる部位（「１．背部」、「２．上肢」、「３．下肢」）、部位ごとの姿勢の分類、判定方法とデフォルト値を示す。図１９における３つの部位及び部位ごとの姿勢の分類は、図１６に示したＯＷＡＳ法の分類と同様である一方、前述したとおり、「４．重さまたは力」はアルゴリズムに含まれない。
【0059】
姿勢評価アルゴリズムは図１９に示したとおりであるが、それらのうち、「２．上肢の分類：１）から３）」、及び「３．下肢の分類：１）から６）」については、図１８に記載した、座標位置（例えば、左右手首ＨＬ，ＨＲのＸ，Ｙ，Ｚ座標）、線分（例えば、右肩ＳＲと右肘ＥＲの間の右上腕ＡｒｍＲ１）、角度（例えば、両肩の中点Ｓ０から床面への垂線の交点をＳ０Ｚ０とした時の、Ｓ０Ｚ０－Ｓ０－Ｗ０で決まる角度θS0Z0SW）の定義に基づいて、関連する指標同士の大小関係によって判断されるので、図１９によって説明に代える。それら以外の「１．背部の分類：１）から４）」及び「３．下肢の分類：７）」について、以下に補足する。
【0060】
まず、「１．背部の分類：１）から４）」について、図２０から図２４を参照して説明する。背部Ｂの曲げの判断に使用する関節及び線分は、図２０に示すように、肩幅Ｓ、両肩ＳＬ／ＳＲ、肩幅Ｓの中点Ｓ０，背部Ｂ、腰幅Ｗ、両腰ＷＬ／ＷＲ、腰幅Ｗの中点Ｗ０、中点Ｓ０と中点Ｗ０を結ぶ背部Ｂ（背骨に相当する）を用いる。
【0061】
背部Ｂの曲げは、以下の４つの曲げを取り扱う。
（イ）ひねり
（ロ）横曲げ
（ハ）前曲げ
（ニ）後ろ曲げ
（イ）ひねり
（ロ）横曲げ
（ハ）前曲げ
（ニ）後ろ曲げ
【0062】
４つの曲げの定義にあたって、前提条件として、空間のｘ－ｙ－ｚ方向を、光学カメラ１１ａ，１１ａ１，１１ａ２，１１ａ３で撮影する画角の左右方向をｘ軸、距離カメラ１２ａ，１２ａ１，１２ａ２のレンズ中心から被写体（動体物Ｏ）方向に進む光線方向をｙ軸、光学カメラ１１ａ，１１ａ１，１１ａ２，１１ａ３で撮影する画角の上下方向をｚ軸とする。分かり易いように、座標系は、図２１のように、人物の概略重心位置ＧＣを原点（ｘ＝０、Ｙ＝０、Ｚ＝０）として設定する。概略重心位置ＧＣは、例えば、左肩ＳＬ、右肩ＳＲ、左腰ＷＬ、右腰ＷＲの４点の座標平均でもよいし、左肘ＥＬ、右肘ＥＲ、左膝ＫＬ、右膝ＫＲを加えた８点の座標平均でもよい。
【0063】
（イ）ひねり
図２２に示すように、図２０において、背部Ｂ（Ｓ０－Ｗ０）に垂直であり、中点Ｗ０を含む平面を平面Ｐとし、肩幅Ｓの平面Ｐへの射影線を線分Ｓ’、腰幅Ｗの平面Ｐへの射影線を線分Ｗ’とする。そして、線分Ｓ’及び線分Ｗ’のなす角をθ１とする。θ１は、右腰ＷＲの平面Ｐへの射影点をＷＲ’、右肩ＳＲの平面Ｐへの射影点をＳＲ’としたときに、ＷＲ’－Ｗ０－ＳＲ’のなす角となる。このθ１が、
θ１＞θ１ひねりｌｉｍｉｔ
のとき、ひねり状態と認定する。この定義は、一般的な、例えば横臥位、腹臥位も考慮した定義とするためである。
図２２に示すように、図２０において、背部Ｂ（Ｓ０－Ｗ０）に垂直であり、中点Ｗ０を含む平面を平面Ｐとし、肩幅Ｓの平面Ｐへの射影線を線分Ｓ’、腰幅Ｗの平面Ｐへの射影線を線分Ｗ’とする。そして、線分Ｓ’及び線分Ｗ’のなす角をθ１とする。θ１は、右腰ＷＲの平面Ｐへの射影点をＷＲ’、右肩ＳＲの平面Ｐへの射影点をＳＲ’としたときに、ＷＲ’－Ｗ０－ＳＲ’のなす角となる。このθ１が、
θ１＞θ１ひねりｌｉｍｉｔ
のとき、ひねり状態と認定する。この定義は、一般的な、例えば横臥位、腹臥位も考慮した定義とするためである。
【0064】
（ロ）横曲げ
図２３に示すように、図２０において、腰幅Ｗと背部Ｂを含む平面をＱとする。平面Ｑ上で、中点Ｗ０を通り、腰幅Ｗに垂直な垂線上への背部Ｂの射影線を線分Ｂ”とし、中点Ｓ０の射影点をＳ０”とする。そして、Ｓ０－Ｗ０－Ｓ０”のなす角をθ２とする。このθ２が、
θ２＞θ２横曲げｌｉｍｉｔ
のとき、横曲げ状態と認定する。この定義は、背骨が左右に曲がっているかを考慮したものである。
図２３に示すように、図２０において、腰幅Ｗと背部Ｂを含む平面をＱとする。平面Ｑ上で、中点Ｗ０を通り、腰幅Ｗに垂直な垂線上への背部Ｂの射影線を線分Ｂ”とし、中点Ｓ０の射影点をＳ０”とする。そして、Ｓ０－Ｗ０－Ｓ０”のなす角をθ２とする。このθ２が、
θ２＞θ２横曲げｌｉｍｉｔ
のとき、横曲げ状態と認定する。この定義は、背骨が左右に曲がっているかを考慮したものである。
【0065】
（ハ）前曲げ、（ニ）後ろ曲げ
図２４に示すように、図２０において、腰幅Ｗをｚ軸方向から、ｘ－ｙ平面に射影する。射影された端点をそれぞれＷＬ’及びＷＲ’とし、その中点をＷ０’とする。背骨に相当する背部Ｂを平行移動し、Ｗ０’を端点とした線分Ｂ’（Ｗ０’－Ｓ０’）を作る。線分ＷＬ’－ＷＲ’の中点Ｗ０’を通る線分に垂直な平面への線分Ｂ’の射影線を線分Ｂｆとする。ｚ’－Ｗ０’－Ｓ０ｆで作られる角度がｙプラス方向の角度であれば前曲げ角度θｆとする。ｙマイナス方向の角度すなわちｚ’－Ｗ０’－Ｓ０’で作られる角度であれば、後ろ曲げ角度θｂとする。図２４は、前曲げ角度θｆの場合を図示している。このθｆ又はθｂが、それぞれ、
θｆ＞θｆ前曲げｌｉｍｉｔ
のとき、前曲げ状態と認定し、
θｂ＞θｂ後ろ曲げｌｉｍｉｔ
のとき、後ろ曲げ状態と認定する。なお、θｆを±で定義した場合には、図１９に示したように、後ろ曲げ状態は次のように置き換えてもよい。
θｆ＜θｆ後ろ曲げｌｉｍｉｔ
図２４に示すように、図２０において、腰幅Ｗをｚ軸方向から、ｘ－ｙ平面に射影する。射影された端点をそれぞれＷＬ’及びＷＲ’とし、その中点をＷ０’とする。背骨に相当する背部Ｂを平行移動し、Ｗ０’を端点とした線分Ｂ’（Ｗ０’－Ｓ０’）を作る。線分ＷＬ’－ＷＲ’の中点Ｗ０’を通る線分に垂直な平面への線分Ｂ’の射影線を線分Ｂｆとする。ｚ’－Ｗ０’－Ｓ０ｆで作られる角度がｙプラス方向の角度であれば前曲げ角度θｆとする。ｙマイナス方向の角度すなわちｚ’－Ｗ０’－Ｓ０’で作られる角度であれば、後ろ曲げ角度θｂとする。図２４は、前曲げ角度θｆの場合を図示している。このθｆ又はθｂが、それぞれ、
θｆ＞θｆ前曲げｌｉｍｉｔ
のとき、前曲げ状態と認定し、
θｂ＞θｂ後ろ曲げｌｉｍｉｔ
のとき、後ろ曲げ状態と認定する。なお、θｆを±で定義した場合には、図１９に示したように、後ろ曲げ状態は次のように置き換えてもよい。
θｆ＜θｆ後ろ曲げｌｉｍｉｔ
【0066】
以上を踏まえ、「１．背部の分類：１）から４）」は、図１９に示すように、次のとおり判定される。
・分類２）の判定：「θｆ＞θｆ前曲げｌｉｍｉｔ」又は「θｂ＞θｂ後ろ曲げｌｉｍｉｔ（θｆが±で定義される場合は、θｆ＜θｆ後ろ曲げｌｉｍｉｔ）」であれば、背部Ｂは、「分類２）：前または後ろに曲げる」と判定される。
・分類４）の判定：分類２）でなく、「θ２＞θ２横曲げｌｉｍｉｔ」かつ「θ１＞θ１ひねりｌｉｍｉｔ」であれば、背部Ｂは、「分類４）：ひねりかつ横に曲げる、または斜め前に曲げる」と判定される。
・分類３）の判定：分類４）でなければ、背部Ｂは、「分類３）：ひねるまたは横に曲げる」と判定される。
・分類１）の判定：分類３）でなければ、背部Ｂは、「分類１）：まっすぐ」と判定される。
・分類２）の判定：「θｆ＞θｆ前曲げｌｉｍｉｔ」又は「θｂ＞θｂ後ろ曲げｌｉｍｉｔ（θｆが±で定義される場合は、θｆ＜θｆ後ろ曲げｌｉｍｉｔ）」であれば、背部Ｂは、「分類２）：前または後ろに曲げる」と判定される。
・分類４）の判定：分類２）でなく、「θ２＞θ２横曲げｌｉｍｉｔ」かつ「θ１＞θ１ひねりｌｉｍｉｔ」であれば、背部Ｂは、「分類４）：ひねりかつ横に曲げる、または斜め前に曲げる」と判定される。
・分類３）の判定：分類４）でなければ、背部Ｂは、「分類３）：ひねるまたは横に曲げる」と判定される。
・分類１）の判定：分類３）でなければ、背部Ｂは、「分類１）：まっすぐ」と判定される。
【0067】
次に、「３．下肢の分類：７）」について、図１９に示した姿勢評価アルゴリズムでは、ＯＷＡＳ法における「３．下肢の分類：７）歩く又は移動する」に関する判定については、別のアルゴリズムで求めるとしている。これは、「歩く又は移動する」を検知するためには、動画による連続的な動体の動きの計測と、その動画の各フレームに同期した動体物ＭＯの関節までの距離情報Ｄを用いて、３次元骨格図の時系列的変化を計測し、評価する必要があることによる。この場合は、連続するある一定期間の、フレーム間での一個体である動体物ＭＯの動きを認識する必要がある。
【0068】
そのためには、動体物ＭＯを空間上の１点又は有限な３次元空間領域として捉える。例えば頭部ＨＤの１点を動体物ＭＯの代表点として捉え、その点の動きを、標準的な動画のサンプリング・タイムである３０フレーム／ｓｅｃでサンプリングした場合、約３０ｍｓｅｃごとの３次元空間上での頭部ＨＤの移動時間から、「歩く又は移動する」を推定できる。この場合、代表点は、前述の人体の概略重心位置ＧＣを用いてもよい。また、足が見える状態であれば、両足首ＡｎＬ／ＡｎＲを代表点としてもよい。通常人の歩行は２～３ｍ／ｓｅｃであり、３０フレーム／ｓｅｃでサンプリングした場合、１フレーム間での移動距離は７～１０ｃｍ程度であるので、７～１０ｃｍ程度の移動量で一定方向に一定間隔以上移動していれば、「歩く又は移動する」と判定してよい。このほか、複数の関節位置情報から動体物ＭＯを特定の空間領域として捉え、その個体が、３次元空間内を歩いていると考え、歩行の場合の骨格の動きを考慮して「歩く又は移動する」を判断してもよい。
【0069】
（複数の距離情報からの３次元骨格再構成）
３次元骨格再構成部２３については前述したが、ここで一部補足する。設置場所や視野角の異なる複数の距離カメラ１２ａ１，１２ａ２による同一の動体物ＭＯの関節距離が得られた場合には、複数の距離情報Ｄから一個体の３次元骨格の再構成を行うこととなる。この場合は、例えば、各距離カメラ１２ａ１，１２ａ２で得られた一個体の３次元関節位置の情報を用いて、それぞれの距離カメラ１２ａ１，１２ａ２で得られている個体が同一個体であることを認識する必要がある。そのためには、前述のような一個体の頭部ＨＤの３次元座標位置や、動体物ＭＯの概略重心ＧＣ又は中心位置を用いて、３次元空間上の位置の同一性を判断する必要がある。
３次元骨格再構成部２３については前述したが、ここで一部補足する。設置場所や視野角の異なる複数の距離カメラ１２ａ１，１２ａ２による同一の動体物ＭＯの関節距離が得られた場合には、複数の距離情報Ｄから一個体の３次元骨格の再構成を行うこととなる。この場合は、例えば、各距離カメラ１２ａ１，１２ａ２で得られた一個体の３次元関節位置の情報を用いて、それぞれの距離カメラ１２ａ１，１２ａ２で得られている個体が同一個体であることを認識する必要がある。そのためには、前述のような一個体の頭部ＨＤの３次元座標位置や、動体物ＭＯの概略重心ＧＣ又は中心位置を用いて、３次元空間上の位置の同一性を判断する必要がある。
【0070】
同一個体と判定された場合は、各関節部の位置関係の整合性を確認する。遮蔽物等により欠落した距離情報Ｄが有り、当該する関節位置が別の距離カメラ１２ａ１，１２ａ２で得られる場合は、別の距離カメラ１２ａ１，１２ａ２で得られた値を採用する。ただし、両肩ＳＬ／ＳＲや両腰ＷＬ／ＷＲなどの関節部はカメラに対する人物の向きに依存し、人体の背部、臀部の厚さ分に応じて誤差が生じるので、必要に応じて補正することにする。これにより、遮蔽物による関節データの欠落を少なくし、可能な限りの完成度の高い３次元骨格を再構成することが可能となる。
【0071】
［評価結果表示部］
次に、評価結果表示部３０の例について、図２５から図３２を参照して説明する。評価結果表示部３０では、上記した姿勢評価に基づき、姿勢自動評価装置１が用いられる目的に応じて、いろいろな表示方法が採用されてよいが、主に次の３種類に大別される。
次に、評価結果表示部３０の例について、図２５から図３２を参照して説明する。評価結果表示部３０では、上記した姿勢評価に基づき、姿勢自動評価装置１が用いられる目的に応じて、いろいろな表示方法が採用されてよいが、主に次の３種類に大別される。
【0072】
（１）数値情報
数値情報としては、関節部位を含む各部位を特徴点について、関節位置３次元情報（距離カメラ系、被写体座標系、一般座標系などのような座標系によって数値及び単位は異なる）を表示する。数値情報には、例えば、図１３に例示した右肩ＳＲ、左肩ＳＬ、右肘ＥＲのほか、図６に示した頭部ＨＤ、右手首ＨＲ、左手首ＨＬ、左肘ＥＬ、両肩の中点Ｓ０（首部）、右腰ＷＲ、左腰ＷＬ、右膝ＫＲ、左膝ＫＬ、右足首ＡｎＲ、左足首ＡｎＬに加え、該当する場合には、右手先、左手先、右手指関節、左手指関節、右つま先、左つま先等のｘ軸、ｙ軸、ｚ軸による空間位置座標が含まれる。
数値情報としては、関節部位を含む各部位を特徴点について、関節位置３次元情報（距離カメラ系、被写体座標系、一般座標系などのような座標系によって数値及び単位は異なる）を表示する。数値情報には、例えば、図１３に例示した右肩ＳＲ、左肩ＳＬ、右肘ＥＲのほか、図６に示した頭部ＨＤ、右手首ＨＲ、左手首ＨＬ、左肘ＥＬ、両肩の中点Ｓ０（首部）、右腰ＷＲ、左腰ＷＬ、右膝ＫＲ、左膝ＫＬ、右足首ＡｎＲ、左足首ＡｎＬに加え、該当する場合には、右手先、左手先、右手指関節、左手指関節、右つま先、左つま先等のｘ軸、ｙ軸、ｚ軸による空間位置座標が含まれる。
【0073】
また、数値情報には、図１４に例示した肩幅Ｓ、腰幅Ｗ、背部Ｂ（背丈）、右上腕ＡｒｍＲ１、左上腕ＡｒｍＬ１、右大腿ＴｈｉＲ、左大腿ＴｈｉＬのほか、図６に示した右前腕ＡｒｍＲ２、左前腕ＡｒｍＬ２、右下腿ＬｌｉｍＲ、左下腿ＬｌｉｍＬ等の長さ（関節間距離）が含まれてもよい。さらに、図１４に例示したひねり角θ１、横曲げ角θ２、前曲げ角θｆ、後ろ曲げ角θｂ（又は、－θｆ）が含まれてもよい。
【0074】
（２）文字情報、音情報
前述したように、姿勢自動評価装置１を用いる計測の目的は、腰痛監視システム、見守りシステム、作業効率の検証システム、など、多岐にわたる。文字情報や音情報としては、例えば、腰痛監視システムの場合には、下半身が立位のまま、前傾姿勢で何かを持ち上げようとしたときは、「腰痛注意」の文字を表示したり、「警報音」を発したりしてもよい。見守りシステムの場合には、介護施設等において、入居者の観察のため、「寝ている」、「起きている」、「動いている」、「床に倒れている」等のプライバシーを侵さない範囲での文字を表示したり、「警報音」を発したりしてもよい。作業効率の検証システムの場合には、図１の左下段の上側に示したように、例えば、「上半身」、「下半身」、「手」について、それらの姿勢を表す一般的な評価結果を表示してもよい。
前述したように、姿勢自動評価装置１を用いる計測の目的は、腰痛監視システム、見守りシステム、作業効率の検証システム、など、多岐にわたる。文字情報や音情報としては、例えば、腰痛監視システムの場合には、下半身が立位のまま、前傾姿勢で何かを持ち上げようとしたときは、「腰痛注意」の文字を表示したり、「警報音」を発したりしてもよい。見守りシステムの場合には、介護施設等において、入居者の観察のため、「寝ている」、「起きている」、「動いている」、「床に倒れている」等のプライバシーを侵さない範囲での文字を表示したり、「警報音」を発したりしてもよい。作業効率の検証システムの場合には、図１の左下段の上側に示したように、例えば、「上半身」、「下半身」、「手」について、それらの姿勢を表す一般的な評価結果を表示してもよい。
【0075】
上記のうち、作業効率の検証システムにおいて、前述したＯＷＡＳ法を適用して４段階のＡＣ分類結果を文字表示した場合の例を図２５に示す。また、ＯＷＡＳ法のＡＣ分類の時間経過に伴う推移をチャートの形で表示した例を図２６に示す。図２６は、図１６に示した「４．重さまたは力」が１０～２０ｋｇである場合を例とした推移であり、縦軸は１～４段階のＡＣ分類を、横軸は時間（３０秒単位）を示している。
【0076】
（３）３次元骨格図表示
３次元骨格図表示は、ｘ－ｚ平面投影図、ｙ－ｚ平面投影図、ｘ－ｙ平面投影図や、任意の視点から見た鳥瞰図等がある。これらの骨格図表示や座標位置表示する際の座標系としては例えば次の３つが考えられる。
３次元骨格図表示は、ｘ－ｚ平面投影図、ｙ－ｚ平面投影図、ｘ－ｙ平面投影図や、任意の視点から見た鳥瞰図等がある。これらの骨格図表示や座標位置表示する際の座標系としては例えば次の３つが考えられる。
【0077】
・距離カメラ座標系における関節位置３次元情報表示
距離カメラ１２ａから見た３次元位置情報で、距離カメラ１２ａの目線方向をｙ軸とし、距離カメラ１２ａの視野の横方向をｘ軸、縦方向をｚ軸とする場合の一例を図２７に示す。
距離カメラ１２ａから見た３次元位置情報で、距離カメラ１２ａの目線方向をｙ軸とし、距離カメラ１２ａの視野の横方向をｘ軸、縦方向をｚ軸とする場合の一例を図２７に示す。
【0078】
・被写体座標系における関節位置３次元情報表示
人体などの姿勢を３次元的に確認する上で、人体の概略中心位置を定義し、その点を３次元座標空間の原点として、人体外部任意の位置からの鳥瞰的な３次元骨格を観察できるようにすることは、非常に効果的な手段である。人体の概略中心位置の定義は、図１２で示した人体骨格図の全ての計測された関節の３次元座標値の平均値であってもよい。また、両肩、両腰等の限られた関節箇所の座標の平均値であってもよい。被写体を人体とした場合の被写体座標系の一例を図２８に示す。また、被写体座標系上の被写体骨格をｘ、ｙ、ｚ軸上から見た３次元平面図を光学カメラ像とともに図２９に示す。同じく、被写体座標系上で、任意の視点から見た、３次元骨格の鳥瞰図の一例を光学カメラ像とともに図３０に示す。
人体などの姿勢を３次元的に確認する上で、人体の概略中心位置を定義し、その点を３次元座標空間の原点として、人体外部任意の位置からの鳥瞰的な３次元骨格を観察できるようにすることは、非常に効果的な手段である。人体の概略中心位置の定義は、図１２で示した人体骨格図の全ての計測された関節の３次元座標値の平均値であってもよい。また、両肩、両腰等の限られた関節箇所の座標の平均値であってもよい。被写体を人体とした場合の被写体座標系の一例を図２８に示す。また、被写体座標系上の被写体骨格をｘ、ｙ、ｚ軸上から見た３次元平面図を光学カメラ像とともに図２９に示す。同じく、被写体座標系上で、任意の視点から見た、３次元骨格の鳥瞰図の一例を光学カメラ像とともに図３０に示す。
【0079】
・一般座標系における関節位置３次元情報表示
広い工場内の作業者の３次元的な作業姿勢の解析で、特に人流解析を含めた場合などには、工場内の任意の位置を座標原点として、任意の視点からの被写体の３次元的骨格図の表示が適切な場合がある。その場合にも本構成で表示が可能である。一般座標系で骨格をｘ－ｚ平面に射影した例を図３１に示す。
広い工場内の作業者の３次元的な作業姿勢の解析で、特に人流解析を含めた場合などには、工場内の任意の位置を座標原点として、任意の視点からの被写体の３次元的骨格図の表示が適切な場合がある。その場合にも本構成で表示が可能である。一般座標系で骨格をｘ－ｚ平面に射影した例を図３１に示す。
【0080】
ここで、画像と重複する視野をもつ距離カメラ１２ａの設置位置とその距離カメラ１２ａの仰角θ方向の認識手段について、図３２を参照して説明する。画像と重複する視野をもつ距離カメラの設置位置を半自動又は全自動で設定する方法の一つとしては、あらかじめ工場内図面で既知の、一直線上に乗らない３個所を、画像上で位置指定し、その３点に対応する距離データを得ることで、工場内のどの位置に距離計測装置が設置されているかが決まる。また、距離カメラ１２ａの仰角θは、画像上で床面Ｆを数点位置指定することで、その距離から床平面に対し何度の仰角θで設置されているかが求まる。
【0081】
距離カメラの仰角θを求めるキャリブレーション手法は、次のとおりである。
（１）画面上で指定された３点の床面Ｆの座標位置と距離から、前記記載の手法によりカメラ座標系の３次元座標を求める。
（２）求めた３次元座標から、３点を通る平面の法線ベクトルｎを求める
（３）求めたカメラ座標系上の法線ベクトルｎと一般座標系のＺ軸のなす仰角θを求める。
（１）画面上で指定された３点の床面Ｆの座標位置と距離から、前記記載の手法によりカメラ座標系の３次元座標を求める。
（２）求めた３次元座標から、３点を通る平面の法線ベクトルｎを求める
（３）求めたカメラ座標系上の法線ベクトルｎと一般座標系のＺ軸のなす仰角θを求める。
【0082】
詳細を以下に示す。まず、床面Ｆの座標と距離の３点ｐ１、ｐ２、ｐ３をｐ１＝（ξ１，η１，ｄ１）、ｐ２＝（ξ２，η２，ｄ２）、ｐ３＝（ξ３，η３，ｄ３）とする。このとき、ξは画像上のｘ座標、ηは画像上のｙ座標、ｄは距離を表す。床面Ｆの座標と距離を前記記載の手法により、カメラ座標系の３次元座標ｐ，
１、ｐ，
２、ｐ，
３に変換する。
【0083】
床面Ｆの三次元座標の３点をｐ１＝（ｘ１，ｙ１，ｚ１）、ｐ２＝（ｘ２，ｙ２，ｚ２）、ｐ３＝（ｘ３，ｙ３，ｚ３）としたとき、点ｐ，
１と点ｐ，
２を通るベクトルｖ１＝（ｘ２－ｘ１，ｙ２－ｙ１，ｚ２－ｚ１）を求める。同様に点ｐ，
１と点ｐ，
３を通るベクトルｖ２も求める。点ｐ，
１、点ｐ，
２、点ｐ，
３を通る平面の法線ベクトルｎは、ｖ１とｖ２の外積で求めることができる。ここでは、３点を使って法線ベクトルｎを求める方法を記したが、本実施形態はこれに限定されるものではない。法線ベクトルｎを求める方法であればどのような方法でもよく、複数点から求めてもよい。複数点から法線ベクトルｎを求める方法は、例えば最小二乗法を使う方法や、ＲＡＮＳＡＣ（RANdom SAmple Consensus）アルゴリズムを使う方法などが考えられる。
【0084】
さらに、求めた法線ベクトルｎ＝（ｎｘ，ｎｙ，ｎｚ）と一般座標系Ｚ軸とのなす仰角θは、以下のように求める。
【数1】
【0085】
ここまでが距離カメラ１２ａの仰角θを求めるキャリブレーション方法である。さらに、求めた距離カメラの仰角θを使ってカメラ座標系の一点（ｘ，ｙ，ｚ）を一般座標系の一点（Ｘ，Ｙ，Ｚ）に変換する式は以下のようになる。
【数2】
【0086】
上記記載のキャリブレーション手法ではカメラ座標系のＸ軸、Ｙ軸とワールド座標系のＸ軸、Ｙ軸は一致しているとして、仰角θのみを求めた。もちろんカメラ座標系のＸ軸と一般座標系のＸ軸のなす角である方位を求めて、仰角θと方位によってキャリブレーションを行ってもよい。また、今回は画像上の床面Ｆを手動により指定する方法を示したが、画像から床面Ｆを自動抽出してもよい。
【0087】
さらに、今回示した手法は一例であり、カメラ座標系と一般座標系を一致させる手法であれば、どのような方法でも構わない。距離カメラの仰角θ方向の自動認識手段としては、例えば３軸の加速度センサを装着する方法がある。
【0088】
さらに、キャリブレーションはカメラ設置時に一回実施してもよいし、撮影ごとに実施してもよい。
【0089】
［姿勢自動評価方法］
以上、姿勢自動評価装置１について実施形態を説明したが、姿勢自動評価装置１において採用されている方法は、姿勢自動評価方法として構成されてもよい。すなわち、動体物ＭＯについての姿勢自動評価方法は、動体物ＭＯを計測する計測ステップと、計測ステップの計測結果を評価する評価ステップと、評価ステップの評価結果を表示する評価結果表示ステップとを備える。計測ステップは、動体物ＭＯを撮影する画像取得ステップと、画像取得ステップによる撮影と時間的に同期し、撮影された画像と重複する視野をもつ、動体物ＭＯまでの距離を計測する距離取得ステップとを備える。評価ステップは、撮影された画像から任意の特徴点を抽出する特徴点位置判断ステップ（関節位置判断ステップ）と、抽出された特徴点までの空間距離を計算する特徴点距離計算ステップ（関節位置計算ステップ）と、動体物ＭＯの骨格を再構成する３次元骨格再構成ステップと、動体物ＭＯの姿勢を評価する姿勢評価ステップとを備える。評価結果表示ステップは、評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する。
以上、姿勢自動評価装置１について実施形態を説明したが、姿勢自動評価装置１において採用されている方法は、姿勢自動評価方法として構成されてもよい。すなわち、動体物ＭＯについての姿勢自動評価方法は、動体物ＭＯを計測する計測ステップと、計測ステップの計測結果を評価する評価ステップと、評価ステップの評価結果を表示する評価結果表示ステップとを備える。計測ステップは、動体物ＭＯを撮影する画像取得ステップと、画像取得ステップによる撮影と時間的に同期し、撮影された画像と重複する視野をもつ、動体物ＭＯまでの距離を計測する距離取得ステップとを備える。評価ステップは、撮影された画像から任意の特徴点を抽出する特徴点位置判断ステップ（関節位置判断ステップ）と、抽出された特徴点までの空間距離を計算する特徴点距離計算ステップ（関節位置計算ステップ）と、動体物ＭＯの骨格を再構成する３次元骨格再構成ステップと、動体物ＭＯの姿勢を評価する姿勢評価ステップとを備える。評価結果表示ステップは、評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する。
【0090】
［姿勢自動評価プログラム］
また、この姿勢自動評価方法は、その実行内容をプログラム化し、コンピュータに実行させるように姿勢自動評価プログラムとして構成されてもよい。すなわち、動体物ＭＯについての姿勢自動評価プログラムは、コンピュータに、動体物ＭＯを計測する計測処理と、計測処理の計測結果を評価する評価処理と、評価処理の評価結果を表示する評価結果表示処理とを実行させる。計測処理は、動体物ＭＯを撮影する画像取得処理と、画像取得処理による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、動体物ＭＯまでの距離を計測する距離取得処理とを備える。評価処理は、撮影された画像から任意の特徴点を抽出する特徴点位置判断処理（関節位置判断処理）と、抽出された特徴点までの空間距離を計算する特徴点距離計算処理（関節位置距離計算処理）と、動体物ＭＯの骨格を再構成する３次元骨格再構成処理と、動体物ＭＯの姿勢を評価する姿勢評価処理とを備える。評価結果表示処理は、評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する。
また、この姿勢自動評価方法は、その実行内容をプログラム化し、コンピュータに実行させるように姿勢自動評価プログラムとして構成されてもよい。すなわち、動体物ＭＯについての姿勢自動評価プログラムは、コンピュータに、動体物ＭＯを計測する計測処理と、計測処理の計測結果を評価する評価処理と、評価処理の評価結果を表示する評価結果表示処理とを実行させる。計測処理は、動体物ＭＯを撮影する画像取得処理と、画像取得処理による撮影と時間的に同期し、撮影された画像と重複する視野をもつ、動体物ＭＯまでの距離を計測する距離取得処理とを備える。評価処理は、撮影された画像から任意の特徴点を抽出する特徴点位置判断処理（関節位置判断処理）と、抽出された特徴点までの空間距離を計算する特徴点距離計算処理（関節位置距離計算処理）と、動体物ＭＯの骨格を再構成する３次元骨格再構成処理と、動体物ＭＯの姿勢を評価する姿勢評価処理とを備える。評価結果表示処理は、評価結果を数値情報、文字情報、音情報及び３次元骨格図の少なくとも１つをもって表示する。
【0091】
［実施形態の効果］
本実施形態に係る姿勢自動評価装置１、姿勢自動評価方法及び姿勢自動評価プログラムについて説明したが、姿勢自動評価装置１、姿勢自動評価方法及び姿勢自動評価プログラムは、上記のように構成したことにより、動体物の姿勢の負荷を非接触で定時間ごとに定量的に計測し、その負荷を評価することができる。
本実施形態に係る姿勢自動評価装置１、姿勢自動評価方法及び姿勢自動評価プログラムについて説明したが、姿勢自動評価装置１、姿勢自動評価方法及び姿勢自動評価プログラムは、上記のように構成したことにより、動体物の姿勢の負荷を非接触で定時間ごとに定量的に計測し、その負荷を評価することができる。
【0092】
より具体的には、姿勢自動評価装置１、姿勢自動評価方法及び姿勢自動評価プログラムは、動体物ＭＯ（作業者などの人体のほか、動物やロボット等）に非接触で計測が可能となり、計測者にとっても計測作業を無人化することで省力化し、長時間にわたり、属人性を排除した計測が実現できる。また、計測する負荷のスレッショルド（例えば、背部の前傾角度のスレッショルド値）の設定等も指定できる。また、常時計測が可能なため、例えば、腰痛を起こしやすい姿勢をした場合に、警告を発する等の機能実現も可能となる。
【符号の説明】
【0093】
１…姿勢自動評価装置
１０…計測部
１１…画像取得部
１１ａ，１１ａ１，１１ａ２，１１ａ３…光学カメラ
１２…距離取得部
１２ａ，１２ａ１，１２ａ２…距離カメラ
２０…評価部
２１…関節位置判断部（特徴点位置判断部）
２２…関節距離計算部（特徴点距離計算部）
２３…３次元骨格再構成部
２４…姿勢評価部
３０…評価結果表示部
ＭＯ…動体物
Ａ，Ｂ…ステレオカメラ
ＣＯ…円形物体
ＲＯ…矩形物体
１０…計測部
１１…画像取得部
１１ａ，１１ａ１，１１ａ２，１１ａ３…光学カメラ
１２…距離取得部
１２ａ，１２ａ１，１２ａ２…距離カメラ
２０…評価部
２１…関節位置判断部（特徴点位置判断部）
２２…関節距離計算部（特徴点距離計算部）
２３…３次元骨格再構成部
２４…姿勢評価部
３０…評価結果表示部
ＭＯ…動体物
Ａ，Ｂ…ステレオカメラ
ＣＯ…円形物体
ＲＯ…矩形物体
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
