ホーム > 特許ランキング > 国立大学法人東京工業大学
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-24
(45)【発行日】2024-08-01
(54)【発明の名称】動作計測装置およびプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240725BHJP
G01B 11/00 20060101ALI20240725BHJP
【ＦＩ】
G06T7/70 Z
G01B11/00 H
【請求項の数】
13
(21)【出願番号】P 2020130922
(22)【出願日】2020-07-31
(65)【公開番号】P2022007839
(43)【公開日】2022-01-13
【審査請求日】2023-07-10
(31)【優先権主張番号】P 2019142943
(32)【優先日】2019-08-02
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2020124704
(32)【優先日】2020-07-21
(33)【優先権主張国・地域又は機関】JP
【新規性喪失の例外の表示】特許法第３０条第２項適用 特願２０１９－１４２９４３、令和１年８月３０日提出、変更を要しないため省略する。
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２９年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業、チーム型研究（ＣＲＥＳＴ）、「人間と情報環境の共生インタラクション基盤技術の創出と展開」、「技能獲得メカニズムの原理解明および獲得支援システムへの展開」、「技能の抽象化と獲得メカニズムの原理解明、および獲得支援技術の開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】小池 英樹
(72)【発明者】
【氏名】ファン ドンヒュン
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開２０１７－１２６９４２（ＪＰ，Ａ）
【文献】Weipeng Xu; Avishek Chatterjee; Michael Zollhofer; Helge Rhodin; Pascal Fua;Hans-Peter Seidel; Christian Theobalt，Mo2Cap2: Real-time Mobile 3D Motion Capture with a Cap-mounted Fisheye Camera，IEEE Transactions on Visualization and Computer Graphics，米国，IEEE，2019年05月，Volume 25，pp.2093-2101，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8643070
【文献】田中 恭友、小池 英樹，小型広角カメラを用いた視線方向の推定，第２５回インタラクティブシステムとソフトウェアに関するワークショップ，日本，日本ソフトウェア科学会インタラクティブシステムとソフトウェア研究会，2017年12月08日，P.1-4
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／７０
Ｇ０１Ｂ １１／００
(57)【特許請求の範囲】
【請求項1】
被験者の身体のうち胸部に装着することにより、前記被験者の顎部分を含む前記身体の一部を画像として捉える広角カメラと、前記画像から、前記顎部分および前記身体の一部に対応する特徴点を抽出する特徴点抽出部と、
前記特徴点を用いて、前記被験者の三次元の姿勢を推定する三次元姿勢推定部と、を備え、
前記特徴点抽出部は、前記画像から前記顎部分を抽出して前記顎部分に前記特徴点を付与し、前記顎部分の前記特徴点の位置から前記顎部分以外の前記身体の一部が存在する位置を確率で判断し、判断した前記身体の一部に対応する前記特徴点を付与するとともに、予め機械学習により取得した学習データを用いて、前記画像に写っていない身体の部分を推測して、前記特徴点を補完する、ことを特徴とする動作計測装置。
【請求項2】
前記三次元姿勢推定部は、予め機械学習により取得した学習データを用いて、前記三次元の姿勢の推定を行うことを特徴とする請求項１に記載の動作計測装置。
【請求項3】
前記三次元姿勢推定部は、前記特徴点間を結んでデータ内骨格を形成することを特徴とする請求項１または２に記載の動作計測装置。
【請求項4】
前記機械学習は、前記学習データを複数用いた確率による推論を含むことを特徴とする請求項１～３のうち何れか一項に記載の動作計測装置。
【請求項5】
前記広角カメラの少なくとも上下方向の姿勢を推定するカメラ姿勢推定部を備え、前記カメラ姿勢推定部は、推定された前記広角カメラの姿勢に基づいて前記被験者の三次元の姿勢を補正して推定することを特徴とする請求項１～４のうち何れか一項に記載の動作計測装置。
【請求項6】
前記被験者の頭部の姿勢を推定する頭部姿勢推定部と、推定された頭部の姿勢から前記被験者の視線方向を推定して、前記広角カメラで捉えた画像から視線方向の画像を生成する視線画像生成部と、
を備えることを特徴とする請求項１～５のうち何れか一項に記載の動作計測装置。
【請求項7】
前記頭部姿勢推定部は、前記被験者の頭部の姿勢を学習データを用いて推定することを特徴とする請求項６に記載の動作計測装置。
【請求項8】
前記広角カメラのレンズは、魚眼レンズであることを特徴とする請求項１～７のうち何れか一項に記載の動作計測装置。
【請求項9】
被験者の身体のうち胸部に広角カメラを装着することにより、前記被験者の顎部分を含む前記身体の一部を画像として撮影する撮影ステップと、前記画像から前記顎部分および前記身体の一部に対応する特徴点を抽出する特徴点抽出ステップと、
予め機械学習により学習データを取得する学習ステップと、
前記顎部分に付与された前記特徴点の位置から前記顎部分以外の前記身体の一部が存在する位置を確率で判断し、判断した前記身体の一部に対応する特徴点を付与するとともに、前記学習ステップで学習された学習データを用いて、前記画像に写っていない身体の部分を推測して、前記特徴点を補完する特徴点抽出ステップと、
前記特徴点から前記被験者の三次元の姿勢を推定する姿勢推定ステップと、を備えることを特徴とするプログラム。
【請求項10】
前記学習ステップは、前記被験者の情報またはデータで構成された仮想被験者を用いて機械学習を行うことを特徴とする請求項９に記載のプログラム。
【請求項11】
前記姿勢推定ステップは、前記学習ステップで学習された学習データを用いて、前記被験者の三次元の姿勢を推定することを特徴とする請求項９または１０に記載のプログラム。
【請求項12】
前記姿勢推定ステップは、前記広角カメラの画像から少なくとも上下方向の広角カメラの姿勢を推定するステップと、推定された前記広角カメラの姿勢を用いて補正して前記被験者の姿勢を推定するステップと、を有することを特徴とする請求項９～１１のうち何れか一項に記載のプログラム。
【請求項13】
前記被験者の頭部の姿勢を推定する頭部姿勢推定ステップと、推定された頭部の姿勢から前記被験者の視線方向を推定する視線方向推定ステップと、 前記広角カメラで捉えた画像から視線方向の画像を生成する視線画像生成ステップと、を備えることを特徴とする請求項９～１２のうち何れか一項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動作計測装置およびプログラムに関する。
【背景技術】
【0002】
従来、被検体の動作の特異点および被検体の動作の特徴情報を自動で抽出し、表示することができるモーションキャプチャ技術がある（例えば、特許文献１等参照）。
【先行技術文献】
【非特許文献】
【0003】
【文献】特開２０１７－５３７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来のモーションキャプチャ技術としては、人物の動作の計測を行うため、光学系を用いるモーションキャプチャ手法が知られている。このような光学系の計測方法では、例えば被検体である人物の身体の複数点に装着されるマーカーと、角度の異なる位置に配置し、マーカーの動きを三角測量の原理で計測して時系列的に撮影する複数のカメラと、複数のカメラの撮影情報からマーカーの三次元時系列位置情報を得る画像処理装置とを備えている。
例えば屋内の所定の領域内に向けて設置された複数のカメラによって、マーカーを追尾することにより、この領域にて被検体の動きの計測を行う。しかしながら、この計測方法では、カメラで捕捉できる屋内等の一定の領域内でなければ、被検体の動きを検出できない。このため、屋外等、広い領域などにおける計測には不向きであり、計測可能な範囲が限定されてしまう。
例えば屋内の所定の領域内に向けて設置された複数のカメラによって、マーカーを追尾することにより、この領域にて被検体の動きの計測を行う。しかしながら、この計測方法では、カメラで捕捉できる屋内等の一定の領域内でなければ、被検体の動きを検出できない。このため、屋外等、広い領域などにおける計測には不向きであり、計測可能な範囲が限定されてしまう。
【0005】
また、加速度センサやジャイロセンサ等の各種センサを被験者の身体に装着する無線通信系のモーションキャプチャ手法が知られている。
無線通信系のモーションキャプチャの場合は、全身スーツを着用して、その上からマーカーもしくはジャイロセンサ等の各種センサ類を位置決め装着している。
このため、全身スーツおよび各種センサ類の装脱着が煩雑で、被験者の負荷が増大してしまう。
無線通信系のモーションキャプチャの場合は、全身スーツを着用して、その上からマーカーもしくはジャイロセンサ等の各種センサ類を位置決め装着している。
このため、全身スーツおよび各種センサ類の装脱着が煩雑で、被験者の負荷が増大してしまう。
【0006】
そこで、本発明は、被験者の装脱着に伴う負荷を低減させて、撮影領域が限定されることなく、例えば屋外等でも被験者の動きを捉えることができる動作計測装置およびプログラムを提供することを課題としている。
【課題を解決するための手段】
【0007】
本発明に係る動作計測装置は、被験者の身体のうち胸部に装着することにより、前記被験者の顎部分を含む前記身体の一部を画像として捉える広角カメラと、前記画像から、前記顎部分および前記身体の一部に対応する特徴点を抽出する特徴点抽出部と、前記特徴点を用いて、前記被験者の三次元の姿勢を推定する三次元姿勢推定部と、を備え、前記特徴点抽出部は、前記画像から前記顎部分を抽出して前記顎部分に前記特徴点を付与し、前記顎部分の前記特徴点の位置から前記顎部分以外の前記身体の一部が存在する位置を確率で判断し、判断した前記身体の一部に対応する前記特徴点を付与するとともに、予め機械学習により取得した学習データを用いて、前記画像に写っていない身体の部分を推測して、前記特徴点を補完する、ことを特徴としている。その他の解決手段は発明を実施するための形態において後記する。
【発明の効果】
【0008】
本発明によれば、広角カメラによって、少なくとも被験者の身体の一部を捉えた画像が撮影される。特徴点抽出部では、画像から被験者の特徴点を抽出する。そして、三次元姿勢推定部は、特徴点から被験者の三次元の姿勢を推定する。
このため、被験者の装脱着に伴う負荷を低減させて、撮影領域が限定されることなく、例えば屋外等でも被験者の動きを捉えることができる動作計測装置およびプログラムが提供される。
このため、被験者の装脱着に伴う負荷を低減させて、撮影領域が限定されることなく、例えば屋外等でも被験者の動きを捉えることができる動作計測装置およびプログラムが提供される。
【図面の簡単な説明】
【0009】
【図1】実施形態１の動作計測装置の撮影に用いる広角カメラを被験者の胸部に装着した様子を示す斜視図である。
【図2】実施形態１の広角カメラで撮影された画像の一例であり、周縁に被験者の身体の一部が歪んで写っている様子を示す図である。
【図3】実施形態１の動作計測装置で、被験者の胸部の前に広角カメラが装着された場合の撮影範囲を示す模式図である。
【図4】（ａ）～（ｅ）は、実施形態１の動作計測装置で行われる処理の順序を示す模式図である。
【図5】実施形態１の動作計測装置の構成を説明し、特徴点抽出部を中心に示すブロック図である。
【図6】実施形態１の動作計測装置の構成を説明し、三次元姿勢推定部を中心に示す機能ブロック図である。
【図7】実施形態１で用いる動作計測装置の処理の流れを示すフローチャートである。
【図8】実施形態の動作計測装置で、三次元姿勢推定部にＡカメラ姿勢推定部を組み合わせ、または、Ｂ頭部姿勢推定部を組合わせた概念的模式図である。
【図9】実施形態２の動作計測装置で、カメラの姿勢により身体の姿勢の補正を行う装置本体の構成を表すブロック図である。
【図10】実施形態３の動作測定装置で、頭部の姿勢を推定することにより視線の推定を行う装置本体の構成を表すブロック図である。
【図11】実施形態３の動作計測装置で、頭部の姿勢から被験者の視線の先の風景を投影する処理の順序を示す模式図である。
【図12】実施形態３の動作計測装置で、（ａ）は、広角レンズで撮像された一例を示す図、（ｂ）は、（ａ）を視線の方向に平面化した図、（ｃ）は、広角レンズで撮像された他の例を示す図、（ｄ）は、（ｃ）を視線の方向に平面化した図である。
【図13】実施形態３の動作計測装置で、広角カメラが捉えている画像Ｂ１と、実際の視線の先の画像Ｈ１とは異なることを示す概念図である。
【図14】実施形態３の動作計測装置で、広角カメラが捉えた画像を、実際の視線の先の画像と一致させた画像Ｂ２を生成する様子を示す概念図である。
【発明を実施するための形態】
【実施形態１】
【0010】
〔計測装置１０〕
図１に示すように、広角カメラ１と無線により接続される計測装置１０は、箱状の装置本体１１内に、主にＣＰＵを含み特徴点を抽出する特徴点抽出部１２と、特徴点を用いて、被験者Ｐの三次元の姿勢を推定する三次元姿勢推定部１３と、記憶媒体により主に構成されていて、各データを記憶する記憶部１４とを備えている。
また、計測装置１０は、図示しない通信部を介して広角カメラ１との間でデータの送受信が可能となるように構成されている。
すなわち、計測装置１０は、通信部を介して図４（ａ）に示すように、広角カメラ１から送信された被験者Ｐの胸部を広角カメラ１で撮影した画像データを受信する。画像データには、図４（ｂ）に示すように前方の風景２０とともに、被験者Ｐの一部である顎５や手７，足８等が周縁の画像として撮影されている。
図１に示すように、広角カメラ１と無線により接続される計測装置１０は、箱状の装置本体１１内に、主にＣＰＵを含み特徴点を抽出する特徴点抽出部１２と、特徴点を用いて、被験者Ｐの三次元の姿勢を推定する三次元姿勢推定部１３と、記憶媒体により主に構成されていて、各データを記憶する記憶部１４とを備えている。
また、計測装置１０は、図示しない通信部を介して広角カメラ１との間でデータの送受信が可能となるように構成されている。
すなわち、計測装置１０は、通信部を介して図４（ａ）に示すように、広角カメラ１から送信された被験者Ｐの胸部を広角カメラ１で撮影した画像データを受信する。画像データには、図４（ｂ）に示すように前方の風景２０とともに、被験者Ｐの一部である顎５や手７，足８等が周縁の画像として撮影されている。
【0011】
〔学習データ（サンプル）の学習〕
学習データ（サンプル）の学習を行うため、被験者Ｐと同様に、サンプル作成者が広角カメラ１を胸部につけて、機械学習（ディープラーニング）のためのデータを収集する方
法がある。
しかしながら、精度を向上させるために、サンプル作成者にカメラを装着して膨大な量のデータ（例えば１５万フレーム等）を収集するのは、サンプル作成者の負担を考慮すると現実的ではない。
そこで、本実施形態のサンプルの学習では、被検体をサンプル作成者に代えて、データにより構成された仮想被験者を用いて、短時間で多数のデータを収集する。
仮想被験者のパラメータとしては、体重、身長、服装、背景画像の朝昼夜、天候等を用いる。これらのパラメータおよびパラメータの組合わせを変えて、仮想被験者のデータを収集する。収集されたデータは、図１に示す記憶部１４に記憶される。
例えば、１５万枚程度のデータの蓄積により、十分に三次元データを補完可能な学習が行える。また、例えば、効率的なパラメータの組合わせが行われることにより、さらに精度を向上させることもできる。
学習データ（サンプル）の学習を行うため、被験者Ｐと同様に、サンプル作成者が広角カメラ１を胸部につけて、機械学習（ディープラーニング）のためのデータを収集する方
法がある。
しかしながら、精度を向上させるために、サンプル作成者にカメラを装着して膨大な量のデータ（例えば１５万フレーム等）を収集するのは、サンプル作成者の負担を考慮すると現実的ではない。
そこで、本実施形態のサンプルの学習では、被検体をサンプル作成者に代えて、データにより構成された仮想被験者を用いて、短時間で多数のデータを収集する。
仮想被験者のパラメータとしては、体重、身長、服装、背景画像の朝昼夜、天候等を用いる。これらのパラメータおよびパラメータの組合わせを変えて、仮想被験者のデータを収集する。収集されたデータは、図１に示す記憶部１４に記憶される。
例えば、１５万枚程度のデータの蓄積により、十分に三次元データを補完可能な学習が行える。また、例えば、効率的なパラメータの組合わせが行われることにより、さらに精度を向上させることもできる。
【0012】
〔特徴点抽出部１２〕
計測装置１０の特徴点抽出部１２（図１参照）には、図４（ｃ）に示すように、エンコーダ３０（オートエンコーダ）が設けられている。
まず、図５を用いてエンコーダ３０の構成について説明する。本実施形態のエンコーダ３０は、二次元画像から機械学習により取得した学習データを用いて、ニューラルネットワークは、特徴点を抽出する。
計測装置１０の特徴点抽出部１２（図１参照）には、図４（ｃ）に示すように、エンコーダ３０（オートエンコーダ）が設けられている。
まず、図５を用いてエンコーダ３０の構成について説明する。本実施形態のエンコーダ３０は、二次元画像から機械学習により取得した学習データを用いて、ニューラルネットワークは、特徴点を抽出する。
【0013】
図５では、各箱の大きさによりデータの大きさを表している。魚眼レンズ３で撮影された二次元画像のデータは、２５６×２５６×３（縦×横×ＲＧＢチャンネル）に分解されて、エンコーダ３０に入力される。
【0014】
エンコーダ３０は、次の処理段階に適するように二次元画像のデータを符号化する。エンコーダ３０では、撮影された二次元の画像のデータを、図４（ｄ）のようにヒートマップモジュールを適用して、正規化（標準化または、単純化(もしくは抽象化））および除
外（切り捨て）等の処理を行い、適宜分解する。ここでは、１３枚の二次元画像(確率分
布図)に分解されている。
そして、図４（ｅ）に示すように、最も確率密度が高い部分である顎５、肘６，手７，足８，肩９に対応する部分が二次元画像の集合として特徴点５ａ～９ａとなる（図２参照）。
外（切り捨て）等の処理を行い、適宜分解する。ここでは、１３枚の二次元画像(確率分
布図)に分解されている。
そして、図４（ｅ）に示すように、最も確率密度が高い部分である顎５、肘６，手７，足８，肩９に対応する部分が二次元画像の集合として特徴点５ａ～９ａとなる（図２参照）。
【0015】
〔三次元姿勢推定部１３〕
次に、図４（ｆ）に示すように、特徴点５ａ～９ａを含む二次元座標の集合は、一次元のベクターに変換されて三次元姿勢推定部１３のデコーダ４０に送られる。
本実施形態のデコーダ４０は、ニューラルネットワーク（全結合層４１）により構成されていて、符号化されている複数枚の二次元データの情報を三次元の画像データとする。
本実施形態のデコーダ４０では、予め機械学習により取得した学習データを用いて、三次元の姿勢の推定を行う。
次に、図４（ｆ）に示すように、特徴点５ａ～９ａを含む二次元座標の集合は、一次元のベクターに変換されて三次元姿勢推定部１３のデコーダ４０に送られる。
本実施形態のデコーダ４０は、ニューラルネットワーク（全結合層４１）により構成されていて、符号化されている複数枚の二次元データの情報を三次元の画像データとする。
本実施形態のデコーダ４０では、予め機械学習により取得した学習データを用いて、三次元の姿勢の推定を行う。
【0016】
すなわち、図６に示すように、デコーダ４０は、一次元ベクター化された２次元の座標の集合の数値を全結合層４１（ここでは、ＢodyＰoseＮet：以下、ＢＰＮとも記す。）に入力し、３次元座標の集合を一次元のベクターで出力する。これにより、各関節の二次元位置関係を元に関節の３次元座標が推定される。
このように、本実施形態の三次元姿勢推定部は、分解された１３枚の二次元画像からデコーダ４０を用いて、図４（ｇ）に示すような被験者Ｐの三次元の姿勢を表す姿勢データＰ１を生成する。
このように、本実施形態の三次元姿勢推定部は、分解された１３枚の二次元画像からデコーダ４０を用いて、図４（ｇ）に示すような被験者Ｐの三次元の姿勢を表す姿勢データＰ１を生成する。
【0017】
すなわち、広角カメラ１（図４（ａ）参照）で撮影された二次元画像（図４（ｂ）参照
）は、予め蓄積された学習データを用いる三次元姿勢推定部により、被験者Ｐの三次元の姿勢を表す三次元画像となる（図４（ｇ）参照）。
このため、被験者Ｐは、全身スーツや各種センサ類の装脱着が不要となる。このため、装脱着に伴う負荷が低減する。また、撮影領域が限定されることなく、例えば屋外等でも被験者の動きを捉えることができる動作計測装置が提供される。
）は、予め蓄積された学習データを用いる三次元姿勢推定部により、被験者Ｐの三次元の姿勢を表す三次元画像となる（図４（ｇ）参照）。
このため、被験者Ｐは、全身スーツや各種センサ類の装脱着が不要となる。このため、装脱着に伴う負荷が低減する。また、撮影領域が限定されることなく、例えば屋外等でも被験者の動きを捉えることができる動作計測装置が提供される。
【0018】
〔特徴点の抽出〕
次に、特徴点抽出について詳述する。
特徴点抽出部１２のエンコーダ３０は、撮影された二次元の魚眼画像を図４（ｄ）のようにヒートマップモジュールに従った複数の二次元画像に分解する。
そして、図４（ｅ）に示すように、顎５、肘６，手７，足８，肩９に対応する部分を対応する特徴点５ａ～９ａとして抽出して、二次元画像に付与する（図２参照）。この際、学習データが予め与えられているため、特徴点５ａ～９ａの位置精度を向上させることができる。
なお、学習データを用いず、予め与えられる拘束条件、例えば、人体の骨格と同じ組合せの拘束条件を用いてもよい。
次に、特徴点抽出について詳述する。
特徴点抽出部１２のエンコーダ３０は、撮影された二次元の魚眼画像を図４（ｄ）のようにヒートマップモジュールに従った複数の二次元画像に分解する。
そして、図４（ｅ）に示すように、顎５、肘６，手７，足８，肩９に対応する部分を対応する特徴点５ａ～９ａとして抽出して、二次元画像に付与する（図２参照）。この際、学習データが予め与えられているため、特徴点５ａ～９ａの位置精度を向上させることができる。
なお、学習データを用いず、予め与えられる拘束条件、例えば、人体の骨格と同じ組合せの拘束条件を用いてもよい。
【0019】
本実施形態の特徴点抽出部１２では、まず、二次元画像の周縁の上部で山型を示す「顎」を抽出して、特徴点５ａを付与する。
特徴点５ａは、確率ベースで導き出される。例えば、「顎」の両側に「肘と手」がある、左，右各「手」の下には、左，右の「足」がそれぞれある等の制約条件が存在する被験者の身体では、上側の頂部に位置する部分が「顎」である確率が最も高いと判断する。
次に、制約条件を踏まえると、「顎」の両側に存在する部分が「肘と手」である確率が最も高いと判断する。
次に、「肘」から上腕の上部には、「肩」が存在する確率が最も高いと判断する。
特徴点５ａは、確率ベースで導き出される。例えば、「顎」の両側に「肘と手」がある、左，右各「手」の下には、左，右の「足」がそれぞれある等の制約条件が存在する被験者の身体では、上側の頂部に位置する部分が「顎」である確率が最も高いと判断する。
次に、制約条件を踏まえると、「顎」の両側に存在する部分が「肘と手」である確率が最も高いと判断する。
次に、「肘」から上腕の上部には、「肩」が存在する確率が最も高いと判断する。
【0020】
また、「顎」の反対側で、かつ、「手」よりも下方には、「足」が存在する確率が最も高いため、上記判断に基づく確率ベースで繰返されて、顎５、肘６，手７，足８，肩９の各関節等に対応するそれぞれの特徴点５ａ～９ａが付与される。
【0021】
しかしながら、例えば、被験者Ｐの腕の前，後への振り方によっては、腕が後方に振られた場合に、周縁画像から外れて写らない場合がある。
このように、実際には、広角カメラ１で捉えた二次元の画像に写っていなくても、本実施形態の特徴点抽出部１２では、ディープラーニング（機械学習）を用いて腕があるかのように補完することができる。
このように、実際には、広角カメラ１で捉えた二次元の画像に写っていなくても、本実施形態の特徴点抽出部１２では、ディープラーニング（機械学習）を用いて腕があるかのように補完することができる。
【0022】
すなわち、まず、二次元の画像から特徴点を確率ベースで抽出する。この際、一気に一枚の画像から全ての特徴点を抽出することなく、顔に相当する部分は、どの辺りかを確率的に求める。
例えば、顎５である確率が一番高そうな場所を推測する（図２参照）。このとき、従来の画像処理のように、色やコントラストや角度によって顎５の位置を推測するだけでなく、ディープラーニングの結果、得られた学習データを用いる。これにより、学習された複数のデータから導出される顎５の位置が推測されるため、単純な画像処理に比べて位置を特定する精度が良好である。
例えば、顎５である確率が一番高そうな場所を推測する（図２参照）。このとき、従来の画像処理のように、色やコントラストや角度によって顎５の位置を推測するだけでなく、ディープラーニングの結果、得られた学習データを用いる。これにより、学習された複数のデータから導出される顎５の位置が推測されるため、単純な画像処理に比べて位置を特定する精度が良好である。
【0023】
そして、次に、顎５の左，右両側に肩９，９があると推測する。
一般に二次元データから三次元を導くことはできない。特に、図２に示すような顎５、肘６，手７，足８，肩９が独立して周縁に写っている魚眼レンズによる画像からは、各部分が関節で連結されていることを前提として認識する従来のプログラムでは、直接、三次元データを得ることは困難である。
本実施形態では、二次元データから学習により蓄積されたデータ、ヒートマップモジュールの確率を用いることにより、二次元データから三次元データを推測することが可能となる。
一般に二次元データから三次元を導くことはできない。特に、図２に示すような顎５、肘６，手７，足８，肩９が独立して周縁に写っている魚眼レンズによる画像からは、各部分が関節で連結されていることを前提として認識する従来のプログラムでは、直接、三次元データを得ることは困難である。
本実施形態では、二次元データから学習により蓄積されたデータ、ヒートマップモジュールの確率を用いることにより、二次元データから三次元データを推測することが可能となる。
【0024】
魚眼レンズの画像では、例えば時々腕の肘６の部分が身体の背面側に移動して見えなくなることがある。
この場合でも、学習を重ねることにより、連続した動きや全部の特徴点の情報から、肘６は、身体の背面側に移動していると推測し、または、特徴点が失われている場合には、他の全部の特徴点からあるはずの特徴点を推測し、三次元データを補完して作成することができる。
また、過去の画像データに基づいて学習することにより、三次元データに復元できる精度を向上させることができる。
この場合でも、学習を重ねることにより、連続した動きや全部の特徴点の情報から、肘６は、身体の背面側に移動していると推測し、または、特徴点が失われている場合には、他の全部の特徴点からあるはずの特徴点を推測し、三次元データを補完して作成することができる。
また、過去の画像データに基づいて学習することにより、三次元データに復元できる精度を向上させることができる。
【0025】
〔三次元姿勢の推定〕
このようにして求められた特徴点は、図１に示す記憶部１４に記憶される。
図６に示すように、三次元姿勢推定部１３は、三次元の姿勢の推定を行う。三次元の姿勢の推定は、図４（ｆ）に示すデコーダ４０のニューラルネットワーク（全結合層４１）により、予め機械学習により取得した学習データを複数用いた確率によって推論される。
この際、本実施形態の動作計測装置では、三次元姿勢推定部１３は、特徴点間を結んでデータ内骨格を形成することができる。例えば、予めデータ内骨格を形成するための物理的拘束条件となる骨格データを記憶部１４に記憶させておいてもよい。しかしながら、本実施形態の三次元姿勢推定部１３は、特徴点間を結んでデータ内骨格を形成することができるため、このような事前のデータを与える必要がない。
このようにして求められた特徴点は、図１に示す記憶部１４に記憶される。
図６に示すように、三次元姿勢推定部１３は、三次元の姿勢の推定を行う。三次元の姿勢の推定は、図４（ｆ）に示すデコーダ４０のニューラルネットワーク（全結合層４１）により、予め機械学習により取得した学習データを複数用いた確率によって推論される。
この際、本実施形態の動作計測装置では、三次元姿勢推定部１３は、特徴点間を結んでデータ内骨格を形成することができる。例えば、予めデータ内骨格を形成するための物理的拘束条件となる骨格データを記憶部１４に記憶させておいてもよい。しかしながら、本実施形態の三次元姿勢推定部１３は、特徴点間を結んでデータ内骨格を形成することができるため、このような事前のデータを与える必要がない。
【0026】
また、サンプルの学習とともに骨格となる各特徴点５ａ～９ａの学習データを収集すれば、三次元姿勢推定部１３で骨格を形成するために必要とされる学習データを効率的に収集できる。
このように、各特徴点５ａ～９ａ間を人体の骨格と同じ組合せで結ぶことにより、図４（ｇ）に示す三次元姿勢を表現した骨格部分の姿勢データＰ１が形成される。
このように、各特徴点５ａ～９ａ間を人体の骨格と同じ組合せで結ぶことにより、図４（ｇ）に示す三次元姿勢を表現した骨格部分の姿勢データＰ１が形成される。
【0027】
〔動作計測装置による処理〕
図７は、本実施形態の計測装置１０の処理を示すフローチャートである。
計測装置１０による処理がスタートすると、ステップＳ１１では、広角カメラ１から送られてくる画像データを計測装置１０が取得する。撮影ステップでは、被験者Ｐの身体に広角カメラ１を装着することにより、手７や足８等の身体の少なくとも一部を周縁画像として撮影する。
図７は、本実施形態の計測装置１０の処理を示すフローチャートである。
計測装置１０による処理がスタートすると、ステップＳ１１では、広角カメラ１から送られてくる画像データを計測装置１０が取得する。撮影ステップでは、被験者Ｐの身体に広角カメラ１を装着することにより、手７や足８等の身体の少なくとも一部を周縁画像として撮影する。
【0028】
この段階で、予め複数の学習データを機械学習する際、被験者Ｐの情報またはデータで構成された仮想被験者を用いて機械学習を行う学習ステップを行っていることがさらに好ましい。これによりさらに、被験者Ｐによる動作計測の開始を早めることができる。
【0029】
ステップＳ１２は、取得した画像データの特徴点５ａ～９ａを抽出する特徴点抽出ステップである。
特徴点抽出ステップ（ステップＳ１２）では、学習ステップで学習された学習データを用いて、二次元の画像から特徴点５ａ～９ａを抽出する。
このため、さらに、特徴点５ａ～９ａの位置精度を向上させることができる。
特徴点抽出ステップ（ステップＳ１２）では、学習ステップで学習された学習データを用いて、二次元の画像から特徴点５ａ～９ａを抽出する。
このため、さらに、特徴点５ａ～９ａの位置精度を向上させることができる。
【0030】
そして、ステップＳ１３は、図２に示す特徴点５ａ～９ａが付与された二次元画像から、三次元姿勢を推定する姿勢推定ステップである。姿勢推定ステップでは、特徴点５ａ～９ａから被験者Ｐの三次元の姿勢データＰ１が推定される。
また、姿勢推定ステップでは、学習ステップで学習された学習データを用いて、被験者Ｐの三次元の姿勢を推定することが好ましい。
また、姿勢推定ステップでは、学習ステップで学習された学習データを用いて、被験者Ｐの三次元の姿勢を推定することが好ましい。
【0031】
このようにして得られた三次元の姿勢データＰ１は、記憶部１４に蓄積されて、次の別の被験者のデータとして使用することができる。
また、姿勢データＰ１は、従来のモーションキャプチャ手法と同様に、スポーツ、学術研究やアニメーション作成等、様々な用途に用いることができる。
特に、本実施形態の動作計測装置では、広角カメラ１を被験者Ｐの胸元に装着して、計測できるので、被験者Ｐの動作を妨げる可能性が低い。このため、被験者Ｐは、自在に行動して所望のデータを取得するのに用いて好適である。
また、姿勢データＰ１は、従来のモーションキャプチャ手法と同様に、スポーツ、学術研究やアニメーション作成等、様々な用途に用いることができる。
特に、本実施形態の動作計測装置では、広角カメラ１を被験者Ｐの胸元に装着して、計測できるので、被験者Ｐの動作を妨げる可能性が低い。このため、被験者Ｐは、自在に行動して所望のデータを取得するのに用いて好適である。
【0032】
上述してきたように、本実施形態の動作計測装置では、被験者Ｐの身体に装着された広角カメラ１によって顎５、肘６，手７，足８，肩９等を周縁の画像として撮影する。これにより、被験者Ｐの姿勢を容易に計測して、三次元の姿勢を推定できる。
また、被験者Ｐは、従来の全身スーツ等の装脱着と比較して、容易に広角カメラ１を装着ベルト４で装着（図１参照）でき、被験者Ｐは、装脱着の負荷が低減する。さらに、従来の全身スーツと比較して安価に構成できる。
そして、屋外等、動ける範囲が限定されることなく、被験者Ｐの動きを捉えることができる、といった実用上有益な作用効果を発揮する。
また、被験者Ｐは、従来の全身スーツ等の装脱着と比較して、容易に広角カメラ１を装着ベルト４で装着（図１参照）でき、被験者Ｐは、装脱着の負荷が低減する。さらに、従来の全身スーツと比較して安価に構成できる。
そして、屋外等、動ける範囲が限定されることなく、被験者Ｐの動きを捉えることができる、といった実用上有益な作用効果を発揮する。
【0033】
また、広角カメラ１から得られる円形の画像のうち、被験者Ｐの顎５、肘６，手７，足８，肩９が写された周縁の画像は、魚眼レンズ３の特性により、歪み量が大きく、形が判別しにくいほど変形している。このため、慣れていない人間だけでなく、オペレータのように熟練している者であっても、周縁の歪んだ画像は、条件により大きく形が変わるため、どこが特徴点であるか判別しにくい。
本実施形態の特徴点抽出部１２では、特徴点抽出ステップ（ステップＳ１２）にて、学習ステップで学習された学習データを用いて、二次元の画像から特徴点５ａ～９ａを抽出する。
本実施形態の特徴点抽出部１２では、特徴点抽出ステップ（ステップＳ１２）にて、学習ステップで学習された学習データを用いて、二次元の画像から特徴点５ａ～９ａを抽出する。
【0034】
この際、学習データを用いたディープラーニングでは、人の形状がない画像から、この辺りが被験者Ｐの各顎５、肘６，手７，足８，肩９であると容易に判断することができる。このため、抽出の精度を熟練したオペレータと同等もしくはそれ以上に向上させることができる。
従って、従来のようにコントラストや角度によって顎５等の位置を推測する他の画像処理手法と比べて、本実施形態１の計測装置１０の精度を良好なものとすることができる。
従って、従来のようにコントラストや角度によって顎５等の位置を推測する他の画像処理手法と比べて、本実施形態１の計測装置１０の精度を良好なものとすることができる。
【0035】
また、機械学習で蓄積された学習データに基づいて、三次元姿勢推定部１３のニューロンネットワークが三次元の姿勢データＰ１を生成する。このため、様々な用途に用いることができる三次元の姿勢データＰ１が得られる。
このように、本実施形態１の計測装置１０は、装脱着が煩雑な従来の全身スーツおよび各種センサ類が不要となり、屋外等、撮影領域が増大する。しかも、計測されたデータは、学習データとして追加することも可能である。このため、さらに計測の精度を向上させることができる。
このように、本実施形態１の計測装置１０は、装脱着が煩雑な従来の全身スーツおよび各種センサ類が不要となり、屋外等、撮影領域が増大する。しかも、計測されたデータは、学習データとして追加することも可能である。このため、さらに計測の精度を向上させることができる。
【実施形態２】
【0036】
図８および図９は、実施形態２の動作計測装置１００を示すものである。実施形態２の説明において前記実施形態１と同一の要素には同一の番号を付し、重複する説明は省略する。
図９に示す実施形態２の動作計測装置１００では、実施形態１のＢＰＮ(図８参照)に加えて、さらに、装置本体１１１に、頭部抽出部１０２、カメラ姿勢推定部１０３、三次元
姿勢推定部１３および記憶部１４を備えている。
カメラ姿勢推定部１０３は、図８に示す全結合層からなるＣameraＰoseＮet（ＣＰＮともいう）を有している。ここでは、ＣＰＮに学習させるため、予め人工的に作成された学習用人工データが多数、用意されている。
学習用人工データは、被験者の情報またはデータで構成された仮想被験者を用いて年齢、性別、身体的特徴、服装等の異なるＶＲ空間上の人物により作成されている。これにより、実際の人物のデータを被験者として学習させるよりも、大量に異なるデータを学習させることができ、効率的である。
ＣＰＮは、学習された複数の学習用人工画像データに基づいて広角カメラ１の上下，左右方向の姿勢を推定する。なお、姿勢の推定は、予め広角カメラで捉えられる複数の学習用人工画像データで学習し、この学習に基づいて、行われる。
そして、カメラ姿勢推定部１０３によって推定された広角カメラ１の姿勢に基づいて、三次元姿勢推定部１３は、被験者Ｐの三次元の姿勢データＰ１，Ｐ２(図８参照)を補正する。
図９に示す実施形態２の動作計測装置１００では、実施形態１のＢＰＮ(図８参照)に加えて、さらに、装置本体１１１に、頭部抽出部１０２、カメラ姿勢推定部１０３、三次元
姿勢推定部１３および記憶部１４を備えている。
カメラ姿勢推定部１０３は、図８に示す全結合層からなるＣameraＰoseＮet（ＣＰＮともいう）を有している。ここでは、ＣＰＮに学習させるため、予め人工的に作成された学習用人工データが多数、用意されている。
学習用人工データは、被験者の情報またはデータで構成された仮想被験者を用いて年齢、性別、身体的特徴、服装等の異なるＶＲ空間上の人物により作成されている。これにより、実際の人物のデータを被験者として学習させるよりも、大量に異なるデータを学習させることができ、効率的である。
ＣＰＮは、学習された複数の学習用人工画像データに基づいて広角カメラ１の上下，左右方向の姿勢を推定する。なお、姿勢の推定は、予め広角カメラで捉えられる複数の学習用人工画像データで学習し、この学習に基づいて、行われる。
そして、カメラ姿勢推定部１０３によって推定された広角カメラ１の姿勢に基づいて、三次元姿勢推定部１３は、被験者Ｐの三次元の姿勢データＰ１，Ｐ２(図８参照)を補正する。
【0037】
次に、本実施形態２の動作計測装置１００の動作について説明する。動作計測装置１００は、広角カメラ１の画像から上下，左右方向の広角カメラ１の姿勢を推定するステップと、推定された広角カメラ１の姿勢を用いて補正して被験者Ｐの姿勢を推定するステップとを有する。
【0038】
このように構成された実施形態２の動作計測装置１００は、図８に示すように、カメラ姿勢推定部１０３によるカメラ1の姿勢の推定を用いて、例えば被験者Ｐが着座している
姿勢Ｐ１であるか、あるいは立位で前屈している姿勢Ｐ２であるかが推定されて、実際の姿勢となるように補正される（図８の符号Ａ参照）。
図８に示す一例では、着座している姿勢の被験者Ｐの胸の前側に広角カメラ１が装着されている。カメラ姿勢推定部１０３のＣＰＮは、カメラ1の姿勢が前方でかつ、水平方向
を向いていると推定する。そして、三次元姿勢推定部１３は、カメラ1の姿勢を加えて、
実施形態１と同様に被験者Ｐが着座している姿勢Ｐ１となるように補正する。
このように推定された広角カメラ１の姿勢を用いて被験者Ｐの姿勢を補正することにより、被験者Ｐは、立位で前屈の姿勢Ｐ２ではなく、着座している姿勢Ｐ１であることが分る。つまり、カメラ姿勢推定部１０３のＣＰＮを用いて、姿勢が紛らわしい場合も正確に被験者Ｐの姿勢を推定することができる。
姿勢Ｐ１であるか、あるいは立位で前屈している姿勢Ｐ２であるかが推定されて、実際の姿勢となるように補正される（図８の符号Ａ参照）。
図８に示す一例では、着座している姿勢の被験者Ｐの胸の前側に広角カメラ１が装着されている。カメラ姿勢推定部１０３のＣＰＮは、カメラ1の姿勢が前方でかつ、水平方向
を向いていると推定する。そして、三次元姿勢推定部１３は、カメラ1の姿勢を加えて、
実施形態１と同様に被験者Ｐが着座している姿勢Ｐ１となるように補正する。
このように推定された広角カメラ１の姿勢を用いて被験者Ｐの姿勢を補正することにより、被験者Ｐは、立位で前屈の姿勢Ｐ２ではなく、着座している姿勢Ｐ１であることが分る。つまり、カメラ姿勢推定部１０３のＣＰＮを用いて、姿勢が紛らわしい場合も正確に被験者Ｐの姿勢を推定することができる。
【実施形態３】
【0039】
図１０～図１４は、実施形態３の動作計測装置２００に係るものである。実施形態３の説明において前記実施形態１，２と同一の要素には同一の番号を付し、重複する説明は省略する。
従来、人間の視線計測は、（１）ディスプレイに固定されたカメラを用いる手法、または、（２）被験者Ｐが視線計測用カメラを搭載したメガネを着用する手法等が知られている。
従来、人間の視線計測は、（１）ディスプレイに固定されたカメラを用いる手法、または、（２）被験者Ｐが視線計測用カメラを搭載したメガネを着用する手法等が知られている。
【0040】
このような手法では、固定されたカメラを用いる場合には被験者Ｐの行動に制約が生じたり、あるいは被験者Ｐの眼球に近い位置に視線計測用カメラを設けなければならず、改良の余地があった。
これに対して、実施形態３の動作計測装置２００は、一台の広角カメラ１を被験者Ｐの胸部の前に装着する（図８左上参照）。広角カメラ１は、魚眼あるいは超広角（望ましくは約２８０度）のレンズを搭載している。広角カメラ１は、被験者Ｐの少なくとも頭部のうち顎５もしくは顔や頭の下部等、および周辺環境を撮影することが出来るものを用いるのが好ましい。
これに対して、実施形態３の動作計測装置２００は、一台の広角カメラ１を被験者Ｐの胸部の前に装着する（図８左上参照）。広角カメラ１は、魚眼あるいは超広角（望ましくは約２８０度）のレンズを搭載している。広角カメラ１は、被験者Ｐの少なくとも頭部のうち顎５もしくは顔や頭の下部等、および周辺環境を撮影することが出来るものを用いるのが好ましい。
【0041】
図１０に示す実施形態３の動作計測装置２００は、頭部抽出部１０２と、頭部姿勢推定部２３と、視線映像生成部２４と、記憶部１４とを備える。
頭部抽出部１０２は、被験者の頭部Ｈ（図８中Ｂ参照）の位置および姿勢の抽出を顎５の画像を用いて行う。
頭部姿勢推定部２３は、全結合層からなるＨeadＰoseＮet（ＨＰＮともいう：図８参照）を有している。ＨＰＮは、学習された複数の学習用人工画像データに基づいて被験者Ｐの頭部Ｈの姿勢を推定する。
そして、頭部姿勢推定部２３によって推定された頭部Ｈの姿勢に基づいて、視線画像生成部２４は、被験者Ｐの視線の先に見えている風景を平面的な画像として生成する。
被験者Ｐの頭部の三次元姿勢の推定を行なう。頭部姿勢推定部２３は、広角カメラ１で捉えた画像から頭部抽出部１０２で抽出された頭部Ｈを用いて頭部Ｈの姿勢を推定する。頭部姿勢推定部２３による頭部Ｈの姿勢の推定は、実施形態１の三次元姿勢推定部１３が被験者Ｐの姿勢を推定する場合と同様に行われる。
頭部抽出部１０２は、被験者の頭部Ｈ（図８中Ｂ参照）の位置および姿勢の抽出を顎５の画像を用いて行う。
頭部姿勢推定部２３は、全結合層からなるＨeadＰoseＮet（ＨＰＮともいう：図８参照）を有している。ＨＰＮは、学習された複数の学習用人工画像データに基づいて被験者Ｐの頭部Ｈの姿勢を推定する。
そして、頭部姿勢推定部２３によって推定された頭部Ｈの姿勢に基づいて、視線画像生成部２４は、被験者Ｐの視線の先に見えている風景を平面的な画像として生成する。
被験者Ｐの頭部の三次元姿勢の推定を行なう。頭部姿勢推定部２３は、広角カメラ１で捉えた画像から頭部抽出部１０２で抽出された頭部Ｈを用いて頭部Ｈの姿勢を推定する。頭部姿勢推定部２３による頭部Ｈの姿勢の推定は、実施形態１の三次元姿勢推定部１３が被験者Ｐの姿勢を推定する場合と同様に行われる。
【0042】
動作計測装置２００の視線画像生成部２４は、下記のように機能する。
図１３に示すように、広角カメラ１が捉えている画像Ｂ１と、実際の視線の先の画像Ｈ１とは主に高さ方向位置が異なる。このため、視線画像生成部２４は、図１４に示すように、広角カメラ１が捉えた画像を、実際の視線の先の画像Ｈ１と一致するように画像Ｂ２を生成する。
この際、視線画像生成部２４は、頭部姿勢推定部２３によって推定された頭部Ｈのうち、主に顎５の姿勢から被験者Ｐの視線方向を推定する。そして、視線画像生成部２４は、広角カメラ１で捉えた画像から視線方向の画像Ｂ２を生成する。
図１３に示すように、広角カメラ１が捉えている画像Ｂ１と、実際の視線の先の画像Ｈ１とは主に高さ方向位置が異なる。このため、視線画像生成部２４は、図１４に示すように、広角カメラ１が捉えた画像を、実際の視線の先の画像Ｈ１と一致するように画像Ｂ２を生成する。
この際、視線画像生成部２４は、頭部姿勢推定部２３によって推定された頭部Ｈのうち、主に顎５の姿勢から被験者Ｐの視線方向を推定する。そして、視線画像生成部２４は、広角カメラ１で捉えた画像から視線方向の画像Ｂ２を生成する。
【0043】
実施形態３の動作計測装置２００は、実施形態１のデコーダ４０と同様に、頭部姿勢推定部２３にＨＰＮ(ＨeadＰoseＮet)からなる深層学習器を有している。そして、予め機械学習により取得した訓練学習データを用いて、被験者Ｐの頭部Ｈの姿勢の推定が行なわれる。深層学習器によるディープラーニングでは、訓練学習の画像データを増大させることにより、さらに、被験者Ｐの視線の方向の精度を向上させることができる。
【0044】
すなわち、実施形態３の動作計測装置２００では、実施形態１のＢＰＮに加えて、さらに、図１０に示すように装置本体２１１に、頭部抽出部１０２、頭部姿勢推定部（ＨＰＮ：図８中Ｂ参照）２３、視線画像生成部２４および記憶部１４を備えている。
実施形態３の頭部姿勢推定部２３は、全結合層からなるＨeadＰoseＮet（ＨＰＮともいう：図８参照）を有している。ＨＰＮは、学習された複数の学習用人工画像データに基づいて被験者Ｐの頭部Ｈの姿勢を推定する。そして、頭部姿勢推定部２３によって推定された頭部Ｈの姿勢に基づいて、視線画像生成部２４は、被験者Ｐの視線の先に見えている風景を平面的な画像として生成する。
実施形態３の頭部姿勢推定部２３は、全結合層からなるＨeadＰoseＮet（ＨＰＮともいう：図８参照）を有している。ＨＰＮは、学習された複数の学習用人工画像データに基づいて被験者Ｐの頭部Ｈの姿勢を推定する。そして、頭部姿勢推定部２３によって推定された頭部Ｈの姿勢に基づいて、視線画像生成部２４は、被験者Ｐの視線の先に見えている風景を平面的な画像として生成する。
【0045】
次に、本実施形態３の動作計測装置２００の作用効果について説明する。
このように構成された実施形態２の動作計測装置２００は、被験者Ｐの頭部Ｈの姿勢を推定する頭部姿勢推定ステップと、推定された頭部Ｈの姿勢から被験者Ｐの視線方向を推定する視線方向推定ステップと、広角カメラ１で捉えた画像から視線方向の画像を生成する視線画像生成ステップと、を備える。
このため、動作計測装置２００は、実施形態１の動作計測装置の作用効果に加えてさらに、魚眼あるいは超広角（望ましくは約２８０度）のレンズによって撮像された広角画像から、被験者Ｐの視線の先に存在する画像を平面的に拡大表示することができる。
このように構成された実施形態２の動作計測装置２００は、被験者Ｐの頭部Ｈの姿勢を推定する頭部姿勢推定ステップと、推定された頭部Ｈの姿勢から被験者Ｐの視線方向を推定する視線方向推定ステップと、広角カメラ１で捉えた画像から視線方向の画像を生成する視線画像生成ステップと、を備える。
このため、動作計測装置２００は、実施形態１の動作計測装置の作用効果に加えてさらに、魚眼あるいは超広角（望ましくは約２８０度）のレンズによって撮像された広角画像から、被験者Ｐの視線の先に存在する画像を平面的に拡大表示することができる。
【0046】
したがって、一台の広角カメラ１を使用するだけで、被験者Ｐの視線を追跡できる動作計測装置２００が得られて、製造コストを低下させることができる。
また、実施形態１と同様に、装着ベルト４を用いて容易に広角カメラ１を被験者Ｐの胸
部の前側に装着することができる。このため、従来のように被験者Ｐの行動に制約が生じることがなく、安全に頭部姿勢の推定および視線推定が可能となる。
また、実施形態１と同様に、装着ベルト４を用いて容易に広角カメラ１を被験者Ｐの胸
部の前側に装着することができる。このため、従来のように被験者Ｐの行動に制約が生じることがなく、安全に頭部姿勢の推定および視線推定が可能となる。
【0047】
すなわち、図１１（ａ）に示すように、広角カメラ１が魚眼画像を捉えると、画像の周縁の一部に被験者Ｐの頭部の一部である顎５が映り込む。動作計測装置２００の装置本体１１に設けられた頭部抽出部１０２（図１０参照）は、図１１（ｂ）に示すように顎５の部分を画像データとして切り出す。
図１１（ｃ）では、切り出された画像データから、図８に示すＨＰＮは、学習された複数の学習用人工画像データに基づいて被験者Ｐの頭部Ｈの姿勢を推定する。
図１１（ｃ）では、切り出された画像データから、図８に示すＨＰＮは、学習された複数の学習用人工画像データに基づいて被験者Ｐの頭部Ｈの姿勢を推定する。
【0048】
この方法で推定された視線を、実際に頭部に設けられたカメラで得られる視線と比較すると、実施形態で読み込ませた学習用人工画像データでは、ヨー軸で４．４度、ロール方向で４．５度、ピッチ軸で３．３度、平均で４．１度の誤差であった。ここでは、学習用データとして約６８０，０００枚の人工画像データを用いた。これに対して、実画像データでは、ヨー軸で１６．９度、ロール方向で１１．３度、ピッチ軸で１１．３度、平均で１３．２度の誤差であった。
実画像データは、ＨＰＮに読み込ませる訓練データセットの数を増大させると、さらに精度を向上させることができる。たとえば、約１６，０００枚の実画像データを用いる。
実画像データは、ＨＰＮに読み込ませる訓練データセットの数を増大させると、さらに精度を向上させることができる。たとえば、約１６，０００枚の実画像データを用いる。
【0049】
視線画像生成部２４は、魚眼画像から視線の延長線上にあると推定される矩形部分を切り出す。そして、視線画像生成部２４は、切り出された部分的な魚眼画像を平面的な長方形（例えば16：4、または4：3）に変換して二次元の視線画像として生成する。
図１２（ａ）中矢印に示すように頭部が正面を向いている場合、（ｂ）に示すように被験者Ｐの前方方向を中心とする二次元の視線画像が得られる。
また、図１２中（ｃ）中矢印に示すように頭部が斜め左を向いている場合、被験者Ｐの身体が前方を向いていても、（ｄ）に示すように視線の先の斜め左方向を中心とする二次元の視線画像が得られる。
図１２（ａ）中矢印に示すように頭部が正面を向いている場合、（ｂ）に示すように被験者Ｐの前方方向を中心とする二次元の視線画像が得られる。
また、図１２中（ｃ）中矢印に示すように頭部が斜め左を向いている場合、被験者Ｐの身体が前方を向いていても、（ｄ）に示すように視線の先の斜め左方向を中心とする二次元の視線画像が得られる。
【0050】
図１２中（ｂ）（ｄ）に示すように、視線画像は、周縁の歪や湾曲を減少もしくは、なくすことができる。
このため、被験者Ｐの胸部に容易に装着でき、かつ行動に制約が少ない広角カメラ１で、視線画像を得らえる。したがって、実施形態３の動作計測装置２００は、使用利便性が良好である。
このため、被験者Ｐの胸部に容易に装着でき、かつ行動に制約が少ない広角カメラ１で、視線画像を得らえる。したがって、実施形態３の動作計測装置２００は、使用利便性が良好である。
【0051】
さらに、本実施形態３では、図１３に示すように、広角カメラ１が捉えている画像Ｂ１と、実際の視線の先の画像Ｈ１との高さ方向位置が異なる場合であっても、図１４に示すように、画像Ｈ１と同じ高さの画像Ｂ２を得られて、視線の先の画像とすることができる。したがって、さらに、視線で捉えられる画像の精度を向上させることができる。
【0052】
以上、本実施形態1～３に係る動作計測装置および計測プログラムについて詳述してき
たが、本発明はこれらの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能であることは言うまでもない。
たが、本発明はこれらの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能であることは言うまでもない。
【0053】
例えば、広角カメラ１が装着される場所は、運動を行う際のヘルメットやマスク等の防具、頭頂部、側頭部等、少なくとも身体の一部を撮影できる部分に配置されていれば、どの部分でもよい。
また、身体に装着されたマウントから延設される取付アーム等を用いることにより、身体から一定の間隔を開けて配置されていてもよい。そして、胸の前のみに限らず、身体の前，後または左，右に一対設ける構成であってもよく、広角カメラ１の台数は、複数であってもよく、一台に限定されるものではない。
また、身体に装着されたマウントから延設される取付アーム等を用いることにより、身体から一定の間隔を開けて配置されていてもよい。そして、胸の前のみに限らず、身体の前，後または左，右に一対設ける構成であってもよく、広角カメラ１の台数は、複数であってもよく、一台に限定されるものではない。
【0054】
また、本実施形態では、学習データを用いたディープラーニングにより、特徴点抽出部１２は、この辺りが被験者Ｐの各顎５、肘６，手７，足８，肩９であると個別に判断している。しかしながら、特にこれに限らず、特徴点を抽出できるものであれば、物理的拘束条件によって抽出するようにしてもよく、物理的拘束条件とディープラーニングとを併用してもよい。
【0055】
さらに、特徴点抽出部１２で行われる特徴点抽出のみを、被験者Ｐの身体に複数のマーカーを装着して撮影した画像を用いてもよい。この場合、ディープラーニングによる特徴点の抽出を省略することができる。なお、特徴点５ａ～９ａの数量も、本実施形態に限らず、例えば１２箇所～２４箇所等、いくつであってもよい。
【0056】
そして、本実施形態の三次元姿勢推定部１３では、予め機械学習により取得した学習データを用いて、前記三次元の姿勢の推定を行う際、特徴点間を結んでデータ内骨格を形成している。
しかしながら、特にこれに限らず、例えば、人体の骨格と同じ組合せの拘束条件のみによってデータ内骨格を形成するようにしてもよく、この方法と特徴点間を結んでデータ内骨格を形成するものとを併用してもよい。
また、推定されたデータをそのまま使う代わりに、人体の運動モデルと逆運動学（INVERSE KINEMATICS）を用いて、人間が動作可能な姿勢に限って推定できるようにすることができる。
しかしながら、特にこれに限らず、例えば、人体の骨格と同じ組合せの拘束条件のみによってデータ内骨格を形成するようにしてもよく、この方法と特徴点間を結んでデータ内骨格を形成するものとを併用してもよい。
また、推定されたデータをそのまま使う代わりに、人体の運動モデルと逆運動学（INVERSE KINEMATICS）を用いて、人間が動作可能な姿勢に限って推定できるようにすることができる。
【符号の説明】
【0057】
１ 広角カメラ
２ カメラ本体
３ 魚眼レンズ
４ 装着ベルト
５ａ～９ａ 特徴点
１０ 計測装置
１２ 特徴点抽出部
１３ 三次元姿勢推定部
１４ 記憶部
３０ 三次元座標推定部
２ カメラ本体
３ 魚眼レンズ
４ 装着ベルト
５ａ～９ａ 特徴点
１０ 計測装置
１２ 特徴点抽出部
１３ 三次元姿勢推定部
１４ 記憶部
３０ 三次元座標推定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】