ホーム > 特許ランキング > 株式会社ジェイテクト
知財求人 - 知財ポータルサイト「IP Force」
特開2024-151481情報生成装置、情報生成方法、およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024151481
(43)【公開日】2024-10-25
(54)【発明の名称】情報生成装置、情報生成方法、およびコンピュータプログラム
(51)【国際特許分類】
G01B 11/00 20060101AFI20241018BHJP
H04N 7/18 20060101ALI20241018BHJP
【ＦＩ】
G01B11/00 H
H04N7/18 C
H04N7/18 K
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023064849
(22)【出願日】2023-04-12
(71)【出願人】
【識別番号】000001247
【氏名又は名称】株式会社ジェイテクト
(74)【代理人】
【識別番号】110000280
【氏名又は名称】弁理士法人サンクレスト国際特許事務所
(72)【発明者】
【氏名】渡邉 浩平
【テーマコード（参考）】
2F065
5C054
【Ｆターム（参考）】
2F065AA04
2F065AA06
2F065AA07
2F065BB15
2F065CC16
2F065FF01
2F065FF09
2F065FF42
2F065FF61
2F065JJ03
2F065JJ09
2F065JJ26
2F065MM03
2F065QQ01
2F065QQ03
2F065QQ21
2F065QQ24
2F065QQ31
5C054CA04
5C054CC02
5C054FC12
5C054HA05
(57)【要約】
【課題】低コストで特徴点の３次元情報を得ることができる技術を提供する。
【解決手段】情報生成装置は、人物Ｍが撮像された動画像を取得する処理と、動画像に含まれる第１画像における人物Ｍの第１画像領域を取得する処理と、第１画像領域の第１画像寸法情報を取得する処理と、所定経路に対する人物Ｍのずれ量を求める処理と、ずれ量に基づいて人物Ｍの推定移動経路を求める処理と、人物Ｍが前記所定経路に沿って移動したと仮定したときの関節点の３次元情報を生成する処理と、推定移動経路に基づいて、人物Ｍの関節点の３次元情報を補正する処理と、を実行する処理部６を備える。
【選択図】 図１
【解決手段】情報生成装置は、人物Ｍが撮像された動画像を取得する処理と、動画像に含まれる第１画像における人物Ｍの第１画像領域を取得する処理と、第１画像領域の第１画像寸法情報を取得する処理と、所定経路に対する人物Ｍのずれ量を求める処理と、ずれ量に基づいて人物Ｍの推定移動経路を求める処理と、人物Ｍが前記所定経路に沿って移動したと仮定したときの関節点の３次元情報を生成する処理と、推定移動経路に基づいて、人物Ｍの関節点の３次元情報を補正する処理と、を実行する処理部６を備える。
【選択図】 図１
【特許請求の範囲】
【請求項1】
所定経路を移動する移動体が有する特徴点の３次元情報を生成する情報生成装置であって、
前記移動体の所定箇所の大きさを示す実寸法情報を受け付ける処理と、
前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得する処理と、
前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得するとともに、前記複数の画像のうちの前記第１画像から所定時間経過したあとの第２画像に撮像された前記移動体の第２画像領域を取得する処理と、
前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報および前記第２画像領域における前記所定箇所の大きさを示す第２画像寸法情報を取得する処理と、
前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求めるとともに、前記実寸法情報および前記第２画像寸法情報に基づいて前記所定経路に対する前記移動体の第２ずれ量を求める処理と、
前記第１ずれ量および前記第２ずれ量に基づいて、前記第１画像から前記第２画像までの間における前記移動体の推定移動経路を求める処理と、
前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成する処理と、
前記推定移動経路に基づいて、前記複数の画像のうちの前記第１画像から前記第２画像までの間に含まれる画像それぞれの前記特徴点の３次元情報を補正する処理と、を実行する処理部を備える
情報生成装置。
前記移動体の所定箇所の大きさを示す実寸法情報を受け付ける処理と、
前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得する処理と、
前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得するとともに、前記複数の画像のうちの前記第１画像から所定時間経過したあとの第２画像に撮像された前記移動体の第２画像領域を取得する処理と、
前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報および前記第２画像領域における前記所定箇所の大きさを示す第２画像寸法情報を取得する処理と、
前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求めるとともに、前記実寸法情報および前記第２画像寸法情報に基づいて前記所定経路に対する前記移動体の第２ずれ量を求める処理と、
前記第１ずれ量および前記第２ずれ量に基づいて、前記第１画像から前記第２画像までの間における前記移動体の推定移動経路を求める処理と、
前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成する処理と、
前記推定移動経路に基づいて、前記複数の画像のうちの前記第１画像から前記第２画像までの間に含まれる画像それぞれの前記特徴点の３次元情報を補正する処理と、を実行する処理部を備える
情報生成装置。
【請求項2】
前記移動体は、人物であり、
前記所定箇所は、前記人物の身長であり、
前記特徴点は、前記人物の関節点である
請求項１に記載の情報生成装置。
前記所定箇所は、前記人物の身長であり、
前記特徴点は、前記人物の関節点である
請求項１に記載の情報生成装置。
【請求項3】
所定経路を移動する移動体が有する特徴点の３次元情報を生成する情報生成装置であって、
前記移動体の所定箇所の大きさを示す実寸法情報を受け付ける処理と、
前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得する処理と、
前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得する処理と、
前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報を取得する処理と、
前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求める処理と、
前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成する処理と、
前記第１ずれ量に基づいて、前記第１画像の前記特徴点の３次元情報を補正する処理と、を実行する処理部を備える
情報生成装置。
前記移動体の所定箇所の大きさを示す実寸法情報を受け付ける処理と、
前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得する処理と、
前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得する処理と、
前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報を取得する処理と、
前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求める処理と、
前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成する処理と、
前記第１ずれ量に基づいて、前記第１画像の前記特徴点の３次元情報を補正する処理と、を実行する処理部を備える
情報生成装置。
【請求項4】
所定経路を移動する移動体が有する特徴点の３次元情報を生成する情報生成方法であって、
前記移動体の所定箇所の大きさを示す実寸法情報を受け付けるステップと、
前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得するステップと、
前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得するとともに、前記複数の画像のうちの前記第１画像から所定時間経過したあとの第２画像に撮像された前記移動体の第２画像領域を取得するステップと、
前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報および前記第２画像領域における前記所定箇所の大きさを示す第２画像寸法情報を取得するステップと、
前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求めるとともに、前記実寸法情報および前記第２画像寸法情報に基づいて前記所定経路に対する前記移動体の第２ずれ量を求めるステップと、
前記第１ずれ量および前記第２ずれ量に基づいて、前記第１画像から前記第２画像までの間における前記移動体の推定移動経路を求めるステップと、
前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成するステップと、
前記推定移動経路に基づいて、前記複数の画像のうちの前記第１画像から前記第２画像までの間に含まれる画像それぞれの前記特徴点の３次元情報を補正するステップと、を含む
情報生成方法。
前記移動体の所定箇所の大きさを示す実寸法情報を受け付けるステップと、
前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得するステップと、
前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得するとともに、前記複数の画像のうちの前記第１画像から所定時間経過したあとの第２画像に撮像された前記移動体の第２画像領域を取得するステップと、
前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報および前記第２画像領域における前記所定箇所の大きさを示す第２画像寸法情報を取得するステップと、
前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求めるとともに、前記実寸法情報および前記第２画像寸法情報に基づいて前記所定経路に対する前記移動体の第２ずれ量を求めるステップと、
前記第１ずれ量および前記第２ずれ量に基づいて、前記第１画像から前記第２画像までの間における前記移動体の推定移動経路を求めるステップと、
前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成するステップと、
前記推定移動経路に基づいて、前記複数の画像のうちの前記第１画像から前記第２画像までの間に含まれる画像それぞれの前記特徴点の３次元情報を補正するステップと、を含む
情報生成方法。
【請求項5】
所定経路を移動する移動体が有する特徴点の３次元情報を生成する情報生成処理をコンピュータに実行させるためのコンピュータプログラムであって、
コンピュータに、
前記移動体の所定箇所の大きさを示す実寸法情報を受け付けるステップと、
前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得するステップと、
前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得するとともに、前記複数の画像のうちの前記第１画像から所定時間経過したあとの第２画像に撮像された前記移動体の第２画像領域を取得するステップと、
前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報および前記第２画像領域における前記所定箇所の大きさを示す第２画像寸法情報を取得するステップと、
前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求めるとともに、前記実寸法情報および前記第２画像寸法情報に基づいて前記所定経路に対する前記移動体の第２ずれ量を求めるステップと、
前記第１ずれ量および前記第２ずれ量に基づいて、前記第１画像から前記第２画像までの間における前記移動体の推定移動経路を求めるステップと、
前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成するステップと、
前記推定移動経路に基づいて、前記複数の画像のうちの前記第１画像から前記第２画像までの間に含まれる画像それぞれの前記特徴点の３次元情報を補正するステップと、を実行させる
コンピュータプログラム。
コンピュータに、
前記移動体の所定箇所の大きさを示す実寸法情報を受け付けるステップと、
前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得するステップと、
前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得するとともに、前記複数の画像のうちの前記第１画像から所定時間経過したあとの第２画像に撮像された前記移動体の第２画像領域を取得するステップと、
前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報および前記第２画像領域における前記所定箇所の大きさを示す第２画像寸法情報を取得するステップと、
前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求めるとともに、前記実寸法情報および前記第２画像寸法情報に基づいて前記所定経路に対する前記移動体の第２ずれ量を求めるステップと、
前記第１ずれ量および前記第２ずれ量に基づいて、前記第１画像から前記第２画像までの間における前記移動体の推定移動経路を求めるステップと、
前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成するステップと、
前記推定移動経路に基づいて、前記複数の画像のうちの前記第１画像から前記第２画像までの間に含まれる画像それぞれの前記特徴点の３次元情報を補正するステップと、を実行させる
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報生成装置、情報生成方法、およびコンピュータプログラムに関する。
【背景技術】
【0002】
従来から、人物等の移動体の特徴点を３次元情報として取得するために、複数のカメラを用いて移動体を撮像したり、深度を取得するセンサを備えたカメラによって移動体を撮像したりすることがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１４－６８７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記従来の方法では、複数のカメラを必要としたり、深度を取得するセンサを備えたカメラを用意したりする必要があり、コストを増加させる要因を有している。
【課題を解決するための手段】
【0005】
実施形態である情報生成装置は、所定経路を移動する移動体が有する特徴点の３次元情報を生成する装置である。この情報生成装置は、前記移動体の所定箇所の大きさを示す実寸法情報を受け付ける処理と、前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得する処理と、前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得するとともに、前記複数の画像のうちの前記第１画像から所定時間経過したあとの第２画像に撮像された前記移動体の第２画像領域を取得する処理と、前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報および前記第２画像領域における前記所定箇所の大きさを示す第２画像寸法情報を取得する処理と、前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求めるとともに、前記実寸法情報および前記第２画像寸法情報に基づいて前記所定経路に対する前記移動体の第２ずれ量を求める処理と、前記第１ずれ量および前記第２ずれ量に基づいて、前記第１画像から前記第２画像までの間における前記移動体の推定移動経路を求める処理と、前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成する処理と、前記推定移動経路に基づいて、前記複数の画像のうちの前記第１画像から前記第２画像までの間に含まれる画像それぞれの前記特徴点の３次元情報を補正する処理と、を実行する処理部を備える。
【発明の効果】
【0006】
本開示によれば、低コストで特徴点の３次元情報を得ることができる。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
最初に実施形態の内容を列記して説明する。
［実施形態の概要］
（１）実施形態である情報生成装置は、所定経路を移動する移動体が有する特徴点の３次元情報を生成する装置である。この情報生成装置は、前記移動体の所定箇所の大きさを示す実寸法情報を受け付ける処理と、前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得する処理と、前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得するとともに、前記複数の画像のうちの前記第１画像から所定時間経過したあとの第２画像に撮像された前記移動体の第２画像領域を取得する処理と、前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報および前記第２画像領域における前記所定箇所の大きさを示す第２画像寸法情報を取得する処理と、前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求めるとともに、前記実寸法情報および前記第２画像寸法情報に基づいて前記所定経路に対する前記移動体の第２ずれ量を求める処理と、前記第１ずれ量および前記第２ずれ量に基づいて、前記第１画像から前記第２画像までの間における前記移動体の推定移動経路を求める処理と、前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成する処理と、前記推定移動経路に基づいて、前記複数の画像のうちの前記第１画像から前記第２画像までの間に含まれる画像それぞれの前記特徴点の３次元情報を補正する処理と、を実行する処理部を備える。
［実施形態の概要］
（１）実施形態である情報生成装置は、所定経路を移動する移動体が有する特徴点の３次元情報を生成する装置である。この情報生成装置は、前記移動体の所定箇所の大きさを示す実寸法情報を受け付ける処理と、前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得する処理と、前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得するとともに、前記複数の画像のうちの前記第１画像から所定時間経過したあとの第２画像に撮像された前記移動体の第２画像領域を取得する処理と、前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報および前記第２画像領域における前記所定箇所の大きさを示す第２画像寸法情報を取得する処理と、前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求めるとともに、前記実寸法情報および前記第２画像寸法情報に基づいて前記所定経路に対する前記移動体の第２ずれ量を求める処理と、前記第１ずれ量および前記第２ずれ量に基づいて、前記第１画像から前記第２画像までの間における前記移動体の推定移動経路を求める処理と、前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成する処理と、前記推定移動経路に基づいて、前記複数の画像のうちの前記第１画像から前記第２画像までの間に含まれる画像それぞれの前記特徴点の３次元情報を補正する処理と、を実行する処理部を備える。
【0009】
上記構成によれば、動画像に基づいて、移動体が所定経路に沿って移動したと仮定したときの特徴点の３次元情報を生成し、さらに、第１画像から前記第２画像までの間における移動体の推定移動経路を求め、推定移動経路に基づいて特徴点の３次元情報を補正するので、２次元の動画像を用いたとしても、比較的精度の高い特徴点の３次元情報を取得することができる。
よって、２次元の動画像を撮像可能なカメラ１台を用いて移動体を撮像すれば、必要な動画像を得ることができる。
この結果、低コストで特徴点の３次元情報を得ることができる。
よって、２次元の動画像を撮像可能なカメラ１台を用いて移動体を撮像すれば、必要な動画像を得ることができる。
この結果、低コストで特徴点の３次元情報を得ることができる。
【0010】
（２）上記情報生成装置において、前記移動体が、人物である場合、前記所定箇所は、前記人物の身長であり、前記特徴点は、前記人物の関節点であることが好ましい。
この場合、人物の関節点の３次元情報を取得することができる。
この場合、人物の関節点の３次元情報を取得することができる。
【0011】
（３）また、他の観点から見た情報生成装置は、所定経路を移動する移動体が有する特徴点の３次元情報を生成する装置である。この情報生成装置は、前記移動体の所定箇所の大きさを示す実寸法情報を受け付ける処理と、前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得する処理と、前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得する処理と、前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報を取得する処理と、前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求める処理と、前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成する処理と、前記第１ずれ量に基づいて、前記第１画像の前記特徴点の３次元情報を補正する処理と、を実行する処理部を備える。
【0012】
上記構成によれば、低コストで特徴点の３次元情報を得ることができる。
【0013】
（４）また、他の観点から見た実施形態は、所定経路を移動する移動体が有する特徴点の３次元情報を生成する情報生成方法である。この情報生成方法は、前記移動体の所定箇所の大きさを示す実寸法情報を受け付けるステップと、前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得するステップと、前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得するとともに、前記複数の画像のうちの前記第１画像から所定時間経過したあとの第２画像に撮像された前記移動体の第２画像領域を取得するステップと、前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報および前記第２画像領域における前記所定箇所の大きさを示す第２画像寸法情報を取得するステップと、前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求めるとともに、前記実寸法情報および前記第２画像寸法情報に基づいて前記所定経路に対する前記移動体の第２ずれ量を求めるステップと、前記第１ずれ量および前記第２ずれ量に基づいて、前記第１画像から前記第２画像までの間における前記移動体の推定移動経路を求めるステップと、前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成するステップと、前記推定移動経路に基づいて、前記複数の画像のうちの前記第１画像から前記第２画像までの間に含まれる画像それぞれの前記特徴点の３次元情報を補正するステップと、を含む。
【0014】
（５）また、他の観点から見た実施形態は、所定経路を移動する移動体が有する特徴点の３次元情報を生成する情報生成処理をコンピュータに実行させるためのコンピュータプログラムである。このコンピュータプログラムは、コンピュータに、前記移動体の所定箇所の大きさを示す実寸法情報を受け付けるステップと、前記所定経路に対して固定された撮像装置によって撮像された動画像であって前記移動体が撮像された前記動画像を取得するステップと、前記動画像に含まれる複数の画像のうちの第１画像に撮像された前記移動体の第１画像領域を取得するとともに、前記複数の画像のうちの前記第１画像から所定時間経過したあとの第２画像に撮像された前記移動体の第２画像領域を取得するステップと、前記第１画像領域における前記所定箇所の大きさを示す第１画像寸法情報および前記第２画像領域における前記所定箇所の大きさを示す第２画像寸法情報を取得するステップと、前記実寸法情報および前記第１画像寸法情報に基づいて前記所定経路に対する前記移動体の第１ずれ量を求めるとともに、前記実寸法情報および前記第２画像寸法情報に基づいて前記所定経路に対する前記移動体の第２ずれ量を求めるステップと、前記第１ずれ量および前記第２ずれ量に基づいて、前記第１画像から前記第２画像までの間における前記移動体の推定移動経路を求めるステップと、前記移動体が前記所定経路に沿って移動したと仮定したときの前記特徴点の３次元情報を、前記複数の画像それぞれに基づいて生成するステップと、前記推定移動経路に基づいて、前記複数の画像のうちの前記第１画像から前記第２画像までの間に含まれる画像それぞれの前記特徴点の３次元情報を補正するステップと、を実行させるコンピュータプログラムである。
【0015】
［実施形態の詳細］
以下、好ましい実施形態について図面を参照しつつ説明する。
図１は、実施形態に係る動作解析システムの全体構成を示す図である。
実施形態に係る動作解析システム１は、移動体である人物を撮像し、撮像した動画に基づいて人物の動作解析を行うシステムである。
以下、好ましい実施形態について図面を参照しつつ説明する。
図１は、実施形態に係る動作解析システムの全体構成を示す図である。
実施形態に係る動作解析システム１は、移動体である人物を撮像し、撮像した動画に基づいて人物の動作解析を行うシステムである。
【0016】
動作解析システム１は、カメラ２と、処理装置４と、を備える。
カメラ２は、ＣＣＤ素子やＣＭＯＳ素子等の撮像素子およびレンズ等の光学機構を有する撮像装置である。カメラ２は、所定の撮像範囲を撮像し動画または静止画等の２次元の画像データを生成する機能を有する。カメラ２は、撮像範囲内の人物Ｍを被写体とし、人物Ｍが撮像された動画像を生成する。
カメラ２は、処理装置４に通信可能に接続されている。カメラ２が生成する動画像は、データとして処理装置４へ与えられる。
カメラ２は、ＣＣＤ素子やＣＭＯＳ素子等の撮像素子およびレンズ等の光学機構を有する撮像装置である。カメラ２は、所定の撮像範囲を撮像し動画または静止画等の２次元の画像データを生成する機能を有する。カメラ２は、撮像範囲内の人物Ｍを被写体とし、人物Ｍが撮像された動画像を生成する。
カメラ２は、処理装置４に通信可能に接続されている。カメラ２が生成する動画像は、データとして処理装置４へ与えられる。
【0017】
本実施形態において、人物Ｍは、経路ｒに沿って歩行し移動するものとする。経路ｒは、直線状である。
なお、以下の説明では、各図中、互いに直交する３方向をＸ方向、Ｙ方向、およびＺ方向とする。また、図３に示すように、Ｘ方向のうちの一方向をＸ１方向、Ｘ１方向の反対方向をＸ２方向とする。Ｙ方向のうちの一方向をＹ１方向、Ｙ１方向の反対方向をＹ２方向とする。Ｚ方向のうちの一方向をＺ１方向、Ｚ１方向の反対方向をＺ２方向とする。
本実施形態において、Ｘ－Ｙ平面は水平面である。Ｚ方向は上下方向である。
なお、以下の説明では、各図中、互いに直交する３方向をＸ方向、Ｙ方向、およびＺ方向とする。また、図３に示すように、Ｘ方向のうちの一方向をＸ１方向、Ｘ１方向の反対方向をＸ２方向とする。Ｙ方向のうちの一方向をＹ１方向、Ｙ１方向の反対方向をＹ２方向とする。Ｚ方向のうちの一方向をＺ１方向、Ｚ１方向の反対方向をＺ２方向とする。
本実施形態において、Ｘ－Ｙ平面は水平面である。Ｚ方向は上下方向である。
【0018】
人物Ｍは、Ｘ－Ｙ平面に平行な路面Ｒを移動する。経路ｒは、路面Ｒ上に設けられている。経路ｒはＸ方向に平行に延びている。なお、図１において人物ＭがＹ方向に沿って立っているように見えるが、これは、模式的に示しているためであり、実際には人物Ｍは上下方向（Ｚ方向）に沿って立っている。
カメラ２は、路面Ｒ上に設置されている。カメラ２の焦点軸はＹ方向に平行に延びている。カメラ２は、経路ｒのうちの範囲Ｗを１つの画像で撮像することができる。カメラ２は、経路ｒに対して固定された状態で、範囲Ｗを撮像する。
カメラ２は、路面Ｒ上に設置されている。カメラ２の焦点軸はＹ方向に平行に延びている。カメラ２は、経路ｒのうちの範囲Ｗを１つの画像で撮像することができる。カメラ２は、経路ｒに対して固定された状態で、範囲Ｗを撮像する。
【0019】
処理装置４は、処理部６と、記憶部８と、入出力部１０と、を備えるコンピュータ等により構成される。
処理部６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等からなる。
処理部６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等からなる。
【0020】
記憶部８は、例えば、フラッシュメモリ、ハードディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。
記憶部８には、処理部６に実行させるためのコンピュータプログラムや、必要な情報が記憶されている。処理部６は、記憶部８のようなコンピュータ読み取り可能な非一過性の記録媒体に記憶されたコンピュータプログラムを実行することで、処理部６が有する各種処理機能を実現する。
記憶部８には、処理部６に実行させるためのコンピュータプログラムや、必要な情報が記憶されている。処理部６は、記憶部８のようなコンピュータ読み取り可能な非一過性の記録媒体に記憶されたコンピュータプログラムを実行することで、処理部６が有する各種処理機能を実現する。
【0021】
入出力部１０は、入力デバイスと、出力デバイスと、を含む。入力デバイスは処理装置４のオペレータによる操作を受け付ける機能を有する。入力デバイスには、キーボードやマウス、タッチパネル等が含まれる。出力デバイスは、処理装置４による処理に関する各種情報を外部へ向けて出力する機能を有する。出力デバイスには、モニタや、プリンタ、タッチパネル、スピーカ等が含まれる。
【0022】
図２は、動作解析システム１を用いた動作解析の手順を示すフローチャートである。
動作解析では、まず、カメラ２によって人物Ｍの撮像が行われる（図２中、ステップＳ１）。人物Ｍが撮像された動画像は、処理装置４に与えられる。処理装置４の処理部６は、動画像に基づいて、人物Ｍの特徴点である関節点を推定し、関節点の３次元情報を生成する（図２中、ステップＳ２）。処理部６は、動画像に含まれる複数の画像の全てについて、関節点の３次元情報を生成する。
次いで、処理装置４は、関節点の３次元情報に基づいて、人物Ｍの動作を把握し、動作解析を行う（図２中、ステップＳ３）。
処理装置４は、入出力部１０を介して外部へ動作解析の結果を出力する（ステップＳ４）。
動作解析では、まず、カメラ２によって人物Ｍの撮像が行われる（図２中、ステップＳ１）。人物Ｍが撮像された動画像は、処理装置４に与えられる。処理装置４の処理部６は、動画像に基づいて、人物Ｍの特徴点である関節点を推定し、関節点の３次元情報を生成する（図２中、ステップＳ２）。処理部６は、動画像に含まれる複数の画像の全てについて、関節点の３次元情報を生成する。
次いで、処理装置４は、関節点の３次元情報に基づいて、人物Ｍの動作を把握し、動作解析を行う（図２中、ステップＳ３）。
処理装置４は、入出力部１０を介して外部へ動作解析の結果を出力する（ステップＳ４）。
【0023】
ここで、処理装置４は、上述のように、人物Ｍの関節点の３次元情報を生成する機能を有しており、経路ｒを移動する人物Ｍの関節点（特徴点）の３次元情報を生成する情報生成装置を構成する。
以下、処理装置４による関節点の３次元情報を生成する処理について説明する。
以下、処理装置４による関節点の３次元情報を生成する処理について説明する。
【0024】
図３は、関節点の３次元情報を生成する処理を示すフローチャートである。
関節点の３次元情報を生成する処理において、処理装置４の処理部６は、まず、カメラ２によって人物Ｍが撮像された動画像を取得する（図３中、ステップＳ１０）。
次いで、処理部６は、人物Ｍの身長の入力を受け付ける処理を実行する（図３中、ステップＳ１１）。
処理部６は、入出力部１０の出力デバイスに、人物Ｍの身長の入力を受け付けるための表示を出力する。処理装置４のオペレータによって入力デバイスが操作され、入力デバイスによって人物Ｍの身長が入力されると、処理部６は、オペレータによる入力を実寸法情報Ｈとして受け付ける。実寸法情報Ｈは、移動体である人物Ｍの所定箇所（身長）の実際の大きさを示す情報である。
関節点の３次元情報を生成する処理において、処理装置４の処理部６は、まず、カメラ２によって人物Ｍが撮像された動画像を取得する（図３中、ステップＳ１０）。
次いで、処理部６は、人物Ｍの身長の入力を受け付ける処理を実行する（図３中、ステップＳ１１）。
処理部６は、入出力部１０の出力デバイスに、人物Ｍの身長の入力を受け付けるための表示を出力する。処理装置４のオペレータによって入力デバイスが操作され、入力デバイスによって人物Ｍの身長が入力されると、処理部６は、オペレータによる入力を実寸法情報Ｈとして受け付ける。実寸法情報Ｈは、移動体である人物Ｍの所定箇所（身長）の実際の大きさを示す情報である。
【0025】
実寸法情報Ｈを受け付けると、処理部６は、第１画像、第２画像、および第３画像それぞれにおける人物Ｍの画像領域を取得する（図３中、ステップＳ１２）。
第１画像、第２画像、および第３画像は、動画像に含まれる画像である。
第１画像、第２画像、および第３画像は、動画像に含まれる画像である。
【0026】
図４は、動画像に含まれる画像および画像に撮像された人物Ｍの位置関係を示す図である。
図４（ａ）は、動画像に含まれる画像Ｉを示す図である。この画像Ｉは、第１画像、第２画像、および第３画像を重畳して示している。よって、人物Ｍの画像領域が３つ表れている。
図４（ａ）中、第１画像領域ｍ１は、第１画像に撮像された人物Ｍの画像領域である。第２画像領域ｍ２は、第２画像に撮像された人物Ｍの画像領域である。第３画像領域ｍ３は、第３画像に撮像された人物Ｍの画像領域である。
第２画像は、第１画像から所定時間経過した後の画像である。また、第３画像は、第２画像から所定時間経過した後の画像である。
よって、図４（ａ）において、第１～３画像における画像領域ｍ１～ｍ３は、間隔を置いて並んで表れている。
図４（ａ）は、動画像に含まれる画像Ｉを示す図である。この画像Ｉは、第１画像、第２画像、および第３画像を重畳して示している。よって、人物Ｍの画像領域が３つ表れている。
図４（ａ）中、第１画像領域ｍ１は、第１画像に撮像された人物Ｍの画像領域である。第２画像領域ｍ２は、第２画像に撮像された人物Ｍの画像領域である。第３画像領域ｍ３は、第３画像に撮像された人物Ｍの画像領域である。
第２画像は、第１画像から所定時間経過した後の画像である。また、第３画像は、第２画像から所定時間経過した後の画像である。
よって、図４（ａ）において、第１～３画像における画像領域ｍ１～ｍ３は、間隔を置いて並んで表れている。
【0027】
第１画像は、例えば、複数の画像のうち、人物Ｍ（の全体）が画像Ｉにおける上流側（画像Ｉにおける左側）に撮像されている画像であるものとする。
第３画像は、例えば、複数の画像のうち、人物Ｍ（の全体）が画像Ｉにおける下流側（画像Ｉにおける右側）に撮像されている画像であるものとする。
さらに、第２画像は、第１画像のタイミングと第３画像のタイミングとの中間のタイミングで撮像された画像であるものとする。
第３画像は、例えば、複数の画像のうち、人物Ｍ（の全体）が画像Ｉにおける下流側（画像Ｉにおける右側）に撮像されている画像であるものとする。
さらに、第２画像は、第１画像のタイミングと第３画像のタイミングとの中間のタイミングで撮像された画像であるものとする。
【0028】
処理部６は、動画像に含まれる複数の画像のうち、第１画像、第２画像、および第３画像を特定し、第１画像、第２画像、および第３画像それぞれの画像領域ｍ１～ｍ３を取得する（図３中、ステップＳ１２）。
【0029】
画像領域ｍ１～ｍ３を取得すると、処理部６は、ステップＳ１３へ進み、画像領域ｍ１～ｍ３の画像寸法情報を取得する（図３中、ステップＳ１３）。
図４（ａ）に示すように、第１画像領域ｍ１の第１画像寸法情報ｈ１は、第１画像領域ｍ１における人物Ｍの身長に対応する大きさを示す情報である。
第２画像領域ｍ２の第２画像寸法情報ｈ２は、第２画像領域ｍ２における人物Ｍの身長に対応する大きさを示す情報である。
第３画像領域ｍ３の第３画像寸法情報ｈ３は、第３画像領域ｍ３における人物Ｍの身長に対応する大きさを示す情報である。
画像寸法情報ｈ１～ｈ３は、各撮像範囲の大きさ（長さ）を示していればよく画素数等で示すことができる。
なお、図４（ａ）では、３つの画像寸法情報のうち、第２画像寸法情報ｈ２が最も小さく、第３画像寸法情報ｈ３が最も大きい。
図４（ａ）に示すように、第１画像領域ｍ１の第１画像寸法情報ｈ１は、第１画像領域ｍ１における人物Ｍの身長に対応する大きさを示す情報である。
第２画像領域ｍ２の第２画像寸法情報ｈ２は、第２画像領域ｍ２における人物Ｍの身長に対応する大きさを示す情報である。
第３画像領域ｍ３の第３画像寸法情報ｈ３は、第３画像領域ｍ３における人物Ｍの身長に対応する大きさを示す情報である。
画像寸法情報ｈ１～ｈ３は、各撮像範囲の大きさ（長さ）を示していればよく画素数等で示すことができる。
なお、図４（ａ）では、３つの画像寸法情報のうち、第２画像寸法情報ｈ２が最も小さく、第３画像寸法情報ｈ３が最も大きい。
【0030】
画像領域ｍ１～ｍ３の画像寸歩情報ｈ１～ｈ３を取得すると、処理部６は、経路ｒに対する人物Ｍのずれ量を求める（図３中、ステップＳ１４）。
図４（ｂ）は、人物ＭのＸ－Ｙ平面上の位置関係を示す図である。図４（ｂ）において、横軸はＸ方向を示しており、縦軸はＹ方向を示している。また、図４（ｂ）には、経路ｒが示されている。経路ｒのＹ方向の位置をｙｒとする。
また、図４（ｂ）において、点Ａは、第１画像における人物ＭのＸ－Ｙ平面上の位置を示している。点Ｂは、第２画像における人物ＭのＸ－Ｙ平面上の位置を示している。点Ｃは、第３画像における人物ＭのＸ－Ｙ平面上の位置を示している。
図４（ｂ）は、人物ＭのＸ－Ｙ平面上の位置関係を示す図である。図４（ｂ）において、横軸はＸ方向を示しており、縦軸はＹ方向を示している。また、図４（ｂ）には、経路ｒが示されている。経路ｒのＹ方向の位置をｙｒとする。
また、図４（ｂ）において、点Ａは、第１画像における人物ＭのＸ－Ｙ平面上の位置を示している。点Ｂは、第２画像における人物ＭのＸ－Ｙ平面上の位置を示している。点Ｃは、第３画像における人物ＭのＸ－Ｙ平面上の位置を示している。
【0031】
点ＡのＸ方向の位置はｘ１、点ＡのＹ方向の位置はｙｒである。点ＢのＸ方向の位置はｘ２、点ＢのＹ方向の位置はｙ１である。点ＣのＸ方向の位置はｘ３、点ＣのＹ方向の位置はｙ２である。
点ＢのＹ方向の位置および点ＣのＹ方向の位置は、経路ｒからずれている。
ここで、ずれ量とは、Ｙ方向における経路ｒと人物Ｍの位置との間隔をいう。
図４（ｂ）中、点Ａに位置する人物Ｍは、経路ｒ上に位置するため、ずれ量は０である。
図４（ｂ）において、点Ｂに位置する人物Ｍは、ずれ量ｇ１だけ経路ｒに対してＹ１方向にずれている。
図４（ｂ）において、点Ｃに位置する人物Ｍは、ずれ量ｇ２だけ経路ｒに対してＹ２方向にずれている。
点ＢのＹ方向の位置および点ＣのＹ方向の位置は、経路ｒからずれている。
ここで、ずれ量とは、Ｙ方向における経路ｒと人物Ｍの位置との間隔をいう。
図４（ｂ）中、点Ａに位置する人物Ｍは、経路ｒ上に位置するため、ずれ量は０である。
図４（ｂ）において、点Ｂに位置する人物Ｍは、ずれ量ｇ１だけ経路ｒに対してＹ１方向にずれている。
図４（ｂ）において、点Ｃに位置する人物Ｍは、ずれ量ｇ２だけ経路ｒに対してＹ２方向にずれている。
【0032】
処理部６は、図３中のステップＳ１４において、実寸法情報Ｈおよび画像寸法情報ｈ１～ｈ３に基づいて人物Ｍのずれ量を求める。
【0033】
図５は、人物Ｍとカメラ２との位置関係をＸ２方向側から見たときの図である。なお、図５では、理解を容易にするため、カメラ２を路面に設置したように示している。
図５中、Ｙ方向位置ｙｒに位置する人物Ｍは、経路ｒ上に位置する。
また、図５中、Ｙ方向位置ｙ１０の人物Ｍは、Ｙ方向位置ｙｒに対してずれ量ｇだけＹ１方向にずれている。
ここで、画像Ｉ上における人物Ｍの画像領域の大きさは、カメラ２と人物Ｍとの距離の変化に対して反比例する。
よって、経路ｒ上に位置する人物Ｍを撮像したときの画像Ｉ上の基準寸法情報をｈｒ、Ｙ方向位置ｙ１０の人物Ｍの画像寸法情報をｈ１０、カメラ２とＹ方向位置ｙｒとの間の距離をＤとすると、下記式（１）が成り立つ。
ｈ１０／ｈｒ＝Ｄ／（Ｄ＋ｇ） ・・・（１）
図５中、Ｙ方向位置ｙｒに位置する人物Ｍは、経路ｒ上に位置する。
また、図５中、Ｙ方向位置ｙ１０の人物Ｍは、Ｙ方向位置ｙｒに対してずれ量ｇだけＹ１方向にずれている。
ここで、画像Ｉ上における人物Ｍの画像領域の大きさは、カメラ２と人物Ｍとの距離の変化に対して反比例する。
よって、経路ｒ上に位置する人物Ｍを撮像したときの画像Ｉ上の基準寸法情報をｈｒ、Ｙ方向位置ｙ１０の人物Ｍの画像寸法情報をｈ１０、カメラ２とＹ方向位置ｙｒとの間の距離をＤとすると、下記式（１）が成り立つ。
ｈ１０／ｈｒ＝Ｄ／（Ｄ＋ｇ） ・・・（１）
【0034】
処理装置４の記憶部８には、経路ｒ上に位置する人物Ｍの実寸法情報Ｈと、経路ｒ上に位置する人物Ｍを撮像したときの画像Ｉ上の基準寸法情報ｈｒと、の対応関係を示す情報が記憶されている。処理部６は、この情報を用いて、人物Ｍの実寸法情報Ｈに対応する基準寸法情報ｈｒを取得することができる。例えば、人物Ｍの実寸法情報Ｈが１７００ｍｍである場合、前記情報には、１７００ｍｍに対応する基準寸法情報ｈｒが登録されている。処理部６は、実寸法情報Ｈに応じた基準寸法情報ｈｒを前記情報から取得し、処理に用いる。
また、距離Ｄは予め記憶部８に記憶させることができる。
よって、処理部６は、画像寸法情報ｈ１０を式（１）に代入することで、ずれ量ｇを求めることができる。
また、距離Ｄは予め記憶部８に記憶させることができる。
よって、処理部６は、画像寸法情報ｈ１０を式（１）に代入することで、ずれ量ｇを求めることができる。
【0035】
処理部６は、実寸法情報Ｈおよび画像寸法情報ｈ１～ｈ３に基づいて人物Ｍのずれ量ｇを求めることができる。
第１画像寸法情報ｈ１に基づいて求められるずれ量は０となる。第２画像寸法情報ｈ２に基づいて求められるずれ量はｇ１となる。第３画像寸法情報ｈ３に基づいて求められるずれ量はｇ２（－ｇ２）となる。
第１画像寸法情報ｈ１に基づいて求められるずれ量は０となる。第２画像寸法情報ｈ２に基づいて求められるずれ量はｇ１となる。第３画像寸法情報ｈ３に基づいて求められるずれ量はｇ２（－ｇ２）となる。
【0036】
ずれ量を求めた処理部６は、次いで、人物Ｍの推定移動経路を求める（図３中、ステップＳ１５）。
処理部６は、図４（ｂ）に示すように、点Ａと、点Ｂと、を結んだ経路を第１推定移動経路ｒｅ１とする。また、処理部６は、点Ｂと、点Ｃと、を結んだ経路を第２推定移動経路ｒｅ２とする。第１推定移動経路ｒｅ１は、人物Ｍが点Ａから点Ｂまで移動するときに通過したと推定する経路である。
処理部６は、図４（ｂ）に示すように、点Ａと、点Ｂと、を結んだ経路を第１推定移動経路ｒｅ１とする。また、処理部６は、点Ｂと、点Ｃと、を結んだ経路を第２推定移動経路ｒｅ２とする。第１推定移動経路ｒｅ１は、人物Ｍが点Ａから点Ｂまで移動するときに通過したと推定する経路である。
【0037】
次いで、処理部６は、人物Ｍの関節点の３次元情報を生成する（図３中、ステップＳ１６）。
図６は、動画像に含まれる２次元の画像に撮像された人物Ｍの画像領域の一例を示す図である。
処理部６は、画像における人物Ｍの画像領域ｍ１０を取得し、画像領域ｍ１０に基づいて、人物Ｍの骨格ｍ１１を推定する。さらに、処理部６は、骨格ｍ１１に基づいて、人物Ｍの複数の関節点ｍ１２を推定する。処理部６は、複数の関節点ｍ１２の２次元情報（２次元座標）を生成する。
処理部６は、機械学習を利用した手法を用いて、人物Ｍの骨格ｍ１１および複数の関節点ｍ１２の推定を行う。骨格ｍ１１および複数の関節点ｍ１２の推定手法としては、オープンポーズ等の公知の手法が挙げられる。
図６は、動画像に含まれる２次元の画像に撮像された人物Ｍの画像領域の一例を示す図である。
処理部６は、画像における人物Ｍの画像領域ｍ１０を取得し、画像領域ｍ１０に基づいて、人物Ｍの骨格ｍ１１を推定する。さらに、処理部６は、骨格ｍ１１に基づいて、人物Ｍの複数の関節点ｍ１２を推定する。処理部６は、複数の関節点ｍ１２の２次元情報（２次元座標）を生成する。
処理部６は、機械学習を利用した手法を用いて、人物Ｍの骨格ｍ１１および複数の関節点ｍ１２の推定を行う。骨格ｍ１１および複数の関節点ｍ１２の推定手法としては、オープンポーズ等の公知の手法が挙げられる。
【0038】
さらに、処理部６は、人物Ｍが経路ｒに沿って移動したと仮定した上で、複数の関節点ｍ１２の３次元情報（３次元座標）を生成する。
処理部６は、複数の関節点ｍ１２の２次元情報に基づいて、複数の関節点ｍ１２の３次元情報を生成する。
処理部６は、動画像に含まれる複数の画像それぞれについて人物Ｍの複数の関節点ｍ１２の３次元情報を生成する。
処理部６は、複数の関節点ｍ１２の２次元情報に基づいて、複数の関節点ｍ１２の３次元情報を生成する。
処理部６は、動画像に含まれる複数の画像それぞれについて人物Ｍの複数の関節点ｍ１２の３次元情報を生成する。
【0039】
次いで、処理部６は、ステップＳ１５にて求めた推定移動経路に基づいて、複数の画像それぞれの複数の関節点ｍ１２の３次元情報を補正する。
処理部６は、第１画像（人物Ｍが点Ａのときの画像）から第２画像（人物Ｍが点Ｂのときの画像）までの動画像に含まれる画像については、人物Ｍが推定移動経路ｒｅ１を移動したものとして、関節点ｍ１２の３次元情報を補正する。
処理部６は、第２画像から第３画像（人物Ｍが点Ｃのときの画像）までの動画像に含まれる画像については、人物Ｍが推定移動経路ｒｅ２を移動したものとして、関節点ｍ１２の３次元情報を補正する。
処理部６は、関節点ｍ１２の補正を終えると、処理を終え、図２中のステップＳ３へ進む。
処理部６は、第１画像（人物Ｍが点Ａのときの画像）から第２画像（人物Ｍが点Ｂのときの画像）までの動画像に含まれる画像については、人物Ｍが推定移動経路ｒｅ１を移動したものとして、関節点ｍ１２の３次元情報を補正する。
処理部６は、第２画像から第３画像（人物Ｍが点Ｃのときの画像）までの動画像に含まれる画像については、人物Ｍが推定移動経路ｒｅ２を移動したものとして、関節点ｍ１２の３次元情報を補正する。
処理部６は、関節点ｍ１２の補正を終えると、処理を終え、図２中のステップＳ３へ進む。
【0040】
上記構成のシステム１では、動画像に基づいて、人物Ｍ（移動体）が経路ｒに沿って移動したと仮定したときの関節点ｍ１２（特徴点）の３次元情報を生成し、さらに、人物Ｍの推定移動経路ｒｅ１、ｒｅ２を求め、推定移動経路ｒｅ１、ｒｅ２に基づいて関節点ｍ１２の３次元情報を補正するので、２次元の動画像を用いたとしても、比較的精度の高い関節点ｍ１２の３次元情報を取得することができる。
よって、２次元の動画像を撮像可能なカメラ１台を用いて人物Ｍを撮像すれば、必要な動画像を得ることができる。
この結果、低コストで関節点ｍ１２の３次元情報を得ることができる。
よって、２次元の動画像を撮像可能なカメラ１台を用いて人物Ｍを撮像すれば、必要な動画像を得ることができる。
この結果、低コストで関節点ｍ１２の３次元情報を得ることができる。
【0041】
〔その他〕
今回開示した実施形態はすべての点で例示であって制限的なものではない。
上記実施形態では、図３に示すように、推定移動経路を求めた後、複数の関節点ｍ１２の３次元情報を生成する場合を示したが、複数の関節点ｍ１２の３次元情報を生成する処理は、３次元情報の補正を実行する前までに行われていればよい。
今回開示した実施形態はすべての点で例示であって制限的なものではない。
上記実施形態では、図３に示すように、推定移動経路を求めた後、複数の関節点ｍ１２の３次元情報を生成する場合を示したが、複数の関節点ｍ１２の３次元情報を生成する処理は、３次元情報の補正を実行する前までに行われていればよい。
【0042】
また、上記実施形態では、複数の画像それぞれについて複数の関節点ｍ１２の３次元情報を生成した後、生成した３次元情報を補正した場合を例示したが、３次元情報の生成と補正を、複数の画像毎に逐次行ってもよい。
【0043】
また、上記実施形態では、推定移動経路を求め、人物Ｍが推定移動経路を移動したものとして、関節点ｍ１２の３次元情報を補正したが、推定移動経路を求めず、複数の画像の一部または全部についてずれ量ｇを求め、ずれ量ｇに基づいて、複数の画像の一部または全部から生成される関節点ｍ１２の３次元情報を補正してもよい。
【0044】
上記実施形態では、移動体が人物Ｍの場合を例示したが、人物Ｍ以外の移動体を対象とすることもできる。人物Ｍ以外の移動体を対象とする場合、特徴点については、本実施形態のように関節点ではなく、対象となる移動体特有の特徴点についての３次元情報が生成される。
【0045】
本発明の権利範囲は、上述の実施形態に限定されるものではなく、特許請求の範囲に記載された構成と均等の範囲内でのすべての変更が含まれる。
【符号の説明】
【0046】
２ カメラ（撮像装置）
４ 処理装置（情報生成装置）
６ 処理部
４ 処理装置（情報生成装置）
６ 処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】