特開 2023-172284 姿勢分析装置、姿勢分析方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023172284

(43)【公開日】2023-12-06

(54)【発明の名称】姿勢分析装置、姿勢分析方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231129BHJP

【ＦＩ】

G06T7/00 660B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022083975

(22)【出願日】2022-05-23

(71)【出願人】

【識別番号】000104652

【氏名又は名称】キヤノン電子株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】滝川 劉生

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA08

5L096CA04

5L096DA02

5L096FA67

5L096FA69

5L096HA09

5L096JA03

(57)【要約】

【課題】コストを抑えて精度良く姿勢距離を求める姿勢分析技術を提供する。
【解決手段】姿勢分析装置は、分析対象者の画像に基づき２次元の対象骨格情報を生成する生成手段と、データベースから３次元の第１基準骨格情報を取得し、前記３次元の第１基準骨格情報を２次元の第２基準骨格情報に変換する変換手段と、前記第２基準骨格情報と前記対象骨格情報との差分を評価するための姿勢距離を判定する判定手段と、を備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

分析対象者の画像に基づき２次元の対象骨格情報を生成する生成手段と、
データベースから３次元の第１基準骨格情報を取得し、前記３次元の第１基準骨格情報を２次元の第２基準骨格情報に変換する変換手段と、
前記第２基準骨格情報と前記対象骨格情報との差分を評価するための姿勢距離を判定する判定手段と、
を備えている、姿勢分析装置。

【請求項2】

前記変換手段は、前記第１基準骨格情報で使用される第１座標系の座標を、前記対象骨格情報で使用される第２座標系の座標に変換するためのパラメータに基づき、前記第１基準骨格情報を前記第２基準骨格情報に変換する、請求項１に記載の姿勢分析装置。

【請求項3】

前記変換手段は、前記データベースから複数の前記第１基準骨格情報を取得して、複数の前記第１基準骨格情報それぞれを前記第２基準骨格情報に変換することで、複数の前記第２基準骨格情報を求め、
前記判定手段は、前記対象骨格情報と、複数の前記第２基準骨格情報それぞれとの前記姿勢距離を判定し、複数の前記第２基準骨格情報の内の前記対象骨格情報との前記姿勢距離の最も小さい前記第２基準骨格情報を判定する、請求項１又は２に記載の姿勢分析装置。

【請求項4】

前記対象骨格情報、前記第１基準骨格情報及び前記第２基準骨格情報は、それぞれ、人の複数の部位の座標を示す情報であり、
前記姿勢距離は、前記対象骨格情報と前記第２基準骨格情報の対応する部位間の距離に基づく値である、請求項１又は２に記載の姿勢分析装置。

【請求項5】

前記第１基準骨格情報は、基準者の画像に基づき生成されたものであり、
前記判定手段は、前記基準者と前記分析対象者との体格の差を補正するため、前記第２基準骨格情報に基づき前記対象骨格情報を変換し、変換後の前記対象骨格情報に基づき前記姿勢距離を判定する、請求項４に記載の姿勢分析装置。

【請求項6】

前記判定手段は、前記第２基準骨格情報が示す両肩及び腰の座標と、前記対象骨格情報が示す両肩及び腰の座標に基づき、前記対象骨格情報を変換する、請求項５に記載の姿勢分析装置。

【請求項7】

分析対象者の画像に基づき２次元の対象骨格情報を生成することと、
データベースから３次元の第１基準骨格情報を取得し、前記３次元の第１基準骨格情報を２次元の第２基準骨格情報に変換することと、
前記第２基準骨格情報と前記対象骨格情報との差分を評価するための姿勢距離を判定することと、
を含む、姿勢分析方法。

【請求項8】

１つ以上のプロセッサを有する装置の前記１つ以上のプロセッサで実行されると、前記装置を請求項１又は２に記載の姿勢分析装置として機能させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、分析対象者の姿勢を分析する姿勢分析技術に関する。

【背景技術】

【0002】

製造現場における作業者の姿勢や、スポーツ分野における選手の姿勢を評価するため、骨格情報が利用されている。非特許文献１は、画像データに基づき２次元（２Ｄ）の骨格情報を生成する技術を開示している。また、非特許文献２は、画像データに基づき３次元（３Ｄ）の骨格情報を生成する技術を開示している。また、非特許文献３は、画像データに基づき所定の世界座標系におけるカメラの位置及び姿勢を推定する構成を開示している。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Ｐａｐａｎｄｒｅｏｕ， Ｇｅｏｒｇｅ ＆ Ｚｈｕ， Ｔｙｌｅｒ ＆ Ｃｈｅｎ， Ｌｉａｎｇ－Ｃｈｉｅｈ ＆ Ｇｉｄａｒｉｓ， Ｓｐｙｒｏｓ ＆ Ｔｏｍｐｓｏｎ， Ｊｏｎａｔｈａｎ ＆ Ｍｕｒｐｈｙ， Ｋｅｖｉｎ． （２０１８）． ＰｅｒｓｏｎＬａｂ： Ｐｅｒｓｏｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ａｎｄ Ｉｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ｗｉｔｈ ａ Ｂｏｔｔｏｍ－Ｕｐ， Ｐａｒｔ－Ｂａｓｅｄ， Ｇｅｏｍｅｔｒｉｃ Ｅｍｂｅｄｄｉｎｇ Ｍｏｄｅｌ．

【非特許文献2】Ｄａｒｉｏ Ｐａｖｌｌｏ， Ｃｈｒｉｓｔｏｐｈ Ｆｅｉｃｈｔｅｎｈｏｆｅｒ， Ｄａｖｉｄ Ｇｒａｎｇｉｅｒ， ａｎｄ Ｍｉｃｈａｅｌ Ａｕｌｉ． ３Ｄ ｈｕｍａｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｉｎ ｖｉｄｅｏ ｗｉｔｈ ｔｅｍｐｏｒａｌ ｃｏｎｖｏｌｕｔｉｏｎｓ ａｎｄ ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｔｒａｉｎｉｎｇ． Ｉｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ２０１９．

【非特許文献3】Ｓｃｈoｎｂｅｒｇｅｒ， Ｊ．Ｌ．； Ｆｒａｈｍ， Ｊ．Ｍ． Ｓｔｒｕｃｔｕｒｅ－ｆｒｏｍ－Ｍｏｔｉｏｎ Ｒｅｖｉｓｉｔｅｄ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， Ｌａｓ Ｖｅｇａｓ， ＮＶ， ＵＳＡ， ２６ Ｊｕｎｅ-１ Ｊｕｌｙ ２０１６．

【発明の概要】

【発明が解決しようとする課題】

【0004】

非特許文献２に記載されている３Ｄ骨格情報の生成には時間がかかるため、リアルタイムでの姿勢分析には不向きである。なお、モーションセンサ、測距カメラ、ハイスピードカメラ、３Ｄレーザセンサ、ＬｉＤＡＲ等を利用して姿勢を分析する技術もあるが、これら機材は高価であり、製造現場等における多数の作業者の姿勢分析に利用するには不向きである。したがって、多くの分析対象者等の姿勢分析を行う場合には、コストを抑えることができる２Ｄ骨格情報を使用することが好ましい。

【0005】

２Ｄ骨格情報を生成するには、撮像デバイス（カメラ等）により分析対象者を撮像する必要があるが、通常、撮像デバイスの配置位置及び向きには制限があり、任意の位置及び向きに配置することができない。したがって、分析対象者を撮像する撮像デバイスの当該分析対象者に対する相対的な位置及び向きは、姿勢の基準とするもの（以下、基準者）の骨格情報（以下、基準骨格情報）を取得した際の、当該基準者に対する撮像デバイスの相対的な位置及び向きとは異なり得る。姿勢分析は、分析対象者を撮像した画像データに基づき生成される対象骨格情報の基準骨格情報に対する姿勢距離を算出することにより行われるが、撮像デバイスとの相対的な位置関係が分析対象者と基準者で異なると、姿勢距離の精度が劣化する。

【0006】

本発明は、コストを抑えて精度良く姿勢距離を求める姿勢分析技術を提供するものである。

【課題を解決するための手段】

【0007】

本発明の一態様によると、姿勢分析装置は、分析対象者の画像に基づき２次元の対象骨格情報を生成する生成手段と、データベースから３次元の第１基準骨格情報を取得し、前記３次元の第１基準骨格情報を２次元の第２基準骨格情報に変換する変換手段と、前記第２基準骨格情報と前記対象骨格情報との差分を評価するための姿勢距離を判定する判定手段と、を備えている。

【発明の効果】

【0008】

本発明によると、コストを抑えて精度良く姿勢距離を求めることができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態による姿勢分析装置の構成図。

【図2】基準骨格情報の例を示す図。

【図3】基準骨格情報が示す骨格を示す図。

【図4】対象骨格情報の例を示す図。

【図5】対象骨格情報が示す骨格を示す図。

【図6】一実施形態による姿勢分析方法のフロー図。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

【0011】

図１は、本実施形態による姿勢分析装置１００の構成図である。なお、姿勢分析装置１００は、１つ以上のプロセッサを有する装置（例えば、コンピュータ）の当該１つ以上のプロセッサに適切なコンピュータプログラムを実行させることで実現され得る。当該コンピュータプログラムは、１つ以上のプロセッサを有する装置の内部又は外部のデバイス可読記憶媒体に格納され得る。

【0012】

データベース２０には、基準者が行った様々な動作の基準骨格情報が格納されている。なお、基準骨格情報は、様々な動作それぞれについて、動作内の複数のタイミングそれぞれについて設けられる。基準骨格情報を生成するため、基準者が行う様々な動作を撮像デバイス＃１により撮像する。基準骨格情報生成部１０は、基準者がある動作を行っている間に撮像デバイス＃１が撮像した動画の各フレームに基づき、当該動作の各タイミングにおける３Ｄの基準骨格情報を生成してデータベース２０に格納する。なお、基準骨格情報生成部１０は、任意の技術、例えば、非特許文献２に記載されている技術に基づき基準骨格情報を生成することができる。

【0013】

基準骨格情報は、世界座標系の座標により基準者の各部位を示すものである。図２は、データベース２０に格納されている基準骨格情報の例を示している。図２において、"基準骨格識別子（ＩＤ）"は、複数の基準骨格情報それぞれを識別するためのものである。なお、基準骨格ＩＤは、例えば、複数の動作それぞれを識別可能な様に付与され得る。"部位ＩＤ"は、各部位の識別子であり、"部位名"は、各部位の名前である。"世界座標"は、対応する部位の世界座標系における座標を示している。図３は、図２の基準骨格情報が示す基準者の姿勢を示している。なお、図３の各数字は部位ＩＤである。

【0014】

図１に戻り、撮像デバイス＃２は、分析対象者を撮像する様に配置される。撮像デバイス＃２は、所定動作を行っている分析対象者を撮像し、動画の画像データを対象骨格情報生成部５０に出力する。対象骨格情報生成部５０は、撮像デバイス＃２からの動画の画像データが示す各フレームに基づき、複数のタイミングそれぞれにおける２Ｄの対象骨格情報を生成して姿勢距離判定部６０に出力する。対象骨格情報生成部５０は、任意の技術、例えば、非特許文献１に記載されている技術に基づき対象骨格情報を生成することができる。

【0015】

対象骨格情報は、撮像デバイス＃２のカメラ座標系の座標により分析対象者の各部位を示すものである。図４は、対象骨格情報生成部５０が生成する対象骨格情報の例を示している。図４において、"対象骨格ＩＤ"は、複数の対象骨格情報それぞれを識別するためのものである。"部位ＩＤ"は、各部位の識別子であり、"部位名"は、各部位の名前である。"カメラ座標"は、対応する部位のカメラ座標系における座標を示している。図５は、図４の対象骨格情報が示す分析対象者の姿勢を示している。なお、図５の各数字は部位ＩＤである。

【0016】

パラメータ格納部３０は、世界座標系と、撮像デバイス＃２のカメラ座標系との間の座標変換を行うための変換パラメータを格納している。なお、当該変換パラメータの求め方は任意であるが、例えば、非特許文献３に記載の技術を使用して、撮像デバイス＃２が撮像した画像に基づき変換パラメータは生成され得る。変換部４０は、データベース２０に格納されている各基準骨格情報を取得し、パラメータ格納部３０が格納している変換パラメータに基づき、各基準骨格情報を撮像デバイス＃２のカメラ座標系の骨格情報に変換して姿勢距離判定部６０に出力する。なお、以下の説明において、データベース２０に格納されている基準骨格情報を３Ｄ基準骨格情報と表記し、変換部４０が出力する座標変換後の基準骨格情報を２Ｄ基準骨格情報と表記して両者を区別する。

【0017】

姿勢距離判定部６０は、対象骨格情報それぞれについて、各２Ｄ基準骨格情報との姿勢距離を求める。本実施形態において、姿勢距離は、対象骨格情報の各部位と、２Ｄ基準骨格情報の対応する部位との距離の、全部位に渡る合計である。例えば、図４に示す対象骨格情報の場合、計１７個の部位それぞれの距離の合計値が姿勢距離となる。姿勢距離判定部６０は、対象骨格情報との距離が最も小さい２Ｄ基準骨格情報の元となった３Ｄ基準骨格情報を、当該対象骨格情報に対応する基準骨格情報であると判定する。姿勢距離判定部６０は、対象骨格情報の対象骨格ＩＤと、当該対象骨格情報に対応する基準骨格情報の基準骨格ＩＤと、当該基準骨格情報との姿勢距離を示す対応情報を分析部７０に出力する。

【0018】

なお、姿勢距離は、対応する部位間の距離の合計値に限定されず、分析対象者の姿勢と基準者の姿勢との差分、より詳しくは、対象骨格情報と２Ｄ基準骨格情報との差分を評価できる任意の評価値を使用することができる。例えば、姿勢距離を、骨格情報が示す複数の部位の内の１つ以上の部位の距離の合計とすることもできる。つまり、ある動作に重要ではない部位については姿勢距離の計算の対象外とすることができる。さらに、姿勢距離を、肘や膝等の角度の合計値とすることもできる。例えば、肘の場合は、部位ＩＤ５と部位ＩＤ７を結ぶ線と、部位ＩＤ７と部位ＩＤ９を結ぶ線との角度である。また、基準者と分析対象者との体格差の影響を抑えるため、対象骨格情報に対してアフィン変換を行うことで、分析対象者の体格を補正した後に姿勢距離を求める構成とすることができる。一例として、両肩と腰の両端部分の座標、具体的には部位ＩＤ５、部位ＩＤ６、部位ＩＤ１１及び部位ＩＤ１２の座標に基づき、対象骨格情報に対してアフィン変換を行う構成とすることができる。

【0019】

分析部７０は、対象骨格情報と、当該対象骨格情報に対応する基準骨格情報と、を比較することで、対象作業者の姿勢が、基準対象者の姿勢に近づくための各種の分析を行う。例えば、対象骨格情報と、対応する基準骨格情報の対応する部位間の距離に基づき分析を行うことができる。なお、分析部７０の機能を姿勢分析装置１００の外部の外部装置に設け、姿勢分析装置１００は、対応情報を分析結果として外部装置に出力する構成であっても良い。

【0020】

図６は、本実施形態による姿勢分析方法のフローチャートである。Ｓ１０において、対象骨格情報生成部５０は、撮像デバイス＃２からの画像データに基づき、撮像デバイス＃２のカメラ座標系での対象骨格情報を生成する。また、変換部４０は、パラメータ格納部３０が格納しているパラメータに基づき３Ｄ基準骨格情報を２Ｄ基準骨格情報に変換する。なお、Ｓ１０及びＳ１１の処理は並行して行われ得る。或いは、Ｓ１１の処理は、Ｓ１０の処理に先行して行われ得る。さらには、Ｓ１１の処理は、Ｓ１０の処理の開始毎に完了し得る。

【0021】

姿勢距離判定部６０は、Ｓ１２において、対象骨格情報と、各２Ｄ基準骨格情報との姿勢距離を求める。なお、姿勢距離は、複数の対象骨格情報それぞれについて求められる。姿勢距離判定部６０は、Ｓ１３において、上述した様に、Ｓ１２で求めた姿勢距離に基づき対象骨格情報に対応する基準骨格情報を判定する。姿勢距離判定部６０は、対象骨格情報それぞれについて、対応する基準骨格情報と、当該基準骨格情報との姿勢距離を示す対応情報を分析部７０に出力する。分析部７０は、Ｓ１４において、対応情報に基づき対象作業者の姿勢分析を行う。

【0022】

以上、基準となる３Ｄの骨格情報、つまり、３Ｄ基準骨格情報を２Ｄ基準骨格情報に変換して、対象作業者の対象骨格情報と比較する。この構成により、分析対象者を撮像する撮像デバイスの設置位置に制限があっても、精度良く分析対象者と基準者との姿勢の違いを求めることができる。また、対象骨格情報は、２Ｄであるため、姿勢分析のためのコストを抑えることができる。

【0023】

なお、図１の構成では、撮像デバイス＃２により分析対象者を撮像しながら対象骨格情報の生成と、姿勢距離の算出をリアルタイムで行っていた。しかしながら、撮像デバイス＃２により分析対象者を撮像した画像データを記憶デバイスに格納し、別途、記憶デバイスに格納されている画像データを対象骨格情報生成部５０の入力として姿勢分析を行う構成であっても良い。

【0024】

なお、本発明による姿勢分析装置１００は、コンピュータを上記姿勢分析装置１００として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

【0025】

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

【符号の説明】

【0026】

２０：データベース、４０：変換部、５０：対象骨格情報生成部、６０：姿勢距離判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】