特開 2022-155843 姿勢推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022155843

(43)【公開日】2022-10-14

(54)【発明の名称】姿勢推定システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20221006BHJP

   G06T 7/00 20170101ALI20221006BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 350B

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021059267

(22)【出願日】2021-03-31

(71)【出願人】

【識別番号】391053696

【氏名又は名称】ＪＯＨＮＡＮ株式会社

(71)【出願人】

【識別番号】516388230

【氏名又は名称】株式会社ｔｉｗａｋｉ

(74)【代理人】

【識別番号】110000947

【氏名又は名称】特許業務法人あーく特許事務所

(72)【発明者】

【氏名】森山 孝三

(72)【発明者】

【氏名】亀山 晋

(72)【発明者】

【氏名】阮 翔

(72)【発明者】

【氏名】中川 智博

(72)【発明者】

【氏名】綿末 太郎

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096CA05

5L096FA09

5L096FA66

5L096FA67

5L096FA69

5L096GA30

5L096GA40

5L096HA05

5L096KA04

(57)【要約】

【課題】姿勢推定の精度向上を図ることが可能な姿勢推定システムを提供する。
【解決手段】姿勢推定システムは、人物の姿勢を推定するものであり、人物を異なる角度から撮像する複数のＲＧＢ－Ｄカメラと、複数のＲＧＢ－Ｄカメラの撮像結果が入力される姿勢推定装置とを備える。姿勢推定装置は、複数のＲＧＢ－ＤカメラのそれぞれのＲＧＢ画像を用いて、各ＲＧＢ画像上における人物の所定の部位の位置を推定する。姿勢推定装置は、推定された位置の深さ情報の経時変化に基づいて、その位置の深さ情報の信頼性を判定する。姿勢推定装置は、判定結果を考慮して対象物の所定の部位の位置を算出する。
【選択図】図２

【特許請求の範囲】

【請求項1】

対象物の姿勢を推定する姿勢推定システムであって、
前記対象物を異なる角度から撮像する複数の三次元カメラと、
前記複数の三次元カメラのそれぞれの二次元画像を用いて、各二次元画像上における前記対象物の所定の部位の位置を推定する推定部と、
前記推定部により推定された位置の深さ情報の経時変化に基づいて、その位置の深さ情報の信頼性を判定する判定部と、
前記判定部の判定結果を考慮して、前記対象物の所定の部位の位置を算出する算出部とを備えることを特徴とする姿勢推定システム。

【請求項2】

請求項１に記載の姿勢推定システムにおいて、
前記推定部は、二次元画像上における前記対象物の所定の部位の特徴を学習し、その所定の部位をトラッキングするように構成されていることを特徴とする姿勢推定システム。

【請求項3】

対象物の姿勢を推定する姿勢推定システムであって、
前記対象物を異なる角度から撮像する３台以上の三次元カメラと、
前記３台以上の三次元カメラのそれぞれの三次元画像に基づいて、前記対象物の所定の部位の三次元位置を算出する三次元位置算出部と、
前記三次元位置算出部により算出された３つ以上の三次元位置に基づいて、それら三次元位置の信頼性を評価する信頼性評価部とを備えることを特徴とする姿勢推定システム。

【請求項4】

請求項３に記載の姿勢推定システムにおいて、
前記３台以上の三次元カメラのそれぞれの二次元画像を用いて、各二次元画像上における前記対象物の所定の部位の位置を推定する推定部をさらに備え、
前記推定部は、二次元画像上における前記対象物の所定の部位の特徴を学習し、その所定の部位をトラッキングするように構成され、かつ、前記信頼性評価部により信頼性が低いと評価された三次元位置が得られた三次元カメラによる二次元画像上における前記所定の部位の特徴を再学習し、トラッキングをやり直すように構成されていることを特徴とする姿勢推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、姿勢推定システムに関する。

【背景技術】

【0002】

従来、人物の姿勢を推定する姿勢推定装置が知られている（たとえば、特許文献１参照）。

【0003】

特許文献１の姿勢推定装置は、人物の実空間での位置を計測可能な三次元センサを用いて、人物の各部位の位置を推定するように構成されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－６８４２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、上記のように、三次元センサを用いて人物の部位の位置を推定する場合において、人物の部位が障害物などによって隠れると、その部位の位置を推定することが困難になる。たとえば、ＲＧＢ－Ｄカメラを用いて人物の撮像を行い、ＲＧＢ画像上における人物の部位の位置（二次元位置）を推定するとともに、その推定された位置の深さ情報を用いて、人物の部位の位置（三次元位置）を算出する場合に、人物の部位が障害物などによって隠れると、ＲＧＢ画像上で推定された人物の部位の位置の深さ情報が障害物の位置となるので、隠れた部位の位置を算出することが困難である。したがって、姿勢推定の精度向上を図ることについて改善の余地がある。

【0006】

本発明は、上記の課題を解決するためになされたものであり、本発明の目的は、姿勢推定の精度向上を図ることが可能な姿勢推定システムを提供することである。

【課題を解決するための手段】

【0007】

本発明による姿勢推定システムは、対象物の姿勢を推定するものであり、対象物を異なる角度から撮像する複数の三次元カメラと、複数の三次元カメラのそれぞれの二次元画像を用いて、各二次元画像上における対象物の所定の部位の位置を推定する推定部と、推定部により推定された位置の深さ情報の経時変化に基づいて、その位置の深さ情報の信頼性を判定する判定部と、判定部の判定結果を考慮して、対象物の所定の部位の位置を算出する算出部とを備える。

【0008】

このように構成することによって、複数の三次元カメラの深さ情報の信頼性を考慮して、対象物の所定の部位の位置が算出されることにより、姿勢推定の精度向上を図ることができる。

【0009】

上記姿勢推定システムにおいて、推定部は、二次元画像上における対象物の所定の部位の特徴を学習し、その所定の部位をトラッキングするように構成されていてもよい。

【0010】

本発明による姿勢推定システムは、対象物の姿勢を推定するものであり、対象物を異なる角度から撮像する３台以上の三次元カメラと、３台以上の三次元カメラのそれぞれの三次元画像に基づいて、対象物の所定の部位の三次元位置を算出する三次元位置算出部と、三次元位置算出部により算出された３つ以上の三次元位置に基づいて、それら三次元位置の信頼性を評価する信頼性評価部とを備える。

【0011】

上記姿勢推定システムにおいて、３台以上の三次元カメラのそれぞれの二次元画像を用いて、各二次元画像上における対象物の所定の部位の位置を推定する推定部をさらに備え、推定部は、二次元画像上における対象物の所定の部位の特徴を学習し、その所定の部位をトラッキングするように構成され、かつ、信頼性評価部により信頼性が低いと評価された三次元位置が得られた三次元カメラによる二次元画像上における所定の部位の特徴を再学習し、トラッキングをやり直すように構成されていてもよい。

【発明の効果】

【0012】

本発明の姿勢推定システムによれば、姿勢推定の精度向上を図ることができる。

【図面の簡単な説明】

【0013】

【図1】本実施形態による姿勢推定システムの概略構成を示したブロック図である。

【図2】本実施形態の姿勢推定システムの動作を説明するためのフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の一実施形態を説明する。

【0015】

まず、図１を参照して、本発明の一実施形態による姿勢推定システム１００の構成について説明する。

【0016】

姿勢推定システム１００は、たとえば人物の骨格の各部位の位置を算出して、その人物の姿勢を推定するように構成されている。人物の骨格の部位の一例として、肩、肘および手首などの関節を挙げることができるが、それに限定されるものではない。なお、人物は、本発明の「対象物」の一例である。姿勢推定システム１００は、図１に示すように、姿勢推定装置１と、ＲＧＢ－Ｄカメラ２および３とを備えている。

【0017】

ＲＧＢ－Ｄカメラ２および３は、所定の測定領域に位置する人物を撮像して、ＲＧＢ－Ｄ画像を取得するように構成されている。ＲＧＢ－Ｄ画像は、ＲＧＢ画像（カラー画像）および深度画像を含んでおり、ＲＧＢ画像における各ピクセルの深さ情報を有する。なお、ＲＧＢ－Ｄカメラ２および３は本発明の「三次元カメラ」の一例であり、ＲＧＢ画像は本発明の「二次元画像」の一例である。

【0018】

ＲＧＢ－Ｄカメラ２および３は、人物を異なる角度から撮像するように設けられている。このため、ＲＧＢ－Ｄカメラ２および３の一方のＲＧＢ画像において人物の所定の部位が障害物などによって隠れている場合であっても、ＲＧＢ－Ｄカメラ２および３の他方のＲＧＢ画像においてその所定の部位が現れやすくなっている。すなわち、所定の測定領域に位置する人物の各部位が死角となるのを抑制するために、２台のＲＧＢ－Ｄカメラ２および３が設けられている。

【0019】

姿勢推定装置１は、ＲＧＢ－Ｄカメラ２および３からＲＧＢ－Ｄ画像が入力され、そのＲＧＢ－Ｄ画像を用いて人物の姿勢を推定するように構成されている。この姿勢推定装置１では、ＲＧＢ－Ｄカメラ２および３の位置および姿勢などに関する情報（外部パラメータ）が予め格納されており、ＲＧＢ－Ｄカメラ２のＲＧＢ－Ｄ画像によるデータと、ＲＧＢ－Ｄカメラ３のＲＧＢ－Ｄ画像によるデータとのうち、信頼性の高いものを採用するようにマージすることによって、姿勢推定の精度向上を図ることが可能である。

【0020】

具体的には、姿勢推定装置１は、ＲＧＢ－Ｄカメラ２によるＲＧＢ画像を用いて、そのＲＧＢ画像上における人物の各部位の位置を推定するように構成されている。また、姿勢推定装置１は、ＲＧＢ－Ｄカメラ３によるＲＧＢ画像を用いて、そのＲＧＢ画像上における人物の各部位の位置を推定するように構成されている。すなわち、ＲＧＢ－Ｄカメラ２による二次元のＲＧＢ画像上の各部位の位置が推定されるとともに、ＲＧＢ－Ｄカメラ３による二次元のＲＧＢ画像上の各部位の位置が推定されるようになっている。

【0021】

また、姿勢推定装置１は、ＲＧＢ－Ｄカメラ２および３のそれぞれのＲＧＢ画像上における人物の各部位の特徴を学習し、その各部位をトラッキングするように構成されている。すなわち、画像処理により、人物の各部位を抽出して、その抽出された各部位（画像的特徴）が追跡されるようになっている。そして、姿勢推定装置１は、たとえば、障害物などによって人物の部位が隠れた場合に、公知のアルゴリズムを用いてその隠れた部位の位置（二次元位置）を推定するように構成されている。しかしながら、障害物によって隠されている部位の深さ情報は、その部位の深さを示すものではなく、障害物の深さを示すものである。このため、障害物によって隠されている部位の深さ情報を用いると、部位の位置（三次元位置）の推定精度が低下するおそれがある。そこで、本実施形態では、深さ情報の信頼性を判定するとともに、その信頼性を考慮して部位の位置を算出するように構成されている。

【0022】

姿勢推定装置１は、ＲＧＢ－Ｄカメラ２によるＲＧＢ画像上において推定された人物の各部位の位置についての深さ情報の経時変化に基づいて、ＲＧＢ－Ｄカメラ２による各部位の深さ情報の信頼性を判定するように構成されている。また、姿勢推定装置１は、ＲＧＢ－Ｄカメラ３によるＲＧＢ画像上において推定された人物の各部位の位置についての深さ情報の経時変化に基づいて、ＲＧＢ－Ｄカメラ３による各部位の深さ情報の信頼性を判定するように構成されている。すなわち、ＲＧＢ－Ｄカメラ２から入力されたＲＧＢ画像上における各部位それぞれについての深さ情報の信頼性が判定されるとともに、ＲＧＢ－Ｄカメラ３から入力されたＲＧＢ画像上における各部位それぞれについての深さ情報の信頼性が判定されるようになっている。なお、深さ情報の経時変化は、たとえば、予め設定された所定時間前から現時点までの期間における深さ情報の変化である。

【0023】

たとえば、人物の所定の部位に隠れが生じないときには、人物の移動（姿勢の変化）により、その所定の部位の深さ情報が連続的（線形的）に変化する。一方、人物の所定の部位に隠れが生じると、深さ情報が所定の部位によるものから障害物によるものとなるため、深さ情報が急変する（カメラからの距離が急に短くなる）。そこで、姿勢推定装置１は、たとえば、ＲＧＢ画像上で推定された人物の部位の深さ情報の経時変化が小さいほど、その部位の深さ情報の信頼性が高いと判定するように構成されている。

【0024】

そして、姿勢推定装置１は、ＲＧＢ－Ｄカメラ２および３のＲＧＢ－Ｄ画像から、信頼性の高い深さ情報を用いて、人物の各部位の位置（三次元位置）を算出するように構成されている。つまり、人物の各部位それぞれについて、ＲＧＢ－Ｄカメラ２および３からの入力のうち信頼性の高い方を用いて、部位の位置（三次元位置）が算出されるようになっている。たとえば、人物の左肩についてＲＧＢ－Ｄカメラ２の信頼性が高い場合には、ＲＧＢ－Ｄカメラ２からのＲＧＢ－Ｄ画像を用いて左肩の位置が算出され、人物の右肩についてＲＧＢ－Ｄカメラ３の信頼性が高い場合には、ＲＧＢ－Ｄカメラ３からのＲＧＢ－Ｄ画像を用いて右肩の位置が算出される。

【0025】

また、姿勢推定装置１は、演算部１１と、記憶部１２と、入力部１３とを含んでいる。演算部１１は、記憶部１２に記憶されたプログラムなどに基づいて演算処理を実行することにより、姿勢推定装置１を制御するように構成されている。記憶部１２には、人物の姿勢を推定するためのプログラムや、ＲＧＢ－Ｄカメラ２および３の位置および姿勢などが記憶されている。入力部１３には、ＲＧＢ－Ｄカメラ２および３が接続され、ＲＧＢ－Ｄカメラ２および３の撮像結果（ＲＧＢ－Ｄ画像）が入力されている。なお、演算部１１が記憶部１２に記憶されたプログラムを実行することにより、本発明の「推定部」、「判定部」および「算出部」が実現される。

【0026】

－姿勢推定システムの動作－
次に、図２を参照して、本実施形態による姿勢推定システム１００の動作（姿勢推定方法）について説明する。この姿勢推定動作の開始前において、測定領域に位置する人物の各部位（計測対象の全ての部位）がＲＧＢ－Ｄカメラ２および３に対して現れるようにして、各部位の初期位置（動作開始時点の位置）が正確に算出される。これにより、ＲＧＢ－Ｄカメラ２および３のＲＧＢ画像上における人物の各部位の特徴が学習され、その各部位をトラッキングすることが可能になる。なお、以下のフローは、姿勢推定動作が開始されてから終了されるまで繰り返し行われる。

【0027】

まず、図２のステップＳ１において、ＲＧＢ－Ｄカメラ２および３により、測定領域に位置する人物が撮像される。そして、ＲＧＢ－Ｄカメラ２および３により取得されたＲＧＢ－Ｄ画像が、ＲＧＢ－Ｄカメラ２および３から姿勢推定装置１に出力される。

【0028】

次に、ステップＳ２において、姿勢推定装置１により、ＲＧＢ－Ｄカメラ２によるＲＧＢ画像上における人物の各部位の位置が推定されるとともに、ＲＧＢ－Ｄカメラ３によるＲＧＢ画像上における人物の各部位の位置が推定される。たとえば、学習された人物の各部位がＲＧＢ画像上でトラッキングされることにより、人物の各部位の位置が推定される。

【0029】

次に、ステップＳ３において、姿勢推定装置１により、ＲＧＢ－Ｄカメラ２によるＲＧＢ画像上において推定された人物の部位の位置についての深さ情報の経時変化に基づいて、ＲＧＢ－Ｄカメラ２によるその部位の深さ情報の信頼性が判定される。この信頼性の判定は、ＲＧＢ－Ｄカメラ２によるＲＧＢ画像上において推定された人物の各部位について行われる。また、姿勢推定装置１により、ＲＧＢ－Ｄカメラ３によるＲＧＢ画像上において推定された人物の部位の位置についての深さ情報の経時変化に基づいて、ＲＧＢ－Ｄカメラ３によるその部位の深さ情報の信頼性が判定される。この信頼性の判定は、ＲＧＢ－Ｄカメラ３によるＲＧＢ画像上において推定された人物の各部位について行われる。

【0030】

次に、ステップＳ４において、姿勢推定装置１により、信頼性の高い深さ情報を用いて人物の部位の位置（三次元位置）が算出される。具体的には、信頼性の高い深さ情報が得られたカメラによるＲＧＢ－Ｄ画像に基づいて、人物の部位の位置が算出される。この位置の算出が人物の各部位について行われることにより、その人物の姿勢が推定される。

【0031】

－効果－
本実施形態では、上記のように、ＲＧＢ－Ｄカメラ２および３が設けられることによって、ＲＧＢ－Ｄカメラ２および３の深さ情報の信頼性を考慮して、人物の各部位の位置が算出されることにより、姿勢推定の精度向上を図ることができる。つまり、人物の部位の隠れによる信頼性の低い深さ情報を用いないようにすることにより、姿勢推定の精度向上を図ることができる。

【0032】

また、本実施形態では、ＲＧＢ－Ｄカメラ２および３の一方の画角から人物の所定の部位が外れた場合に、その所定の部位がＲＧＢ－Ｄカメラ２および３の他方の画角内であれば、姿勢推定を適切に行うことができる。

【0033】

また、本実施形態では、ＲＧＢ画像上における人物の各部位の特徴を学習することによって、ＲＧＢ画像上での各部位の位置の推定精度の向上を図ることができる。

【0034】

－他の実施形態－
なお、今回開示した実施形態は、すべての点で例示であって、限定的な解釈の根拠となるものではない。したがって、本発明の技術的範囲は、上記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、本発明の技術的範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

【0035】

たとえば、上記実施形態では、人物の姿勢が推定される例を示したが、これに限らず、人物以外の対象物の姿勢が推定されるようにしてもよい。

【0036】

また、上記実施形態では、２台のＲＧＢ－Ｄカメラ２および３が設けられる例を示したが、これに限らず、３台以上のＲＧＢ－Ｄカメラが設けられていてもよい。この場合において、姿勢推定装置は、３台以上のＲＧＢ－ＤカメラのそれぞれのＲＧＢ－Ｄ画像（三次元画像）に基づいて人物の所定の部位の三次元位置を算出するとともに、算出された３つ以上の三次元位置に基づいてそれら三次元位置の信頼性を評価するように構成されていてもよい。たとえば、３台のＲＧＢ－Ｄカメラが設けられている場合において、２台のＲＧＢ－ＤカメラによるＲＧＢ－Ｄ画像に基づく所定の部位の三次元位置が同じであり、残りの１台のＲＧＢ－ＤカメラによるＲＧＢ－Ｄ画像に基づく所定の部位の三次元位置が異なる場合には、２台のＲＧＢ－Ｄカメラによる三次元位置の信頼性が高いと評価され、残りの１台のＲＧＢ－Ｄカメラによる三次元位置の信頼性が低いと評価される。すなわち、３台のＲＧＢ－ＤカメラのＲＧＢ－Ｄ画像による三次元位置に基づいて、各ＲＧＢ－Ｄカメラが所定の部位を適切に捕らえているかが評価される。つまり、２台のＲＧＢ－Ｄカメラでは所定の部位が適切に捕らえられているので、その２台のＲＧＢ－Ｄカメラによる三次元位置が同じになるのに対して、残りの１台のＲＧＢ－Ｄカメラでは所定の部位が適切に捕らえられていないので、その残りの１台のＲＧＢ－Ｄカメラによる三次元位置が異なるものになる。このため、人物の所定の部位の位置として、信頼性の高い２台のＲＧＢ－Ｄカメラによる三次元位置が採用される。このように構成しても、姿勢推定の精度向上を図ることができる。さらに、姿勢推定装置は、上記した深さ情報の経時変化に基づく信頼性の判定を併せて行うようにしてもよい。すなわち、姿勢推定装置は、各ＲＧＢ－ＤカメラによるＲＧＢ画像を用いて、そのＲＧＢ画像上における人物の所定の部位の位置を推定するとともに、推定された所定の部位の位置についての深さ情報の経時変化に基づいて、そのＲＧＢ－Ｄカメラによる所定の部位の深さ情報の信頼性を判定するように構成されていてもよい。また、姿勢推定装置は、各ＲＧＢ－ＤカメラのそれぞれのＲＧＢ画像上における人物の所定の部位の特徴を学習し、その所定の部位をトラッキングするように構成され、かつ、信頼性が低いと評価された三次元位置が得られたＲＧＢ－Ｄカメラ（上記した例示の場合、残りの１台のＲＧＢ－Ｄカメラ）による二次元画像上における所定の部位の特徴を再学習し、トラッキングをやり直すように構成されていてもよい。つまり、所定の部位を適切に捕らえることができていないＲＧＢ－Ｄカメラについて、所定の部位を再学習してトラッキングがやり直される。なお、姿勢推定装置において演算部が記憶部に記憶されたプログラムを実行することにより、本発明の「推定部」、「判定部」、「算出部」、「三次元位置算出部」および「信頼性評価部」が実現される。

【0037】

また、上記実施形態では、深さ情報の経時変化が小さいほど信頼性が高いと判定される例を示したが、これに限らず、深さ情報の経時変化が所定範囲内である場合に信頼性が高いと判定され、深さ情報の経時変化が所定範囲外になった場合に信頼性が低いと判定されるようにしてもよい。

【0038】

また、上記実施形態において、深さ情報の信頼性は、経時変化に加えてその他の要因を考慮して判定されるようにしてもよい。たとえば、所定の部位と、その所定の部位に最も近い部位との距離が大きいほど、信頼性が高いと判定されるようにしてもよい。また、ＲＧＢ画像における所定の部位の周囲の画像品質が高い（ブレがなくコントラストがはっきりしている）ほど、信頼性が高いと判定されるようにしてもよい。また、カメラから所定の部位までの距離が近いほど、信頼性が高いと判定されるようにしてもよい。

【0039】

また、上記実施形態において、ＲＧＢ－Ｄカメラ２および３の両方の所定の部位の深さ情報の信頼性が低い場合には、所定の部位が計測不能であると出力されるようにしてもよい。

【0040】

また、上記実施形態において、ＲＧＢ－Ｄカメラ２および３は、ＲＧＢ画像を取得するＲＧＢ画像取得部と、深度画像を取得する深度画像取得部とが、１つの筐体に一体的に設けられていてもよいし、それぞれ個別の筐体に設けられていてもよい。

【産業上の利用可能性】

【0041】

本発明は、対象物の姿勢を推定する姿勢推定システムに利用可能である。

【符号の説明】

【0042】

１ 姿勢推定装置
２ ＲＧＢ－Ｄカメラ（三次元カメラ）
３ ＲＧＢ－Ｄカメラ（三次元カメラ）
１００ 姿勢推定システム

【図1】

【図2】