特開 2024-154184 学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024154184

(43)【公開日】2024-10-30

(54)【発明の名称】学習装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241023BHJP

【ＦＩ】

G06T7/00 660B

G06T7/00 350B

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023067879

(22)【出願日】2023-04-18

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】横山 美優

(72)【発明者】

【氏名】小久保 嘉人

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096DA02

5L096FA15

5L096FA32

5L096FA60

5L096FA69

5L096GA34

5L096HA08

5L096KA04

(57)【要約】

【課題】二次元画像から骨格姿勢を推定する場合に利用可能な、より適切な学習済みモデルを作成するための関節座標のアノテーションをより適切に行うことができる、学習装置を提供する。
【解決手段】学習装置は、骨格の関節部が存在する部分の体表面回りのうち１／２以上に巻き付けられた広域マーカを備える人体モデルを撮像した二次元画像を取得する画像取得部と、二次元画像から関節部ごとに広域マーカを抽出するマーカ抽出部と、広域マーカの位置に基づき体表面における関節部の関節座標を取得する座標取得部と、関節部と関節座標との関係を示す教師データを複数学習させた結果としての学習済みモデルを生成するモデル作成部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

骨格の関節部が存在する部分の体表面回りの任意の領域に巻き付けられた広域マーカを備える人体モデルを撮像した二次元画像を取得する画像取得部と、
前記二次元画像から前記関節部ごとに前記広域マーカを抽出するマーカ抽出部と、
前記広域マーカの位置に基づき体表面における前記関節部の関節座標を取得する座標取得部と、
前記関節部と前記関節座標との関係を示す教師データを複数学習させた結果としての学習済みモデルを生成するモデル作成部と、
を備える、学習装置。

【請求項2】

前記広域マーカは、前記人体モデルの前記体表面の全周に巻き付けられている、請求項１に記載の学習装置。

【請求項3】

前記二次元画像において、前記関節部に対応する前記広域マーカの一部が隠蔽され当該広域マーカが前記二次元画像上で複数の個別マーカに分割された場合、分割された複数の前記個別マーカの中心位置から最も近い前記個別マーカ上の座標を前記関節座標とする、請求項１に記載の学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習装置に関する。

【背景技術】

【0002】

従来、人体の骨格姿勢を検出する技術が種々提案されている。例えば、人体の体表に付したマーカと、当該マーカを付した状態で撮影した断層画像を利用して、マーカの位置と実際の骨位置の相対位置を精密に算出した相対位置情報を利用した技術が提案されている。この技術では、任意姿勢の観察対象について、複数カメラで撮影された画像から、体表面につけられたマーカの世界座標位置を特定して、特定したマーカ位置と、事前に算出したマーカと骨位置の相対位置情報とに基づき、観察対象の骨格姿勢を復元している。また、マーカを用いた骨格姿勢の推定技術として、例えば、関節と関節との間の直線上の任意の２点にマーカを配置して、骨格姿勢の検出精度を向上するものが提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－１０３１９７号公報

【特許文献2】特開平９－１５３１５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像から骨格姿勢を推定するために機械学習が利用する場合がある。この場合、複数の画像を準備して、各画像に写っている人体に対して関節位置（座標）のアノテーション(正解値付け作業)を行い、学習済みモデルを作成する。アノテーションを行う場合、正解値としての関節位置（骨格点位置）は体表に付与されることが望ましい。しかしながら、上述した従来技術の場合、三次元的に関節位置を捉えることが目的のため、カメラ位置から関節位置がどう見えるかは考慮されていない。つまり、従来技術において、取得される三次元上での骨格点位置は体内に埋まった位置であり、カメラから見える関節位置（骨格点）の二次元座標値とは異なる場合がある。また、例えば、関節位置を含む人体の表面の一部がカメラから見えている場合、アノテーション時に可視として扱うことが可能であるが、従来技術の場合、関節位置は三次元座標の１点とされており、カメラからの可視不可視の判定において、その１点のみを考慮して実施される。その結果、不可視と判定されてしまう場合がある。したがって、二次元画像から骨格姿勢を推定するために利用する良好な学習済みモデルが作成できない場合があるという問題があった。

【0005】

そこで、本開示の課題の一つは、二次元画像から骨格姿勢を推定する場合に利用可能な、より適切な学習済みモデルを作成するための関節座標のアノテーションをより適切に行うことができる、学習装置を提供することである。

【課題を解決するための手段】

【0006】

本開示の一例としての学習装置は、骨格の関節部が存在する部分の体表面回りの任意の領域に巻き付けられた広域マーカを備える人体モデルを撮像した二次元画像を取得する画像取得部と、前記二次元画像から前記関節部ごとに前記広域マーカを抽出するマーカ抽出部と、前記広域マーカの位置に基づき体表面における前記関節部の関節座標を取得する座標取得部と、前記関節部と前記関節座標との関係を示す教師データを複数学習させた結果としての学習済みモデルを生成するモデル作成部と、を備える。この構成によれば、例えば、二次元画像上で見えている体表面位置において広域マーカを目安として、関節位置に対応する座標に正解値をアノテートすることができる。つまり、二次元画像から骨格姿勢を推定する場合に利用可能な、より適切な学習済みモデルを作成するための関節位置のアノテーションをより適切に行うことができる。

【0007】

また、上述の学習装置の前記広域マーカは、例えば、前記人体モデルの前記体表面の全周に巻き付けられていてもよい。この構成によれば、例えば、二次元画像に写っている人体の姿勢が変化した場合でも関節位置に対するアノテーションを効率的に行うことができる。

【0008】

また、上述の学習装置の前記二次元画像において、例えば、前記関節部に対応する前記広域マーカの一部が隠蔽され当該広域マーカが前記二次元画像上で複数の個別マーカに分割された場合、分割された複数の前記個別マーカの中心位置から最も近い前記個別マーカ上の座標を前記関節座標とする。この構成によれば、例えば、二次元画像上の広域マーカの一部が何らかの物体（例えば、人体の腕等）により遮られて、複数の部分（個別マーカ）に分割されてしまう場合でも、一つの広域マーカとして扱い、関節位置に対するアノテーションを効率的に行うことができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態にかかる学習装置の構成を示す例示的かつ模式的なブロック図である。

【図2】図２は、実施形態にかかる学習装置で参照する人体における三次元の関節位置を示す例示的かつ模式的な説明図である。

【図3】図３は、実施形態にかかる学習装置で学習に利用する広域マーカが付されたモデル（二次元画像）を示す例示的かつ模式的な説明図である。

【図4】図４は、実施形態にかかる学習装置で学習に利用する広域マーカに基づいて二次元画像上で取得される関節座標を示す例示的かつ模式的な説明図である。

【図5】図５は、実施形態にかかる学習装置の動作の流れを示す例示的なフローチャートである。

【発明を実施するための形態】

【0010】

以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

【0011】

図１は、実施形態にかかる学習装置１０の構成を示す例示的かつ模式的なブロック図である。学習装置１０は、一般的なパーソナルコンピュータと同様に、例えば、ＣＰＵ（Central Processing Unit）１２、図示を省略したＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）やフラッシュメモリ等の記憶部、各種情報を入力するための入力部等を含む。また、学習装置１０は、学習した結果としての学習済みモデル等を記憶、保存、更新可能な記憶装置１４を備えている。なお、記憶装置１４は、ＨＤＤ（Hard Disk Drive）やＳＳＤ等で構成することができる。また、記憶装置１４は、学習装置１０以外の部分に設けられてもよい。例えば、外部サーバやクラウド上に存在してもよい。

【0012】

ＣＰＵ１２は、例えば、ＲＯＭやＳＳＤ等の不揮発性の記憶部にインストールされ記憶された学習プログラムを読み出し、当該学習プログラムにしたがって、関節位置のアノテーションを実行するための各種モジュールを実行する。ＣＰＵ１２は、各種モジュールとして、例えば、画像取得部１２ａ、マーカ抽出部１２ｂ、座標取得部１２ｃ、モデル作成部１２ｄ等を実現する。

【0013】

画像取得部１２ａは、関節位置のアノテートを実行するために様々な姿勢の人体モデルを含む二次元画像を順次取得する。二次元画像は、デジタルカメラ等の撮像装置から取得してもよいし、記憶装置や外部サーバ、クラウド上等に保存されているデータから取得してもよい。

【0014】

本実施形態の学習装置１０は、各二次元画像に写っている人体モデルに対して関節部の関節位置（座標）のアノテーション(正解値付け作業)を行い、学習済みモデルを作成する。図２は、学習装置１０で参照する人体における三次元の関節位置を示す例示的かつ模式的な説明図である。図２の場合、人体１６は、例えば、不図示のシートに着座した状態の姿勢で示され、人体１６の姿勢を推定する場合に参照する骨格１８における三次元の関節位置２０が示されている。

【0015】

本実施形態において、人体１６の姿勢を推定するために利用する関節位置２０として、便宜上、以下のような簡易名称を利用する。例えば、左肩関節２０ａ、右肩関節２０ｂ、左肘関節２０ｃ、右肘関節２０ｄ、左手首関節２０ｅ、右手首関節２０ｆ、左大腿関節２０ｇ、右大腿関節２０ｈ、左膝関節２０ｉ、右膝関節２０ｊ、左足首関節２０ｋ、右足首関節２０ｌ、および首関節２０ｍ等と分類する。これらの関節位置２０は、人体１６の内部に存在する位置で示されている。一方、本実施形態において、二次元画像を用いてに関節位置（座標）のアノテーション(正解値付け作業)を行う場合は、人体表面１６Ａ上で体表関節位置２２が定義される。例えば、左肩関節２０ａに対応する位置として体表左肩関節２２ａが示される。同様に、他の関節位置２０に対しても体表関節位置２２が定義される。図２に示されるように、実際の関節位置２０と体表関節位置２２とは、異なる位置として示されるが、各関節位置を結んで人体１６の姿勢を推定する場合、各関節位置２０を結ぶ骨格姿勢と、各体表関節位置２２を結ぶ骨格姿勢とは、同様な姿勢を示す。つまり、体表関節位置２２を骨格の推定を行う場合の指標として利用できる。

【0016】

本実施形態において、画像取得部１２ａで取得する学習用に取得する二次元画像上でアノテートする関節部の関節位置を特定するために、骨格１８の関節部が存在する部分（関節位置２０）の体表面回りに巻き付けられた広域マーカを利用する。つまり、関節位置と広域マーカとが紐付けられている。図３は、学習装置１０で学習に利用される広域マーカ２４が付された人体モデルＭ（二次元画像）を示す例示的かつ模式的な説明図である。なお、人体モデルＭは、学習用に準備した姿勢変更可能な人形であってもよいし、様々な姿勢をとる実際の人間であってもよい。

【0017】

上述したように、人体モデルＭの体表ＭＡには、関節部（関節位置）に対応する任意の領域に広域マーカ２４が巻き付けられている。広域マーカ２４の色は、体表ＭＡとの識別が画像上で容易にできるように、人体モデルＭの体表ＭＡの体表色とは異なる色、例えば黄色や赤色等で構成される。帯状の広域マーカ２４の幅は、人体モデルＭの姿勢が変化した場合でも関節位置を特定できる幅を有していればよく、例えば、５０ｍｍ程度とすることができるが、適宜変更可能である。また、広域マーカ２４の幅は、関節部の種類によって統一してもよいし、異ならせてもよい。広域マーカ２４は、二次元画像上で関節部が存在する部分を特定する機能を備えればよく、任意の領域として、例えば、体表ＭＡの体表面回りのうち１／２以上に巻き付けられていればよいが、人体モデルＭの体表ＭＡの全周に巻き付けられていることが望ましい。

【0018】

例えば、左肩関節２０ａに対応する部分には左肩広域マーカ２４ａ、右肩関節２０ｂに対応する部分には右肩広域マーカ２４ｂが付される。同様に、左肘関節２０ｃに対応する部分には左肘広域マーカ２４ｃが付され、右肘関節２０ｄに対応する部分には右肘広域マーカ２４ｄが付される。左手首関節２０ｅに対応する部分には左手首広域マーカ２４ｅが付され、右手首関節２０ｆに対応する部分には右手首広域マーカ２４ｆが付される。左大腿関節２０ｇに対応する部分には左大腿広域マーカ２４ｇが付され、右大腿関節２０ｈに対応する部分には右大腿広域マーカ２４ｈが付される。左膝関節２０ｉに対応する部分には左膝広域マーカ２４ｉが付され、右膝関節２０ｊに対応する部分には右膝広域マーカ２４ｊが付される。また、左足首関節２０ｋに対応する部分には左足首広域マーカ２４ｋが付され、右足首関節２０ｌに対応する部分には右足首広域マーカ２４ｌが付される。そして、首関節２０ｍに対応する部分には首広域マーカ２４ｍが付される。なお、左大腿関節２０ｇおよび右大腿関節２０ｈは、骨盤と大腿骨との接続部分に存在し、太腿の付け根より腰よりの位置に存在する。そのため、左大腿広域マーカ２４ｇと右大腿広域マーカ２４ｈは大腿の付け根より上方の位置に付されるため、体表ＭＡの全周に巻き付けるのではなく、例えば、体表面回りのうち１／２の長さで巻き付ける。つまり、左右分離した状態で巻き付けている。この場合、体表ＭＡにおいて、左右の識別が容易になるという利点もある。一方、他の関節位置に関しては、広域マーカ２４は、左右の識別が明確であり、また体表の全周に巻き付けることが容易であるため、全周巻きとしている。なお、人体モデルＭは、二次元画像上に存在するため、撮影方向に関わらず、広域マーカ２４は、体表の１／２以上で存在すれば、いずれの方向から撮影されても、画像上で検出可能となる。したがって、広域マーカ２４は、全てが見えていない場合でも一部が見せていれば、その見えている部分を目安として関節位置の特定を行うことが可能になる。つまり、広域マーカ２４の一部が見えていれば、可視判定が可能となり、関節位置の特定（取得）を行うことができる。

【0019】

図１に戻り、マーカ抽出部１２ｂは、画像取得部１２ａが取得した二次元画像から関節部ごとに広域マーカ２４を抽出する。マーカ抽出部１２ｂは、周知の画像処理技術を用いて、二次元画像上に存在する人体モデルＭを抽出する。この場合、マーカ抽出部１２ｂは、人体モデルＭを一体ずつ抽出するために、未処理の人体モデルＭを一体だけ選択して、その他の領域をマスキングする。例えば、二次元画像上に複数の人体モデルＭが存在する場合、他の人体モデルＭの広域マーカ２４と処理対象の人体モデルＭの広域マーカ２４が混同しないようするためにマスキングして、ノイズ成分を排除する。特に、二次元画像上で複数の人体モデルＭが重ねっている場合にマスキングによって、一体の人体モデルＭを分離して、広域マーカ２４の抽出精度を向上することができる。また、人体モデルＭの周囲の背景に広域マーカ２４と類似する色彩の物体が存在する場合も、処理対象の人体モデルＭ以外をマスキングすることによりノイズ成分を排除し、広域マーカ２４の抽出精度を向上することができる。

【0020】

座標取得部１２ｃは、マーカ抽出部１２ｂが抽出した広域マーカ２４ごとに体表ＭＡ上で関節位置２０対応する関節座標２６を取得する。座標取得部１２ｃは、マーカ抽出部１２ｂが抽出した広域マーカ２４ごとに、例えば、その広域マーカ２４が占有する領域の重心位置を関節座標２６として取得する。前述したように、広域マーカ２４は関節位置２０ごとに紐付けられているため、座標取得部１２ｃは、関節位置２０に対応する関節座標２６を取得することができる。なお、座標取得部１２ｃは、関節座標２６を取得する場合、重心位置として取得する場合の他、例えば、中央値や平均値を計算することにより取得してもよい。重心位置や、中央値、平均値等を中央位置と称する場合もある。

【0021】

座標取得部１２ｃは、マーカ抽出部１２ｂが抽出した人体モデルＭ上の各広域マーカ２４に対して、関節位置２０に対応する関節座標２６を順次取得する。また、マーカ抽出部１２ｂにより二次元画像上に複数の人体モデルＭが検出される場合、マーカ抽出部１２ｂは、各人体モデルＭを個別に抽出するマスキングを繰り返し、他の人体モデルＭに対する広域マーカ２４の抽出を順次行う。そして、座標取得部１２ｃは、マーカ抽出部１２ｂが抽出した広域マーカ２４に基づく、関節座標２６を順次取得する。

【0022】

モデル作成部１２ｄは、関節位置２０（関節部）と座標取得部１２ｃが取得した関節座標２６との関係を教師データとして、二次元画像に写っている人体モデルＭ（人体）に対して関節位置（関節座標）のアノテーション(正解値付け作業)を行う。そして、教師データを複数学習させた結果としての学習済みモデルを作成する。

【0023】

ところで、マーカ抽出部１２ｂが抽出する広域マーカ２４は、人体モデルＭの他の部分や人体モデルＭの周囲に存在する物体によって一部が隠蔽されてしまう場合がある。図４の場合、右腕が隠蔽物となり、右大腿広域マーカ２４ｈが個別マーカ２４ｈａと個別マーカ２４ｈｂに分割されている例である。前述したように、関節位置２０と広域マーカ２４とは紐付けられているため、マーカ抽出部１２ｂは、まず、処理対象となる関節位置２０（関節部）に対する広域マーカ２４を一括して抽出する。つまり、個別マーカ２４ｈａと個別マーカ２４ｈｂを一つの広域マーカ２４として抽出する。そして、座標取得部１２ｃは、個別マーカ２４ｈａと個別マーカ２４ｈｂとが占有する領域の中心位置（重心位置）を仮座標位置２８として算出する。続いて、座標取得部１２ｃは、分割された複数の個別マーカ２４ｈａ，２４ｈｂの中心位置（仮座標位置２８）から最も近い個別マーカ上の座標を関節座標３０とする。図４に示すように、仮座標位置２８により近い個別マーカ２４ｈａ上で仮座標位置２８に最も近い座標を関節座標３０とする。つまり、二次元画像上の広域マーカ２４の一部が何らかの隠蔽物（例えば、人体の腕等）により遮られて、複数の個別マーカ２４ｈａ，２４ｈｂ等に分割されてしまう場合でも、一つの広域マーカ２４として扱い、関節位置２０に対する関節座標３０を効率的に取得することができる。広域マーカ２４が３以上に分割される場合も同様である。

【0024】

このように、二次元画像上で広域マーカ２４は、容易に抽出可能であり、関節位置が二次元画像上でどこに存在するか、どの位置が関節位置として妥当であるかを容易にかつ効率的に得ること（アノテートすること）ができる。つまり、学習装置１０は、人（アノテート作業者）によってアノテートする場合に近い状態で自動的にアノテートすることが可能になる。したがって、二次元画像から骨格姿勢を推定する場合に利用可能な、より適切な学習済みモデルを自動的に作成することができる。

【0025】

上述のように構成される学習装置１０の動作の流れを図５に例示的に示すフローチャートを用いて説明する。

【0026】

学習装置１０は、学習済みモデルを作成するための学習処理が開始されると、画像取得部１２ａは、広域マーカ２４を備える人体モデルＭを撮像した二次元画像を取得する（Ｓ１００）。マーカ抽出部１２ｂは、二次元画像内の人物（人体モデルＭ）全員の関節座標２６（関節座標３０）が取得済みであるか確認し（Ｓ１０２）、全員の関節座標２６（関節座標３０）が取得済みの場合（Ｓ１０２のＹｅｓ）、一旦このフローを終了する。

【0027】

Ｓ１０２において、全員の関節座標２６（関節座標３０）が取得済みでない場合（Ｓ１０２のＮｏ）、マーカ抽出部１２ｂは、二次元画像上で関節座標２６（関節座標３０）が未取得の人物（人体モデルＭ）を一人（一体）選択する（Ｓ１０４）。そして、マーカ抽出部１２ｂは、選択した人物（人体モデルＭ）以外の領域をマスクする（Ｓ１０６）。つまり、処理対象の人物（人体モデルＭ）以外の領域に起因するノイズ成分を排除する。

【0028】

そして、マーカ抽出部１２ｂは、選択した人物（人体モデルＭ）の画像内の各関節部の広域マーカ２４の抽出を実行する（Ｓ１０８）。そして、座標取得部１２ｃは、各関節部の広域マーカ２４の、例えば重心位置を算出して、その位置を二次元画像における人物（人体モデルＭ）の体表ＭＡ上で関節位置２０対応する関節座標２６として取得する（Ｓ１１０）。そして、モデル作成部１２ｄは、関節位置２０（関節部）と関節座標２６との関係を示す教師データとして、関節座標２６のアノテーション(正解値付け作業)を行い、教師データを複数学習させた結果としての学習済みモデルを構築する（Ｓ１１２）。Ｓ１０２～Ｓ１１２の処理は、二次元画像内の人物（人体モデルＭ）全員の関節座標２６（関節座標３０）が取得済みとなるまで、繰り返し実行される。また、Ｓ１０２～Ｓ１１２の処理は、画像取得部１２ａが二次元画像を取得するたびに繰り返し行われ、学習済みモデルの構築を継続し、学習済みモデルの精度を向上する。

【0029】

なお、図３等に示した例では、シートに着座した姿勢の標準体型の人体モデルＭを示しているが、人体モデルＭの姿勢や体型は、適宜選択可能であり、直立姿勢等の他の姿勢や他の体型でも同様に関節座標の取得が可能であり、上述の例と同様にアノテーションを実行することができる。そして、より様々な姿勢や体型に対応することができる学習済みモデルを構築することができる。

【0030】

なお、本実施形態の学習装置１０のＣＰＵ１２が実現する学習処理のための学習プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0031】

さらに、本実施形態の処理を実行する学習プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される学習プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0032】

以上、本実施形態および変形例を説明したが、上述した実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態および変形例は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0033】

１０…学習装置、１２…ＣＰＵ、１２ａ…画像取得部、１２ｂ…マーカ抽出部、１２ｃ…座標取得部、１２ｄ…モデル作成部、１４…記憶装置、１６…人体、１８…骨格、２０…関節位置、２２…体表関節位置、２４…広域マーカ、２６，３０…関節座標、２８…仮座標位置、Ｍ…人体モデル、ＭＡ…体表。

【図1】

【図2】

【図3】

【図4】

【図5】