特開 2024-157448 アノテーション方法及びアノテーション装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024157448

(43)【公開日】2024-11-07

(54)【発明の名称】アノテーション方法及びアノテーション装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241030BHJP

   G06T 7/20 20170101ALI20241030BHJP

   G06N 20/00 20190101ALI20241030BHJP

【ＦＩ】

G06T7/00 350B

G06T7/20 300Z

G06N20/00 130

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023071826

(22)【出願日】2023-04-25

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】鷲見 典克

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096DA02

5L096FA12

5L096FA32

5L096FA66

5L096FA67

5L096FA69

5L096HA04

5L096KA04

(57)【要約】

【課題】画像に含まれるブレの強度及び方向に応じて機械学習モデルを訓練できるように学習データセットを生成することができるアノテーション方法及びアノテーション装置を提供する。
【解決手段】アノテーション装置１００のプロセッサ１０は、画像センサ２を用いて撮像した学習用対象者Ｐの学習用画像Ｖを取得し、学習用対象者Ｐの１つ又は複数の身体部位の動きを検出するモーションセンサ３の検出結果に基づいて関節の関節位置、関節位置の関節移動速度及び関節移動方向を取得し、関節移動速度に基づいて学習用画像における関節位置のブレ強度を算出し、関節移動方向に基づいて学習用画像における関節位置のブレ方向Ｄを算出し、関節位置、ブレ強度及びブレ方向Ｄに基づいて、推定関節位置の学習用確信度分布を算出し、学習用画像及び学習用確信度分布を含む学習データセットを生成する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

プロセッサを用いて、機械学習モデルを訓練するための学習データセットを生成するアノテーション方法であって、
前記機械学習モデルは、対象者の画像に基づき、前記対象者の１つ又は複数の関節の推定関節位置の確信度分布を出力するモデルであり、
前記プロセッサは、
画像センサを用いて撮像した学習用対象者の学習用画像を取得し、
前記学習用対象者の１つ又は複数の身体部位の動きを検出するセンサの検出結果に基づいて前記関節の関節位置、前記関節位置の関節移動速度及び関節移動方向を取得し、
前記関節移動速度に基づいて前記学習用画像における前記関節位置のブレ強度を算出し、
前記関節移動方向に基づいて前記学習用画像における前記関節位置のブレ方向を算出し、
前記関節位置、前記ブレ強度及び前記ブレ方向に基づいて、前記推定関節位置の学習用確信度分布を算出し、
前記学習用画像及び前記学習用確信度分布を含む前記学習データセットを生成する、アノテーション方法。

【請求項2】

前記プロセッサは、
前記学習用画像を撮像するときの前記画像センサの露光時間及び前記関節移動速度に基づいて前記ブレ強度を算出する、請求項１に記載のアノテーション方法。

【請求項3】

前記プロセッサは、
前記学習用画像に複数の前記学習用対象者が含まれる場合は、各々の前記学習用対象者について前記学習用確信度分布を算出する、請求項１に記載のアノテーション方法。

【請求項4】

前記機械学習モデルは、前記画像に前記確信度分布を示す図像を重畳して表示する出力画像を出力するモデルであって、
前記プロセッサは、前記学習用画像に前記学習用確信度分布を示す前記図像を重畳して表示する学習用出力画像を含む前記学習データセットを生成する、請求項１に記載のアノテーション方法。

【請求項5】

前記プロセッサは、
少なくとも１つの前記関節位置を含む身体部位が前記学習用画像に含まれていない場合は、前記学習用画像に含まれていない前記身体部位の前記関節位置に関する前記図像を前記学習用画像の座標系上に表示することにより前記学習用出力画像を生成する、請求項４に記載のアノテーション方法。

【請求項6】

前記機械学習モデルは、所定時間における前記推定関節位置の移動軌跡を前記画像上に表示する出力画像を出力するモデルであって、
前記プロセッサは、
前記ブレ強度及び前記ブレ方向に基づいて前記関節位置のオプティカルフローを算出し、
前記オプティカルフローに基づく前記移動軌跡を表示する学習用出力画像を含む前記学習データセットを生成する、請求項１に記載のアノテーション方法。

【請求項7】

プロセッサを用いて、機械学習モデルを訓練するための学習データセットを生成するアノテーション装置であって、
前記機械学習モデルは、対象者の画像に基づき、前記対象者の１つ又は複数の関節の推定関節位置の確信度分布を出力するモデルであり、
前記プロセッサは、
画像センサを用いて撮像した学習用対象者の学習用画像を取得する画像取得部と、
前記学習用対象者の１つ又は複数の身体部位の動きを検出するセンサの検出結果に基づいて前記関節の関節位置、前記関節位置の関節移動速度及び関節移動方向を取得するモーション情報取得部と、
前記関節移動速度に基づいて前記学習用画像における前記関節位置のブレ強度を算出するブレ強度算出部と、
前記関節移動方向に基づいて前記学習用画像における前記関節位置のブレ方向を算出するブレ方向算出部と、
前記関節位置、前記ブレ強度及び前記ブレ方向に基づいて、前記推定関節位置の学習用確信度分布を算出する確信度分布算出部と、
前記学習用画像及び前記学習用確信度分布を含む前記学習データセットを生成する学習データセット生成部とを備える、アノテーション装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、アノテーション方法及びアノテーション装置に関するものである。

【背景技術】

【0002】

特許文献１には、入力画像から所望の注目領域を識別する機械学習モデルを訓練するための学習方法が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２０／０５９４４６号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載された方法では、入力画像に含まれるブレが出力データに及ぼす影響が考慮されていない。

【0005】

本発明が解決しようとする課題は、画像に含まれるブレの強度及び方向に応じて機械学習モデルを訓練できるように学習データセットを生成することができるアノテーション方法及びアノテーション装置を提供することである。

【課題を解決するための手段】

【0006】

本発明は、学習用画像における関節位置、関節位置のブレ強度及びブレ方向に基づいて、推定関節位置の学習用確信度分布を算出し、学習用画像及び学習用確信度分布を含む学習データセットを生成することによって上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、画像に含まれるブレの強度及び方向に応じて機械学習モデルを訓練できるように学習データセットを生成することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係るアノテーション装置の構成を示すブロック図である。

【図2】図１に示す画像センサ及びモーションセンサの人体への装着例を示す図である。

【図3】図２に示す画像センサが取得した学習用画像の例を示す図である。

【図4】学習用確信度分布と露光時間との関係を示す図であり、図４（ａ）は、露光時間が１０ｍｓであるときの学習用確信度分布を示し、図４（ｂ）は、露光時間が２０ｍｓであるときの学習用確信度分布を示す。

【図5】図１に示すアノテーション装置が生成した学習用出力画像の例を示す図である。

【図6】図１に示すアノテーション装置が実行するアノテーション方法の手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて説明する。
図１に示すように、アノテーション装置１００は、プロセッサ１０を有する。アノテーション装置１００は、プロセッサ１０を用いて、機械学習モデル１を訓練するための教師データとしての学習データセットを生成する。また、アノテーション装置１００は、画像センサ２及びモーションセンサ３から取得した情報に基づいて、学習データセットを生成する。

【0010】

機械学習モデル１は、対象者を撮影した画像（入力画像）に基づき、対象者の１つ又は複数の関節の推定関節位置の確信度分布を出力するモデルである。具体的には、機械学習モデル１は、対象者を撮影した画像に基づき、画像に推定関節位置の確信度分布を示す図像を重畳して表示する出力画像を出力する。機械学習モデル１は、例えば、Ｏｐｅｎｐｏｓｅ等の姿勢検出モデルを転移学習したモデルである。

【0011】

画像センサ２は、カメラ等の光学センサである。画像センサ２は、学習用対象者Ｐの身体の一部又は全身を撮像する。例えば、図２に示すように、画像センサ２は、学習用対象者Ｐの頭部に装着されるヘルメットに取り付けられた小型カメラである。また、画像センサ２は、これに限定されず、学習用対象者Ｐの近傍に設置されているカメラであってもよく、携帯端末に内蔵されているカメラであってもよい。

【0012】

モーションセンサ３は、加速度センサである。図２に示すように、モーションセンサ３は、学習用対象者Ｐの両腕及び両脚の各々に３個ずつ装着されている。具体的には、モーションセンサ３は、学習用対象者Ｐの両腕の二の腕、手首及び手の甲の各々にベルトで固定されている。また、モーションセンサ３は、学習用対象者Ｐの両脚の腿、膝下及び足の甲の各々にベルト又は留め具で固定されている。さらに、図示しないモーションセンサ３は、学習用対象者Ｐの背中、頭、腰、両肩の各々に留め具で固定されている。なお、本実施形態では、学習用対象者Ｐには１７個のモーションセンサ３が装着されているが、モーションセンサ３の数はこれに限定されない。また、モーションセンサ３は、学習用対象者Ｐの両腕及び両脚の各々の関節位置に装着されていてもよい。モーションセンサ３は、学習用対象者Ｐの１つ又は複数の身体部位の動きを検出するセンサである。なお、本実施形態では、学習用対象者Ｐの１つ又は複数の身体部位の動きを検出するために慣性式のモーションセンサ３を用いているが、これに限定されない。例えば、光学式のセンサ（カメラ）を用いて、学習用対象者Ｐの身体部位のマーカの位置をトラッキングしてもよい。また、他の形態のセンサを用いて学習用対象者Ｐの１つ又は複数の身体部位の動きを検出してもよい。

【0013】

プロセッサ１０は、プログラムが格納されたＲＯＭ（Read Only Memory）と、ＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とを備える。プロセッサ１０は、画像取得部１１、モーション情報取得部１２、ブレ情報算出部１３、確信度分布算出部１４、オプティカルフロー算出部１５及び学習データセット生成部１６を有する。プロセッサ１０は、ＲＯＭに格納されたプログラムをＣＰＵにより実行することにより、画像取得部１１、モーション情報取得部１２、ブレ情報算出部１３、確信度分布算出部１４、オプティカルフロー算出部１５及び学習データセット生成部１６の各機能を実行する。

【0014】

画像取得部１１は、画像センサ２を用いて撮像した学習用対象者Ｐの学習用画像Ｖを取得する。図３に示す例において、学習用画像Ｖは、学習用対象者Ｐの前頭部に位置する画像センサ２が学習用対象者Ｐの両腕及び顔Ｆを撮像した画像である。学習用画像Ｖには、学習用対象者Ｐが両腕を前方に突き出して手を動かしている様子が映っている。このとき、学習用画像Ｖに映る学習用対象者Ｐの両腕の一部にはブレＢが発生している。また、学習用画像Ｖには、両腕の手首の関節Ｋ１及び肘関節Ｋ２に対応する身体部位が映っている。一方で、肩関節Ｋ３に対応する身体部位（肩）は、顔Ｆに遮蔽されて学習用画像Ｖには映らない。また、両脚の足首の関節Ｋ４、膝関節Ｋ５及び股関節Ｋ６の関節位置は、学習用画像Ｖの外側に位置しており、学習用画像Ｖには映らない。なお、図３に示す例において、学習用対象者Ｐは両脚を揃えて立っているものとするため、学習用画像Ｖの座標系では、足首の関節Ｋ４、膝関節Ｋ５及び股関節Ｋ６の関節位置はほぼ一致している。
なお、図３に示す学習用画像Ｖにおいて、学習用対象者Ｐの身体に装着されたモーションセンサ３及びモーションセンサ３を固定するためのベルトは省略されている。

【0015】

モーション情報取得部１２は、学習用対象者Ｐに装着されたモーションセンサ３の検出結果に基づいて学習用対象者Ｐの各関節のモーション情報を取得する。モーション情報は、学習用対象者Ｐの各関節の関節位置、関節位置の関節移動速度及び関節移動方向を含む。具体的には、モーション情報取得部１２は、学習用対象者Ｐの骨格情報に基づく機構解析を用いてモーションセンサ３の検出結果を解析することにより、学習用対象者Ｐの関節位置、関節位置の関節移動速度及び関節移動方向を算出する。なお、モーション情報取得の対象となる関節は、学習用対象者Ｐの両腕の手首の関節Ｋ１、肘関節Ｋ２及び肩関節Ｋ３、並びに、両脚の足首の関節Ｋ４、膝関節Ｋ５及び股関節Ｋ６である。

【0016】

ブレ情報算出部１３は、ブレ強度算出部１３ａ及びブレ方向算出部１３ｂを有する。すなわち、ブレ情報算出部１３は、学習用画像Ｖにおける各々の関節位置のブレ強度及びブレ方向Ｄ（図３参照）を算出する。

【0017】

ブレ強度算出部１３ａは、学習用画像Ｖを撮像するときの画像センサ２の露光時間及び各々の関節位置の関節移動速度に基づいて学習用画像Ｖにおける各々の関節位置のブレ強度を算出する。なお、画像センサ２の露光時間は、予め所定の時間に設定されていてもよく、撮像環境の明るさに応じて自動的に設定されてもよい。また、ブレ強度算出部１３ａは、画像センサ２の露光時間に関わらず、各々の関節位置の関節移動速度のみに基づいて各々の関節位置のブレ強度を算出してもよい。なお、ブレ強度は、三次元空間における関節位置の所定時間（例えば、画像センサ２の露光時間）における移動距離を学習用画像Ｖの二次元座標上で表した場合の距離である。

【0018】

ブレ方向算出部１３ｂは、各々の関節位置の関節移動方向に基づいて学習用画像Ｖにおける関節位置のブレ方向Ｄを算出する（図３参照）。なお、ブレ方向Ｄは、三次元空間における関節移動方向を学習用画像Ｖの二次元座標上で表した場合の方向である。

【0019】

確信度分布算出部１４は、モーション情報取得部１２が取得した関節位置、ブレ強度算出部１３ａが算出したブレ強度及びブレ方向算出部１３ｂが算出したブレ方向Ｄに基づいて、推定関節位置の学習用確信度分布Ａを算出する。学習用確信度分布Ａは、関節位置の推定範囲における確信度の分布を示す学習用データである。なお、学習用確信度分布Ａの範囲（関節位置の推定範囲）は、学習用画像Ｖの座標系において関節位置を示す座標位置を含む領域である。すなわち、確信度分布算出部１４は、モーション情報取得部１２が取得した関節位置に基づいて、学習用画像Ｖにおける学習用確信度分布Ａの範囲（関節位置の推定範囲）の座標位置を決定する。なお、確信度分布算出部１４は、モーション情報取得部１２が取得した関節位置と推定関節位置の平均座標位置（学習用確信度分布Ａの範囲の中心位置）とが一致するように、学習用確信度分布Ａの範囲の位置を算出する。

【0020】

また、図４（ａ）は、画像センサ２の露光時間が１０［ｍｓ］であり、かつ、学習用画像Ｖ上における関節位置の移動速度がｖ［ｍｍ／ｍｓ］のときの学習用確信度分布Ａ１の例を示す。このとき、学習用画像Ｖ上における関節位置の移動距離、すなわち、ブレ強度はｖ×１０［ｍｍ］である。確信度分布算出部１４は、下記の式（１）に示す分散共分散行列Ｍ１を用いて学習用確信度分布Ａ１を算出する。なお、関節位置の移動方向がθ[rad]のときには、角度θの回転行列Ｒをかけることで方向を調整する。係数ｋは、移動速度ｖに応じて調整する。

【数1】

【0021】

一方、図４（ｂ）は、画像センサ２の露光時間が２０［ｍｓ］であり、かつ、図４（ａ）に示す例と同様、学習用画像Ｖ上における関節位置の移動速度がｖ［ｍｍ／ｍｓ］のときの学習用確信度分布Ａ２の例を示す。このとき、学習用画像Ｖ上における関節位置の移動距離、すなわち、ブレ強度はｖ×２０［ｍｍ］である。確信度分布算出部１４は、基準となる露光時間１０［ｍｓ］における式（１）の共分散行列Ｍ１の係数ｋを２倍した、下記の式（２）に示す分散共分散行列Ｍ２を用いて学習用確信度分布Ａ２を算出する。

【数2】

【0022】

すなわち、図４（ａ）の学習用確信度分布Ａ１に対する図４（ｂ）の学習用確信度分布Ａ２の差異に示されるように、画像センサ２の露光時間が長くなることによりブレ強度が定数倍（図４に示す例では、２倍）大きくなった場合は、学習用確信度分布Ａのスケール（標準偏差の値）も定数倍（図４に示す例では、２倍）となる。

【0023】

また、確信度分布算出部１４は、学習用確信度分布Ａの範囲の中心位置（モーション情報取得部１２が取得した関節位置）に近づくにつれて推定関節位置の確信度が高くなるように、学習用確信度分布Ａを算出する。なお、図４（ａ），（ｂ）では、学習用確信度分布Ａ１，Ａ２は、確信度が高くなる程、黒色が濃くなるように表示されている。また、図４（ａ），（ｂ）に示すように、上述のように算出された学習用確信度分布Ａ１，Ａ２は、いずれもブレ方向Ｄに沿って伸びる略楕円形状の分布となる。すなわち、ブレ強度及びブレ方向Ｄは学習用確信度分布Ａを算出するためのパラメータである。
なお、学習用画像Ｖに複数の学習用対象者Ｐが含まれる場合は、確信度分布算出部１４は、各々の学習用対象者Ｐについて学習用確信度分布Ａを算出する。

【0024】

また、オプティカルフロー算出部１５は、ブレ強度及びブレ方向Ｄに基づいて関節位置のオプティカルフロー、すなわち、関節位置の動きを示すベクトル値を算出する。
なお、学習用画像Ｖに複数の学習用対象者Ｐが含まれる場合は、オプティカルフロー算出部１５は、各々の学習用対象者Ｐについて関節位置のオプティカルフローを算出する。

【0025】

学習データセット生成部１６は、学習用画像Ｖ及び学習用確信度分布Ａを含む学習データセットを生成する。具体的には、学習データセット生成部１６が生成する学習データセットは、学習用の入力データとして学習用画像Ｖを含む。また、学習データセットは、学習用の出力データとして学習用確信度分布Ａを含む。すなわち、図５に示すように、学習データセット生成部１６は、学習用の出力データとして、学習用画像Ｖに学習用確信度分布Ａを示す図像Ｚ１，Ｚ２，Ｚ３，Ｚ４を重畳して表示する学習用出力画像Ｖ０を生成する。

【0026】

図５に示す図像Ｚ１は、両腕の手首の関節Ｋ１の関節位置の学習用確信度分布Ａを示す。図像Ｚ２は、両腕の肘関節Ｋ２の関節位置の学習用確信度分布Ａを示す。図像Ｚ３は、両腕の肩関節Ｋ３の関節位置の学習用確信度分布Ａを示す。図像Ｚ４は、両脚の足首の関節Ｋ４、膝関節Ｋ５及び股関節Ｋ６の関節位置の学習用確信度分布Ａを示す。なお、学習用出力画像Ｖ０において、両脚の足首の関節Ｋ４、膝関節Ｋ５及び股関節Ｋ６の関節位置はほぼ一致している。また、図像Ｚ１，Ｚ２，Ｚ３，Ｚ４は、各々の関節位置の学習用確信度分布Ａを示す形状を有している。すなわち、図３に示す学習用画像ＶにおいてブレＢが生じていない肘関節Ｋ２、肩関節Ｋ３、足首の関節Ｋ４、膝関節Ｋ５及び股関節Ｋ６に対応する図像Ｚ２，Ｚ３，Ｚ４は、略円形状である。一方、学習用画像ＶにおいてブレＢが生じている手首の関節Ｋ１に対応する図像Ｚ１は、略楕円形状である。そして、学習用確信度分布Ａは、図像Ｚ１，Ｚ２，Ｚ３，Ｚ４の内側に表示される色の濃淡又は色相によって表示される。図５に示す例では、各々の図像Ｚ１，Ｚ２，Ｚ３，Ｚ４の中心位置に近づくほど、色が濃くなり、確信度は高くなっている。また、例えば、図像Ｚ１，Ｚ２，Ｚ３，Ｚ４の内側に付される色が暖色系（赤）に近づく程、確信度が高く、寒色系（青）に近づく程、確信度が低くなってもよい。

【0027】

ここで、図３に示す学習用画像Ｖには、学習用対象者Ｐの顔Ｆに隠れて、学習用対象者Ｐの肩（肩関節Ｋ３に対応する身体部位）が映っていない。また、学習用画像Ｖには、学習用対象者Ｐの両脚（足首の関節Ｋ４、膝関節Ｋ５及び股関節Ｋ６の関節位置に対応する身体部位）も映っていない。一方で、図５に示す学習用出力画像Ｖ０には、学習用画像Ｖに映っている手首の関節Ｋ１に対応する図像Ｚ１及び肘関節Ｋ２に対応する図像Ｚ２が表示される。さらに、学習用出力画像Ｖ０には、学習用画像Ｖに映らない肩関節Ｋ３に対応する図像Ｚ３が表示される。また、学習用出力画像Ｖ０には、学習用画像Ｖに映らない足首の関節Ｋ４、膝関節Ｋ５及び股関節Ｋ６に対応する図像Ｚ４も表示される。すなわち、学習データセット生成部１６は、少なくとも１つの関節位置を含む身体部位が学習用画像Ｖに含まれていない場合は、当該身体部位の関節位置に関する図像Ｚ３，Ｚ４も、図像Ｚ１，Ｚ２と同様に、学習用画像Ｖの座標系上に表示することにより学習用出力画像Ｖ０を生成する。すなわち、学習用対象者Ｐの身体部位の一部が遮蔽物に隠れたり、学習用画像Ｖからはみ出したりすることが原因で学習用画像Ｖに映っていない場合であっても、学習用出力画像Ｖ０には、学習用画像Ｖに映っていない身体部位の関節位置に関する図像Ｚ３，Ｚ４が表示される。なお、学習データセット生成部１６は、機構解析により求めた学習用対象者Ｐの骨格の三次元座標上の位置情報を学習用画像Ｖにおける二次元座標上の位置情報に変換することにより、学習用画像Ｖに含まれない身体部位の関節位置を特定できる。

【0028】

また、学習データセット生成部１６は、オプティカルフロー算出部１５が算出したオプティカルフローに基づく関節位置の移動軌跡Ｒを学習用出力画像Ｖ０に表示する。すなわち、学習データセット生成部１６が生成する学習データセットは、オプティカルフローに基づく移動軌跡Ｒを表示する学習用出力画像Ｖ０を含む。

【0029】

なお、学習データセット生成部１６によって生成された学習データセットによって訓練される機械学習モデル１は、図５に示す学習用出力画像Ｖ０と同様に、入力画像に推定関節位置の確信度分布を示す図像を重畳して表示する出力画像を出力する。

【0030】

次に、図６のフローチャートを用いて、アノテーション装置１００のプロセッサ１０が実行するアノテーション方法の手順について説明する。
まず、ステップＳ1において、画像取得部１１は、画像センサ２を用いて撮像した学習用対象者Ｐの学習用画像Ｖを取得する。
次に、ステップＳ２において、モーション情報取得部１２は、学習用対象者Ｐに装着されたモーションセンサ３の検出結果に基づいて、各々の関節のモーション情報を取得する。モーション情報は、関節位置、関節位置の関節移動速度及び関節移動方向を含む。

【0031】

次に、ステップＳ３において、ブレ強度算出部１３ａは関節移動速度に基づいて学習用画像Ｖにおける各々の関節位置のブレ強度を算出する。
さらに次に、ステップＳ４において、ブレ方向算出部１３ｂは関節移動方向に基づいて学習用画像Ｖにおける各々の関節位置のブレ方向Ｄを算出する。
なお、ステップＳ３の処理はステップＳ４の処理の後に実行されてもよく、ステップＳ３の処理とステップＳ４の処理とは同時に実行されてもよい。

【0032】

次に、ステップＳ５において、確信度分布算出部１４は、関節位置、ブレ強度及びブレ方向に基づいて、学習用確信度分布Ａを算出する。
さらに次に、ステップＳ６において、オプティカルフロー算出部１５は、ブレ強度及びブレ方向に基づいて関節位置のオプティカルフローを算出する。
なお、ステップＳ５の処理はステップＳ６の処理の後に実行されてもよく、ステップＳ５の処理とステップＳ６の処理とは同時に実行されてもよい。

【0033】

次に、ステップＳ７において、学習データセット生成部１６は、推定関節位置の学習用確信度分布Ａ及びオプティカルフローに基づく関節位置の移動軌跡Ｒを示す学習用出力画像Ｖ０を生成する。
なお、ステップＳ１の処理はステップＳ２～Ｓ７の処理の後に実行されてもよく、ステップＳ１の処理とステップＳ２～Ｓ７の処理とは互いに並行して実行されてもよい。

【0034】

さらに、ステップＳ９において、学習データセット生成部１６は、学習用画像Ｖ及び学習用出力画像Ｖ０を含む学習データセットを生成する。

【0035】

以上より、本実施形態に係るアノテーション装置１００は、モーションセンサ３の検出結果に基づいて取得した関節のモーション情報に基づいて、学習用画像Ｖにおける関節位置のブレ強度及びブレ方向を算出する。そして、アノテーション装置１００は、関節位置、ブレ強度及びブレ方向に基づいて、推定関節位置の学習用確信度分布Ａを算出する。そして、アノテーション装置１００は、学習用画像Ｖ及び学習用確信度分布Ａを含む学習データセットを生成する。これにより、アノテーション装置１００は、入力画像に含まれるブレの強度及び方向に応じて機械学習モデルを訓練できるように学習データセットを生成することができる。すなわち、アノテーション装置１００は、入力画像に含まれるブレに起因する不確実性を考慮したアノテーションを実行できる。従って、アノテーション装置１００が生成した学習データセットを用いて訓練された機械学習モデル１は、入力画像にブレがある場合でも、対象者の関節位置を精度良く推定することができる。すなわち、機械学習モデル１は、入力画像を取得する画像センサ（カメラ）の性能に関わらず、対象者の関節位置を精度良く推定することができる。また、アノテーション装置１００が生成する学習データセットにノイズとしてブレのある学習用画像Ｖを混ぜ込むことができるため、機械学習モデル１は、難易度に変化が有る学習をすることが可能になり、関節位置の推定精度を高めることができる。

【0036】

また、アノテーション装置１００は、学習用画像Ｖを撮像するときの画像センサ２の露光時間及び関節移動速度に基づいてブレ強度を算出する。これにより、アノテーション装置１００は、画像センサ２の露光時間が長い程、ブレ強度を大きく算出することができ、精度良く学習用確信度分布Ａを算出できる。

【0037】

また、アノテーション装置１００は、学習用画像Ｖに複数の学習用対象者Ｐが含まれる場合は、各々の学習用対象者Ｐについて学習用確信度分布Ａを算出する。これにより、アノテーション装置１００は、学習用画像Ｖに複数の学習用対象者Ｐが映っている場合でも学習データセットを生成することができる。また、機械学習モデル１は、複数の学習用対象者Ｐが映る学習用画像Ｖを用いて訓練されることにより、関節位置の推定精度を上げることができる。

【0038】

また、アノテーション装置１００は、学習用画像Ｖに学習用確信度分布Ａを示す図像Ｚ１，Ｚ２，Ｚ３，Ｚ４を重畳して表示する学習用出力画像Ｖ０を含む学習データセットを生成する。ここで、機械学習モデル１は、画像に確信度分布を示す図像を重畳して表示する出力画像を出力するモデルである。これにより、アノテーション装置１００は、学習用確信度分布Ａを示す出力画像を出力する機械学習モデル１を訓練するための学習データセットを生成することができる。

【0039】

また、アノテーション装置１００は、少なくとも１つの関節位置を含む身体部位が学習用画像Ｖに含まれていない場合は、学習用画像Ｖに含まれていない身体部位の関節位置に関する図像Ｚ３，Ｚ４を学習用画像Ｖの座標系上に表示することにより学習用出力画像Ｖ０を生成する。これにより、アノテーション装置１００は、学習用対象者Ｐの関節部位に対応する身体部位が学習用画像Ｖに映っていない場合であっても、アノテーションを実行することができる。従って、アノテーション装置１００によって生成された学習データセットを用いて訓練された機械学習モデル１は、対象者の身体部位の一部が入力画像に映っていない場合であっても、各々の関節位置を推定することができる。

【0040】

また、アノテーション装置１００は、ブレ強度及びブレ方向に基づいて関節位置のオプティカルフローを算出し、オプティカルフローに基づく移動軌跡Ｒを表示する学習用出力画像Ｖ０を含む学習データセットを生成する。これにより、当該学習データセットを用いて訓練された機械学習モデル１は、一枚の入力画像に基づいて、各々の関節位置のオプティカルフローに基づく移動軌跡Ｒを推定することができる。また、画像センサ２が入力データとして対象者の動画を取得する場合は、機械学習モデル１は、画像センサ２のＦＰＳ（フレームレート）に関わらず、各々の関節位置の移動軌跡Ｒを推定することができる。すなわち、機械学習モデル１は、画像センサ２のＦＰＳ（フレームレート）が低い場合でも、関節位置の移動軌跡Ｒに基づいて、関節位置の移動座標を滑らかにサンプリングすることができる。換言すれば、機械学習モデル１は、関節位置、関節移動速度及び関節移動方向に基づいて、各フレーム間で関節位置の整合性を取ることができる。また、画像センサ２が非同期ネットワークカメラであって、ＦＰＳ（フレームレート）が安定しない場合であっても、機械学習モデル１は、上述のように関節移動の整合性をとることで、入力データの動画に含まれる各フレームが、ジェスチャ認識等の時間的な動作を伴う処理に用いることができるか否かを判別できる。

【0041】

なお、本実施形態において、アノテーション装置１００はオプティカルフロー算出部１５を有していなくてもよい。すなわち、アノテーション装置１００が生成する学習データセットには、学習用画像Ｖ及び学習用確信度分布Ａが含まれていればよく、学習用出力画像Ｖ０にはオプティカルフローに基づく関節位置の移動軌跡Ｒは含まれていなくてもよい。

【符号の説明】

【0042】

１００…アノテーション装置
１…機械学習モデル
２…画像センサ
３…モーションセンサ（身体部位の動きを検出するセンサ）
１０…プロセッサ
１１…画像取得部
１２…モーション情報取得部
１３ａ…ブレ強度算出部
１３ｂ…ブレ方向算出部
１４…確信度分布算出部
１６…学習データセット生成部
Ａ…学習用確信度分布
Ｄ…ブレ方向
Ｒ…移動軌跡
Ｖ…学習用画像
Ｖ０…学習用出力画像
Ｚ１，Ｚ２，Ｚ３，Ｚ４…図像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】