特開 2024-80233 学習用データ作成装置、学習用データ作成方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024080233

(43)【公開日】2024-06-13

(54)【発明の名称】学習用データ作成装置、学習用データ作成方法、およびプログラム

(51)【国際特許分類】

   A61B 5/107 20060101AFI20240606BHJP

   G06T 7/70 20170101ALI20240606BHJP

   G06T 7/00 20170101ALI20240606BHJP

【ＦＩ】

A61B5/107 300

G06T7/70 Z

G06T7/00 350B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022193258

(22)【出願日】2022-12-02

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】501241645

【氏名又は名称】学校法人 工学院大学

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】松村 聖司

(72)【発明者】

【氏名】西條 直樹

(72)【発明者】

【氏名】柏野 牧夫

(72)【発明者】

【氏名】三上 弾

(72)【発明者】

【氏名】山口 貴善

【テーマコード（参考）】

4C038

5L096

【Ｆターム（参考）】

4C038VA04

4C038VB31

4C038VC05

5L096AA02

5L096AA06

5L096CA02

5L096FA66

5L096FA69

5L096KA04

(57)【要約】

【課題】ヒトの関節位置が把握しづらい衣服を着装している場合であっても、精度の良い姿勢推定をするための学習用データを作成する。
【解決手段】入力部は、所定部位に光源２を着装し、かつ、光源２の光の少なくとも一部が透過するウェア３を着装した被験者Ｘの動作を撮影したものであって、光源２の点灯制御中に一の撮影で取得された動画フレームａを入力として受け付ける。画像作成部２０は、動画フレームａから、光源２の点灯時動画Ｍ１と消灯時動画Ｍ２とを作成する。座標取得部３０は、点灯時動画Ｍ１から、画像フレーム毎に時系列の座標データＺを取得する。データセット作成部４０は、点灯時動画Ｍ１と、消灯時動画Ｍ２と、座標データＺとを用いて学習用データを作成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

姿勢推定モデルを作成するための学習用データ作成装置であって、
複数の所定部位に光源を着装し、かつ、前記光源の光の少なくとも一部が透過するウェアを前記光源の夫々を覆って着装した被験者の動作を撮影した動画フレームであって、前記光源の点灯の制御中に一の撮影で取得された前記動画フレームを入力として受け付ける入力部と、
前記動画フレームから、前記光源が点灯している映像の点灯時動画と、前記光源が点灯していない映像の消灯時動画とを作成する画像作成部と、
前記点灯時動画に録画されている前記光源の映像から、画像フレーム毎に時系列の座標データを取得する座標取得部と、
前記点灯時動画と、前記消灯時動画と、前記座標データとを用いてデータセットである学習用データを作成するデータセット作成部と、
を有する学習用データ作成装置。

【請求項2】

前記光源は可視光ＬＥＤであり、
前記ウェアは、少なくとも可視光を透過するものであり、
前記光源の点灯の制御とは、所定間隔で前記光源の夫々を点滅させる制御であり、
前記画像作成部は、
前記動画フレームから静止画を抽出し、前記光源の点灯時の静止画である点灯時画像と、前記光源の消灯時の静止画である消灯時画像とに分類する画像分類部と、
前記点灯時画像の各画像を時系列に集めて前記点灯時動画とし、前記消灯時画像の各画像を時系列に集めて前記消灯時動画とする動画作成部と、からなる、
請求項１に記載の学習用データ作成装置。

【請求項3】

前記光源は赤外光ＬＥＤであり、
前記ウェアは、可視光は透過しないが赤外光は透過する材質からなり、
前記光源の点灯の制御とは、少なくとも前記被験者の動きを撮影している間は、前記光源を常時点灯させる制御であり、
前記動画フレームは、赤外光カメラにより撮影された第１動画フレームと、赤外光カットフィルタを介してＲＧＢカメラにより撮影された第２動画フレームからなり、
前記画像作成部は、
前記第１動画フレームと、前記第２動画フレームとを判別する画像判別部と、
前記第１動画フレームから前記点灯時動画を作成し、前記第２動画フレームから前記消灯時動画を作成する動画作成部と、からなる、
請求項１に記載の学習用データ作成装置。

【請求項4】

前記光源は赤外光ＬＥＤであり、
前記ウェアは、可視光は透過しないが赤外光は透過する材質からなり、
前記光源の点灯の制御とは、所定間隔で前記光源の夫々を点滅させる制御であり、
前記動画フレームは、近赤外まで撮影可能であって、撮影対象の輝度の変化を検知して動画フレームを作成するイベントカメラを用いて録画されたものであり、
前記画像作成部は、
前記動画フレームから、複数の静止画を抽出し、前記赤外光ＬＥＤが点灯している間の画像のみを対象として時系列で蓄積して前記点灯時動画を作成する点灯動画作成部と、
前記複数の静止画のうち、前記赤外光ＬＥＤが点灯している間の画像を対象から外し、その他の静止画を対象として時系列で蓄積して前記消灯時動画を作成する消灯動画作成部と、からなる、
請求項１に記載の学習用データ作成装置。

【請求項5】

姿勢推定モデルを作成するための学習用データ作成装置による学習用データ作成方法であって、
複数の所定部位に光源を着装し、かつ、前記光源の光の少なくとも一部が透過するウェアを前記光源の夫々を覆って着装した被験者の動作を撮影した動画フレームであって、前記光源の点灯の制御中に一の撮影で取得された前記動画フレームを、入力部が入力として受け付けし、
画像作成部が、前記動画フレームから前記光源が点灯している映像の点灯時動画と、前記光源が点灯していない映像の消灯時動画とを作成し、
座標取得部が、前記点灯時動画に録画されている前記光源の映像から、画像フレーム毎に時系列の座標データを取得し、
データセット作成部が、前記点灯時動画と、前記消灯時動画と、前記座標データとを用いてデータセットである学習用データを作成する、
学習用データ作成方法。

【請求項6】

請求項１から４のいずれかに記載の学習用データ作成装置をコンピュータに機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人（ヒト）の姿勢データの作成に関する技術である。

【背景技術】

【0002】

コンピュータービジョンを用いたヒトの姿勢推定は、ヒトの動きの映像を、姿勢推定用の学習済モデルに入力することにより、ヒトの姿勢の推定結果を出力する。出力される推定結果としては、例えばヒトの各関節位置を線でつないだ人型モデル（ヒトの姿勢モデル）が出力される。ヒトの姿勢推定は、市販の機器で撮影された動画や静止画を用いて行うことができることから近年広く普及しており、アルゴリズム及び学習済モデルが公開されているケースもある（例えば、非特許文献１参照）。

【0003】

姿勢推定用の学習済モデルを作成するにあたり、学習用データが必要となる。学習用データ（ヒトの姿勢データ）の作成においては、被験者の動きを撮影し、画像上に映っているヒトの関節の位置を正確に特定する必要がある。そのため、スキーウェアのように外見からでは体のラインが把握しづらい、いわゆるルーズなウェア（以下、「ルーズウェア」ともいう。）を被験者に着装させた場合と、薄い生地であって肌に密着しているために、外見からでも体のラインが把握し易い、いわゆるタイトなウェア（以下、「タイトウェア」ともいう。）を着装させた場合や、裸体の場合とでは、関節位置の特定の容易さが大きく異なる。ルーズウェアを着装させた場合、通常、関節の位置を直接確認することができない。一手法として、正確な位置を入力する正解データ作成者に、推測で関節位置を入力させることが考えられるが、その精度は不明あるいは不安定なものとなりうる。

【0004】

つまり、既存の学習済モデルを利用した姿勢推定では、学習段階で、ルーズウェアを着装した状態での学習データが含まれない、あるいはそのような学習データが含まれていたとしても関節位置の精度が高くないこと考えられる。したがって、ルーズウェアを着装した場合における既存の学習済モデルを利用した姿勢推定は、関節位置推定精度が低いと考えられる。

【0005】

ルーズウェアを着装した場合の関節位置をより正確に把握するため、同一の被験者に、タイトウェアを着装させた場合と、ルーズウェアを着装させた場合の２つの場合において、当該被験者に同じ動作をさせて同じ角度（画角）で撮影する方法がある。タイトウェア着装時の動画から得られた関節位置に、ルーズウェア着装時の動画を対応付けることにより、ルーズウェア着装時の関節位置をより正確に把握する（例えば、非特許文献２、及び非特許文献３参照）。

【0006】

また、ヒトの部位の特定技術としては、アクティブマーカ方式のモーションキャプチャ装置がある（例えば、非特許文献４、及び非特許文献５参照。）。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】ＰｏｓｅＮｅｔhttps://www.tensorflow.org/lite/examples/pose_estimation/overview?hl=ja

【非特許文献2】Automatic Human Pose Annotation for Loose-fitting Clotheshttp://www.mva-org.jp/Proceedings/2019/papers/02-17.pdf

【非特許文献3】和装人物の単視点姿勢推定のための遮蔽部位３次元位置推定https://shohei.nobuhara.org/pdf/%E6%A2%B6%E5%8E%9F%E9%81%BC2018.pdf

【非特許文献4】ＮＤＩhttps://www.ndigital.com/products/legacy-products/

【非特許文献5】使いごこち快適ＯＰＴＯＴＲＡＫhttps://www.jstage.jst.go.jp/article/sobim/32/4/32_4_247/_pdf

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、非特許文献２、あるいは非特許文献３の技術を利用した場合には、たとえ同一の被験者であったとしても、完全に同じ動作を繰り返すことは難しい。このため、タイトウェア着装時の動作と、ルーズウェア着装時の動作とが完全に一致しているとは限らず、ルーズウェア着装時の関節位置の正確な位置（真値）を得られているとは限らないという課題があった。また、非特許文献４あるいは非特許文献５の技術は、部位の特定技術の一手法に過ぎず、必ずしもルーズウェア着装時のような外観からでは体のラインを把握しづらい場合における関節位置の真値を得られる技術ではなかった。

【0009】

そこで、本開示は、上記課題を解決するためになされたものであり、ルーズウェアなどのヒトの関節位置が把握しづらい衣服（ウェア）を着装している場合であっても、精度の良い姿勢推定をするための学習用データを作成する技術を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本開示の一態様の学習用データ作成装置は、姿勢推定モデルを作成するための学習用データ作成装置であって、入力部と、画像作成部と、座標取得部と、データセット作成部とを有する。入力部は、複数の所定部位に光源を着装し、かつ、光源の光の少なくとも一部が透過するウェアを光源の夫々を覆って着装した被験者の動作を撮影した動画フレームであって、光源の点灯の制御中に一の撮影で取得された動画フレームを入力として受け付ける。画像作成部は、動画フレームから、光源が点灯している映像の点灯時動画と、光源が点灯していない映像の消灯時動画とを作成する。座標取得部は、点灯時動画に録画されている光源の映像から、画像フレーム毎に時系列の座標データを取得する。データセット作成部は、点灯時動画と、消灯時動画と、座標データとを用いてデータセットである学習用データを作成する。

【発明の効果】

【0011】

本開示によれば、学習用データＹは、被験者Ｘの所定部位の動きを反映した点灯時動画Ｍ１と、被験者Ｘの動きを反映した消灯時動画Ｍ２と、点灯時動画Ｍ１の時系列の座標データが反映された座標データＺとからなるデータセットとして構成されており、これらは、同一の一の撮影（１回の撮影）で得られた動画フレームを元に作成される。したがって、同一の動作から作成されるものであることから、被験者がヒトの関節位置が把握しづらい衣服（ウェア）を着装している場合であっても、精度の良い姿勢推定をするための学習用データを作成することができる。

【図面の簡単な説明】

【0012】

【図1】図１は第１の実施の形態に係る学習用データ作成システムの機能構成例を示した図である。

【図2】図２は第１の実施の形態に係る動画作成方法の処理フロー例を示した図である。

【図3】図３は第１の実施の形態に係る学習用データ作成装置の機能構成例を示した図である。

【図4】図４は第１の実施の形態に係る学習用データ作成装置の学習用データ作成方法の処理フロー例を示した図である。

【図5】図５は第２の実施の形態に係る学習用データ作成システムの機能構成例を示した図である。

【図6】図６は第２の実施の形態に係る学習用データ作成システムの他の機能構成例を示した図である。

【図7】図７は第２の実施の形態に係る学習用データ作成装置の機能構成例を示した図である。

【図8】図８は第２の実施の形態に係る学習用データ作成装置の学習用データ作成方法の処理フロー例を示した図である。

【図9】図９は第３の実施の形態に係る学習用データ作成システムの機能構成例を示した図である。

【図10】図１０は第３の実施の形態に係る学習用データ作成装置の機能構成例を示した図である。

【図11】図１１は第３の実施の形態及に係る学習用データ作成装置の学習用データ作成方法の処理フロー例を示した図である。

【図12】図１２は学習用データ作成装置の変形例における機能構成例を示した図である。

【図13】図１３は学習用データ作成装置の変形例における学習用データ作成方法の処理フロー例を示した図である。

【図14】図１４はコンピュータの機能構成を例示する図である。

【発明を実施するための形態】

【0013】

以下、図を用いて本開示の実施の形態について詳細に説明する。おな、以下、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

【0014】

＜第１の実施の形態＞
本開示の第１の実施の形態に係る学習用データ作成システム１は、被験者Ｘの動きを撮影し、得られた動画フレームａから、姿勢推定モデルを作成するための学習用データＹを作成するシステムである。学習用データ作成システム１は、図１に示すように、光源２と、ウェア３と、光源２の点灯を制御する制御部４と、カメラ５と、学習用データ作成装置６から構成される。学習用データ作成システム１の処理フローは、被験者Ｘ（図１では点線で示す。）の動きの動画フレームａを作成する「動画作成工程」と、動画フレームａを用いて学習用データＹを作成する「学習用データ作成工程」の２つの工程から構成される。

【0015】

＜＜動画作成工程＞＞
本実施形態における動画作成工程は、図１に示した光源２と、ウェア３と、制御部４と、カメラ５とを用いて、被験者Ｘの協力を得る。これらが、図２に示した処理フローを実施することにより、本実施形態に係る動画作成方法が実現される。以下、図１と図２とを用いて本実施形態における動画作成方法を説明する。

【0016】

はじめに、図１に示すように、学習用データＹ作成のための測定対象である被験者Ｘに対し、所定の部位に光源２を貼り付ける（着装する）（ステップＳ２）。光源２の貼り付け箇所である所定部位としては、肩、肘、手首、腰、膝、足首などの関節位置が挙げられる。後述するウェア３が頭部や顔などを覆うことができるフードを有している場合には、光源２を、例えば、首や耳の位置にも貼り付けてもよい。本実施形態の光源２には可視光ＬＥＤを用いる。図１には、表示されている６つの光源２を識別できるように２_１、２_２、…、２_６と、添え字を付している。図１に示した被験者Ｘには、被験者Ｘの右側に当たる関節位置に光源２を貼り付けているが、データの作成方法に合わせて、被験者Ｘの左側に当たる関節位置や、左右双方の関節位置に光源２を貼り付けてもよい。

【0017】

次に、被験者Ｘにウェア３を着装させる（ステップＳ３）。ウェア３は、光源２の光の少なくとも一部が透過する材質から構成された衣服である。本実施形態に用いるウェア３は、少なくとも可視光を透過する材質からなる。ウェア３は、例えば、半透明な材質から構成されたレインウエア、麻あるいはポリエステルで構成された薄手の衣服などである。なお、ウェア３は、少なくとも可視光を透過するように構成されていればよく、半透明や薄手であることは必須ではない。例えば、織られた糸の間から可視光が透過するように緩く織られた素材で構成されていてもよい。被験者Ｘには、光源２を所定部位に貼り付けた状態において、光源２の上から光源２を覆うようにウェア３を着装してもらう。上述のフード付きのウェア３の場合には、頭部（もしくは顔）に付した光源２も覆うように着装してもらう。ウェア３は、タイトウェアのように被験者Ｘの体形に密着した構成としてもよいし、ルーズウェアのように密着していない構成としてもよい。

【0018】

次に、制御部４により光源２の点灯を制御する（ステップＳ４）。本実施形態における制御部４による光源２の点灯の制御とは、所定間隔で光源２の夫々を点滅させる制御である。具体的には、例えば、点灯を１０ｍｓｅｃ、消灯を２３．３３ｍｓｅｃとした点消灯の１周期を３３．３３ｍｓｅｃとして、当該周期を固定して光源２を点滅させる制御である。周期長は上述の例に限られず、後述するカメラ５のフレームレートとの関係で適宜調整してもよい。光源２自体が、所望の周期の点消灯を繰り返す機能を有していれば、必ずしも制御部４を別途設けなくてもよい。また、所望の動画フレームａが取得できれば、制御部４による点消灯の周期調整は行わず、後述するカメラ５のフレームレートのみを調整するように構成してもよい。

【0019】

次に、被験者Ｘに所定の動作をしてもらい、当該動作を、被験者Ｘから距離Ｌ１離れた場所に配置されたカメラ５にて撮影して動画フレームａを取得する（ステップＳ５）。本実施形態におけるカメラ５は、例えば２４０ｆｐｓ、４８０ｆｐｓ、９６０ｆｐｓなどのフレームレートで動画撮影が可能なハイフレームレートカメラである。

【0020】

例えば、制御部４による光源２の点消灯の周期を上述の３３．３３ｍｓｅｃとした場合、カメラ５のフレームレートを２４０ｆｐｓに設定して撮影すると、１フレームあたり約４．１６７ｍｓｅｃとなる。即ち、光源２の１周期を撮影するには、８フレームが必要となる。光源２が点灯中のフレームと消灯中のフレームを１つずつ取り出してつなげると、３０（２４０／８）周期分の点灯中のシーケンス（編集データ）と消灯中のシーケンスが得られることとなる。実際は、点灯状態から消灯状態への遷移があることから、２４０ｆｐｓでは最大２フレームのズレが生じ得る。例えば、被験者Ｘが垂直飛びをした場合に、点灯状態における一番高い位置と、消灯状態における一番高い位置とではその位置が異なる場合が生じうる。この差異が最大２フレームのズレに当たる。このズレはヒトの一般的な動作に対しては十分に許容できる場合が多く、実用に耐えうる。但し、例えば高速の動作などの撮影により、２フレームのズレが許容できない場合が生じた際には、カメラ５のフレームレートを４８０ｆｐｓや９６０ｆｐｓなど、より高い値のフレームレートに設定する。この設定に合わせて、光源２の点消灯周期をより短くするなど、制御部４による点灯の制御の調整も行った上で、カメラ５により撮影を行う。

【0021】

動画作成工程では、学習用データＹとして多くのデータを集めるべく、被験者Ｘには光源２とウェア３とを着装した状態で、歩行や跳躍など、様々な動作をしてもらい、予め複数の動画フレームａを取得（作成）しておいてもよい。あるいは、１つの動画フレームａの作成後、直ぐに後述する学習用データ工程を実施するようにしてもよい。

【0022】

＜＜学習用データ作成工程＞＞
本実施形態における学習用データ作成工程は、学習用データ作成装置６を用いて学習用データの作成を行う。学習用データ作成装置６は、図３に示すように、入力部１０と、画像作成部２０と、座標取得部３０と、データセット作成部４０とから構成される。学習用データ作成装置６が、図４に示した処理フローを実施することにより、本実施形態に係る学習用データ作成方法が実現される。以下、図３と図４とを用いて本実施形態における学習用データ作成方法を説明する。

【0023】

はじめに、図４に示すように、入力部１０は、動画フレームａを入力として受け付ける。即ち、入力部１０は、動画作成工程にて作成した動画フレームａを入力として受け付け、画像作成部２０に出力する（ステップＳ１０）。図１では、動画フレームａを、カメラ５から直接、学習用データ作成装置６に出力されているように構成しているが、予め動画フレームａを作成しておく場合には、カメラ５ではなく、所定の記憶領域から動画フレームａが入力されるように構成してもよい。

【0024】

画像作成部２０は、入力された動画フレームａから、光源２が点灯している間の被験者Ｘの動作である点灯時動画Ｍ１と、光源２が消灯している間の被験者Ｘの動作である消灯時動画Ｍ２とを作成する。本実施形態における画像作成部２０は、画像分類部２０１と動画作成部２０２とを有する。

【0025】

画像分類部２０１は、入力された動画フレームａから複数の静止画を抽出し、光源２の点灯時の静止画である点灯時画像ａ１と、光源２の消灯時の静止画である消灯時画像ａ２とに分類し、動画作成部２０２に出力する（ステップＳ２０１）。

【0026】

次に、動画作成部２０２は、点灯時画像ａ１の各画像を時系列に集めて動画とした点灯時動画Ｍ１を作成する。また、消灯時画像ａ２の各画像を時系列に集めて動画とした消灯時動画Ｍ２を作成する。点灯時動画Ｍ１と消灯時動画Ｍ２とを座標取得部３０へ出力する（ステップＳ２０２）。

【0027】

なお、ステップＳ２０１及びステップＳ２０２を介して作成される点灯時動画Ｍ１（あるいは消灯時動画Ｍ２）は、点灯時画像ａ１（あるいは消灯時画像ａ２）の各画像の全てを時系列に集めて動画とすることは勿論のこと、次のように、点灯時画像ａ１（あるいは消灯時画像ａ２）の各画像の一部を時系列に集めて動画としてもよい。例えば、２４０ｆｐｓで撮影した動画フレームａから３０ｆｐｓの点灯時動画Ｍ１（あるいは３０ｆｐｓの消灯時動画Ｍ２）を生成する場合を例にする。この場合、例えば、８フレームを１単位にして、連続する８フレームの中から１枚ずつ点灯時画像ａ１（あるいは消灯時画像ａ２）を選択し、選択した各画像を時系列に集めて点灯時動画Ｍ１（あるいは消灯時動画Ｍ２）としてもよい。

【0028】

次に、座標取得部３０は、点灯時動画Ｍ１に録画されている光源２の映像から、画像フレーム毎に時系列の２次元の座標データＺを取得する。座標取得部３０は、点灯時動画Ｍ１と消灯時動画Ｍ２と座標データＺをデータセット作成部４０へ出力する（ステップＳ３０）。

【0029】

次に、データセット作成部４０は、点灯時動画Ｍ１と、消灯時動画Ｍ２と、座標データＺとを用いてデータセットである学習用データＹを作成し、学習用データ作成装置６内あるいは学習用データ作成装置６外に設けられた所定の記憶領域（不図示）に格納する（ステップＳ４０）。

【0030】

本実施の形態によれば、学習用データＹは、被験者Ｘの関節位置（所定部位）の動きを反映した点灯時動画Ｍ１と、被験者Ｘの動きを反映した消灯時動画Ｍ２と、点灯時動画Ｍ１を元に作成した被験者Ｘの関節位置（所定部位）の座標データＺとからなるデータセットとして構成される。点灯時動画Ｍ１と消灯時動画Ｍ２と座標データＺは、同一の一の撮影（１回の撮影）で得られた動画フレームから作成される。したがって、点灯時動画Ｍ１と消灯時動画Ｍ２と座標データＺは、同一の動作から作成されるものであることから、被験者がヒトの関節位置が把握しづらいルーズウェア等の衣服（ウェア）を着装している場合であっても、精度の良い姿勢推定をするための学習用データを作成することができる。

【0031】

＜第２の実施の形態＞
本開示の第２の実施の形態に係る学習用データ作成システム１Ａを図５に示す。この学習用データ作成システム１Ａが、学習用データ作成システム１（図１）と異なる点は、以下の通りである。光源２が赤外光ＬＥＤを用いた光源２Ａへと変わっている。ウェア３が、可視光は透過しないが赤外光は透過する材質からなるウェア３Ａへと変わっている。ウェア３Ａは例えばポリエステル製の衣服である。カメラ５が、赤外光カメラ５Ａ１と、赤外光カットフィルタ５Ａ３を介して使用するＲＧＢカメラ５Ａ２の、２種類のカメラを用いるように変わっている。また、上記の変更に伴い、学習用データ作成工程で用いる学習用データ作成装置６が、学習用データ作成装置６Ａへと変わっている。

【0032】

＜＜動画作成工程＞＞
本実施形態における動画作成工程は、図５に示した光源２Ａと、ウェア３Ａと、制御部４と、赤外光カメラ５Ａ１と、ＲＧＢカメラ５Ａ２、赤外光カットフィルタ５Ａ３とを用いて、被験者Ｘの協力を得て、図２に示した処理フローを実施することにより、本実施形態に係る動画作成方法が実現される。本実施形態における図２の処理が、第１の実施形態における図２の処理と異なる点は以下の通りである。

【0033】

ステップＳ２では、測定対象である被験者Ｘに対し、所定の部位に光源２Ａを貼り付ける（着装する）。

【0034】

ステップＳ３では、被験者Ｘにウェア３Ａを着装してもらう。

【0035】

ステップＳ４では、光源２Ａの点灯の制御として、少なくとも被験者Ｘの動きを撮影している間は、光源２Ａを常時点灯（常灯）させる制御を行う。

【0036】

ステップＳ５では、赤外光カメラ５Ａ１及びＲＧＢカメラ５Ａ２の２台を用いて被験者Ｘの動作を撮影し、後述する第１動画フレームｂ１、及び第２動画フレームｂ２から構成される動画フレームｂを取得する。具体的には、図５で示したように、被験者Ｘから十分な距離（距離Ｌ２）を離した位置に赤外光カメラ５Ａ１と、ＲＧＢカメラ５Ａ２とを並列に配置し、ＲＧＢカメラ５Ａ２の前方には赤外光カットフィルタ５Ａ３を配置して被験者Ｘの動画を夫々のカメラにて撮影する。距離Ｌ２は、１つのカメラで撮影した場合と同等程度の画角とみなせるほど離れた距離（この距離を「距離ＬＸ」ともいう。）以上離れた距離をいう。これにより、赤外光カメラ５Ａ１からは、関節部位に貼られた光源２が点灯し続けて被験者Ｘの関節位置の動きの軌道が録画された映像（第１動画フレームｂ１）が得られる。ＲＧＢカメラ５Ａ２からは、光源２の点灯が赤外光カットフィルタ５Ａ３によりカットされた映像、即ち光源２の光が消灯しているように見える映像（第２動画フレームｂ２）が得られる。したがって、光源２Ａ及びウェア３Ａを着装した被験者Ｘの動作が撮影された１回の撮影で作成された動画フレームｂから、第１動画フレームｂ１と第２動画フレームｂ２の２種類の動画フレームが得られる。

【0037】

被験者Ｘとカメラとの間の距離が上述した距離ＬＸ以上を確保できない場合には、図６に示した構成にしてもよい。図６では、被験者Ｘとカメラとの間の距離が距離ＬＸよりも短い距離である距離Ｌ３である場合に、被験者Ｘと赤外光カメラ５Ａ１との間にハーフミラー５Ａ４を設置し、このハーフミラー５Ａ４を透過してきた映像を赤外光カメラ５Ａ１にて撮影し、第１動画フレームｂ１を取得する。ＲＧＢカメラ５Ａ２は、ハーフミラー５Ａ４を反射してきた映像を撮影できる位置に配置し、赤外光カットフィルタ５Ａ３を介してＲＧＢカメラ５Ａ２にて当該反射映像を撮影し、第２動画フレームｂ２を取得する。なお、ハーフミラー５Ａ４に代えてプリズムを用いて同様な効果を得るように構成してもよい。図６の構成では、距離ＬＸに満たない距離Ｌ３の場合であっても、第１動画フレームｂ１と第２動画フレームｂ２とから構成される動画フレームｂを取得できる。図６の構成では、第１動画フレームｂ１と第２動画フレームｂ２の撮影画角を揃えることができる。図５と図６のどちらの構成においても、第１の実施の形態で生じうるフレームのズレが生じることがない。

【0038】

＜＜学習用データ作成工程＞＞
図５や図６で示した学習用データ作成システム１Ａにおいては、学習用データ作成に、図７で示した学習用データ作成装置６Ａが用いられる。学習用データ作成装置６Ａが学習用データ作成装置６（図３）と異なる点は、画像作成部２０が、画像判別部２１１と動画作成部２１２とを有する画像作成部２１へと変わっている点である。

【0039】

学習用データ作成装置６Ａが、図８に示した処理フローを実施することにより、本実施の形態に係る学習用データ作成方法が実現される。以下、図７と図８とを用いて本実施形態における学習用データ作成方法を説明する。

【0040】

学習用データ作成装置６Ａは、はじめに、動画フレームｂ、即ち、赤外光カメラ５Ａ１により撮影して取得した第１動画フレームｂ１と、ＲＧＢカメラ５Ａ２により撮影して取得した第２動画フレームｂ２とを入力として受け付ける。入力部１０は、受け付けた動画フレームｂを画像判別部２１１へ出力する（ステップＳ１０）。

【0041】

画像判別部２１１は、入力された動画フレームｂが、第１動画フレームｂ１、あるいは第２動画フレームｂ２のいずれの動画フレームであるかを判別し、第１動画フレームｂ１と第２動画フレームｂ２と判別結果を、動画作成部２１２へ出力する（ステップＳ２１１）。判別結果は、予め出力形式を決めておけば、例えば、第１動画フレームｂ１や第２動画フレームｂ２とは別ファイルとして出力するように構成してもよい。また、第１動画フレームｂ１や第２動画フレームｂ２のファイル名で識別できるようにしてもよい。

【0042】

動画作成部２１２は、入力された判別結果を参照し、第１動画フレームｂ１から点灯時動画Ｍ１を作成し、第２動画フレームｂ２から消灯時動画Ｍ２を作成し、座標取得部３０に出力する（ステップＳ２１２）。

【0043】

座標取得部３０及び、データセット作成部４０の処理は、学習用データ作成システム１と同じであるため説明は割愛する。

【0044】

本実施の形態によれば、赤外光カメラ５Ａ１とＲＧＢカメラ５Ａ２の２種類のカメラを用いて動画フレームｂが得られる環境であれば、第１の実施の形態における画像分類部２０１の処理が不要となり、それに変わって画像判別部２１１の処理で足りる。このため、学習用データ作成装置６の処理に比して学習用データ作成装置６Ａの処理を効率的に行うことができる。

【0045】

＜第３の実施の形態＞
本開示の第３の実施の形態に係る学習用データ作成システム１Ｂを図９に示す。学習用データ作成システム１Ｂが、学習用データ作成システム１（図１）と異なる点は以下の通りである。光源２が学習用データ作成システム１Ａで用いた光源２Ａへと変わっている。ウェア３が学習用データ作成システム１Ａで用いたウェア３Ａへと変わっている。カメラ５が、近赤外まで撮影可能であって、撮影対象の輝度の変化を検知して動画フレームを作成するイベントカメラ５Ｂへと変わっている。上記の変更に伴い、学習用データ作成工程で用いる学習用データ作成装置６が、学習用データ作成装置６Ｂへと変わっている。

【0046】

＜＜動画作成工程＞＞
本実施形態における動画作成工程は、図９に示した光源２Ａと、ウェア３Ａと、制御部４と、イベントカメラ５Ｂとを用いて、被験者Ｘの協力を得て、図２に示した処理フローを実施することにより、本実施形態に係る動画作成方法が実現される。本実施形態における図２の処理が、第１の実施形態における図２の処理と異なる点は以下の通りである。

【0047】

ステップＳ２では、測定対象である被験者Ｘに対し、所定の部位に光源２Ａを貼り付ける（着装する）。

【0048】

ステップＳ３では、被験者Ｘにウェア３Ａを着装してもらう。

【0049】

ステップＳ４の処理は第１の実施の形態と同様である。即ち、ステップＳ４では、光源２Ａ光源の点灯の制御として、所定間隔で光源２Ａの夫々を点滅させる制御を行う。

【0050】

ステップＳ５では、イベントカメラ５Ｂを用いて被験者Ｘの動作を撮影し、動画フレームｃを取得する。

【0051】

＜＜学習用データ作成工程＞＞
図９で示した学習用データ作成システム１Ｂにおいては、学習用データ作成に、図１０に示す学習用データ作成装置６Ｂが用いられる。学習用データ作成装置６Ｂが学習用データ作成装置６（図３）と異なる点は、画像作成部２０が、点灯動画作成部２２１と消灯動画作成部２２２とを有する画像作成部２２へと変わっている点である。

【0052】

学習用データ作成装置６Ｂが、図１１に示した処理フローを実施することにより、本実施の形態に係る学習用データ作成方法が実現される。以下、図１０と図１１とを用いて本実施形態における学習用データ作成方法を説明する。

【0053】

学習用データ作成装置６Ｂは、はじめに、イベントカメラ５Ｂが作成した動画フレームｃを入力として受け、受け付けたデータを、点灯動画作成部２２１へ出力する（ステップＳ１０）。

【0054】

点灯動画作成部２２１は、動画フレームｃから、複数の静止画を抽出し、光源２Ａ（赤外光ＬＥＤ）が点灯している間の画像のみを対象として時系列で蓄積して動画とした点灯時動画Ｍ１を作成し、抽出した静止画と、点灯時動画Ｍ１とを消灯動画作成部２２２へ出力する（ステップＳ２２１）。

【0055】

消灯動画作成部２２２は、入力された複数の静止画のうち、ステップＳ２２１において蓄積の対象となったものを対象から外し、その他の静止画を対象として時系列で蓄積して動画とした消灯時動画Ｍ２を作成し、点灯時動画Ｍ１と消灯時動画Ｍ２とを座標取得部３０へ出力する（ステップＳ２２２）。なお、画像作成部２２は、消灯動画作成部２２２の処理を先に行い、この処理結果を元して点灯動画作成部２２１の処理を消灯動画作成部２２２よりも後に行うように構成してもよい。

【0056】

座標取得部３０及び、データセット作成部４０の処理は、学習用データ作成システム１と同じであるためその説明は割愛する。

【0057】

図９の構成においても、第１の実施の形態で生じうるフレームのズレが生じることがない。また、図９の構成におけるイベントカメラ５Ｂは、図５や図６に示した赤外光カメラ５Ａ１、ＲＧＢカメラ５Ａ２などに比して安価で入手できる。したがって、本実施の形態に係る学習用データ作成システム１Ｂは、第２の実施の形態の学習用データ作成システム１Ａに比して安価でシステムを構成することができる。

【0058】

＜学習用データ作成装置の変形例＞
上述した学習用データ作成システム１、１Ａ、１Ｂの各学習用データ作成工程は、図１２で示した学習用データ作成装置６Ｃを用いて実施してもよい。学習用データ作成装置６Ｃは、入力される動画フレームが、動画フレームａ、動画フレームｂ、及び動画フレームｃのいずれであっても、学習用データ作成工程を実施できる機能した学習用データ作成装置である。学習用データ作成装置６Ｃが、学習用データ作成装置６（図３）と異なる点は、画像作成部として、画像作成部２０と画像作成部２１と画像作成部２２を有する点にある。これに伴い、入力部１０が、受付部１１１と処理判定部１１２とを有する入力部１１へと変わっている。学習用データ作成装置６Ｃが、図１３に示した処理フローを実施することにより、学習用データ作成装置の変形例に係る学習用データ作成方法が実現される。

【0059】

はじめに、入力部１１は、被験者Ｘの動作が録画されている動画フレームを入力として受け付け、受け付けたデータを処理判定部１１２へ出力する（ステップＳ１１１）。即ち、入力部１１は、学習用データ作成システム１にて作成された動画フレームａ、学習用データ作成システム１Ａにて作成された動画フレームｂ（第１動画フレームｂ１及び第２動画フレームｂ２）、学習用データ作成システム１Ｂにて作成された動画フレームｃのいずれかの動画フレームを受け付け、処理判定部１１２へ出力する。

【0060】

処理判定部１１２は、動画フレームａ、動画フレームｂ、動画フレームｃのいずれの種類の動画フレームであるかを判定する（ステップＳ１１２）。処理判定部１１２が、入力された動画フレームを動画フレームａであると判定した場合には、図１３に示したステップＳ２０１及びステップＳ２０２の処理を行い、処理結果を座標取得部３０へ出力する。処理判定部１１２が、入力された動画フレームを動画フレームｂであると判定した場合には、図１３に示したステップＳ２１１及びステップＳ２１２の処理を行い、処理結果を座標取得部３０へ出力する。処理判定部１１２が、入力された動画フレームを動画フレームｃであると判定した場合には、図１３に示したステップＳ２２１及びステップＳ２２２の処理を行い、処理結果を座標取得部３０へ出力する。

【0061】

ステップＳ２０１、Ｓ２０２、及び座標取得部３０及びデータセット作成部４０での処理は学習用データ作成システム１での処理と同じであり、ステップＳ２１１、Ｓ２１２の処理は、学習用データ作成システム１Ａでの処理と同じであり、ステップＳ２２１、Ｓ２２２の処理は、学習用データ作成システム１Ｂでの処理と同じであることから、その説明を割愛する。

【0062】

以上、この開示の実施形態、及び変形例について説明したが、具体的な構成は、これらの実施形態や変形例に限られるものではなく、この開示の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この開示に含まれることはいうまでもない。実施形態や変形例において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。例えば、学習用データ作成装置６Ｃにおける画像作成部は、画像作成部２０と画像作成部２１と、画像作成部２２とを有しているが、学習用データ作成装置６Ｃに入力される動画フレームの種類に合わせて、画像作成部２０と画像作成部２１、画像作成部２１と画像作成部２２、画像作成部２０と画像作成部２２など２種類の画像作成部を有するように構成してもよい。

【0063】

［プログラム、記録媒体］
上述の各種の処理は、図１４に示すコンピュータ２０００の記録部２０２０に、上記学習用データ作成方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０、表示部２０５０などに動作させることで実施できる。

【0064】

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

【0065】

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0066】

このようなプログラムを実行するコンピュータは、例えば、はじめに、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

【0067】

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

【符号の説明】

【0068】

１、１Ａ、１Ｂ 学習用データ作成システム
１０、１１、２０３０ 入力部
１１１ 受付部
１１２ 処理判定部
２、２Ａ 光源
２０、２１、２２ 画像作成部
２０１ 画像分類部
２０２、２１２ 動画作成部
２１１ 画像判別部
２２１ 点灯動画作成部
２２２ 消灯動画作成部
２０００ コンピュータ
２０２０ 記録部
２０４０ 出力部
２０５０ 表示部
３、３Ａ ウェア
３０ 座標取得部
４、２０１０ 制御部
４０ データセット作成部
５ カメラ
５Ａ１ 赤外光カメラ
５Ａ２ ＲＧＢカメラ
５Ａ３ 赤外光カットフィルタ
５Ａ４ ハーフミラー
５Ｂ イベントカメラ
６、６Ａ、６Ｂ、６Ｃ 学習用データ作成装置
ａ、ｂ、ｃ 動画フレーム
ａ１ 点灯時画像
ａ２ 消灯時画像
ｂ１ 第１動画フレーム
ｂ２ 第２動画フレーム
Ｌ１、Ｌ２、Ｌ３、ＬＸ 距離
Ｍ１ 点灯時動画
Ｍ２ 消灯時動画
Ｘ 被験者
Ｙ 学習用データ
Ｚ 座標データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】