特開 2023-50237 学習用データの取得方法、モデル生成方法、学習用データ取得装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023050237

(43)【公開日】2023-04-11

(54)【発明の名称】学習用データの取得方法、モデル生成方法、学習用データ取得装置、及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230404BHJP

   G06T 7/00 20170101ALI20230404BHJP

   G06Q 50/04 20120101ALI20230404BHJP

【ＦＩ】

G06T7/20 300

G06T7/00 350C

G06Q50/04

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021160253

(22)【出願日】2021-09-30

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 日本経営システム学会、「日本経営システム学会誌，Ｖｏｌ．３７，Ｎｏ．３，Ｍａｒｃｈ ２０２１，ｐｐ．１９９－２１０」、令和３年３月１５日発行

(71)【出願人】

【識別番号】514030104

【氏名又は名称】三菱パワー株式会社

(71)【出願人】

【識別番号】593006630

【氏名又は名称】学校法人立命館

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(74)【代理人】

【識別番号】100161702

【弁理士】

【氏名又は名称】橋本 宏之

(74)【代理人】

【識別番号】100189348

【弁理士】

【氏名又は名称】古都 智

(74)【代理人】

【識別番号】100196689

【弁理士】

【氏名又は名称】鎌田 康一郎

(72)【発明者】

【氏名】赤城 弘一

(72)【発明者】

【氏名】森下 武

(72)【発明者】

【氏名】澤口 学

(72)【発明者】

【氏名】何 暁磊

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC03

5L096DA01

5L096DA02

5L096HA02

5L096HA09

5L096HA11

5L096HA13

5L096JA25

5L096KA04

5L096KA15

(57)【要約】

【課題】作業者が識別用の器具を装着することなく、且つ、少量の動画データから作業者を識別するモデルを学習することができる学習用データの取得方法を提供する。
【解決手段】学習用データの取得方法は、作業者が行う一連の作業が撮影された動画データから、作業者固有の特徴が反映されないものとして設定された作業内容が映されているフレームである無特徴フレームを特定するステップと、前記無特徴フレームを前記動画データから除外するステップと、前記無特徴フレームが除外された動画データを基に、学習用データとして用いるデータセットを生成するステップと、を有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

作業者が行う一連の作業が撮影された動画データを基に生成されたデータセットを入力し、当該作業者の識別情報を出力する学習済みモデルを生成するための学習用データを取得する方法であって、
作業者が行う一連の作業が撮影された動画データから、作業者固有の特徴が反映されないものとして設定された作業内容が映されているフレームである無特徴フレームを特定するステップと、
前記無特徴フレームを前記動画データから除外するステップと、
前記無特徴フレームが除外された動画データを基に、学習用データとして用いるデータセットを生成するステップと、
を有し、
前記無特徴フレームを特定するステップでは、前記動画データに映される作業者の第１の作業内容と第２の作業内容との境界に現れる特徴であってフレーム単位でその有無を判別可能な特徴を示す境界特徴情報に基づいて、前記無特徴フレームを特定する、
学習用データの取得方法。

【請求項2】

作業者が行う一連の作業に含まれる複数の作業内容のうち、作業者固有の特徴が反映されるものとして設定された作業内容を含む部分動画データを、前記動画データから抽出するステップを更に有し、
前記無特徴フレームを除外するステップでは、前記部分動画データから前記無特徴フレームを除外する、
請求項１に記載の学習用データの取得方法。

【請求項3】

前記作業内容はサーブリッグ分析を用いて分類した複数の微動作からなり、
前記無特徴フレームを特定するステップでは、
作業者固有の特徴が反映されるものとして設定された前記作業内容の直前に行われる前記微動作の終了を示すフレームを第１の境界特徴情報として設定し、当該第１の境界特徴情報以前のフレームを前記無特徴フレームとして特定するとともに、
作業者固有の特徴が反映されるものとして設定された前記作業内容の直後に行われる前記微動作の開始を示すフレームを第２の境界特徴情報として設定し、当該第２の境界特徴情報以降のフレームを前記無特徴フレームとして特定する、
請求項１又は２に記載の学習用データの取得方法。

【請求項4】

請求項１から３の何れか一項に記載の学習用データの取得方法により取得した学習用データを用いて、作業者が行う一連の作業が撮影された動画データを基に生成されたデータセットを入力とし、作業者の識別情報を出力とするモデルを学習するステップを有する、
モデル生成方法。

【請求項5】

学習した前記モデルに対し、評価用の前記データセットを入力して、前記識別情報の予測結果を出力するステップと、
作業者が行う一連の作業に含まれる複数の作業内容のうち、一の作業内容に対応する複数のデータセットについて、異なる複数の予測結果が得られた場合に、作業内容の途中で作業者が変わらないという前提に基づき、当該一の作業内容に対応する複数の前記データセット全体を通して一つの識別情報を出力するように前記モデルを更に学習するステップと、
を更に有する請求項４に記載のモデル生成方法。

【請求項6】

作業者が行う一連の作業が撮影された動画データを基に生成されたデータセットを入力し、当該作業者の識別情報を出力する学習済みモデルを生成するための学習用データを取得する装置であって、
作業者が行う一連の作業が撮影された動画データから、作業者固有の特徴が反映されないものとして設定された作業内容が映されているフレームである無特徴フレームを特定する特定部と、
前記無特徴フレームを前記動画データから除外する除外処理部と、
前記無特徴フレームが除外された動画データを基に、学習用データとして用いるデータセットを生成する生成部と、
を備え、
前記特定部は、前記動画データに映される作業者の第１の作業内容と第２の作業内容との境界に現れる特徴であってフレーム単位でその有無を判別可能な特徴を示す境界特徴情報に基づいて、前記無特徴フレームを特定する、
学習用データ取得装置。

【請求項7】

作業者が行う一連の作業が撮影された動画データを基に生成されたデータセットを入力し、当該作業者の識別情報を出力する学習済みモデルを生成するための学習用データを取得する学習用データ取得装置に、
作業者が行う一連の作業が撮影された動画データから、作業者固有の特徴が反映されないものとして設定された作業内容が映されているフレームである無特徴フレームを特定するステップと、
前記無特徴フレームを前記動画データから除外するステップと、
前記無特徴フレームが除外された動画データを基に、学習用データとして用いるデータセットを生成するステップと、
を実行させ、
前記無特徴フレームを特定するステップでは、前記動画データに映される作業者の第１の作業内容と第２の作業内容との境界に現れる特徴であってフレーム単位でその有無を判別可能な特徴を示す境界特徴情報に基づいて、前記無特徴フレームを特定する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習用データの取得方法、モデル生成方法、学習用データ取得装置、及びプログラムに関する。

【背景技術】

【0002】

製造現場などでは、作業者の一連の作業を撮影した動画データから、作業者の識別を行うことが考えられている。

【0003】

作業者を識別するための技術としては、各作業者がマーカなどの識別用の器具を装着することが考えられる。しかしながら、このような器具を装着すると、作業時に邪魔になるなど、作業者にとって負担となる。

【0004】

また、作業者の顔などの特徴を学習したモデルにより、作業者を識別することが考えられる。しかしながら、作業者は、作業中に帽子などを着用し、顔が隠れてしまう場合がある。また、作業者は、動画データを撮影するカメラの方を向かずに作業を行う場合がある。このような状況で撮影された動画データを使うと、作業者の顔などの特徴から、作業者を個々に識別することが困難となる可能性がある。

【0005】

さらに、作業者の動作（作業中の身体の動かし方など）を学習した識別モデルを用いて、作業者の識別を行うことが考えられる。例えば、特許文献１には、動画データから抽出した作業者の骨格情報（学習用データ）で学習したモデルにより、作業者の動作（作業）を特定可能なモデルを学習することが記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－１９８１３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

作業者の一連の作業の中には、工具の準備作業のような、作業者ごとの特徴が表れない動作も含まれている。このような動作は、識別モデルを学習する上でノイズとなり、識別精度が低下する可能性がある。ノイズの影響を抑制し、識別モデルの精度を向上するためには、作業者それぞれの作業を撮影した大量の動画データを収集する必要がある。しかしながら、動画データを大量に収集するためには、時間及びコストがかかる。また、製造する製品が頻繁に変更される、改善活動により作業プロセスが変更されるといった要因により、同じ作業を実行している動画データを大量に収集することは困難である。

【0008】

本開示は、このような課題に鑑みてなされたものであって、作業者が識別用の器具を装着することなく、且つ、少量の動画データから作業者を識別するモデルを学習することができる学習用データの取得方法、モデル生成方法、学習用データ取得装置、及びプログラムを提供する。

【課題を解決するための手段】

【0009】

本開示の一態様によれば、作業者が行う一連の作業が撮影された動画データを基に生成されたデータセットを入力し、当該作業者の識別情報を出力する学習済みモデルを生成するための学習用データの取得方法は、作業者が行う一連の作業が撮影された動画データから、作業者固有の特徴が反映されないものとして設定された作業内容が映されているフレームである無特徴フレームを特定するステップと、前記無特徴フレームを前記動画データから除外するステップと、前記無特徴フレームが除外された動画データを基に、学習用データとして用いるデータセットを生成するステップと、を有し、前記無特徴フレームを特定するステップでは、前記動画データに映される作業者の第１の作業内容と第２の作業内容との境界に現れる特徴であってフレーム単位でその有無を判別可能な特徴を示す境界特徴情報に基づいて、前記無特徴フレームを特定する。

【0010】

本開示の一態様によれば、モデル生成方法は、上述の学習用データの取得方法により取得した学習用データを用いて、作業者が行う一連の作業が撮影された動画データを基に生成されたデータセットを入力とし、作業者の識別情報を出力とするモデルを学習するステップを有する。

【0011】

本開示の一態様によれば、学習用データ取得装置は、作業者が行う一連の作業が撮影された動画データを基に生成されたデータセットを入力し、当該作業者の識別情報を出力する学習済みモデルを生成するための学習用データを取得する装置であって、作業者が行う一連の作業が撮影された動画データから、作業者固有の特徴が反映されないものとして設定された作業内容が映されているフレームである無特徴フレームを特定する特定部と、前記無特徴フレームを前記動画データから除外する除外処理部と、前記無特徴フレームが除外された動画データを基に、学習用データとして用いるデータセットを生成する生成部と、を備え、前記特定部は、前記動画データに映される作業者の第１の作業内容と第２の作業内容との境界に現れる特徴であってフレーム単位でその有無を判別可能な特徴を示す境界特徴情報に基づいて、前記無特徴フレームを特定する。

【0012】

本開示の一態様によれば、プログラムは、作業者が行う一連の作業が撮影された動画データを基に生成されたデータセットを入力し、当該作業者の識別情報を出力する学習済みモデルを生成するための学習用データを取得する学習用データ取得装置に、作業者が行う一連の作業が撮影された動画データから、作業者固有の特徴が反映されないものとして設定された作業内容が映されているフレームである無特徴フレームを特定するステップと、前記無特徴フレームを前記動画データから除外するステップと、前記無特徴フレームが除外された動画データを基に、学習用データとして用いるデータセットを生成するステップと、を実行させ、前記無特徴フレームを特定するステップでは、前記動画データに映される作業者の第１の作業内容と第２の作業内容との境界に現れる特徴であってフレーム単位でその有無を判別可能な特徴を示す境界特徴情報に基づいて、前記無特徴フレームを特定する。

【発明の効果】

【0013】

本開示に係る学習用データの取得方法、モデル生成方法、学習用データ取得装置、及びプログラムによれば、作業者が識別用の器具を装着することなく、且つ、少量の動画データから作業者を識別するモデルを学習することができる。

【図面の簡単な説明】

【0014】

【図1】本開示の一実施形態に係る学習用データ収集システムの概要を示す図である。

【図2】本開示の一実施形態に係る学習用データ取得装置の機能構成を示す図である。

【図3】本開示の一実施形態に係る学習用データの取得方法の一例を示すフローチャートである。

【図4】本開示の一実施形態に係る作業内容の一例を示す図である。

【図5】本開示の一実施形態に係る動画データの一例を示す第１の図である。

【図6】本開示の一実施形態に係る動画データの一例を示す第２の図である。

【図7】本開示の一実施形態に係る識別モデルの学習方法の一例を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、本開示の一実施形態に係る学習用データ収集システム１について、図１～図７を参照しながら説明する。

【0016】

（全体構成）
図１は、本開示の一実施形態に係る学習用データ収集システムの概要を示す図である。
学習用データ収集システム１は、作業者の一連の作業を撮影した動画データから、作業者の識別を行う識別モデルの学習用データを収集する。図１に示すように、学習用データ収集システム１は、学習用データ取得装置１０と、モデル学習装置２０と、カメラ３０とを備える。

【0017】

カメラ３０は、作業場所に設置され、作業者が行う一連の作業を撮影する。

【0018】

学習用データ取得装置１０は、カメラ３０が撮影した動画データＤ１から、作業者を個々に識別する識別モデルＭの学習用データＤ２を取得する。

【0019】

モデル学習装置２０は、学習用データ取得装置１０が取得した学習用データＤ２に基づいて、識別モデルＭを学習する。識別モデルＭは、カメラ３０が撮影した動画データＤ１を基に生成されたデータセットを入力すると、動画データＤ１に映される作業者の識別情報（例えば、作業者の氏名、ＩＤ等）を出力する学習済みモデルである。

【0020】

（機能構成）
図２は、本開示の一実施形態に係る学習用データ取得装置の機能構成を示す図である。
図２に示すように、学習用データ取得装置１０は、ＣＰＵ１１と、メモリ１２と、ストレージ１３と、インタフェース１４とを備えている。

【0021】

ＣＰＵ１１は、予め用意されたプログラムに従って動作することで種々の機能を発揮するプロセッサである。ＣＰＵ１１の機能については後述する。

【0022】

メモリ１２は、いわゆる主記憶装置であって、ＣＰＵ１１の動作に必要な記憶領域を有する。

【0023】

ストレージ１３は、いわゆる補助記憶装置であって、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの大容量記憶デバイスである。

【0024】

インタフェース１４は、モデル学習装置２０、カメラ３０等の機器と接続するためのインタフェース（通信インタフェース）である。

【0025】

また、図２を参照しながら、ＣＰＵ１１の機能について説明する。図２に示すように、ＣＰＵ１１は、取得部１１０と、特定部１１１と、除外処理部１１２と、生成部１１３としての機能を発揮する。

【0026】

取得部１１０は、カメラ３０が撮影した動画データＤ１を取得する。また、取得部１１０は、作業者が行う一連の作業に含まれる複数の作業要素のうち、作業者固有の特徴が反映されるものとして設定された作業内容を含む作業要素を映した部分動画データを、動画データＤ１から切り出して取得する。

【0027】

特定部１１１は、作業者が行う一連の作業が撮影された動画データＤ１から、作業者固有の特徴が反映されないものとして設定された作業内容が映されているフレームである無特徴フレームを特定する。

【0028】

除外処理部１１２は、無特徴フレームを動画データＤ１から除外する。

【0029】

生成部１１３は、無特徴フレームが除外された動画データを基に、学習用データＤ２として用いるデータセットを生成する。生成部１１３が生成したデータセット（学習用データＤ２）は、モデル学習装置２０において識別モデルＭの学習に使用される。

【0030】

（学習用データの取得方法）
図３は、本開示の一実施形態に係る学習用データの取得方法の一例を示すフローチャートである。
以下、図３を参照しながら、学習用データを取得する手順について詳細に説明する。

【0031】

まず、学習用データ取得装置１０の操作者（作業者自身であってもよい）は、作業者が一連の作業を行う様子をカメラ３０で撮影する。そうすると、学習用データ取得装置１０の取得部１１０は、カメラ３０が撮影した動画データＤ１を取得する（ステップＳ０１）。

【0032】

次に、学習用データ取得装置１０の操作者は、作業者が行う一連の作業のうち、作業者固有の動作の特徴が反映される作業内容（学習対象動作）を設定する（ステップＳ０２）。

【0033】

作業内容は、一連の作業において作業者が行う動作を表す。操作者は、インダストリアルエンジニアリング（Industrial Engineering（ＩＥ））の手法を使って、一連の作業を複数の作業内容に細分化する。

【0034】

図４は、本開示の一実施形態に係る作業内容の一例を示す図である。
作業者が行う一連の作業は、例えば最終製品（完成品）を製造するために行う複数の作業工程からなる。また、一連の作業は、図４に示すように、工程（プロセス）、単位作業（オペレーション）、要素作業（エレメント）、動作（モーション）、微動作（サーブリッグ）という階層を経るごとに細かい区分に分類される。

【0035】

一連の作業のうち、最も大きい区分は工程である。図４の例では、一連の作業は３つの工程１～３からなる。例えば、工程１は「溶接」、工程２は「加工」、工程３は「組立」である。各工程は、いくつかの単位作業のまとまりであり、例えば中間段階でのアウトプットとなる部品等を製造する。図４の例では、工程２（「加工」）は、３つの単位作業２－１～２－３からなる。

【0036】

単位作業（オペレーション）は、決まった作業域での１つのまとまった作業である。例えば、単位作業２－１は「部品を運ぶ」、単位作業２－２は「加工する」、単位作業２－３は「検査する」である。また、単位作業は、複数の要素作業からなる。図４の例では、単位作業２－２（「加工する」）は、４つの要素作業Ａ～Ｄからなる。

【0037】

要素作業（エレメント）は、作業として完結する最小単位である。例えば、要素作業Ａは「作業台にワークを移動する」、要素作業Ｂは「加工部分を罫書きする」、要素作業Ｃは「工具で加工部を削る」、要素作業Ｄは「ゲージで加工部を計測する」である。また、要素作業は、複数の動作からなる。図４の例では、要素作業Ｃ（「工具で加工部を削る」）は４つの動作Ｃ１～Ｃ４からなる。

【0038】

動作（モーション）は、いくつかの微動作の組み合わせによって構成される。例えば、動作Ｃ１は「工具を取る」、動作Ｃ２は「工具を動かす」、動作Ｃ３は「加工部を目視確認する」、動作Ｃ４は「工具を置く」である。また、図４の例では、動作Ｃ１（工具を取る）は３つの微動作Ｃ１＿１～Ｃ１＿３からなる。

【0039】

微動作（サーブリッグ）は、作業の最も小さい区分である。微動作は、例えばサーブリッグ分析で定義される動作を表す。例えば、微動作Ｃ１＿１は「手を移動する」、微動作Ｃ１＿２は「工具をつかむ」、微動作Ｃ１＿３は「工具を運ぶ」である。

【0040】

本実施形態では、操作者は、複数の動作のうち少なくとも一つを、作業者固有の動作の特徴が反映される作業内容（学習対象動作）として設定する。例えば、動作Ｃ１（「工具を取る」）、動作Ｃ２（「工具を動かす」）、動作Ｃ３（「加工部を目視確認する」）、動作Ｃ４（「工具を置く」）のうち、実際に工具を動かしてワークの加工を行う動作Ｃ２は、作業者の熟練度合いなどに応じて、作業者固有の特徴が表れやすい。この場合、操作者は、動作Ｃ２（「工具を動かす」）を学習対象動作として設定する。また、他の動作Ｃ１、Ｃ３、Ｃ４については、作業者固有の動作の特徴が反映されない（例えば、手を止めて考えるなど、動きが生じない）ものであるとする。この場合、操作者は、これら動作Ｃ１、Ｃ３、Ｃ４を学習対象動作として設定しない。操作者は、各工程に含まれる全ての動作について、学習対象動作として設定するか否かを決める。

【0041】

次に、操作者は、学習対象動作を含む部分動画データＤ３（図５）を、動画データＤ１から抽出する（ステップＳ０３）。

【0042】

図５は、本開示の一実施形態に係る動画データの一例を示す第１の図である。
図５に示すように、動作Ｃ２が学習対象動作として設定されていたとする。このとき、操作者は、動画データＤ１を視認して、学習対象動作（動作Ｃ２）が含まれる部分動画データＤ３を動画データＤ１から抽出する。

【0043】

また、例えば作業者が予め規定された作業スケジュールどおりに作業を行っている場合、学習用データ取得装置１０の取得部１１０は、動画データＤ１のうち、学習対象動作に設定された動作が行われる期間の部分動画データＤ３を自動的に抽出するようにしてもよい。

【0044】

なお、部分動画データＤ３には、学習対象動作の前後の動作の一部が含まれていてもよい。図５の例では、動作Ｃ２に対応する部分動画データＤ３には、前の動作Ｃ１の一部（微動作Ｃ１＿３）、及び、次の動作Ｃ３の一部（微動作Ｃ３＿１）が含まれていてもよい。

【0045】

次に、操作者は、部分動画データＤ３に含まれるフレームのうち、作業者固有の特徴が反映されない作業内容（動作）が映されているフレームである、無特徴フレームを特定する（ステップＳ０４）。

【0046】

例えば、操作者は、部分動画データＤ３を１フレームずつ確認する。フレームとは、動画データＤ１を６０分の１秒ごとの静止画に分割したものである。操作者は、学習対象外の動作（第１の作業内容）と、学習対象動作（第２の作業内容）との境界に現れる特徴であって、フレーム単位でその有無を判別可能な特徴を示す境界特徴情報に基づいて、無特徴フレームを特定する。境界特徴情報は、学習対象動作の直前に行われる微動作の終了、又は、学習対象動作の直後に行われる微動作の開始を示すフレームである。

【0047】

図５の例では、操作者は、学習対象動作Ｃ２の直前に行われる微動作Ｃ１＿３の終了を示すフレームを第１の境界特徴情報Ｂ１として設定する。例えば、微動作Ｃ１＿３が「工具を運ぶ」である場合、操作者は部分動画データＤ３をコマ送りして確認し、「工具を運び終えて作業者の手が元の位置に戻った」ときのフレームを第１の境界特徴情報Ｂ１として設定する。なお、第１の境界特徴情報Ｂ１はこれに限られることはない。例えば、学習対象動作の直前の微動作が「着席する」である場合、操作者は「作業者の着席が完了した」ときのフレームを第１の境界特徴情報Ｂ１として設定する。

【0048】

また、図５の例では、操作者は、学習対象動作Ｃ２の直後に行われる微動作Ｃ３＿１の開始を示すフレームを第２の境界特徴情報Ｂ２として設定する。例えば、微動作Ｃ３＿１が「工具を置く」である場合、操作者は部分動画データＤ３をコマ送りして確認し、「作業者の手から工具が離れた」ときのフレームを第２の境界特徴情報Ｂ２として設定する。なお、第２の境界特徴情報Ｂ２はこれに限られることはない。例えば、学習対象動作の直後の微動作が「ワークを移動する」である場合、操作者は「作業者の手がワークをつかんだ」ときのフレームを第２の境界特徴情報Ｂ２として設定する。

【0049】

第１の境界特徴情報Ｂ１および第２の境界特徴情報Ｂ２を設定した後、操作者は、部分動画データＤ３に含まれるフレームのうち、第１の境界特徴情報Ｂ１以前のフレーム、及び、第２の境界特徴情報Ｂ２以降のフレームを、それぞれ無特徴フレームであると特定する。

【0050】

図６は、本開示の一実施形態に係る動画データの一例を示す第２の図である。
また、操作者は、図６に示すように、学習対象動作Ｃ２に含まれる一部の微動作Ｃ２＿２を無特徴フレームとして特定してもよい。例えば、学習対象動作Ｃ２を構成する微動作Ｃ２＿１～Ｃ２＿３のうち、微動作Ｃ２＿２は作業者の動作の特徴が反映されないものであるとする。この場合、操作者は、微動作Ｃ２＿２の開始を示すフレームを第２の境界特徴情報Ｂ２として設定するとともに、微動作Ｃ２＿２の終了を示すフレームを第１の境界特徴情報Ｂ１として設定する。そうすると、部分動画データＤ３のうち、学習対象動作Ｃ２の直前の微動作Ｃ１＿３に対応するフレーム、及び学習対象動作Ｃ２の直後の微動作Ｃ３＿１に対応するフレームに加えて、微動作Ｃ２＿２に対応するフレームも無特徴フレームであると特定される。

【0051】

なお、操作者は、予め学習対象動作毎の第１の境界特徴情報Ｂ１及び第２の境界特徴情報Ｂ２の条件を設定しておき、学習用データ取得装置１０の特定部１１１に部分動画データＤ３から自動的に第１の境界特徴情報Ｂ１及び第２の境界特徴情報Ｂ２を検索して設定させてもよい。このとき、特定部１１１は、第１の境界特徴情報Ｂ１及び第２の境界特徴情報Ｂ２を設定すると、これらに基づいて無特徴フレームを自動的に特定する。

【0052】

次に、操作者は、部分動画データＤ３から無特徴フレームを除外する操作を行う（ステップＳ０５）。学習用データ取得装置１０の除外処理部１１２は、操作者の操作を受け付けて、図５の例のように、部分動画データＤ３から学習対象動作Ｃ２の前後の無特徴フレームを除外する。なお、除外処理部１１２は、無特徴フレームが特定されたタイミングで、自動的に部分動画データＤ３から無特徴フレームを除外する処理を行うようにしてもよい。そうすると、除外済み動画データＤ４には、作業者の動作の特徴が反映される作業内容（学習対象動作Ｃ２）を示す特徴フレームのみが含まれることとなる。

【0053】

次に、操作者は、除外済み動画データＤ４に基づいて、学習用データとなるデータセットを生成する操作を行う（ステップＳ０６）。学習用データ取得装置１０の生成部１１３は、操作者の操作を受け付けて、除外済み動画データＤ４から学習用データＤ２となるデータセットを生成する。なお、生成部１１３は、除外済み動画データＤ４が作成されたタイミングで、自動的にデータセットを生成する処理を行うようにしてもよい。

【0054】

本実施形態に係る生成部１１３は、除外済み動画データＤ４から、フレーム毎の作業者の骨格情報（作業者の頭部、肩、肘といった各部位の３次元座標を表す情報）からなるデータセットを生成する。なお、動画データから骨格情報を取得する技術は既知であるため、説明は省略する。このとき、生成部１１３は、一つの除外済み動画データＤ４から、データセットの開始フレームを１つずつずらした複数のデータセットを生成する。例えば、１個目のデータセットは除外済み動画データＤ４の１～ｍフレームの骨格情報からなるデータセット、２個目のデータセットは２～ｍ＋１フレームの骨格情報からなるデータセット、ｎ個目のデータセットはｎ～ｍ＋ｎフレームの骨格情報からなるデータセットである。

【0055】

また、生成部１１３により生成された骨格情報のデータセット（学習用データＤ２）は、モデル学習装置２０に送信される。そうすると、モデル学習装置２０は、学習用データＤ２から、各作業者の各学習対象動作における動作の特徴を学習して、識別モデルＭを生成又は更新する。

【0056】

操作者（又は学習用データ取得装置１０）は、複数の作業者それぞれの、学習対象動作として設定された全ての動作について、図３の各ステップを実行することにより、複数の作業者それぞれの動作毎の学習用データＤ２（骨格情報のデータセット）を取得する。

【0057】

（識別モデルの学習方法）
図７は、本開示の一実施形態に係る識別モデルの学習方法の一例を示すフローチャートである。
モデル学習装置２０は、学習用データ取得装置１０から受信した複数の作業者（例えば、作業者１～ｎ）それぞれの学習用データＤ２を用いて、識別モデルＭの深層学習を行う（ステップＳ１１）。例えば、モデル学習装置２０は、ＬＳＴＭ（Long short-term memory）を使用したニューラルネットワークを作成して、学習用データＤ２を作業者毎、かつ時系列順に入力して深層学習を実施する。このニューラルネットワークは、入力された学習用データＤ２がどの作業者のデータであるかを予測し、作業者毎の予測確率（作業者１である確率、作業者２である確率、・・・、作業者ｎである確率）を出力するものである。また、学習用データ取得装置１０は、例えば学習用データＤ２を訓練用データ及び評価用データに分けて、訓練用データのみを用いて深層学習を行う。

【0058】

次に、モデル学習装置２０は、深層学習を実施したニューラルネットワークの評価（深層学習程度の評価）を行う（ステップＳ１２）。例えば、モデル学習装置２０は、学習用データＤ２のうち評価用データをそれぞれニューラルネットワークに入力して、作業者毎の予測確率を得る。モデル学習装置２０は、各評価用データについて、正解である作業者と、ニューラルネットワークが予測した作業者（予測確率が最も高い作業者）とに基づいて、ニューラルネットワークの正解率を算出する。

【0059】

次に、モデル学習装置２０は、ニューラルネットワークの正解率が目標値（例えば、９０％）以上となったか判定する（ステップＳ１３）。モデル学習装置２０は、正解率が目標値未満である場合（ステップＳ１３：ＮＯ）、ステップＳ１１に戻り、再度、深層学習を実施する。なお、モデル学習装置２０は、再学習によっても正解率が目標値未満となった場合には、学習用データ取得装置１０に学習用データＤ２の追加を要求してもよい。この場合、学習用データ取得装置１０は、図３の各ステップを実行して新たな学習用データＤ２を生成する。

【0060】

一方、モデル学習装置２０は、正解率が目標値以上である場合（ステップＳ１３：ＹＥＳ）、除外済み動画データＤ４毎に作業者を識別するように、識別モデルＭを更に学習する（ステップＳ１４）。

【0061】

除外済み動画データＤ４は、一人の作業者が一つの作業内容を実施している様子を撮影したものである。すなわち、除外済み動画データＤ４に含まれる作業内容の途中で作業者が変わらないという前提がある。この前提に基づいて、モデル学習装置２０は、１つの除外済み動画データＤ４に対応する複数の学習用データＤ２について、異なる複数の予測結果が得られた場合に、これら学習用データＤ２全体を通して一人の作業者が実施しているものであると識別するように、識別モデルＭを更に学習する。例えば、識別モデルＭは、除外済み動画データＤ４に対応する学習用データＤ２の作業者毎の予測確率を集計して、除外済み動画データＤ４全体（すなわち、１つの作業内容全体）における作業者毎の予測確率を算出する。そして、識別モデルＭは、予測確率が最も高い作業者の識別情報を、この除外済み動画データＤ４全体に対応する識別情報として出力する。このようにすることで、識別モデルＭによる識別精度を更に向上させることができる。

【0062】

（作用効果）
以上のように、本実施形態に係る学習用データ取得方法は、作業者が行う一連の作業が撮影された動画データＤ１から、作業者固有の特徴が反映されないものとして設定された作業内容（動作）が映されているフレームである無特徴フレームを特定するステップＳ０４と、無特徴フレームを動画データＤ１から除外するステップＳ０５と、無特徴フレームが除外された動画データＤ４を基に、学習用データＤ２として用いるデータセットを生成するステップＳ０６と、を有する。また、無特徴フレームを特定するステップＳ０４では、動画データＤ１に映される作業者の学習対象外動作（第１の作業内容）と学習対象動作（第２の作業内容）との境界に現れる特徴であってフレーム単位でその有無を判別可能な特徴を示す境界特徴情報に基づいて、無特徴フレームを特定する。

【0063】

例えば、手を止めて考える動作を行っている（作業者が静止状態である）様子を写した動画データからは、作業者固有の動作の特徴を抽出することが困難である。このような動作（静止状態）を含む動画データを基に学習用データを生成すると、識別モデルを学習する上でノイズとなり、作業者を識別する精度が低下する可能性がある。しかしながら、本実施形態では、上記した各ステップを実行することにより、識別モデルＭの学習時にノイズとなる作業者の特徴が表れない動作を含む無特徴フレームを除外して、学習用データＤ２を生成することが可能となる。このように、ノイズを除去した動画データＤ４から学習用データＤ２を生成することにより、少量の学習用データＤ２でも、精度の高い識別モデルＭを学習することが可能となる。また、本実施形態では、作業者の作業を撮影した動画データＤ１のみを取得すればよいので、作業者が識別用の器具などを装着する必要がない。これにより、作業者の作業を阻害することなく、学習用データＤ２を取得することが可能となる。

【0064】

また、本実施形態に係る学習用データ取得方法は、作業者が行う一連の作業に含まれる複数の作業内容のうち、学習対象動作（作業者固有の特徴が反映されるものとして設定された作業内容）を含む部分動画データＤ３を、動画データＤ１から抽出するステップＳ０３を更に有する。

【0065】

このようにすることで、学習対象動作を含む部分動画データＤ３のみを参照すればよいので、境界特徴情報を検索及び設定する時間（無特徴フレームを特定するステップに要する時間）を短縮することができる。

【0066】

また、無特徴フレームを特定するステップＳ０４では、学習対象動作の直前に行われる微動作の終了を示すフレームを第１の境界特徴情報Ｂ１として設定し、当該第１の境界特徴情報Ｂ１以前のフレームを無特徴フレームとして特定する。更に、学習対象動作の直後に行われる微動作の開始を示すフレームを第２の境界特徴情報Ｂ２として設定し、当該第２の境界特徴情報Ｂ２以降のフレームを前記無特徴フレームとして特定する。

【0067】

このようにすることで、学習対象動作の前後の不要なフレームを正確に除去することができる。

【0068】

なお、上記した学習用データ取得方法の各ステップは、学習用データ取得装置１０により自動的に実行されてもよい。

【0069】

このようにすることで、学習用データＤ２を容易且つ高速に生成することが可能となる。

【0070】

以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0071】

例えば、上記した実施形態において、学習用データ取得装置１０とモデル学習装置２０とが異なる装置として構成される例について説明したが、これに限られることはない。他の実施形態では、学習用データ取得装置１０のＣＰＵ１１が、モデル学習装置２０の機能を実行する機能部（モデル学習部）を更に備える態様であってもよい。

【0072】

＜付記＞
上述の実施形態に記載の学習用データの取得方法、モデル生成方法、学習用データ取得装置、及びプログラムは、例えば以下のように把握される。

【0073】

（１）本開示の第１の態様によれば、作業者が行う一連の作業が撮影された動画データＤ１を基に生成されたデータセットを入力し、当該作業者の識別情報を出力する学習済みモデルＭを生成するための学習用データＤ２の取得方法は、作業者が行う一連の作業が撮影された動画データＤ１から、作業者固有の特徴が反映されないものとして設定された作業内容が映されているフレームである無特徴フレームを特定するステップＳ０４と、無特徴フレームを動画データＤ１から除外するステップＳ０５と、無特徴フレームが除外された動画データＤ４を基に、学習用データＤ２として用いるデータセットを生成するステップＳ０６と、を有する。無特徴フレームを特定するステップＳ０４では、動画データＤ１に映される作業者の第１の作業内容と第２の作業内容との境界に現れる特徴であってフレーム単位でその有無を判別可能な特徴を示す境界特徴情報Ｂ１、Ｂ２に基づいて、無特徴フレームを特定する。

【0074】

このようにすることで、学習済みモデル（識別モデル）の学習時にノイズとなる作業者の特徴が表れない動作を含む無特徴フレームを除外して、学習用データを生成することが可能となる。このように、ノイズを除去した動画データから学習用データを生成することにより、少量の学習用データでも、精度の高い識別モデルを学習することが可能となる。また、上記した態様では、作業者の作業を撮影した動画データのみを取得すればよいので、作業者が識別用の器具などを装着する必要がない。これにより、作業者の作業を阻害することなく、学習用データを取得することが可能となる。

【0075】

（２）本開示の第２の態様によれば、第１の態様に係る学習用データの取得方法は、作業者が行う一連の作業に含まれる複数の作業内容のうち、作業者固有の特徴が反映されるものとして設定された作業内容を含む部分動画データＤ３を、動画データＤ１から抽出するステップＳ０３を更に有する。無特徴フレームを除外するステップＳ０４では、部分動画データＤ３から無特徴フレームを除外する。

【0076】

このようにすることで、学習対象動作を含む部分動画データのみを参照すればよいので、境界特徴情報を検索及び設定する時間（無特徴フレームを特定するステップＳ０４に要する時間）を短縮することができる。

【0077】

（３）本開示の第３の態様によれば、第１又は第２の態様に係る学習用データの取得方法において、作業内容はサーブリッグ分析を用いて分類した複数の微動作からなり、無特徴フレームを特定するステップＳ０４では、作業者固有の特徴が反映されるものとして設定された作業内容の直前に行われる微動作の終了を示すフレームを第１の境界特徴情報Ｂ１として設定し、当該第１の境界特徴情報Ｂ１以前のフレームを無特徴フレームとして特定するとともに、作業者固有の特徴が反映されるものとして設定された作業内容の直後に行われる微動作の開始を示すフレームを第２の境界特徴情報Ｂ２として設定し、当該第２の境界特徴情報Ｂ２以降のフレームを無特徴フレームとして特定する。

【0078】

このようにすることで、学習対象動作の前後の不要なフレームを正確に除去することができる。

【0079】

（４）本開示の第４の態様によれば、モデル生成方法は、第１から第３の何れか一の態様に係る学習用データの取得方法により取得した学習用データＤ２を用いて、作業者が行う一連の作業が撮影された動画データＤ１を基に生成されたデータセットを入力とし、作業者の識別情報を出力とするモデルＭを学習するステップを有する。

【0080】

このように、作業者の特徴が表れない動作を含む無特徴フレームを除外した学習用データを用いて作業者の識別を行うモデルを学習することにより、学習時のノイズを低減させることができるので、少ないデータ点数でも学習精度を向上させることができる。

【0081】

（５）本開示の第５の態様によれば、第４の態様に係るモデル生成方法は、学習したモデルＭに対し、評価用のデータセットを入力して、識別情報の予測結果を出力するステップと、作業者が行う一連の作業に含まれる複数の作業内容のうち、一の作業内容に対応する複数のデータセットについて、異なる複数の予測結果が得られた場合に、作業内容の途中で作業者が変わらないという前提に基づき、当該一の作業内容に対応する複数のデータセット全体を通して一つの識別情報を出力するようにモデルＭを更に学習するステップと、を更に有する。

【0082】

このようにすることで、作業者の識別を行うモデルの識別精度を更に向上させることができる。

【0083】

（６）本開示の第６の態様によれば、学習用データ取得装置１０は、作業者が行う一連の作業が撮影された動画データＤ１を基に生成されたデータセットを入力し、当該作業者の識別情報を出力する学習済みモデルＭを生成するための学習用データＤ２を取得する装置であって、作業者が行う一連の作業が撮影された動画データＤ１から、作業者固有の特徴が反映されないものとして設定された作業内容が映されているフレームである無特徴フレームを特定する特定部１１１と、無特徴フレームを動画データＤ１から除外する除外処理部１１２と、無特徴フレームが除外された動画データＤ４を基に、学習用データＤ２として用いるデータセットを生成する生成部１１３と、を備える。特定部１１１は、動画データＤ１に映される作業者の第１の作業内容と第２の作業内容との境界に現れる特徴であってフレーム単位でその有無を判別可能な特徴を示す境界特徴情報Ｂ１、Ｂ２に基づいて、無特徴フレームを特定する。

【0084】

このように、学習用データ取得装置により各ステップを自動実行することにより、学習用データを容易且つ高速に生成することが可能となる。

【0085】

（７）本開示の第７の態様によれば、プログラムは、作業者が行う一連の作業が撮影された動画データＤ１を基に生成されたデータセットを入力し、当該作業者の識別情報を出力する学習済みモデルＭを生成するための学習用データＤ２を取得する学習用データ取得装置１０に、作業者が行う一連の作業が撮影された動画データＤ１から、作業者固有の特徴が反映されないものとして設定された作業内容が映されているフレームである無特徴フレームを特定するステップＳ０４と、無特徴フレームを動画データＤ１から除外するステップＳ０５と、無特徴フレームが除外された動画データＤ４を基に、学習用データＤ２として用いるデータセットを生成するステップＳ０６と、を実行させる。無特徴フレームを特定するステップＳ０４では、動画データＤ１に映される作業者の第１の作業内容と第２の作業内容との境界に現れる特徴であってフレーム単位でその有無を判別可能な特徴を示す境界特徴情報Ｂ１、Ｂ２に基づいて、無特徴フレームを特定する。

【符号の説明】

【0086】

１ 学習用データ収集システム
１０ 学習用データ取得装置
１１ ＣＰＵ
１１０ 取得部
１１１ 特定部
１１２ 除外処理部
１１３ 生成部
１２ メモリ
１３ ストレージ
１４ インタフェース
２０ モデル学習装置
３０ カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】