特許 7528706 学習モデル生成装置、学習モデル、行動認識装置、学習データ生成装置、及び、学習データ生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】学習モデル生成装置、学習モデル、行動認識装置、学習データ生成装置、及び、学習データ生成方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240730BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 6

(21)【出願番号】P 2020173100

(22)【出願日】2020-10-14

(65)【公開番号】P2022064460

(43)【公開日】2022-04-26

【審査請求日】2023-04-21

(73)【特許権者】

【識別番号】000002130

【氏名又は名称】住友電気工業株式会社

(74)【代理人】

【識別番号】110000280

【氏名又は名称】弁理士法人サンクレスト国際特許事務所

(74)【代理人】

【識別番号】100100147

【弁理士】

【氏名又は名称】山野 宏

(72)【発明者】

【氏名】田村 孝

(72)【発明者】

【氏名】藤田 康仁

(72)【発明者】

【氏名】坂本 遼平

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１９－１１４２１１（ＪＰ，Ａ）

【文献】特開２０１９－１５９８１９（ＪＰ，Ａ）

【文献】特開２００５－１４０５５０（ＪＰ，Ａ）

【文献】Pavlo Molchanov，Hand gesture recognition with 3D convolutional neural networks，2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)，IEEE，2015年06月07日，P.1-7，https://ieeexplore.ieee.org/document/7301342

【文献】井上 善文，双方向型関数を用いたニューラルネットワークの学習アルゴリズムとその応用，電子情報通信学会技術研究報告 Ｖｏｌ．１０６ Ｎｏ．４５１，日本，社団法人電子情報通信学会，2007年01月10日，NLP2006-112 (2007-01)，P.9-13

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

複数の画像データが時系列順に並んだ第１映像データとは異なる第２映像データを生成する第２映像データ生成処理を含む学習データ生成処理と、
前記第１映像データ及び前記第２映像データを学習データとして、行動認識のための学習モデルを生成する機械学習処理と、
を実行するよう構成された処理装置を備え、
前記学習データ生成処理は、元映像データから、前記元映像データの時間長よりも短い第１時間長を有する前記第１映像データを複数生成する第１映像データ生成処理を更に備え、
前記第１映像データ生成処理によって生成された前記複数の第１映像データそれぞれは、前記複数の第１映像データに含まれる他の第１映像データと時間的に重複しており、
前記第２映像データは、前記第１映像データに含まれる前記複数の画像データが前記時系列順とは逆順に並んで構成されている
学習モデル生成装置。

【請求項2】

前記複数の第１映像データそれぞれが、前記複数の第１映像データに含まれる他の第１映像データと重複する重複時間は、前記第１時間長の５０％以上、８０％以下である
請求項１に記載の学習モデル生成装置。

【請求項3】

学習データを用いて機械学習された、行動認識のための学習モデルであって、
前記学習データは、
複数の画像データが時系列順に並んだ複数の第１映像データであって、元映像データから、前記元映像データの時間長よりも短い第１時間長を有する前記第１映像データを複数生成することで、それぞれ時間的に重複している前記複数の第１映像データと、
前記第１映像データに含まれる前記複数の画像データが前記時系列順とは逆順に並んだ第２映像データと、
を含み、
映像データが入力として与えられると、前記映像データ中のオブジェクトの行動の認識結果を出力するようにコンピュータを機能させる、
学習モデル。

【請求項4】

テストデータとしての映像データ中のオブジェクトの行動を、請求項３に記載の学習モデルを用いて認識するよう構成された行動認識装置。

【請求項5】

複数の画像データが時系列順に並んだ第１映像データとは異なる第２映像データを生成する第２映像データ生成処理を含む学習データ生成処理を実行するよう構成された処理装置を備え、
前記学習データ生成処理は、元映像データから、前記元映像データの時間長よりも短い第１時間長を有する前記第１映像データを複数生成する第１映像データ生成処理を更に備え、
前記第１映像データ生成処理によって生成された前記複数の第１映像データそれぞれは、前記複数の第１映像データに含まれる他の第１映像データと時間的に重複しており、
前記第２映像データは、前記第１映像データに含まれる前記複数の画像データが前記時系列順とは逆順に並んで構成されている
学習データ生成装置。

【請求項6】

複数の画像データが時系列順に並んだ複数の第１映像データを生成する第１ステップと、前記複数の第１映像データとは異なる第２映像データを生成する第２ステップを備え、
前記第１ステップは、元映像データから、前記元映像データの時間長よりも短い第１時間長を有する前記第１映像データを複数生成し、
前記第１ステップによって生成された前記複数の第１映像データそれぞれは、前記複数の第１映像データに含まれる他の第１映像データと時間的に重複しており、
前記第２映像データは、前記第１映像データに含まれる前記複数の画像データが前記時系列順とは逆順に並んで構成されている
学習データ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習モデル生成装置、学習モデル、行動認識装置、学習データ生成装置、及び、学習データ生成方法に関する。

【背景技術】

【0002】

特許文献１は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）等の深層学習技術を用いて、映像から人物の行動を認識する行動認識装置を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１９１９８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

深層学習のような機械学習においては、機械学習のための多くの学習データが必要とされる。多くの学習データを得るために、学習データの数を増やすデータ拡張という手法が用いられる。データ拡張は、データ水増しとも呼ばれる。静止画データのデータ拡張処理としては、例えば、画像の回転、上下反転、及び画像の左右反転がある。

【0005】

しかし、静止画データに対して適用される従来のデータ拡張処理を、映像データに対して適用しても、充分な学習効果が期待できない場合もある。このため、映像データに適した新たなデータ拡張手法が望まれる。

【課題を解決するための手段】

【0006】

本開示のある側面は、学習モデル生成装置である。開示の学習モデル生成装置は、複数の画像データが時系列順に並んだ第１映像データとは異なる第２映像データを生成する第２映像データ生成処理を含む学習データ生成処理と、前記第１映像データ及び前記第２映像データを学習データとして、行動認識のための学習モデルを生成する機械学習処理と、を実行するよう構成された処理装置を備え、前記第２映像データは、前記第１映像データに含まれる前記複数の画像データが前記時系列順とは逆順に並んで構成されている。

【0007】

本開示の他の側面は、学習モデルである。開示の学習モデルは、学習データを用いて機械学習された、行動認識のための学習モデルであって、前記学習データは、複数の画像データが時系列順に並んだ１又は複数の第１映像データと、前記第１映像データに含まれる前記複数の画像データが前記時系列順とは逆順に並んだ第２映像データと、を含む。

【0008】

本開示の他の側面は、行動認識装置である。開示の行動認識装置は、テストデータとしての映像データ中のオブジェクトの行動を、前記学習モデルを用いて認識するよう構成されている。

【0009】

本開示の他の側面は、学習データ生成装置である。開示の学習データ生成装置は、複数の画像データが時系列順に並んだ第１映像データとは異なる第２映像データを生成する第２映像データ生成処理を含む学習データ生成処理を実行するよう構成された処理装置を備え、前記第２映像データは、前記第１映像データに含まれる前記複数の画像データが前記時系列順とは逆順に並んで構成されている。

【0010】

本開示の他の側面は、学習データ生成方法である。開示の学習データ生成方法は、複数の画像データが時系列順に並んだ１又は複数の第１映像データとは異なる第２映像データを生成することを備え、前記第２映像データは、前記第１映像データに含まれる前記複数の画像データが前記時系列順とは逆順に並んで構成されている。

【発明の効果】

【0011】

本開示によれば、映像に適したデータ拡張がなされる。

【図面の簡単な説明】

【0012】

【図1】図１は、学習モデル生成装置及び行動認識装置を備えるシステムの概略構成図である。

【図2】図２は、行動認識装置の構成図である。

【図3】図３は、行動認識処理のフローチャートである。

【図4】図４は、テストデータの生成方法の説明図である。

【図5】図５は、表示装置に表示される画面例を示す図である。

【図6】図６は、学習モデル生成装置の構成図である。

【図7】図７は、学習データ生成処理のフローチャートである。

【図8】図８は、ショート映像の作成方法の説明図である。

【図9】図９は、ショート映像から第１映像データ及び第２映像データを作成する方法の説明図である。

【図10】図１０は、実験結果を示すテーブルである。

【図11】図１１は、第１実験における条件１，２，３の結果を示す図である。

【図12】図１２は、第１実験における条件４，５，６の結果を示す図である。

【図13】図１３は、第２実験における条件１，２，３の結果を示す図である。

【図14】図１４は、第２実験における条件４，５，６の結果を示す図である。

【発明を実施するための形態】

【0013】

［本開示の実施形態の説明］

【0014】

（１）実施形態に係る学習モデル生成装置は、複数の画像データが時系列順に並んだ第１映像データとは異なる第２映像データを生成する第２映像データ生成処理を含む学習データ生成処理と、前記第１映像データ及び前記第２映像データを学習データとして、行動認識のための学習モデルを生成する機械学習処理と、を実行するよう構成された処理装置を備える。前記第２映像データは、前記第１映像データに含まれる前記複数の画像データが前記時系列順とは逆順に並んで構成されている。この場合、第１映像データとは逆順に並んだ第２映像データが得られる。すなわち、映像データがデータ拡張される。

【0015】

（２）前記学習データ生成処理は、元映像データから、前記元映像データの時間長よりも短い第１時間長を有する前記第１映像データを複数生成する第１映像データ生成処理を更に備え、前記第１映像データ生成処理によって生成された前記複数の第１映像データそれぞれは、前記複数の第１映像データに含まれる他の第１映像データと時間的に重複しているのが好ましい。この場合、元映像データからより多くの第１映像データを生成でき、データ拡張がなされる。

【0016】

（３）前記複数の第１映像データそれぞれが、前記複数の第１映像データに含まれる他の第１映像データと重複する重複時間は、前記第１時間長の５０％以上、８０％以下であるのが好ましい。この場合、重複時間長が適切になる。

【0017】

（４）実施形態に係る学習モデルは、学習データを用いて機械学習された、行動認識のための学習モデルであって、前記学習データは、複数の画像データが時系列順に並んだ１又は複数の第１映像データと、前記第１映像データに含まれる前記複数の画像データが前記時系列順とは逆順に並んだ第２映像データと、を含むのが好ましい。この場合、データ拡張された学習データによって、より適切な学習モデルになる。

【0018】

（５）実施形態に係る行動認識装置は、テストデータとしての映像データ中のオブジェクトの行動を、前記（４）に記載の学習モデルを用いて認識するよう構成されている。この場合、行動認識の精度が向上する。

【0019】

（６）実施形態に係る学習データ生成装置は、複数の画像データが時系列順に並んだ第１映像データとは異なる第２映像データを生成する第２映像データ生成処理を含む学習データ生成処理を実行するよう構成された処理装置を備え、前記第２映像データは、前記第１映像データに含まれる前記複数の画像データが前記時系列順とは逆順に並んで構成されている。この場合、第１映像データとは逆順に並んだ第２映像データが得られる。すなわち、映像データがデータ拡張される。

【0020】

（７）実施形態に係る学習データ生成方法は、複数の画像データが時系列順に並んだ１又は複数の第１映像データとは異なる第２映像データを生成することを備え、前記第２映像データは、前記第１映像データに含まれる前記複数の画像データが前記時系列順とは逆順に並んで構成されている。この場合、第１映像データとは逆順に並んだ第２映像データが得られる。すなわち、映像データがデータ拡張される。

【0021】

実施形態に係るコンピュータプログラムは、学習データ生成処理、機械学習処理及び行動認識処理のすくなくともいずれか１つをプロセッサに実行させる。コンピュータプログラムは、コンピュータ読み取り可能な、非一時的な記憶媒体に格納される。

【0022】

［本開示の実施形態の詳細］

【0023】

図１は、行動認識のためのシステム１を示している。行動認識は、映像データに映っているオブジェクトの行動を認識することである。映像データに映っているオブジェクトは、例えば、人又は物である。行動認識は、映像データの分類でもある。

【0024】

行動認識は、例えば、工場等において、作業者の行動を、撮像装置３０によって撮像した映像データを用いて行われる。この場合、行動認識によって、作業者が行われている行動が分類される。これにより、作業者が特定の作業をするのに要した時間を計測することができる。また、作業者の行動を分類することで、作業者が適切なタイミングで作業を実施しているか否かの把握をすることができる。また、複数の作業者それぞれの行動を分類することで、作業者毎の行動の違いの有無を把握することができる。

【0025】

図１に示すシステム１は、行動認識装置２０と、行動認識装置２０に接続された１又は複数の撮像装置３０と、を備える。撮像装置３０は、作業者等のオブジェクトを撮像するように設置される。撮像装置３０は、映像データを出力する。映像データは、複数の画像データ（画像フレーム）が時系列に並んで構成された動画である。以下では、撮像装置３０から出力された映像データを、「元映像データ」という。行動認識装置２０は、撮像装置３０によって撮像された元映像データに基づいて、作業者の行動を分類する。分類される行動は、例えば、製品の加工等の特定の第１作業と、第１作業以外の作業である第２作業と、を含む。

【0026】

図２に示すように、行動認識装置２０は、処理装置２１と、処理装置２１に接続された記憶装置２２と、を備えるコンピュータによって構成されている。行動認識装置２０を構成するコンピュータは、インタフェース２５を更に備える。

【0027】

行動認識装置２０が備える処理装置２１は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の少なくとも１つを有する。記憶装置２２は、例えば、一次記憶装置及び二次記憶装置を有する。一次記憶装置は、例えば、ＲＡＭである。二次記憶装置は、例えば、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）である。インタフェース２５は、学習モデル生成装置１０、撮像装置３０、及び表示装置４０などの外部機器との接続に用いられる。行動認識装置２０は、例えば、図示しないネットワークを介して、外部機器に接続される。

【0028】

行動認識装置２０を構成するコンピュータは、行動認識処理２１０を実行する。行動認識装置２０が備える記憶装置２２は、コンピュータを行動認識装置２０として機能させるためのコンピュータプログラム２４を記憶している。換言すると、記憶装置１２は、コンピュータに行動認識処理２１０を実行させるためのコンピュータプログラム２４を記憶している。コンピュータプログラム２４は、行動認識処理２１０をコンピュータに実行させるためのプログラムコードを備える。処理装置２１は、記憶装置２２からコンピュータプログラム２４を読み出して実行する。行動認識処理２１０は、後述される。

【0029】

記憶装置２２は、元映像データ２２０と、テストデータ２２１と、を記憶することができる。元映像データ２２０は、撮像装置３０から取得され、記憶装置２２に保存される。テストデータ２２１は、記憶装置２２に保存された元映像データ２２０から生成された映像データである。行動認識装置２０は、テストデータ２２１に対して行動認識処理２１０を実行する。行動認識処理２１０は、機械学習によって構築された学習モデル２２５を用いて実行される。行動認識処理２１０において、テストデータ２２１は、学習モデル２２５へ入力される。

【0030】

記憶装置２２は、行動認識処理２１０に用いられる学習モデル２２５を記憶することができる。具体的には、記憶装置２２は、学習モデル２２５を構成するパラメータを記憶する。実施形態に係る学習モデル２２５は、例えば、ニューラルネットワークによって構成される。学習モデル２２５は、一例として、３次元畳み込みニューラルネットワーク（３Ｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；３Ｄ－ＣＮＮ）によって構成される。３Ｄ－ＣＮＮは、２次元の空間情報と１次元の時間情報とを有する３次元データを入力データとして受け付けることができる。実施形態において、行動認識装置２０において、３Ｄ－ＣＮＮによって構成される学習モデル２２５に入力される３次元データは、前述のテストデータ２２１である。３Ｄ－ＣＮＮは、入力されたテストデータ２２１に映っているオブジェクト（作業者等）の行動を分類する。

【0031】

行動認識装置２０は、行動認識処理２１０による作業分類結果を、行動認識結果として出力する。作業分類結果は、例えば、表示装置４０において表示される。表示装置４０による表示は、後述される。

【0032】

なお、２次元畳み込みニューラルネットワーク（２Ｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；２Ｄ－ＣＮＮ）における入力データは、例えば、カラー静止画像である場合、［高さ（Ｈｅｉｇｈｔ），幅（Ｗｉｄｔｈ），チャネル（Ｃｈａｎｎｅｌｓ）］によって構成される。「高さ」は、画像の縦位置を示す。「幅」は、画像の横位置を示す。「チャネル」は、例えば、ＲＧＢ（赤、緑、青）といった画像の色を示す。一方、３Ｄ－ＣＮＮにおける入力データは、２Ｄ－ＣＮＮにおける入力データに、時間（Ｔｉｍｅ）が追加されている。３Ｄ－ＣＮＮにおける入力データは、例えば、［高さ（Ｈｅｉｇｈｔ），幅（Ｗｉｄｔｈ），時間（Ｔｉｍｅ），チャネル（Ｃｈａｎｎｅｌｓ）］によって構成される。

【0033】

図３は、行動認識処理２１０の手順を示している。まず、行動認識装置２０の処理装置２１は、記憶装置２２に保存された元映像データ２２０を読み出し、読み出した元映像データ２２０から複数のテストデータ２２１を生成する（ステップＳ２１）。元映像データ２２０は、例えば、数分、数十分、数時間、又は数十時間の時間長を有する。

【0034】

図４は、元映像データ２２０からテストデータ２２１を生成する方法を示している。元映像データ２２０は、複数のショート映像に分割される。各ショート映像の時間長は、例えば、６０秒である。例えば、元映像データ２２０が１時間の時間長を有する場合、６０個の６０秒ショート映像が生成される。１つのショート映像から１つのテストデータ２２１が生成される。６０秒ショート映像は、６０秒分の複数の画像データから構成されている。テストデータ２２１は、ショート映像から等間隔かつ時系列順に複数の画像データを抽出する。ここでは、一例として、ショート映像から、３２枚の画像データが抽出される。抽出された３２枚の画像データの組からなる映像データが、１つのテストデータ２２１になる。テストデータ２２１において、３２枚の画像データは、時系列順に並んでいる。なお、ショート映像から等間隔かつ時系列順に複数の画像データを抽出する手順を省略して、各ショート映像がテストデータ２２１とされてもよい。

【0035】

図３に戻り、行動認識装置２０の処理装置２１は、各テストデータ２２１を、学習モデル２２５に入力として与える。実施形態に係る学習モデル２２５は、映像データであるテストデータ２２１が入力されると、テストデータ２２１に映っているオブジェクトの行動を分類した結果を出力する（ステップＳ２２）。実施形態においては、一例として、学習モデル２２５は、テストデータ２２１に映っている作業者が行っている作業が、製品の加工等の特定の第１作業であるか、第１作業以外の作業である第２作業であるか、を分類する。分類は、テストデータ２２１毎に行われる。テストデータ２２１が６０秒ショート映像から生成されている場合、分類は、作業者の１分毎の行動について行われる。ここで、分類される行動の種類は、前述の第１作業及び第２作業である。

【0036】

行動認識装置２０の処理装置２１は、作業分類結果を出力する（ステップＳ２３）。作業分類結果の出力は、例えば、行動認識装置２０に接続された表示装置４０による画面４００の表示として行われる。

【0037】

図５は、表示装置４０によって表示される画面４００の例を示している。画面４００は、作業の分類結果を時間軸に沿って示す分類結果表示部４０５を備える。図５の分類結果表示部４０５においては、白色箇所は第１作業を示し、黒色箇所は第２作業を示す。また、画面４００は、作業の実施日を示す日付表示部４０１と、第１作業が行われた実施時間及び実施回数を示す第１作業表示部４０２と、凡例表示部４０３と、を備える。画面４００が表示されることで、作業の管理者等のユーザは、第１作業が行われた時間、回数、タイミング等を把握することができる。

【0038】

図１に示すシステム１は、行動認識装置２０によって用いられる学習モデル２２５を生成する学習モデル生成装置１０を備える。学習モデル生成装置１０によって生成された学習モデル２２５は、ネットワークを介して、行動認識装置２０に与えられる。

【0039】

図６に示すように、実施形態に係る学習モデル生成装置１０は、処理装置１１と、処理装置１１に接続された記憶装置１２と、を備えるコンピュータによって構成されている。学習モデル生成装置１０を備えるコンピュータは、インタフェース１５を更に備える。

【0040】

学習モデル生成装置１０が備える処理装置１１は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の少なくとも１つを有する。記憶装置１２は、例えば、一次記憶装置及び二次記憶装置を有する。一次記憶装置は、例えば、ＲＡＭである。二次記憶装置は、例えば、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）である。インタフェース１５は、行動認識装置２０及び撮像装置３０などの外部機器との接続に用いられる。学習モデル生成装置１０は、例えば、図示しないネットワークを介して、外部機器に接続される。

【0041】

学習モデル生成装置１０を構成するコンピュータは、学習モデルの生成に用いられる学習データを生成する学習データ生成処理１１０を実行する。したがって、学習モデル生成装置１０を構成するコンピュータは、学習データ生成装置でもある。また、学習モデル生成装置１０を構成するコンピュータは、学習データを用いて学習モデルを生成する機械学習処理１１５を実行する。

【0042】

学習モデル生成装置１０が備える記憶装置１２は、コンピュータを学習モデル生成装置１０又は学習データ生成装置として機能させるためのコンピュータプログラム１４を記憶している。換言すると、記憶装置１２は、コンピュータに学習データ生成処理１１０を実行させるためのコンピュータプログラムを記憶している。また、記憶装置１２は、コンピュータに機械学習処理１１５を実行させるためのコンピュータプログラム１４を記憶している。コンピュータプログラム１４は、学習データ生成処理１１０及び機械学習処理１１５を処理装置１１に実行させるためのプログラムコードを備える。処理装置１１は、記憶装置１２からコンピュータプログラム１４を読み出して実行する。学習データ生成処理１１０及び機械学習処理１１５は後述される。

【0043】

記憶装置１２は、元映像データ１２０と、学習データ１２１と、を記憶することができる。元映像データ１２０は、撮像装置３０から取得され、記憶装置１２に保存される。学習データ１２１は、記憶装置１２に保存された元映像データ１２０から、学習データ生成処理１１０によって生成される。学習データ１２１は、教師データともいう。実施形態に係る学習データは、第１映像データ１２１Ａと、第２映像データ１２１Ｂと、を含む。第１映像データ１２１Ａは、学習データ生成処理１１０に含まれる第１映像データ生成処理１１１によって生成される。第２映像データ１２１Ｂは、学習データ生成処理１１０に含まれる第２映像データ生成処理１１２によって生成される。

【0044】

図７は、学習データ生成処理１１０の手順を示している。まず、学習モデル生成装置１０の処理装置１１は、記憶装置１２に保存された元映像データ１２０を読み出すことで、元映像データ１２０を取得する（ステップＳ１１）。処理装置１１は、元映像データ１２０から、複数のショート映像を作成する（ステップＳ１２）。ステップＳ１２では、図８に示すように、各ショート映像の間に所定の重複時間の重複が生じるように複数のショート映像が作成される。重複を生じさせることで、元映像データ１２０から多くのショート映像を作成することができる。すなわち、映像データを重複させることで、データ拡張が可能である。映像データ間に重複が生じるようにデータ拡張を行うことで、行動認識精度（作業分類精度）を低下させることなく、効率的な学習が可能である。

【0045】

各ショート映像の時間長は、３０秒以上であるのが好ましく、４０秒以上であるのがより好ましく、５０秒以上であるのが更に好ましい。ショート映像の時間長が十分に長いと、重複するショート映像同士の違いが大きくなる。したがって、ショート映像の時間長が長い方が、データ拡張にとって適切である。

【0046】

また、各ショート映像の時間長は、５分以下であるのが好ましく、３分以下であるのがより好ましく、２分以下であるのが更に好ましい。ショート映像の時間長が長すぎると、元映像データ１２０から得られるショート映像の数が少なくなり、機械学習に不利である。したがって、ショート映像の時間長は、長すぎない方が有利である。

【0047】

各ショート映像の時間長は、３０秒以上、５分以下の範囲内にあるのが好ましい。かかる範囲の下限は、前述のように、４０秒以上がより好ましく、５０秒以上が更に好ましい。かかる範囲の上限は、前述のように、３分以下であるのがより好ましく、２分以下であるのが更に好ましい。

【0048】

各ショート映像の間の重複時間は、５秒以上であるのが好ましく、２０秒以上であるのがより好ましく、３０秒以上であるのが更に好ましい。重複時間が長いと、元映像データ１２０から得られるショート映像の数が多くなり、有利である。

【0049】

各ショート映像の重複時間は、５０秒以下であるのが好ましく、４５秒以下であるのがより好ましく、４０秒以下であるのが更に好ましい。重複時間が長すぎると、重複するショート映像同士の違いが小さくなり、データ拡張として不利である。

【0050】

各ショート映像の重複時間は、５秒以上、５０秒以下の範囲内にあるのが好ましい。かかる範囲の下限は、前述のように、２０秒以上がより好ましく、３０秒以上が更に好ましい。かかる範囲の上限は、前述のように、４５秒以下であるのがより好ましく、４０秒以下であるのが更に好ましい。

【0051】

各ショート映像の時間長に対する重複時間の割合は、１０％以上であるのが好ましく、３０％以上であるのがより好ましく、５０％以上であるのが更に好ましい。重複時間の割合が大きいと、元映像データ１２０から得られるショート映像の数が多くなり、有利である。

【0052】

各ショート映像の時間長に対する重複時間の割合は、８０％以下であるのが好ましく、７５％以下であるのがより好ましく、７０％以下であるのが更に好ましい。重複時間の割合が大きすぎると、重複するショート映像同士の違いが小さくなり、データ拡張として不利である。

【0053】

各ショート映像の時間長に対する重複時間の割合は、１０％以上、８０％以下の範囲内にあるのが好ましい。かかる範囲の下限は、前述のように、３０％以上がより好ましく、５０％以上が更に好ましい。かかる範囲の上限は、前述のように、７５％以下であるのがより好ましく、７０％以下であるのが更に好ましい。

【0054】

例えば、ショート映像の時間長が６０秒である場合、重複時間は、５秒、１０秒、１５秒、２０秒、２５秒、及び３０秒のいずれか１つにすることができる。

【0055】

図８は、ショート映像の時間長を６０秒とし、重複時間を３０秒とした場合の例を示している。図８において、第１ショート映像は、元映像データの０［ｓ］から６０［ｓ］までの範囲の映像である。第２ショート映像は、元映像データの３０［ｓ］から９０［ｓ］までの範囲の映像である。第３ショート映像は、元映像データの６０［ｓ］から１２０［ｓ］までの範囲の映像である。

【0056】

図４に示すように、単に、元映像データを分割すると、１２０［ｓ］分の元映像データから得られるのは、２つの６０秒ショート映像だけである。しかし、図８に示すように、３０秒の重複時間を設けると、１２０［ｓ］分の元映像データ１２０から３つの６０秒ショート映像が得られ、有利である。

【0057】

図７に戻り、処理装置１１は、各ショート映像に対して作業の種類をラベル付けする（ステップＳ１３）。すなわち、各ショート映像に作業の種類が対応付けられて、記憶装置１２に保存される。ここでの作業の種類は、第１作業及び第２作業のいずれかである。ショート映像に対してラベル付けされた作業の種類は、ショート映像から作成される第１映像データ１２１Ａ及び第２映像データ１２１Ｂに対応付けられた作業の種類として用いられる。

【0058】

処理装置１１は、ショート映像から、等間隔かつ時系列順に複数の画像データを抽出する（ステップＳ１４）。例えば、図９に示すように、６０秒分の複数の画像データから構成されている６０秒ショート映像から、３２枚の画像データが抽出される。抽出された３２枚の画像データの組が、学習用の第１映像データ１２１Ａになる。このように画像データを間引くことで、第１映像データ１２１Ａの時間長を長くしても、第１映像データ１２１Ａのデータ量増加を抑えることができる。第１映像データ１２１Ａにおいて、３２枚の画像データは、６０秒分の時間長（第１時間長）を有し、時系列順に並んでいる。

【0059】

学習データ生成処理１１０において、ステップＳ１４までの処理は、第１映像データ生成処理１１１に相当する。生成された複数の第１映像データ１２１Ａそれぞれは、複数の第１映像データ１２１Ａに含まれる他の第１映像データ１２１Ａと時間的に重複している。例えば、各第１映像データ１２１Ａは、６０秒の時間長を有し、他の第１映像データ１２１Ａとの重複時間は、３０秒である。なお、学習データ生成処理１１０においては、ショート映像から等間隔かつ時系列順に複数の画像データを抽出する手順を省略して、各ショート映像を第１映像データ１２１Ａとしてもよい。

【0060】

さらに、処理装置１１は、ショート映像から、等間隔、かつ、前記時系列順とは逆順に複数の画像データを抽出する（ステップＳ１５）。例えば、図９に示すように、６０秒分の複数の画像データから構成されている６０秒ショート映像から、第１映像データ１２１Ａとは逆順に３２枚の画像データが抽出される。抽出された３２枚の画像データの組が、学習用の第２映像データ１２１Ｂになる。このように画像データを間引くことで、第２映像データ１２１Ｂの時間長を長くしても、第２映像データ１２１Ｂのデータ量増加を抑えることができる。第２映像データ１２１Ｂにおいて、３２枚の画像データは、６０秒分の時間長（第１時間長）を有し、時系列順とは逆順に並んでいる。すなわち、第２映像データ１２１Ｂを再生したものは、第１映像データ１２１Ａを逆再生したものに相当する。

【0061】

学習データ生成処理１１０において、ステップＳ１５の処理は、第２映像データ生成処理１１２に相当する。生成された複数の第２映像データ１２１Ｂそれぞれは、複数の第２映像データ１２１Ｂに含まれる他の第２映像データ１２１Ｂと時間的に重複している。例えば、各第２映像データ１２１Ｂは、６０秒の時間長を有し、他の第２映像データ１２１Ｂとの重複時間は、３０秒である。なお、学習データ生成処理１１０においては、ショート映像から第２映像データ１２１Ｂが生成されるのではなく、第１映像データ１２１Ａを逆順に並び替えることで、第２映像データ１２１Ｂが生成されてもよい。

【0062】

本実施形態では、学習データとして第１映像データ１２１Ａだけでなく、第１映像データ１２１Ａとは逆順の第２映像データ１２１Ｂも作成されるため、学習データの数を増加させることができる。また、第１映像データ１２１Ａ及び第２映像データ１２１Ｂそれぞれは重複時間を有しているため、学習データの数が更に増加している。

【0063】

学習モデル生成装置１０は、第１映像データ１２１Ａ及び第２映像データ１２１Ｂを学習データ（教師データ）として、機械学習処理１１５を実行する。機械学習処理１１５によって、学習モデル２２５が、作業分類などの行動認識のために最適化される。以上により、学習モデル２２５の生成が完了する。学習データ生成処理１１０では、第２映像データ１２１Ｂを生成するというデータ拡張が行われているため、学習データ数が多くなっている。このため、効率的な学習が可能である。生成された学習モデル２２５は、行動認識装置２０へ送信される。

【0064】

ここで、映像データが入力される学習モデル（特に、３Ｄ－ＣＮＮ）は、映像データの動き特徴を捉えているわけではなく、入力された映像データのうち識別（分類）に必要な画像データ（画像フレーム）を選択しているにすぎない。したがって、映像データ中のオブジェクト（作業者など）が向いている向き及び動きの順序は、行動認識にさほど影響しない。本実施形態では、かかる観点に着目し、第１映像データ１２１Ａとは逆順の第２映像データ１２１Ｂを作成することで、学習データのデータ拡張を行った。後述のように、第２映像データ１２１Ｂを用いると、行動認識精度（作業分類精度）を低下させることなく、効率的な学習が可能である。

【0065】

図１０は、実施形態に係る学習モデルを用いた行動認識装置２０によって、第１作業及び第２作業を行う作業者の作業を分類した実験結果を示している。実験として、第１の日において行った第１実験と、第１の日とは異なる第２の日において行った第２実験とを実施した。第１実験及び第２実験それぞれは、複数の異なる条件について行った。複数の条件は、条件１、条件２、条件３、条件４、条件５、及び条件６である。

【0066】

条件１では、互いに重複しておらず、画像データが時系列順に並んだ複数の第１映像データ１２１Ａだけを学習データとして用いた。条件２では、互いに重複しておらず画像データが時系列順に並んだ複数の第１映像データ１２１Ａと、互いに重複しておらず画像データが時系列順の逆順に並んだ複数の第２映像データ１２１Ｂと、を学習データとして用いた。条件３では、条件２と同様に第１映像データ１２１Ａ及び第２映像データ１２１Ｂを用いた。ただし、条件３では、第１映像データ１２１Ａ間の重複時間及び第２映像データ１２１Ｂ間の重複時間を、それぞれ５［ｓ］とした。

【0067】

条件４は、重複時間を２０［ｓ］とした以外は、条件３と同様である。条件５は、重複時間を２５［ｓ］とした以外は、条件３と同様である。条件６は、重複時間を３０［ｓ］とした以外は、条件３と同様である。

【0068】

図１０において、ＴＰは、真陽性（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ）をし、正しく第１作業と分類されたことを示す。ＦＰは、偽陽性（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）を示し、誤って第１作業と分類されたことを示す。ＦＮは、偽陰性（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）を示し、第１作業であることを見逃したことを示す。ＴＮは、真陰性（Ｔｒｕｅ Ｎｅｇａｔｉｖｅ）を示し、正しく第２作業と分類されたことを示す。

【0069】

また、適合率は、ＴＰ／（ＴＰ＋ＦＰ）の式によって計算される。再現率は、ＴＰ／（ＴＰ＋ＦＮ）の式によって計算される。Ｆ値（Ｆ－Ｍｅａｓｕｒｅ）は、（２×適合率×再現率）／（適合率＋再現率）の式によって計算される。Ｆ値は、適合率と再現率との調和平均である。

【0070】

条件１の場合、第１実験及び第２実験のＦ値の平均は、０．５９８であった。条件１の場合、第１実験及び第２実験のＦ値の平均は、０．６７２であった。条件１と条件２を比べると、条件２のほうが、Ｆ値の平均が良好である。したがって、逆順の第２映像データ１２１Ｂを学習データとして用いることが有利であることがわかる。

【0071】

条件３の場合、第１実験及び第２実験のＦ値の平均は、０．８７１であった。条件２と条件３とを比べると、条件３のほうが、Ｆ値の平均が良好である。したがって、重複時間がある第２映像データ１２１Ｂを学習データとして用いることが有利であることがわかる。

【0072】

条件４の場合、第１実験及び第２実験のＦ値の平均は、０．８８２であった。条件５の場合、第１実験及び第２実験のＦ値の平均は、０．８９７であった。条件５の場合、第１実験及び第２実験のＦ値の平均は、０．９３４であった。したがって、重複時間が長いほど、Ｆ値が良好になることがわかる。特に、重複時間が３０秒であり、第１映像データ１２１Ａ及び第２映像データ１２１Ｂそれぞれの時間長（第１時間長）に対する重複時間の割合が５０％である条件５のＦ値が最も良好であった。

【0073】

また、図１１及び図１２は、第１実験における条件１，２，３，４，５，６それぞれにおける目視確認による作業分類結果と、学習モデルによる作業分類結果を示す。また、図１３及び図１４は、第２実験における条件１，２，３，４，５，６それぞれにおける目視確認による作業分類結果と、学習モデルによる作業分類結果を示す。図１１から図１４に示す分類結果において、横軸は時間である。図１１から図１４において、白色箇所は第１作業に分類されたことを示し、黒色箇所は第２作業に分類されたことを示す。

【0074】

図１１及び図１２に示す着目点７２１，７２２，７２３，７２４，７２５，７２６を観察すると、第１実験においては、条件１，２，３，４，５，６の順で、学習モデルによる分類結果が目視による分類結果により近づいており良好になっている。

【0075】

また、図１３及び図１４に示す着目点７３１，７３２，７３３，７３４，７３５，７３６を観察すると、第２実験においても、条件１，２，３，４，５，６の順で、学習モデルによる分類結果が目視による分類結果により近づいており良好になっている。

【0076】

図１０から図１４に示す実験結果によれば、第１映像データ１２１Ａ及び第２映像データ１２１Ｂそれぞれの時間長（第１時間長）に対する重複時間の割合は、５０％以上であるのがより好ましい。前述のように重複時間の割合が大きすぎると、重複するショート映像同士の違いが小さくなる。このため、第１映像データ１２１Ａ及び第２映像データ１２１Ｂそれぞれの時間長（第１時間長）に対する重複時間の割合は、５０％以上、８０％以下の範囲内にあるのが好ましい。

【0077】

なお、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味、及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0078】

１ ：システム
１０ ：学習モデル生成装置
１１ ：処理装置
１２ ：記憶装置
１４ ：コンピュータプログラム
１５ ：インタフェース
２０ ：行動認識装置
２１ ：処理装置
２２ ：記憶装置
２４ ：コンピュータプログラム
２５ ：インタフェース
３０ ：撮像装置
４０ ：表示装置
１１０ ：学習データ生成処理
１１１ ：第１映像データ生成処理
１１２ ：第２映像データ生成処理
１１５ ：機械学習処理
１２０ ：元映像データ
１２１ ：学習データ
１２１Ａ ：第１映像データ
１２１Ｂ ：第２映像データ
２１０ ：行動認識処理
２２０ ：元映像データ
２２１ ：テストデータ
２２５ ：学習モデル
４００ ：画面
４０１ ：日付表示部
４０２ ：第１作業表示部
４０３ ：凡例表示部
４０５ ：分類結果表示部
７２１ ：着目点
７２２ ：着目点
７２３ ：着目点
７２４ ：着目点
７２５ ：着目点
７２６ ：着目点
７３１ ：着目点
７３２ ：着目点
７３３ ：着目点
７３４ ：着目点
７３５ ：着目点
７３６ ：着目点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】