特開 2023-182434 学習システム、作業者動作認識システム、認識モデルの学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023182434

(43)【公開日】2023-12-26

(54)【発明の名称】学習システム、作業者動作認識システム、認識モデルの学習方法

(51)【国際特許分類】

   G06V 40/20 20220101AFI20231219BHJP

   G06T 7/00 20170101ALI20231219BHJP

   G06T 7/20 20170101ALI20231219BHJP

   G06V 10/70 20220101ALI20231219BHJP

   G06Q 50/08 20120101ALI20231219BHJP

【ＦＩ】

G06V40/20

G06T7/00 350B

G06T7/20 300Z

G06V10/70

G06Q50/08

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022096038

(22)【出願日】2022-06-14

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】シンハ サプタルシ

(72)【発明者】

【氏名】大橋 洋輝

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC07

5L096AA06

5L096BA18

5L096CA04

5L096CA22

5L096DA01

5L096EA35

5L096EA39

5L096GA30

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】トリミングが不十分な動画であってもリスクが高い行動を認識できる認識モデルを提供できる。
【解決手段】学習システムは、行動カテゴリに含まれる主カテゴリに属する動画である主カテゴリ動画、および行動カテゴリに含まれ主カテゴリとは異なる副カテゴリに属する動画である副カテゴリ動画の２つの動画を結合点において結合し、結合点を含むようにトリミングして学習用動画を生成する学習用動画生成部と、学習用動画を用いて、入力される学習用動画に対して主カテゴリを出力する認識モデルの学習を行う学習部と、認識モデルによる予測結果を評価して評価結果を生成する性能評価部と、を備え、副カテゴリは、行動カテゴリにおける主カテゴリおよび副カテゴリの危険度、および評価結果に基づき選択される。
【選択図】図１

【特許請求の範囲】

【請求項1】

行動カテゴリに含まれる主カテゴリに属する動画である主カテゴリ動画、および前記行動カテゴリに含まれ前記主カテゴリとは異なる副カテゴリに属する動画である副カテゴリ動画の２つの動画を結合点において結合し、前記結合点を含むようにトリミングして学習用動画を生成する学習用動画生成部と、
前記学習用動画を用いて、入力される前記学習用動画に対して前記主カテゴリを出力する認識モデルの学習を行う学習部と、
前記認識モデルによる予測結果を評価して評価結果を生成する性能評価部と、を備え、
前記副カテゴリは、前記行動カテゴリにおける前記主カテゴリおよび前記副カテゴリの危険度、および前記評価結果に基づき選択される、学習システム。

【請求項2】

請求項１に記載の学習システムにおいて、
前記認識モデルが、決定された前記主カテゴリに対して誤って判断することが最も多い前記行動カテゴリを前記副カテゴリとして決定する副カテゴリ決定部をさらに備える学習システム。

【請求項3】

請求項１に記載の学習システムにおいて、
前記学習用動画生成部は、前記認識モデルの認識性能において、前記主カテゴリの前記学習用動画を前記副カテゴリとして判断する割合が所定の閾値よりも高い場合に前記学習用動画を生成する学習システム。

【請求項4】

請求項１に記載の学習システムにおいて、
前記行動カテゴリにおけるリスクが高いほど高い頻度で前記行動カテゴリを主カテゴリに決定する主カテゴリ決定部をさらに備える学習システム。

【請求項5】

請求項２に記載の学習システムにおいて、
前記副カテゴリ決定部は、前記行動カテゴリに含まれる各カテゴリのリスクを示すリスク情報および、前記評価結果に基づき前記副カテゴリを決定する学習システム。

【請求項6】

請求項４に記載の学習システムにおいて、
前記主カテゴリ決定部は、前記行動カテゴリに含まれる各カテゴリのリスク、前記主カテゴリ動画の母集団である分割済動画群における前記行動カテゴリの各カテゴリの存在頻度、および注視パラメータに基づき前記主カテゴリを決定し、
前記注視パラメータは、前記行動カテゴリに含まれる各カテゴリのリスクと、前記分割済動画群における前記行動カテゴリの各カテゴリの存在頻度とが前記主カテゴリの決定に与える影響の比率を決定する学習システム。

【請求項7】

請求項５に記載の学習システムにおいて、
過去の統計に基づき前記リスク情報を算出するリスク情報生成部をさらに備える学習システム。

【請求項8】

請求項５に記載の学習システムにおいて、
前記副カテゴリ決定部は、前記リスク情報、前記評価結果、および比率パラメータに基づき前記副カテゴリを決定し、
前記比率パラメータは、前記リスク情報と、前記評価結果とが前記副カテゴリの決定に与える影響の比率を決定する学習システム。

【請求項9】

請求項１に記載の学習システムにおいて、
前記性能評価部は、前記認識モデルが学習に用いた前記学習用動画とは異なる動画を入力として得られた予測結果を評価する学習システム。

【請求項10】

請求項１に記載の学習システムにおいて、
前記性能評価部は、所定のバッチ数ごとに前記認識モデルの性能を評価する学習システム。

【請求項11】

請求項６に記載の学習システムにおいて、
前記注視パラメータは前記行動カテゴリに含まれるカテゴリごとに設定される学習システム。

【請求項12】

請求項１に記載の学習システムにより生成された認識モデルと、
作業者を検出する検出器と、
前記作業者を追跡する追跡器と、
前記検出器および前記追跡器を用いて前記作業者が存在する領域である候補領域を抽出する抽出器と、を備え、
前記認識モデルは、前記候補領域の映像を入力とする作業者動作認識システム。

【請求項13】

請求項１に記載の学習システムにより生成された認識モデルと、
作業者の手を検出する検出器と、
前記作業者の手を追跡する追跡器と、
前記検出器および前記追跡器を用いて前記作業者が存在する領域である候補領域を抽出する抽出器と、を備え、
前記認識モデルは、前記候補領域の映像を入力とする作業者動作認識システム。

【請求項14】

入力される動画に対応するカテゴリを出力する認識モデルの学習方法であって、
行動カテゴリに含まれる主カテゴリに属する動画である主カテゴリ動画、および前記行動カテゴリに含まれ前記主カテゴリとは異なる副カテゴリに属する動画である副カテゴリ動画の２つの動画を結合点において結合し、前記結合点を含むようにトリミングして学習用動画を生成することと、
前記学習用動画を用いて、入力される前記学習用動画に対して前記主カテゴリを出力するように前記認識モデルの学習を行うことと、
前記認識モデルによる予測結果を評価して評価結果を生成することと、を含み、
前記副カテゴリは、前記行動カテゴリにおける前記主カテゴリおよび前記副カテゴリの危険度、および前記評価結果に基づき選択される、認識モデルの学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習システム、作業者動作認識システム、および認識モデルの学習方法に関する。

【背景技術】

【0002】

ロングテールは、人工知能を用いた認識作業でしばしば直面する基本的な問題である。この問題は、一部のカテゴリが他のカテゴリに比べて非常に少ない学習データしか存在しない問題である。産業界における作業員の活動認識においても、同様に学習データの不均一が発生しやすい。産業界では、ある種の活動は他の活動に比べて実行するリスクが高い。たとえば、屋根に登ることはネジを締めることよりもはるかにリスクが高く、頻繁に行われると事故につながる可能性がある。このように、ある活動には高いリスクが伴うため、すべての活動に対して同量の学習データを収集することは非常に困難であり、ロングテールのデータセットが発生する。

【0003】

このようなロングテールデータセットを用いて活動認識モデルを作成すると、偏った性能となる。具体的には、学習データが十分なカテゴリに対しては非常に良い性能を示し、学習データが少ないカテゴリに対しては非常に悪い性能を示す。これは、従来、認識モデルは全ての学習サンプルに等しい重みを与えて更新されるため、より多くのデータを持つカテゴリからより多く学習するためである。この問題を解決する最も簡単な方法は、データ量の少ない活動に対してより多くのデータを収集することである。しかし、データ量の少ないカテゴリは一般的に屋根に登るなど、何度も繰り返すことができないリスクの高い活動であるため現実的ではない。このような危険な活動を高い精度で認識し、作業者の事故を未然に防ぐための支援を行うことが求められている。

【0004】

これまでにも、より多くのデータを収集することなくロングテールを解決しようとする先行研究がある。ロングテールに対する手法としては、データの再サンプリングと重み付きロスの２つが一般的である。データ再サンプリング法は、訓練サンプルを不均等なサンプリング確率でサンプリングし、一般に訓練サンプルが少ないカテゴリほど高い確率でサンプリングする。重み付きロスは、サンプルごとに重みを設定し、その重みは各サンプルからの更新を増減させるために使用される。重み付けは、一般に、学習サンプルが少ないカテゴリほど高くなり、全カテゴリからの更新量のバランスをとることを目的としている。

【0005】

特許文献１では重み付き損失を用いており、他にもデータの再サンプリングを用いる手法も知られている。しかし、これらの手法の多くは、画像認識タスクに対して提案されている。さらに、フレームスタッキングの手法を導入し、ロングテールの映像認識問題に取り組む手法も知られている。ここでは、２つのカテゴリをランダムにサンプリングし、その学習データ頻度に基づいて、それぞれのカテゴリからフレームをサンプリングし、スタッキングする。次に、２つのカテゴリからバランスよく学習するために、ソフトラベルを用いて認識モデルを学習する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許出願公開第２０１９／０２３２９６４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１や公知の手法は、推論時に、提供された動画が適切にトリミング、すなわち時間領域において分割されていることを前提としている。しかし現実には適切なトリミングが行われないことも十分に想定される。たとえば、ある動画にリスクが高い動作とともにリスクが低い行動の一部を含んでいる場合に、認識システムはリスクが低い動作のみを認識する可能性が高く、リスクのある行動を無視することになる。しかし、このように不適切にトリミングされた動画は、産業界で起こりうる事故を防ぐために、リスクが高い動作を認識することが非常に重要である。

【課題を解決するための手段】

【0008】

本発明の第１の態様による学習システムは、行動カテゴリに含まれる主カテゴリに属する動画である主カテゴリ動画、および前記行動カテゴリに含まれ前記主カテゴリとは異なる副カテゴリに属する動画である副カテゴリ動画の２つの動画を結合点において結合し、前記結合点を含むようにトリミングして学習用動画を生成する学習用動画生成部と、前記学習用動画を用いて、入力される前記学習用動画に対して前記主カテゴリを出力する認識モデルの学習を行う学習部と、前記認識モデルによる予測結果を評価して評価結果を生成する性能評価部と、を備え、前記副カテゴリは、前記行動カテゴリにおける前記主カテゴリおよび前記副カテゴリの危険度、および前記評価結果に基づき選択される。
本発明の第２の態様による作業者動作認識システムは、前述の学習システムにより生成された認識モデルと、作業者を検出する検出器と、前記作業者を追跡する追跡器と、前記検出器および前記追跡器を用いて前記作業者が存在する領域である候補領域を抽出する抽出器と、を備え、前記認識モデルは、前記候補領域の映像を入力とする。
本発明の第３の態様による作業者動作認識システムは、前述の学習システムにより生成された認識モデルと、作業者の手を検出する検出器と、前記作業者の手を追跡する追跡器と、前記検出器および前記追跡器を用いて前記作業者が存在する領域である候補領域を抽出する抽出器と、を備え、前記認識モデルは、前記候補領域の映像を入力とする。
本発明の第４の態様による認識モデルの学習方法は、入力される動画に対応するカテゴリを出力する認識モデルの学習方法であって、行動カテゴリに含まれる主カテゴリに属する動画である主カテゴリ動画、および前記行動カテゴリに含まれ前記主カテゴリとは異なる副カテゴリに属する動画である副カテゴリ動画の２つの動画を結合点において結合し、前記結合点を含むようにトリミングして学習用動画を生成することと、前記学習用動画を用いて、入力される前記学習用動画に対して前記主カテゴリを出力するように前記認識モデルの学習を行うことと、前記認識モデルによる予測結果を評価して評価結果を生成することと、を含み、前記副カテゴリは、前記行動カテゴリにおける前記主カテゴリおよび前記副カテゴリの危険度、および前記評価結果に基づき選択される。

【発明の効果】

【0009】

本発明によれば、トリミングが不十分な動画であってもリスクが高い行動を認識できる認識モデルを提供できる。

【図面の簡単な説明】

【0010】

【図1】第１の実施の形態における学習システムの構成図

【図2】分割済動画および複合動画を説明する概念図

【図3】動作ラベル群の一例を示す図

【図4】主カテゴリ決定部による決定の履歴の一例を示す図

【図5】統計情報の一例を示す図

【図6】リスク情報の一例を示す図

【図7】評価結果の一例を示す図

【図8】学習システムのハードウエア構成図

【図9】相対難易度算出部の動作を示すフローチャート

【図10】決定部の動作を示すフローチャート

【図11】学習用動画生成部の動作を示すフローチャート

【図12】学習用動画生成部の動作の具体例を示す図

【図13】性能評価部の動作を示すフローチャート

【図14】第２の実施の形態における学習システムの構成図

【図15】第２の実施の形態における学習用動画生成部の動作を示すフローチャート

【図16】第３の実施の形態における学習システムの構成図

【図17】第３の実施の形態における主カテゴリ決定部の動作を示すフローチャート

【図18】第３の実施の形態の変形例における注視パラメータの一例を示す図

【図19】第４の実施の形態における学習システムの構成図

【図20】ＧＵＩを説明する図

【図21】作業者動作認識システムの構成図

【発明を実施するための形態】

【0011】

―第１の実施の形態―

【0012】

以下、図１～図１３を参照して、学習システムの第１の実施の形態を説明する。

【0013】

図１は、学習システム１の全体構成図である。学習システム１はその機能として、主カテゴリ決定部１０３と、副カテゴリ決定部１０６と、学習用動画生成部１０７と、性能評価部１１３と、学習部１１４と、リスク情報生成部１１８と、を備える。また学習システム１は、分割済動画群１０１、動作ラベル群１０２、統計情報１１９、リスク情報１０４、比率パラメータ１０５、および評価結果１１７の情報を有する。学習システム１を構成する要素を説明する前に、本実施の形態における動画の分類を説明する。

【0014】

図２は、本実施の形態における分割済動画および複合動画を説明する概念図である。動画Ｖ１００は、長さ４０秒の動画、すなわちビデオクリップである。動画Ｖ１００には、複数のシーンが含まれており、たとえば０秒から１０秒までは作業員の歩行シーン、１０秒から２０秒まではネジを締めるシーン、２０秒から３０秒までは屋根の上で作業するシーン、３０秒から４０秒までは記録を作成するシーンである。それぞれのシーンには、人物による動作が１種類のみ含まれる。本実施の形態では、人物の動作を「動作ラベル」として分類する。動作ラベルにはたとえば、歩く、走る、ネジを締める、ハンマーで叩く、屋根に登る、記録作成、などが含まれる。

【0015】

この動画Ｖ１００を対象として、１つのシーンだけを含むようにトリミング、すなわち時間領域で抜き出した動画を、本実施の形態では「分割済動画」と呼ぶ。これに対して分割が不完全であり、複数のシーンを含むようにトリミングされた動画を「複合動画」と呼ぶ。すなわち複合動画には、人物による複数の動作が含まれる。たとえば、動画Ｖ１００の０秒～１０秒を抜き出した動画Ｖ１０１、１０秒から２０秒を抜き出した動画Ｖ１０２、２０秒～３０秒を抜き出した動画Ｖ１０３、３０秒から４０秒を抜き出した動画Ｖ１０４、のそれぞれは分割済動画である。これに対して、動画Ｖ１００の０秒から１３秒を抜き出した動画Ｖ１１１、５秒から２０秒を抜き出した動画Ｖ１１２、２０秒から４５秒までを抜き出した動画Ｖ１１３は複合動画である。なお本実施の形態における動画のトリミングは、図２に示したように動画、すなわちビデオクリップを時間領域で抜き出すことを意味する。図１に戻って説明を続ける。

【0016】

分割済動画群１０１は、あらかじめ作成された分割済動画の集合体である。動作ラベル群１０２は、あらかじめ作成された、分割済動画群１０１に含まれる各動画に対応する動作ラベルの集合体である。

【0017】

主カテゴリ決定部１０３は、学習用動画生成部１０７が生成する複合動画に含める動画の主カテゴリを決定する。主カテゴリ決定部１０３は、動作ラベル群１０２を参照して主カテゴリを決定する場合もあるし、リスク情報１０４を参照して主カテゴリを決定する場合もある。主カテゴリ決定部１０３は、決定した主カテゴリの情報を副カテゴリ決定部１０６、学習用動画生成部１０７、損失算出部１１１、および性能評価部１１３に出力する。ただし図１では、作図の都合により主カテゴリ決定部１０３から損失算出部１１１、および性能評価部１１３への矢印は記載していない。主カテゴリ決定部１０３の詳細な動作は後述する。

【0018】

副カテゴリ決定部１０６は、学習用動画生成部１０７が生成する学習用動画に含める動画の副カテゴリを決定する。副カテゴリ決定部１０６は、決定した副カテゴリを学習用動画生成部１０７に出力する。副カテゴリ決定部１０６には、主カテゴリ決定部１０３が決定した主カテゴリ、比率パラメータ１０５、リスク情報１０４、性能評価部１１３が出力する認識モデル１０８の性能、が入力される。学習用動画生成部１０７は、主カテゴリ決定部１０３が決定した主カテゴリ、および副カテゴリ決定部１０６が決定した副カテゴリに基づき複合動画である学習用動画を生成する。学習用動画生成部１０７は、生成した学習用動画を認識モデル１０８に出力する。

【0019】

学習部１１４は、認識モデル１０８、予測結果１１０、損失算出部１１１、更新部１１２、およびモデルパラメータ１０９を含む。学習部１１４は、学習用動画生成部１０７が生成する学習用動画を用いて認識モデル１０８のモデルパラメータ１０９を更新する。学習部１１４に入力される学習用動画生成部１０７は本実施の形態に特有のものであるが、入力がされた動画のラベルを出力するニューラルネットワークの学習処理は広く知られているので、学習部１１４の構成および処理は簡単に説明する。

【0020】

認識モデル１０８はたとえば、Ｔｒａｎｓｆｏｒｍｅｒｓ、ＬＳＴＭ（Long Short Term Memory）、３Ｄ－ＣＮＮ（3D Convolutional Neural Network）などの任意の映像認識モデルである。モデルパラメータ１０９は、モデルの重みとバイアスである。認識モデル１０８は、学習用動画生成部１０７から学習用動画が入力されると予測結果１１０を出力する。この予測結果１１０は、損失算出部１１１および性能評価部１１３の両方によって、学習用動画の正しいカテゴリ情報、すなわち主カテゴリ決定部１０３が出力する主カテゴリと比較される。

【0021】

損失算出部１１１はたとえば、クロスエントロピー損失関数を用いて損失を計算する。ただし損失算出部１１１は、焦点損失、平均二乗誤差損失、およびバイナリクロスエントロピー損失などの他の損失関数を用いてもよい。更新部１１２は、損失算出部１１１によって計算された損失を用いて、モデルパラメータ１０９を更新する。更新部１１２はたとえば、バックプロパゲーション法を用いることができる。性能評価部１１３は、予測結果１１０を用いて認識モデル１０８の性能を計算し、副カテゴリ決定部１０６にフィードバックする。性能評価部１１３は、所定のバッチ数、または所定のエポック数ごとに認識モデル１０８の性能を計算する。学習部１１４による学習処理は、損失が最小値に達するか、反復回数が最大値に達するまで繰り返し行われる。

【0022】

図３は、動作ラベル群１０２の一例を示す図である。動作ラベル群１０２は複数のレコードから構成され、各レコードは識別子２０１、および動作ラベル２０２のフィールドを有する。識別子２０１の欄に記載の「ＶＣ００１」などは分割済動画群１０１に含まれる動画の識別子である。動作ラベル２０２の欄に記載の「Ａ１」、「Ａ２」などは動作ラベルである。図３に示す例では、「ＶＣ００１」の動画の動作ラベルは「Ａ１」であることが示されている。

【0023】

図４は、主カテゴリ決定部１０３による決定の履歴の一例を示す図である。図４に示す例では、主カテゴリ決定部１０３による１回目の決定では主カテゴリに「Ａ４」が決定され、２回目には「Ａ２」、３回目には「Ａ７」が決定されたことが示されている。なおこの情報は主カテゴリ決定部１０３が決定を行うたびに送信されてもよいし、複数回の決定がなされた後にまとめて送信されてもよい。

【0024】

図５は、統計情報１１９の一例を示す図である。統計情報１１９は、分割済動画群１０１に含まれる動画に関する統計であってもよいし、分割済動画群１０１に含まれるか否かに関わらず所定期間、たとえば昨年１年間の統計であってもよい。統計情報１１９は複数のレコードから構成され、各レコードは動作ラベル１１９１、事故発生件数１１９２、および全体件数１１９３のフィールドを有する。動作ラベル１１９１は、動作ラベル１０２２と同一の意味である。事故発生件数１１９２は、同一レコードの動作ラベル１１９１に対応する作業において事故が発生した件数である。全体件数１１９３は、同一レコードの動作ラベル１１９１に対応する作業の総実行数である。すなわち統計情報１１９において、事故発生件数１１９２および全体件数１１９３は、実際には何らかの数値が入力される。

【0025】

統計情報１１９は、動作ラベル１１９１同士における危険性の相対評価に用いられるので、１つの統計情報１１９において基準が統一されていればよく、様々な基準を用いることができる。たとえば、全体件数１１９３は、動作ラベル１１９１に対応する動作が撮影された動画の数でもよいし、撮影の有無に関わらず動作ラベル１１９１に対応する動作を実行した回数でもよい。さらに、全体件数１１９３は動作ラベル１１９１に対応する動作が実行した時間の長さを示す情報、たとえば実行した時間の合計を示す「分」単位の数であってもよい。

【0026】

図６は、リスク情報１０４の一例を示す図である。リスク情報１０４は複数のレコードから構成され、各レコードは動作ラベル１０４１、およびリスク指数１０４２のフィールドを有する。動作ラベル１０４１は、動作ラベル２０２などと同一である。リスク指数４０２は、同一レコードにおける動作ラベル４０１で表される動作のリスクの大きさを示す数値である。リスク指数４０２は、動作ラベル同士での比較ができればよく、定義や算出方法は任意である。たとえば、リスク情報生成部１１８が統計情報１１９を用いてリスク指数４０２を算出してもよいし、人間がアンケート結果に基づいてリスク指数４０２を決定してもよい。たとえばリスク情報生成部１１８は、動作ラベルごとに、統計情報１１９の事故発生件数５０１を全体件数５０２で除して得られる０～１の値をリスク指数４０２としてもよい。

【0027】

図７は、性能評価部１１３による評価結果１１７の一例を示す図である。評価結果１１７は複数のレコードから構成され、各レコードは動作ラベルと性能のフィールドを有する。図７に示す例では、性能として分類精度を用いているが、精度、ｆ測定、エラーなどの様々な他の測定基準を用いてもよい。

【0028】

図８は、学習システム１のハードウエア構成図である。学習システムは１以上の演算装置４０から構成される。演算装置４０は、中央演算装置であるＣＰＵ４１、読み出し専用の記憶装置であるＲＯＭ４２、読み書き可能な記憶装置であるＲＡＭ４３、ユーザインタフェースである入出力装置４４、および通信装置４５を備える。ＣＰＵ４１がＲＯＭ４２に格納されるプログラムをＲＡＭ４３に展開して実行することで前述の様々な演算を行う。すなわち、主カテゴリ決定部１０３、副カテゴリ決定部１０６、学習用動画生成部１０７、性能評価部１１３、損失算出部１１１、更新部１１２、およびリスク情報生成部１１８は、ＣＰＵ４１により実現される。

【0029】

分割済動画群１０１、動作ラベル群１０２、統計情報１１９、リスク情報１０４、比率パラメータ１０５、および評価結果１１７は、ＲＡＭ４３に格納されてもよいし、不図示の不揮発性の記憶装置に格納されてもよい。通信装置４５は、他の演算装置４０との通信に用いられる。学習システム１が単一の演算装置４０により構成される場合には、演算装置４０は通信装置４５を備えなくてもよい。

【0030】

演算装置４０は、ＣＰＵ４１、ＲＯＭ４２、およびＲＡＭ４３の組み合わせの代わりに書き換え可能な論理回路であるＦＰＧＡ（Field Programmable Gate Array）や特定用途向け集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現されてもよい。また演算装置４０は、ＣＰＵ４１、ＲＯＭ４２、およびＲＡＭ４３の組み合わせの代わりに、異なる構成の組み合わせ、たとえばＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３とＦＰＧＡの組み合わせにより実現されてもよい。

【0031】

主カテゴリ決定部１０３の動作には次の２つがある。第１の動作は、正頻度決定である。この場合には主カテゴリ決定部１０３は、分割済動画群１０１からランダムに１つの正分割動画を抽出し、その正分割動画に対応する動作ラベルを動作ラベル群１０２から読みだす。この場合には、分割済動画群１０１からランダムに動画が抽出されるので、分割済動画群１０１に含まれている動画のカテゴリの割合と、抽出されるカテゴリの割合は正比例する。分割済動画群１０１に含まれている動画が多いカテゴリほど選択されやすくなる。すなわちこの場合には正比例頻度でカテゴリが選択されるとも言える。

【0032】

第２の動作は、逆頻度決定である。この場合には主カテゴリ決定部１０３は、まず動作ラベル群１０２の全体を読み込み、分割済動画群１０１に含まれる動画の動作ラベルの存在割合を算出する。そして主カテゴリ決定部１０３は、存在割合の逆数に応じた確率で動作ラベルを選択する。そのため、逆頻度決定では分割済動画群１０１に含まれる動画の数が少ないカテゴリほど選択されやすくなる。逆頻度決定は、ロングテール認識問題対して有効である。

【0033】

図９は、相対難易度算出部７０３の動作を示すフローチャートである。相対難易度算出部７０３は、まずステップＳ３０１において、必要な情報を読み込む。本ステップにおいて読み込まれる情報は、リスク情報１０４、主カテゴリ決定部１０３が決定した主カテゴリ、性能評価部１１３が算出した評価結果１１７、および比率パラメータ１０５である。続くステップＳ３０２では相対難易度算出部７０３は、変数ｉを１で初期化してステップＳ３０３に進む。この変数ｉは動作カテゴリを示す変数であり、変数ｉの値を変更することにより動作ラベルＡｉが示す動作カテゴリが変更される。ステップＳ３０３では相対難易度算出部７０３は、動作ラベルＡｎと動作ラベルＡｉの相対難易度ｄ（ｎ、ｉ）を算出する。相対難易度ｄ（ｎ、ｉ）は次の式１により算出される。

【0034】

ｄ（ｎ、ｉ）＝ＰＯＷ（Ｒｎ／Ｒｉ、γ）＊ＰＯＷ（ＡＣＣｉ／ＡＣＣｎ、１－γ） ・・・ （式１）

【0035】

ただし、式１における関数ＰＯＷは、第１引数に対する第２引数の累乗演算を示し、たとえばＰＯＷ（１０、２）は「１０」の「２」乗を示すので「１００」となる。また、式１におけるＲｎは動作ラベルＡｎのリスク指数、Ｒｉは動作ラベルＡｉのリスク指数、ＡＣＣｉは動作ラベルＡｉの評価値、ＡＣＣｎは動作ラベルＡｎの評価値である。γは比率パラメータ１０５であり、あらかじめ設定された０～１の値である。

【0036】

なお、動作ラベルＡｎは主カテゴリの動作ラベルであり、動作ラベルＡｉは変数ｉに対応するカテゴリの動作ラベルである。動作ラベルＡｎのリスク指数が動作ラベルＡｉのリスク指数よりも大きい場合には、Ｒｎ／Ｒｉは１よりも大きくなる。ＡＣＣｉ／ＡＣＣｎは、モデル性能のカテゴリｉに対するカテゴリｎのバイアスである。γが増加すると相対難易度ｄにおけるリスクの比の比重が増加し、γが減少すると相対難易度ｄにおけるリスクの比の比重が減少する。

【0037】

続くステップＳ３０４では相対難易度算出部７０３は、変数ｉをインクリメント、すなわち変数ｉの値を「１」だけ増加させてステップＳ３０５に進む。ステップＳ３０５では相対難易度算出部７０３は、変数ｉの値が動作ラベルの総数Ｃを超えるか否かを判断する。相対難易度算出部７０３は、変数ｉの値が動作ラベルの総数Ｃを超えると判断する場合はステップＳ３０６に進み、変数ｉの値が動作ラベルの総数Ｃを超えないと判断する場合はステップＳ３０３に戻る。ステップＳ３０６では相対難易度算出部７０３は、これまでステップＳ３０３において算出した相対難易度ｄを決定部７０４に出力して図９に示す処理を終了する。ステップＳ３０２～Ｓ３０５では、変数ｉを１からＣまで変化させて相対難易度を算出するので、ステップＳ３０６において出力される相対難易度ｄは、ｄ（ｎ、１）、ｄ（ｎ、２）、ｄ（ｎ、３）、・・・、ｄ（ｎ、Ｃ）である。

【0038】

図１０は、決定部７０４の動作を示すフローチャートである。決定部７０４は、まずステップＳ３１１において相対難易度算出部７０３が算出した相対難易度ｄを読み込む。続くステップＳ３１２では決定部７０４は、読み込んだ複数の相対難易度ｄの中から最大の値を有する相対難易度のカテゴリ番号を特定する。続くステップＳ３１３では決定部７０４は、ステップＳ３１２において特定したカテゴリ番号を副カテゴリの番号として出力する。続くステップＳ３１４では決定部７０４は、最大の相対難易度を出力して図１０に示す処理を終了する。

【0039】

図１１は、学習用動画生成部１０７の動作を示すフローチャートである。以下では、学習用動画生成部１０７の動作の具体例を示す図１２を参照しながら図１１の処理を説明する。学習用動画生成部１０７は、まずステップＳ３２１において必要な情報を読み込む。本ステップにおいて読み込まれる情報は、主カテゴリおよび副カテゴリである。続くステップＳ３２２では学習用動画生成部１０７は、主カテゴリの動画をランダムに分割済動画群１０１から１つ選択する。ただし、これまでにステップＳ３２２を実行したことがある場合には本ステップの処理を省略し、前回と同じ主カテゴリの動画を選択してもよい。

【0040】

続くステップＳ３２３では学習用動画生成部１０７は、副カテゴリの動画をランダムに分割済動画群１０１から１つ選択する。続くステップＳ３２３では学習用動画生成部１０７は、ステップＳ３２２とステップＳ３２３において選択した合計２つの動画を単純結合する。ここでいう単純結合とは、一方の動画の後ろに他方の動画の先頭をつなげて１つの動画とする処理である。図１２を参照して具体的に説明する。

【0041】

図１２における符号Ｖｐは、ステップＳ３２２において選択される主カテゴリの動画を示している。符号Ｖｓは、ステップＳ３２３において選択される副カテゴリの動画を示している。以下での説明のために、主カテゴリ動画Ｖｐの長さをＴｐ、副カテゴリ動画Ｖｓの長さをＴｓと呼ぶ。ステップＳ３２４では、主カテゴリ動画Ｖｐの後ろに副カテゴリ動画Ｖｓを配置、または副カテゴリ動画Ｖｓの後ろに主カテゴリ動画Ｖｐを配置する。いずれの場合も、単純結合した動画の長さはＴｐ＋Ｔｓである。主カテゴリ動画Ｖｐと副カテゴリ動画Ｖｓのいずれの後ろに他方を配置するかは、ランダムに決定する。

【0042】

続くステップＳ３２５では学習用動画生成部１０７は、切り替わりタイミングＴｗを特定する。切り替わりタイミングＴｗとは、単純結合動画Ｖｃにおける主カテゴリ動画Ｖｐと副カテゴリ動画Ｖｓとが切り替わるタイミングである。切り替わりタイミングＴｗは、たとえば単純結合動画Ｖｃの先頭からの時間で、または単純結合動画Ｖｃの末尾からの時間で示すことができる。本実施の形態では、切り替わりタイミングＴｗは、単純結合動画Ｖｃの先頭からの時間で示す。主カテゴリ動画Ｖｐの後ろに副カテゴリ動画Ｖｓを配置して単純結合動画Ｖｃとした場合には、切り替わりタイミングＴｗは主カテゴリ動画Ｖｐの長さであるＴｐである。副カテゴリ動画Ｖｓの後ろに主カテゴリ動画Ｖｐを配置して単純結合動画Ｖｃとした場合には、切り替わりタイミングＴｗは副カテゴリ動画Ｖｓの長さであるＴｓである。

【0043】

続くステップＳ３２６では学習用動画生成部１０７は、切り替わり前の動画の長さである前長さＬ１、および切り替わり後の動画の長さである後長さＬ２を決定する。前長さＬ１および後長さＬ２は、ランダムに決定してもよいし、オペレータが予め指定してもよい。また、前長さＬ１および後長さＬ２を直接決定または指定する代わりに、前長さＬ１と後長さＬ２との和、および前長さＬ１と後長さＬ２の比率を決定または指定してもよい。続くステップＳ３２６では学習用動画生成部１０７は、単純結合動画Ｖｃにおける時刻”Ｔｗ－Ｌ１”から時刻”Ｔｗ＋Ｌ２”までの動画を学習用動画として切り出して図１１における処理を終了する。図１２に示すように、学習用動画ＶＴは長さがＬ１＋Ｌ２であり、時刻Ｌ１において主カテゴリ動画Ｖｐと副カテゴリ動画Ｖｓとが切り替わる動画である。

【0044】

以上説明した学習用動画生成部１０７の処理は、次のように要約できる。すなわち学習用動画生成部１０７は、主カテゴリ動画Ｖｐ、および主カテゴリとは異なる副カテゴリに属する動画である副カテゴリ動画Ｖｓの２つの動画を、一方の動画の末尾である結合点において結合し、結合点を含むようにトリミングして学習用動画を生成する。

【0045】

図１３は、性能評価部１１３の動作を示すフローチャートである。ステップＳ３３１では性能評価部１１３は、認識モデル１０８による予測結果１１０を読み込む。なお前述のように、性能評価部１１３はそれぞれの学習用動画ＶＴについて主カテゴリの情報が予め与えられている。続くステップＳ３３２では性能評価部１１３は、変数ｉを１で初期化する。この変数ｉは動作カテゴリを示す変数であり、変数ｉの値を変更することにより動作ラベルＡｉが示す動作カテゴリが変更される。

【0046】

続くステップＳ３３３では、性能評価部１１３は予測結果１１０を評価する。具体的には性能評価部１１３は、認識モデル１０８による予測が完了した全ての主カテゴリがＡｉである学習用動画ＶＴに対して、予測結果１１０が動作ラベルＡｉと一致するか否かを判断する。続くステップＳ３３４では性能評価部１１３は、認識モデル１０８の動作ラベルＡｉに関する評価値ＡＣＣｉを算出する。評価値ＡＣＣｉは、０～１の値をとり、次の式２により算出される。

【0047】

ＡＣＣｉ ＝ ＧＯＯＤ＿ＶＴｉ／ＡＬＬ＿ＶＴｉ ・・・（式２）

【0048】

ただし、ＧＯＯＤ＿ＶＴｉは主カテゴリがＡｉである学習動画を認識モデル１０８が正しくカテゴリＡｉと判断できた数であり、ＡＬＬ＿ＶＴｉは主カテゴリがＡｉである学習動画の数である。続くステップＳ３３５では性能評価部１１３は、変数ｉをインクリメント、すなわち変数ｉの値を「１」だけ増加させてステップＳ３３６に進む。ステップＳ３３６では性能評価部１１３は、変数ｉの値が動作ラベルの総数Ｃを超えるか否かを判断する。性能評価部１１３は、変数ｉの値が動作ラベルの総数Ｃを超えると判断する場合はステップＳ３３７に進み、変数ｉの値が動作ラベルの総数Ｃを超えないと判断する場合はステップＳ３３３に戻る。ステップＳ３３７では性能評価部１１３は、ステップＳ３３４において算出した合計「Ｃ」個の評価値、すなわちＡＣＣ１、ＡＣＣ２、・・、ＡＣＣＣを評価結果１１７として出力し、図１３に示す処理を終了する。

【0049】

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）学習システム１は、行動カテゴリに含まれる主カテゴリに属する動画である主カテゴリ動画、および行動カテゴリに含まれ主カテゴリとは異なる副カテゴリに属する動画である副カテゴリ動画の２つの動画を、一方の動画の末尾である結合点において結合し、結合点を含むようにトリミングして学習用動画を生成する学習用動画生成部１０７と、学習用動画を用いて、入力される学習用動画に対して主カテゴリを出力する認識モデル１０８の学習を行う学習部１１４と、認識モデル１０８による予測結果１１０を評価して評価結果１１７を生成する性能評価部１１３と、を備える。副カテゴリは、行動カテゴリにおける主カテゴリおよび副カテゴリの危険度、および評価結果１１７に基づき選択される。そのため、トリミングが不十分な動画であってもリスクが高い行動を認識できる認識モデル１０８を提供できる。

【0050】

（２）学習システム１は、認識モデル１０８が決定された主カテゴリに対して誤って判断することが最も多い行動カテゴリを副カテゴリとして決定する副カテゴリ決定部１０６を備える。そのため、認識モデル１０の精度を向上できる。

【0051】

（３）学習システム１は、行動カテゴリにおけるリスクが高いほど高い頻度で行動カテゴリを主カテゴリに決定する主カテゴリ決定部１０３を備える。そのため、認識モデル１０８によるリスクが高い行動カテゴリの誤りを減らすことができる。

【0052】

（４）副カテゴリ決定部１０６は、式１に示したように、行動カテゴリに含まれる各カテゴリのリスクを示すリスク情報１０４および、評価結果１１７に基づき副カテゴリを決定する。

【0053】

（５）学習システム１は、過去の統計に基づきリスク情報１０４を算出するリスク情報生成部１１８を備える。そのため、ユーザが手動でリスク情報１０４を生成しなくてもよい。

【0054】

（６）副カテゴリ決定部１０６は、リスク情報１０４、評価結果１１７、および変数γで表される比率パラメータ１０５に基づき副カテゴリを決定する。比率パラメータ１０５は、式１に示すようにリスク情報１０４と、評価結果１１７とが副カテゴリの決定に与える影響の比率を決定する。そのため、比率パラメータ１０５の値を適切に設定することでリスクと評価のバランスをとることができる。

【0055】

（７）性能評価部１１３は、所定のバッチ数ごとに認識モデル１０８の性能を評価する。

【0056】

（８）認識モデル１０８の学習方法は、入力される動画に対応するカテゴリを出力する認識モデル１０８の学習方法であって、行動カテゴリに含まれる主カテゴリに属する動画である主カテゴリ動画、および行動カテゴリに含まれ主カテゴリとは異なる副カテゴリに属する動画である副カテゴリ動画の２つの動画を結合点において結合し、結合点を含むようにトリミングして学習用動画を生成することと、学習用動画を用いて、入力される学習用動画に対して主カテゴリを出力するように認識モデル１０８の学習を行うことと、認識モデル１０８による予測結果１１０を評価して評価結果１１７を生成することと、を含み、副カテゴリは、行動カテゴリにおける主カテゴリおよび副カテゴリの危険度、および評価結果１１７に基づき選択される。

【0057】

―第２の実施の形態―
図１４～図１５を参照して、学習システムの第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、学習用動画生成部の処理が第１の実施の形態と異なる。

【0058】

図１４は、第２の実施の形態における学習システム１Ａの構成図である。学習システム１Ａは、第１の実施の形態における学習用動画生成部１０７の代わりに学習用動画生成部１０７Ａを備える。第２の実施の形態では、学習用動画生成部１０７Ａの動作のみが第１の実施の形態と異なる。

【0059】

図１５は、第２の実施の形態における学習用動画生成部１０７Ａの動作を示すフローチャートである。図１５は、図１１と比較するとステップＳ３２３とステップＳ３２４の間にステップＳ３２３ＡおよびステップＳ３２３Ｂが追加されている点が異なる。以下では図１５における図１１との相違点を説明する。特に説明しない点は第１の実施の形態と同様である。

【0060】

ステップＳ３２３Ａでは学習用動画生成部１０７Ａは、主カテゴリと副カテゴリとの相対難易度ｄが所定の閾値よりも大きいか否かを判断する。この相対難易度は相対難易度算出部７０３により算出される。学習用動画生成部１０７Ａは、相対難易度ｄが所定の閾値ＴＨＲＥよりも大きいと判断する場合にはステップＳ３２４に進み第１の実施の形態と同様の処理を行う。学習用動画生成部１０７Ａは、相対難易度ｄが所定の閾値ＴＨＲＥ以下であると判断する場合にはステップＳ３２３Ｂに進む。ステップＳ３２３Ｂでは学習用動画生成部１０７Ａは、ステップＳ３２２において選択した主カテゴリの動画そのものを学習用動画として出力し、図１５に示す処理を終了する。

【0061】

閾値ＴＨＲＥの値を大きくすることで、学習に要する演算量および時間を抑制できる。しかし、閾値ＴＨＲＥの値が大きすぎる場合には、複数のカテゴリの動画を組みわせた学習用動画が少なくなりすぎて、不完全なトリミングに対する認識モデル１０８のロバスト性が低下する。そのためオペレータは閾値ＴＨＲＥの値を慎重に設定する必要がある。

【0062】

上述した第２の実施の形態によれば、次の作用効果が得られる。
（９）学習用動画生成部１０７は、認識モデル１０８の認識性能において、主カテゴリの学習用動画を副カテゴリとして判断する割合が所定の閾値よりも高い場合、すなわち図１５のＳ３２３Ａにおいて肯定判断される場合に学習用動画を生成する。そのため、認識モデル１０８の性能が十分な場合には学習用動画の生成を省略することで処理負荷を軽減できる。

【0063】

―第３の実施の形態―
図１６～図１８を参照して、学習システムの第３の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、主カテゴリ決定部の動作が第１の実施の形態と異なる。

【0064】

リスクのある行動はデータの制限によりモデルが学習するのがより困難であるため、学習中、リスクが高い動作ラベルの動画は、リスクが低い動作ラベルの動画よりも頻繁にサンプリングされるようにする。リスクのある行動をより頻繁に学習することで、認識モデル１０８がリスクの大小にかかわらずバランスよく学習することができる。また、危険なカテゴリに対する不十分なトリミングに対してより頑健になるため望ましいことである。

【0065】

図１６は、第３の実施の形態における学習システム１Ｂの構成図である。本実施の形態では、主カテゴリ決定部１０３Ａの動作が第１の実施の形態と異なる。また、リスク情報１０４が副カテゴリ決定部１０６だけでなく主カテゴリ決定部１０３Ａにも提供される。主カテゴリ決定部１０３Ａは、動作ラベル群１０２だけでなく、リスク情報１０４および注視パラメータ１８０１も読み込む。

【0066】

図１７は第３の実施の形態における主カテゴリ決定部１０３Ａの動作を示すフローチャートである。まず主カテゴリ決定部１０３Ａは、ステップＳ３５１において必要な情報を読み込む。続くステップＳ３５２では主カテゴリ決定部１０３Ａは、動作ラベル群１０２を用いて各カテゴリの動画頻度ｆｉを算出する。動画頻度ｆｉとは、カテゴリＡｉの動画が分割済動画群１０１に含まれる比率であり、カテゴリＡｉの動画の数を分割済動画群１０１に含まれる動画の総数で除した値である。

【0067】

具体的には主カテゴリ決定部１０３Ａは、カテゴリＡ１の動画の数を分割済動画群１０１に含まれる動画の総数で除した値であるｆ１、カテゴリＡ２の動画の数を分割済動画群１０１に含まれる動画の総数で除した値であるｆ２、・・などを全てのカテゴリに対して算出する。続くステップＳ３５３では主カテゴリ決定部１０３Ａは、各カテゴリのサンプリング指数ＳＩｉを算出する。サンプリング指数ＳＩｉは次の式３により求められる。

【0068】

ＳＩｉ ＝ ＰＯＷ（Ｒｉ、λ）＊ＰＯＷ（１／ｆｉ、１－λ） ・・・（式３）

【0069】

ただし、式３におけるＲｉはカテゴリＡｉのリスク指数、λは注視パラメータ１８０１、ｆｉはカテゴリＡｉの動画頻度ｆｉである。続くステップＳ３５４では主カテゴリ決定部１０３Ａは、各カテゴリのサンプリング指数ＳＩｉの総和である指数総和ＳＩ＿ＳＵＭを算出する。指数総和ＳＩ＿ＳＵＭは全てのカテゴリにおけるサンプリング指数ＳＩｉの総和なので次の式４により算出できる。

【0070】

ＳＩ＿ＳＵＭ ＝ ＳＩ１＋ＳＩ２＋・・・＋ＳＩＣ ・・・（式４）

【0071】

続くステップＳ３５５では主カテゴリ決定部１０３Ａは、各カテゴリの正規化サンプリング指数ＮＳＩｉを算出する。正規化サンプリング指数ＮＩｉは、それぞれのサンプリング指数ＳＩｉを指数総和ＳＩ＿ＳＵＭで除した値であり、次の式５により算出できる。

【0072】

ＮＳＩｉ ＝ ＳＩｉ／ＳＩ＿ＳＵＭ ・・・（式５）

【0073】

続くステップＳ３５６では主カテゴリ決定部１０３Ａは、ステップＳ３５５において算出した正規化サンプリング指数に基づき主カテゴリを決定し、図１７に示す処理を終了する。

【0074】

上述した第３の実施の形態によれば、次の作用効果が得られる。
（１０）主カテゴリ決定部１０３Ａは、行動カテゴリに含まれる各カテゴリのリスク、主カテゴリ動画の母集団である分割済動画群１０１における行動カテゴリの各カテゴリの存在頻度、および注視パラメータ１８０１である変数λに基づき主カテゴリを決定する。注視パラメータ１８０１は、行動カテゴリに含まれる各カテゴリのリスクと、分割済動画群１０１における行動カテゴリの各カテゴリの存在頻度とが主カテゴリの決定に与える影響の比率を決定する。そのため、各カテゴリのリスクを考慮して主カテゴリを決定できる。

【0075】

（第３の実施の形態の変形例）
第３の実施の形態では、式３においてλで表される注視パラメータ１８０１は、単一の値であった。しかし注視パラメータ１８０１はカテゴリごとに異なる値が設定されてもよい。

【0076】

図１８は、本変形例における注視パラメータ１８０１を示す図である。この図に示すように、本変形例ではカテゴリごとに注視パラメータ１８０１の値が設定される。

【0077】

本変形例では次の作用効果が得られる。
（１１）図１８に示すように、注視パラメータ１８０１は行動カテゴリに含まれるカテゴリごとに設定される。そのため、カテゴリごとに最適な注視パラメータ１８０１の値を設定できる。

【0078】

―第４の実施の形態―
図１９を参照して、学習システムの第４の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、評価用の動画を備える点で、第１の実施の形態と異なる。

【0079】

図１９は、第４の実施の形態における学習システム１Ｃの構成図である。学習システム１Ｃは、第１の実施の形態における構成に加えて、評価用動画群２２０１と、評価用ラベル群２２０２と、認識モデル２２０３と、評価用予測結果２２０４とを有する。第１の実施の形態では、性能評価部１１３は認識モデル１０８が出力する予測結果１１０を用いて評価結果１１７を生成したが、本実施の形態では評価用予測結果２２０４を用いて評価結果１１７を生成する。評価用動画群２２０１は、あらかじめ作成された複合動画である。評価用動画群２２０１は複合動画の集合体であればよく特に限定はされないが、学習用動画生成部１０７が作成して認識モデル１０８に入力する学習用動画の集合体と完全同一になることのみ許容されない。評価用ラベル群２２０２は、評価用動画群２２０１に含まれる各動画の主カテゴリの動作ラベルである。

【0080】

本実施の形態では、認識モデル１０８の生成に利用する学習用動画と、評価用動画群２２０１に含まれる動画とが異なるので、モデルの生成に用いた動画とは異なる動画を用いてモデルを評価できる。

【0081】

上述した第４の実施の形態によれば、次の作用効果が得られる。
（１２）性能評価部１１３は、認識モデル１０８が学習に用いた学習用動画とは異なる動画、すなわち評価用動画群２２０１に含まれる動画を入力として得られた評価用予測結果２２０４を評価する。そのため、過学習を防止できる。

【0082】

（ＧＵＩ）
図２０を参照して、上述した第１～第４の実施の形態に関するＧＵＩ（Graphical User Interface）を説明する。図２０は、ＧＵＩの初期状態を示している。機械学習処理を開始するためには、必要な情報をＧＵＩに入力する必要がある。機械学習処理の開始に必要な情報は、５つのパートに分けることができる。第１に基本情報、第２にリスク値、第３にカテゴリ決定方法、第４に主カテゴリ動画の決定方法、第５に評価頻度である。ＧＵＩはこの５つの部分について順次入力を受け付ける。

【0083】

最初に入力するのは基本情報２３０１であり、エポック数２３０２、学習データの格納場所２３０３、検証データの格納場所２３０４である。エポック数２３０２には、認識モデル１０８の繰り返し学習の停止点が規定され。符号２３０３と２３０４には、それぞれのデータセットにアクセス可能な場所が入力される。２番目のリスク値の設定は、マニュアル入力２４０１と自動計算２４０２の２つの選択がある。マニュアル入力２４０１が選択された場合には、手動入力用のダイアログボックスが表示される。また、自動計算２４０２が選択された場合には自動計算に用いるデータの入力欄、たとえば統計情報１１９の格納場所の入力を促すダイアログが表示される。

【0084】

３番目のカテゴリ決定方法では、ランダム２５０１、頻度基準２５０２、およびリスク基準２５０３のいずれかが選択される。ランダム２５０１が選択された場合には、主カテゴリ決定部１０３は第１の動作である正頻度決定を行う。頻度基準２５０２が選択された場合には、主カテゴリ決定部１０３は第２の動作である逆頻度決定を行う。リスク基準２５０３が選択された場合には、変数λで表される注視パラメータ１８０１の値を設定するダイアログが表示される。このダイアログでは数値の入力を受け付けてもよいし、値を設定するためのスライダーが表示されてもよい。注視パラメータ１８０１の値が設定されると、主カテゴリ決定部１０３は第３の実施の形態の手法で主カテゴリを決定する。

【0085】

４番目の主カテゴリ動画の決定では、通常２６０１および選択的２６０２のいずれかが選択される。通常２６０１が選択された場合には、変数γで表される比率パラメータ１０５の値を設定するダイアログが表示される。このダイアログでは数値の入力を受け付けてもよいし、値を設定するためのスライダーが表示されてもよい。また、図１２に示したＬ１やＬ２の値の入力を受け付けてもよい。選択的２６０２が選択された場合には、変数γで表される比率パラメータ１０５の値、Ｌ１やＬ２の値、および閾値ＴＨＲＥの値を設定するダイアログが表示される。

【0086】

５番目の評価頻度決定では、エポック２７０１およびバッチ２７０２のいずれかが選択される。さらに、回数２７０３も入力される。図２０に示す例では、エポック２７０１が選択され、回数２７０３には「１」が入力されているので、１エポックごとに性能評価部１１３による評価、すなわち評価結果１１７の出力が行われる。これら５つの項目すべてが入力されると、認識モデル１０８の学習が開始される。

【0087】

（作業者動作認識システム）
図２１を参照して、上述した第１～第４の実施の形態において生成された認識モデル１０８を利用する作業者動作認識システムを説明する。図２１は、作業者動作認識システム３０００の構成図である。作業者動作認識システム３０００は、動画取得部３００１と、作業者を検出する検出器３００２と、作業者を追跡する追跡器３００３と、検出器３００２および追跡器３００３を用いて作業者が存在する領域である候補領域を抽出する抽出器３００４と、認識モデル１０８と、出力部３００５と、を備える。

【0088】

動画取得部３００１は、撮影済みの動画ファイルを取得する通信インタフェースや記憶媒体読み取り装置でもよいし、撮像素子を含む動画撮影装置、たとえばＷｅｂカメラでもよい。検出器３００２、追跡器３００３、および抽出器３００４は、公知の構成を利用でき、たとえば図８に示した演算装置４０のようにＣＰＵ４１、ＲＯＭ４２、およびＲＡＭ４３により実現される。出力部３００５は、通信インタフェース、液晶ディスプレイなどの映像出力装置、または映像出力装置に映像信号を出力するディスプレイアダプタである。

【0089】

動画取得部３００１が取得した動画は検出器３００２に送信される。検出器３００２は、入力された動画から作業者、すなわち人間を検出してその位置情報を追跡器３００３に出力する。追跡器３００３は、検出器３００２から出力された位置情報を初期値として利用し、動画における作業者の位置を追跡する。抽出器３００４は、検出器３００２の出力および追跡器３００３が追跡する作業者の位置を用いて、動画の空間領域を切り出して認識モデル１０８に出力する。認識モデル１０８は、抽出器３００４が切り出した動画の空間領域を対象として認識処理を行い、行動カテゴリを出力する。出力部３００５は、認識モデル１０８が出力する行動カテゴリの情報を出力する。

【0090】

なお検出器３００２および追跡器３００３は、作業者の全身を検出および追跡する代わりに、作業者の手だけを検出および追跡してもよい。この場合には、抽出器３００４は追跡された手の位置に基づき作業者の全身を含む領域を抽出する。すなわちこの場合でも抽出器３００４の出力は変化しない。

【0091】

以上説明した作業者動作認識システム３０００は、次の作用効果を奏する。
（１３）作業者動作認識システム３０００は、学習システム１により生成された認識モデル１０８と、作業者を検出する検出器３００２と、作業者を追跡する追跡器３００３と、検出器３００２および追跡器３００３を用いて作業者が存在する領域である候補領域を抽出する抽出器３００４と、を備える。認識モデル１０８は、候補領域の映像を入力とする。そのため作業者動作認識システム３０００は、リスクが高い行動を認識できる。

【0092】

上述した各実施の形態および変形例において、機能ブロックの構成は一例に過ぎない。別々の機能ブロックとして示したいくつかの機能構成を一体に構成してもよいし、１つの機能ブロック図で表した構成を２以上の機能に分割してもよい。また各機能ブロックが有する機能の一部を他の機能ブロックが備える構成としてもよい。

【0093】

上述した各実施の形態および変形例において、プログラムは不図示のＲＯＭ４２に格納されるとしたが、プログラムは不図示の不揮発性記憶装置に格納されていてもよい。また、演算装置４０が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースと演算装置４０が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。

【0094】

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【符号の説明】

【0095】

１、１Ａ、１Ｂ、１Ｃ：学習システム
１０１ ：分割済動画群
１０２ ：動作ラベル群
１０３、１０３Ａ ：主カテゴリ決定部
１０４ ：リスク情報
１０６ ：副カテゴリ決定部
１０７、１０７Ａ ：学習用動画生成部
１０８ ：認識モデル
１１３ ：性能評価部
１１４ ：学習部
１１７ ：評価結果
１１８ ：リスク情報生成部
１１９ ：統計情報
７０３ ：相対難易度算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】