特許 7575759 学習装置、異常行動判定装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-22

(45)【発行日】2024-10-30

(54)【発明の名称】学習装置、異常行動判定装置、方法、及びプログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20241023BHJP

   G06T 7/00 20170101ALI20241023BHJP

   G06T 7/20 20170101ALI20241023BHJP

   G10L 15/10 20060101ALI20241023BHJP

   G06N 20/00 20190101ALI20241023BHJP

   G06F 40/44 20200101ALI20241023BHJP

【ＦＩ】

G06Q50/10

G06T7/00 350B

G06T7/20 300A

G10L15/10 500Z

G06N20/00 130

G06F40/44

【請求項の数】 8

(21)【出願番号】P 2021116487

(22)【出願日】2021-07-14

(65)【公開番号】P2023012795

(43)【公開日】2023-01-26

【審査請求日】2023-09-25

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】高木 基宏

(72)【発明者】

【氏名】島村 潤

(72)【発明者】

【氏名】北原 正樹

(72)【発明者】

【氏名】細野 峻司

(72)【発明者】

【氏名】佐藤 洋一

(72)【発明者】

【氏名】菅野 裕介

(72)【発明者】

【氏名】古田 諒佑

【審査官】山崎 誠也

(56)【参考文献】

【文献】国際公開第２０２０／２３５１２０（ＷＯ，Ａ１）

【文献】国際公開第２０２２／２４４２１５（ＷＯ，Ａ１）

【文献】特開２０１９－２０４３６２（ＪＰ，Ａ）

【文献】特開２０２１－１５３４２６（ＪＰ，Ａ）

【文献】勝田 有一朗，コンピュータの未来技術［第１５７回］，Ｉ／Ｏ 第４４巻 第８号，日本，株式会社工学社，2019年08月01日，p.102～104

【文献】KOIZUMI, Yuma, MASUMURA, Ryo, NISHIDA, Kyosuke, YASUDA, Masahiro, and SAITO, Shoichiro，A Transformer-based Audio Captioning Model with Keyword Estimation，Interspeech 2020，日本，2020年08月08日，[retrieved on 2024.05.07], Internet: <URL:https://arxiv.org/abs/2007.00222>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

Ｇ１０Ｌ １５／１０

Ｇ０６Ｎ ２０／００

Ｇ０６Ｆ ４０／４４

(57)【特許請求の範囲】

【請求項1】

一連の手順の各々についての、前記手順に含まれる少なくとも一つの行動を表す複数の手順文、又は前記複数の手順文の各々を表す文ベクトルを記憶する手順文データベースと、
前記手順に含まれる行動を表す学習用の映像データ又は音声データから、人の行動に関する行動ラベルを検出するラベル検出部と、
前記学習用の映像データ又は音声データに対応付けられた正解となる前記手順文、又は前記手順文を表す文ベクトルと一致するように、前記行動ラベルから文又は文ベクトルを生成する言語モデルを学習するモデル学習部と、
を含む学習装置。

【請求項2】

前記学習用の映像データ又は音声データに対して予め定められた前記手順文を表す文ベクトルは、文ベクトルを生成する事前学習済みモデルを用いて生成されたものである請求項１記載の学習装置。

【請求項3】

前記モデル学習部は、前記ラベル検出部によって複数の行動ラベルからなる行動ラベル群が検出された場合には、前記行動ラベル群を連結したものから前記言語モデルにより生成される前記文又は文ベクトルが、前記学習用の映像データ又は音声データに対応付けられた正解となる前記手順文、又は前記手順文を表す文ベクトルと一致するように、前記言語モデルを学習する請求項１又は２記載の学習装置。

【請求項4】

前記モデル学習部は、前記ラベル検出部によって前記行動ラベル群が検出された場合であって、前記行動ラベル群を連結したものが、前記言語モデルの入力長上限を超える場合に、前記言語モデルの入力長上限以下となるように抽出された前記行動ラベルを連結したものから前記言語モデルにより生成される前記文又は文ベクトルが、前記学習用の映像データ又は音声データに対応付けられた正解となる前記手順文、又は前記手順文を表す文ベクトルと一致するように、前記言語モデルを学習する請求項３記載の学習装置。

【請求項5】

一連の手順の各々についての、前記手順に含まれる少なくとも一つの行動を表す複数の手順文、又は前記複数の手順文の各々を表す文ベクトルを記憶する手順文データベースと、
人の行動を表す映像データ又は音声データから検出された、人の行動に関する行動ラベルに基づいて、
前記行動ラベルから文又は文ベクトルを生成する予め学習された言語モデルを用いて、前記文又は文ベクトルを生成する生成部と、
前記生成された前記文又は文ベクトルと、前記手順文データベースに記憶された前記手順文、又は前記手順文を表す文ベクトルとの類似度を算出する類似度算出部と、
前記類似度算出部によって算出された類似度に基づいて、前記人の行動が異常であるか否かを判定する異常判定部と、
を含む異常行動判定装置。

【請求項6】

一連の手順の各々についての、前記手順に含まれる少なくとも一つの行動を表す複数の手順文、又は前記複数の手順文の各々を表す文ベクトルを記憶する手順文データベースを含む学習装置が、
前記手順に含まれる行動を表す学習用の映像データ又は音声データから、人の行動に関する行動ラベルを検出し、
前記学習用の映像データ又は音声データに対応付けられた正解となる前記手順文、又は前記手順文を表す文ベクトルと一致するように、前記行動ラベルから文又は文ベクトルを生成する言語モデルを学習する
学習方法。

【請求項7】

一連の手順の各々についての、前記手順に含まれる少なくとも一つの行動を表す複数の手順文、又は前記複数の手順文の各々を表す文ベクトルを記憶する手順文データベースを含む異常行動判定装置が、
人の行動を表す映像データ又は音声データから検出された、人の行動に関する行動ラベルに基づいて、前記行動ラベルから文又は文ベクトルを生成する予め学習された言語モデルを用いて、前記文又は文ベクトルを生成し、
前記生成された前記文又は文ベクトルと、前記手順文データベースに記憶された前記手順文、又は前記手順文を表す文ベクトルとの類似度を算出し、
前記算出された類似度に基づいて、前記人の行動が異常であるか否かを判定する
異常行動判定方法。

【請求項8】

コンピュータを、請求項１～請求項４の何れか１項記載の学習装置、又は請求項５記載の異常行動判定装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、学習装置、異常行動判定装置、方法、及びプログラムに関する。

【背景技術】

【0002】

近年、高精細カメラの普及により、カメラで取得した映像や音声で人の行動を解析する技術のニーズが高まっている。例えば、監視カメラでの犯罪行動の検出や工事現場での危険行動の検出などである。これらの行動を発見するには、大量の映像や音声を観察する必要がある。さらに、異常な行動の定義について理解している人が映像中の行動を観察して異常行動を検出する必要がある。しかしながら、人手での検出は時間的・人的コストがかかるため、異常行動を自動で検出するアルゴリズムを構築して検出する方法が考えられる。

【0003】

近年では、ニューラルネットワークを用いた異常行動の検出技術が提案されている（非特許文献１）。非特許文献１の手法では、映像をクラスタリングすることで高精度に異常行動を検出する。

【先行技術文献】

【非特許文献】

【0004】

【文献】Zaheer M.Z., Mahmood A., Astrid M., Lee SI. CLAWS: Clustering Assisted Weakly Supervised Learning with Normalcy Suppression for Anomalous Event Detection. ECCV 2020.

【発明の概要】

【発明が解決しようとする課題】

【0005】

非特許文献１に示す、映像にうつる異常行動を検出する従来手法では、手順と動作を明確に区別していない。そのため、例えば、（手順１）床においた脚立を立てる、（手順２）安全帯ベルトを締める、（手順３）脚立を登る、という一連の手順があった場合、それぞれの手順において多数の行動があり、手順に含まれる行動の順序が合っているかどうかの判定が困難である。具体的には、（手順１）に、人は膝を曲げて脚立を掴み、脚立を持ち上げて固定する、という多数の行動が含まれる。また同様に、（手順２）の安全帯ベルトを締めて脚立を登る、といった手順にも、安全帯ベルトを持ち、人体に固定するといった一連の行動が含まれる。（手順３）には、脚立の方へ歩いてステップに足をかけ、手で脚立を持って登るという多数の行動が含まれる。このように、行動をある程度まとめて１つの手順としてとらえて、手順に含まれる行動の順序が合っているかどうかを確認する必要があるが、現在の異常行動検出手法では個々の行動の異常検出が中心であり、複数の行動がまとまった手順と異なるか否かの異常判定に対する検討はなされていない。そのため、安全帯ベルトを締めたタイミングが脚立を登った後であれば、手順と異なり危険である、というような異常行動の判定を映像から行うことは困難である。

【0006】

開示の技術は、上記の点に鑑みてなされたものであり、手順とは異なる異常行動を精度よく判定することができる学習装置、異常行動判定装置、方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の第１態様は、学習装置であって、一連の手順の各々についての、前記手順に含まれる少なくとも一つの行動を表す複数の手順文、又は前記複数の手順文の各々を表す文ベクトルを記憶する手順文データベースと、前記手順に含まれる行動を表す学習用の映像データ又は音声データから、人の行動に関する行動ラベルを検出するラベル検出部と、前記学習用の映像データ又は音声データに対して予め定められた前記手順文、又は前記手順文を表す文ベクトルを生成するように、前記行動ラベルから文又は文ベクトルを生成する言語モデルを学習するモデル学習部と、を含む。

【0008】

本開示の第２態様は、異常行動判定装置であって、一連の手順の各々についての、前記手順に含まれる少なくとも一つの行動を表す複数の手順文、又は前記複数の手順文の各々を表す文ベクトルを記憶する手順文データベースと、人の行動を表す映像データ又は音声データから検出された、人の行動に関する行動ラベルに基づいて、前記行動ラベルから文又は文ベクトルを生成する予め学習された言語モデルを用いて、前記文又は文ベクトルを生成する生成部と、前記生成された前記文又は文ベクトルと、前記手順文データベースに記憶された前記手順文、又は前記手順文を表す文ベクトルとの類似度を算出する類似度算出部と、前記類似度算出部によって算出された類似度に基づいて、前記人の行動が異常であるか否かを判定する異常判定部と、を含む。

【0009】

本開示の第３態様は、学習方法であって、一連の手順の各々についての、前記手順に含まれる少なくとも一つの行動を表す複数の手順文、又は前記複数の手順文の各々を表す文ベクトルを記憶する手順文データベースを含む学習装置が、前記手順に含まれる行動を表す学習用の映像データ又は音声データから、人の行動に関する行動ラベルを検出し、前記学習用の映像データ又は音声データに対して予め定められた前記手順文、又は前記手順文を表す文ベクトルを生成するように、前記行動ラベルから文又は文ベクトルを生成する言語モデルを学習する。

【0010】

本開示の第４態様は、異常行動判定方法であって、一連の手順の各々についての、前記手順に含まれる少なくとも一つの行動を表す複数の手順文、又は前記複数の手順文の各々を表す文ベクトルを記憶する手順文データベースを含む異常行動判定装置が、人の行動を表す映像データ又は音声データから検出された、人の行動に関する行動ラベルに基づいて、前記行動ラベルから文又は文ベクトルを生成する予め学習された言語モデルを用いて、前記文又は文ベクトルを生成し、前記生成された前記文又は文ベクトルと、前記手順文データベースに記憶された前記手順文、又は前記手順文を表す文ベクトルとの類似度を算出し、前記算出された類似度に基づいて、前記人の行動が異常であるか否かを判定する。

【0011】

本開示の第５態様は、プログラムであって、コンピュータを、上記第１態様の学習装置又は上記第２態様の異常行動判定装置として機能させるためのプログラムである。

【発明の効果】

【0012】

開示の技術によれば、手順とは異なる異常行動を精度よく判定することができる。

【図面の簡単な説明】

【0013】

【図1】第１実施形態及び第２実施形態の学習装置及び異常行動判定装置として機能するコンピュータの一例の概略ブロック図である。

【図2】第１実施形態の学習装置の構成を示すブロック図である。

【図3】第１実施形態及び第２実施形態の異常行動判定装置の構成を示すブロック図である。

【図4】第１実施形態の学習装置の文ベクトル生成処理ルーチンを示すフローチャートである。

【図5】第１実施形態の学習装置の学習処理ルーチンを示すフローチャートである。

【図6】第１実施形態の学習装置の言語モデルを更新する処理の流れを示すフローチャートである。

【図7】第１実施形態の異常行動判定装置の異常行動判定処理ルーチンを示すフローチャートである。

【図8】第１実施形態の異常行動判定装置の文ベクトルを生成する処理の流れを示すフローチャートである。

【図9】第１実施形態の異常行動判定装置の異常行動を判定する処理の流れを示すフローチャートである。

【図10】第２実施形態の学習装置の学習処理ルーチンを示すフローチャートである。

【図11】第２実施形態の学習装置の言語モデルを更新する処理の流れを示すフローチャートである。

【図12】第２実施形態の異常行動判定装置の異常行動判定処理ルーチンを示すフローチャートである。

【図13】第２実施形態の異常行動判定装置の文を生成する処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0015】

［第１実施形態］
＜本実施形態の概要＞
本実施形態では、映像や音声から抽出された行動ラベルの群を入力として行動ラベル群の文ベクトルを生成する。例えば、映像から抽出された、人ラベルと、物体ラベルと、物体に対する人の動作ラベルとの組み合わせであるｈｕｍａｎ－ｏｂｊｅｃｔ－ｉｎｔｅｒａｃｔｉｏｎラベル（ＨＯＩラベル）の群を入力として行動ラベル群の文ベクトルを生成する。そして、文ベクトルと比較対象である手順文の文ベクトルを入力として文ベクトル間の類似度を算出し、文ベクトル間の類似度を入力として、手順と異なる異常行動であるか否かを判定する。

【0016】

ここで、手順文の文ベクトルは、一連の手順の各々を表す手順文の文ベクトルであり、一つの手順には、少なくとも一つの行動が含まれる。

【0017】

＜本実施形態に係る学習装置の構成＞
図１は、本実施形態の学習装置１０のハードウェア構成を示すブロック図である。

【0018】

図１に示すように、学習装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

【0019】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、ニューラルネットワークである言語モデルを学習するための学習プログラムが格納されている。学習プログラムは、１つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。

【0020】

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0021】

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

【0022】

入力部１５は、学習用の映像データを、入力として受け付ける。具体的には、入力部１５は、作業マニュアルの手順文が表す手順に含まれる行動を表す学習用の映像データを受け付ける。学習用の映像データには、作業マニュアルのどの手順文に対応するかを示す情報（例えば、ＩＤ）が付与されている。

【0023】

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。

【0024】

通信インタフェース１７は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0025】

次に、学習装置１０の機能構成について説明する。図２は、学習装置１０の機能構成の例を示すブロック図である。

【0026】

学習装置１０は、機能的には、図２に示すように、作業マニュアルデータベース（ＤＢ）２０、文ベクトル生成部２２、手順文データベース（ＤＢ）２４、学習用データベース（ＤＢ）２６、ラベル検出部２８、及びモデル学習部３０を備えている。

【0027】

作業マニュアルデータベース２０には、一連の手順が記載された作業マニュアルに含まれる複数の手順文を記憶している。ここで、手順文はテキストデータとして作業マニュアルデータベース２０に記憶されている。

【0028】

文ベクトル生成部２２は、作業マニュアルデータベース２０から手順文を一つ一つ取り出し、事前学習済みモデルを用いて、手順文を表す文ベクトルを生成する。

【0029】

具体的には、文ベクトル生成部２２は、大量のテキストで学習したＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）等の言語モデルを学習済みモデルとして予め用意しておき、当該言語モデルを用いて手順文を表す文ベクトルを生成する。この言語モデルでは事前学習以上の学習は行わず、手順文を表す文ベクトルの生成のみに用いる。文ベクトル生成部２２は、生成した文ベクトルを手順文データベース２４に格納する。

【0030】

手順文データベース２４は、作業マニュアルに含まれる複数の手順文の各々について文ベクトル生成部２２により生成された文ベクトルを記憶している。

【0031】

ここで、文ベクトルは、後述する言語モデルで生成される文ベクトルと粒度が合った形で手順文データベース２４に格納されているものとする。

【0032】

学習用データベース２６は、入力された学習用の映像データを複数記憶する。学習用の映像データは、映像ごとに入力されたものでもよいし、分割した映像セグメントごとに入力されたものでもよし、映像フレームごとに入力されたものでもよい。ここで映像セグメントは映像を複数フレームごとにまとめて分割した単位であり、例えば３２フレームで１セグメントと定めた単位である。

【0033】

ラベル検出部２８は、学習用データベース２６に記憶された複数の学習用の映像データの各々から、人の行動に関する行動ラベルを検出する。具体的には、ラベル検出部２８は、学習用データベース２６から学習用の映像データを取り出し、映像データの長さである一定時間内で検出される行動ラベルの群である行動ラベル群を出力する。行動ラベル群の一例はＨＯＩラベル群である。ＨＯＩラベル群は、一定時間内で検出されるＨＯＩラベルの集合である。

【0034】

例えば、人がｐｅｒｓｏｎ、梯子がｌａｄｄｅｒ、登るがｃｌｉｍｂであれば、＜ｐｅｒｓｏｎ，ｌａｄｄｅｒ，ｃｌｉｍｂ＞のＨＯＩラベルを行動ラベルとして検出する。ＨＯＩラベルに含まれる動作ラベルの動詞が自動詞か他動詞かであるかに応じて、物体ラベルのありなしが変化する。上記の例では、動作ラベルが他動詞であるが、自動詞でもよい。

【0035】

モデル学習部３０は、学習用の映像データに対して予め定められた手順文を表す文ベクトルを生成するように、行動ラベルから文ベクトルを生成する言語モデルを学習する。

【0036】

具体的には、モデル学習部３０は、ラベル検出部２８より学習用の映像データから検出された行動ラベル群を受け取る。また、モデル学習部３０は、手順文データベース２４より、学習用の映像データに対応付けられた正解となる手順文の手順文ベクトルを取り出す。モデル学習部３０は、学習用の映像データから検出された行動ラベル群から、学習対象である言語モデルを用いて、文ベクトルを生成する。モデル学習部３０は、正解となる手順文の手順文ベクトルと、生成した文ベクトルとを比較して評価し、正解となる手順文の手順文ベクトルと、生成した文ベクトルとが一致するように、言語モデルを更新して言語モデルを出力する。ここで言語モデルはニューラルネットワークのモデルなどである。

【0037】

例えば、学習対象の言語モデルのベースモデルとして、大量のテキストで自己教師あり学習した言語モデルを用いる。代表的なモデルとしては、非特許文献２のＢＥＲＴがある。ＢＥＲＴに対して、＜人ラベル 動作ラベル 物体ラベル＞の順で行動ラベルを並び替え、入力とする。言い換えると、主語－述語－目的語の関係性を考慮した並びであり、上記の例では＜ｐｅｒｓｏｎ ｃｌｉｍｂ ｌａｄｄｅｒ＞となる。また、“安全帯ベルトを締める”という手順が“人が梯子を登る”の前にあった場合、同様に＜ｐｅｒｓｏｎ ｔｉｇｈｔｅｎ ｓａｆｅｔｙ ｂｅｌｔ＞という行動ラベルが検出できたとして、ＢＥＲＴには、＜ｐｅｒｓｏｎ ｔｉｇｈｔｅｎ ｓａｆｅｔｙ ｂｅｌｔ ｐｅｒｓｏｎ ｃｌｉｍｂ ｌａｄｄｅｒ＞を入力とすることで、一つの文ベクトルを得ることができる。また、入力方法として、＜ｐｅｒｓｏｎ ｔｉｇｈｔｅｎ ｓａｆｅｔｙ ｂｅｌｔ ＞と＜ｐｅｒｓｏｎ ｃｌｉｍｂ ｌａｄｄｅｒ＞を別々の文として分割して入力してもよい。具体的には、ＨＯＩラベルの間にＢＥＲＴモデルが認識可能なセパレータを挟んで入力とする。こうすることにより、複数の手順を考慮した文ベクトルを生成することができる。

【0038】

［非特許文献２］Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL2019.

【0039】

＜第１実施形態に係る異常行動判定装置の構成＞
上記図１は、第１実施形態の異常行動判定装置５０のハードウェア構成を示すブロック図である。

【0040】

上記図１に示すように、異常行動判定装置５０は、学習装置１０と同様の構成であり、ＲＯＭ１２又はストレージ１４には、異常行動を判定するための異常行動判定プログラムが格納されている。

【0041】

入力部１５は、人の行動を表す映像データから検出された行動ラベル群を、入力として受け付ける。具体的には、入力部１５は、映像データの長さである一定時間内で検出されるＨＯＩラベルの群である行動ラベル群を、入力として受け付ける。

【0042】

次に、異常行動判定装置５０の機能構成について説明する。図３は、異常行動判定装置５０の機能構成の例を示すブロック図である。

【0043】

異常行動判定装置５０は、機能的には、図３に示すように、手順文データベース（ＤＢ）６０、生成部６２、類似度算出部６４、及び異常判定部６６を備えている。

【0044】

手順文データベース６０には、手順文データベース２４と同様に、作業マニュアルに含まれる複数の手順文の各々について文ベクトル生成部２２により生成された文ベクトルを記憶している。

【0045】

生成部６２は、入力された行動ラベル群に基づいて、学習装置１０により予め学習された言語モデルを用いて、文ベクトルを生成する。

【0046】

類似度算出部６４は、生成部６２により生成された文ベクトルと、手順文データベース６０に記憶された、手順文を表す文ベクトルとの類似度を算出する。

【0047】

異常判定部６６は、類似度算出部６４によって算出された類似度に基づいて、人の行動が、手順と異なり異常であるか否かを判定する。例えば、異常判定部６６は、算出された類似度と、予め定められた閾値とを比較して、人の行動が異常であるか否かの判定を行い、１もしくは０の値をとるラベルを出力する。ここで、異常である場合にラベルが１となり、正常である場合に、ラベルが０となる。

【0048】

＜第１実施形態に係る学習装置の作用＞
次に、第１実施形態に係る学習装置１０の作用について説明する。

【0049】

図４は、学習装置１０による文ベクトル生成処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から学習プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、文ベクトル生成処理が行なわれる。

【0050】

ステップＳ１００で、ＣＰＵ１１は、文ベクトル生成部２２として、作業マニュアルデータベース２０から手順文を一つ一つ取り出し、入力とする。

【0051】

ステップＳ１０２で、ＣＰＵ１１は、文ベクトル生成部２２として、事前学習済みモデルに手順文を一つずつ入力して手順文を表す文ベクトルを生成する。ここで、事前学習済みモデルは、ＢＥＲＴのような言語モデルで大量の一般的なテキストのみで事前学習されたモデルである。

【0052】

ステップＳ１０４で、ＣＰＵ１は、手順文の各々について生成された文ベクトルを、手順文データベース２４に格納する。

【0053】

図５は、学習装置１０による学習処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から学習プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、学習処理が行なわれる。また、学習装置１０に、学習用の映像データが複数入力され、学習用データベース２６に格納される。

【0054】

ステップＳ１１０で、ＣＰＵ１１は、ラベル検出部２８として、学習用データベース２６から複数の学習用の映像データを取り出し、それぞれを入力とする。

【0055】

ステップＳ１１２で、ＣＰＵ１１は、ラベル検出部２８として、複数の学習用の映像データの各々から、行動ラベル群を検出する。

【0056】

ステップＳ１１４で、ＣＰＵ１１は、モデル学習部３０として、複数の学習用の映像データの各々から検出された行動ラベル群を取得し、入力とする。

【0057】

ステップＳ１１６で、ＣＰＵ１１は、モデル学習部３０として、手順文データベース２４より、複数の学習用の映像データの各々に対応付けられた正解となる手順文の手順文ベクトルを取り出す。ＣＰＵ１１は、複数の学習用の映像データの各々から検出された行動ラベル群から、学習対象である言語モデルを用いて、文ベクトルを生成する。ＣＰＵ１１は、正解となる手順文の手順文ベクトルと、生成した文ベクトルとを比較して評価し、正解となる手順文の手順文ベクトルと、生成した文ベクトルとが一致するように、言語モデルを更新する。

【0058】

ステップＳ１１８で、ＣＰＵ１１は、モデル学習部３０として、更新した言語モデルを出力する。ここで、ラベル検出部２８は、非特許文献３のような映像データからＨＯＩラベルを検出できる手法を用いて、行動ラベルを検出すればよい。映像フレーム、映像セグメント等、出力の単位は任意とする。

【0059】

［非特許文献３］Georgia Gkioxari, Ross Girshick, Piotr Dollar, Kaiming He. Detecting and Recognizing Human-Object Interactions. CVPR2018.

【0060】

上記ステップＳ１１４、Ｓ１１６の処理における詳細動作を図６に示す。

【0061】

ステップＳ１２０で、ＣＰＵ１１は、モデル学習部３０として、複数の学習用の映像データの各々から検出された行動ラベル群を取得し、入力とする。

【0062】

ステップＳ１２２で、ＣＰＵ１１は、モデル学習部３０として、行動ラベル群の各行動ラベルを＜人ラベル 動作ラベル 物体ラベル＞ の順に並べ替える。

【0063】

ステップＳ１２４で、ＣＰＵ１１は、モデル学習部３０として、行動ラベル群が、学習対象の言語モデルの入力長上限より長いかを判断する。行動ラベル群が、学習対象の言語モデルの入力長上限より長い場合には、ステップＳ１２６へ移行する。一方、行動ラベル群が、学習対象の言語モデルの入力長上限以下である場合には、ステップＳ１２８へ移行する。

【0064】

ステップＳ１２６で、ＣＰＵ１１は、モデル学習部３０として、行動ラベル群における各行動ラベルの出現頻度を集計し、出現頻度順に各行動ラベルを並べ、学習対象の言語モデルの入力長上限におさまるように、上位Ｎ個の行動ラベルを抽出し、抽出された行動ラベル以外の行動ラベルを削除し、新たな行動ラベル群とする。

【0065】

ステップＳ１２８で、ＣＰＵ１１は、モデル学習部３０として、並び替えた行動ラベル群を学習対象の言語モデルへと入力し、文ベクトルを生成する。

【0066】

ステップＳ１３０で、ＣＰＵ１１は、モデル学習部３０として、生成された文ベクトルと、手順文データベース２４から取得した、当該学習用の映像データに紐づけられた正解の手順文の文ベクトルとの間で、評価関数による損失を算出する。

【0067】

ここで、評価関数は距離関数で表され、ユークリッド距離の二乗や非特許文献４のＣｏｎｔｒａｓｔｉｖｅ Ｌｏｓｓ等が利用可能である。これらの距離関数に限定されるものではなく、距離を表現でき、微分可能、言い換えると深層学習のバックプロパゲーションに必要な勾配が計算可能な関数であれば、他の距離関数であってもよい。

【0068】

［非特許文献４］Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, Ross Girshick. Momentum Contrast for Unsupervised Visual Representation Learning. CVPR2020.

【0069】

ステップＳ１３２で、ＣＰＵ１１は、モデル学習部３０として、得られた損失から勾配を計算し、言語モデルのパラメータをバックプロパゲーションで更新する。

【0070】

ステップＳ１３４で、ＣＰＵ１１は、モデル学習部３０として、更新した言語モデルを出力する。

【0071】

＜第１実施形態に係る異常行動判定装置の作用＞
次に、第１実施形態に係る異常行動判定装置５０の作用について説明する。

【0072】

図７は、異常行動判定装置５０による異常行動判定処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から異常行動判定プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、異常行動判定処理が行なわれる。また、異常行動判定装置５０に、人の行動を表す映像データから検出された行動ラベル群が入力される。ここで、行動ラベル群は非特許文献３に示すような手法で検出済みとする。

【0073】

ステップＳ１４０で、ＣＰＵ１１は、入力された行動ラベル群を、生成部６２に入力する。

【0074】

ステップＳ１４２で、ＣＰＵ１１は、生成部６２として、行動ラベル群の文ベクトルを生成する。

【0075】

ステップＳ１４４で、ＣＰＵ１１は、行動ラベル群の文ベクトルを類似度算出部６４に入力する。

【0076】

ステップＳ１４６で、ＣＰＵ１１は、手順文データベース６０から手順文を表す文ベクトルを各々取り出し、類似度算出部６４に入力する。

【0077】

ここで、手順文データベース６０からの手順文の文ベクトルの取り出しには、手順の順序を考慮してもよい。例えば、一つ前の映像セグメントの行動ラベル群について最も類似度が高いと判断された手順文の文ベクトルのＩＤ等を保持しておき、当該手順文の手順の前後Ｔ個の手順文を表す文ベクトルを取り出すようにしてもよい。これにより、手順文の文ベクトルとの類似度の計算量を削減できる。

【0078】

ステップＳ１４８で、ＣＰＵ１１は、類似度算出部６４として、取り出した手順文を表す文ベクトルの各々について、当該手順文を表す文ベクトルと行動ラベル群の文ベクトルとの類似度を算出する。例えば、類似度の指標としてコサイン類似度を算出する。なお、類似度の指標はコサイン類似度でなくともベクトル間の類似度が比較できればよい。

【0079】

ステップＳ１５０で、ＣＰＵ１１は、類似度算出部６４として、算出した類似度を異常判定部６６へ出力する。

【0080】

ステップＳ１５２で、ＣＰＵ１１は、異常判定部６６として、類似度と閾値とを比較し、人の行動が、手順と異なり異常であるか否かを判定し、判定結果を示すラベルを出力し、異常行動判定処理を終了する。

【0081】

上記ステップＳ１４０、Ｓ１４２の処理における詳細動作を図８に示す。図８に示す動作は、映像セグメントごとの行動ラベル群について繰り返し行われる。なお、映像セグメントのセグメント長は、アプリケーションに依存する。

【0082】

ステップＳ１６０で、ＣＰＵ１１は、行動ラベル群を生成部６２に入力する。

【0083】

ステップＳ１６２で、ＣＰＵ１１は、生成部６２として、行動ラベル群の各行動ラベルを＜人ラベル 動作ラベル 物体ラベル＞の順に並べ替える。例えば、一つの映像セグメントの行動ラベル群に２つの人ラベルがある場合、＜人ラベル１ 動作ラベル１ 物体ラベル１ 人ラベル２ 動作ラベル２ 物体ラベル２＞と並べる。動作と物体の組み合わせについて、動作ラベルと物体ラベルの有り得る組み合わせをあらかじめテーブルとして保持しておき、そのテーブルを参照して行動ラベルを決定する。また、その他、映像特徴等を考慮してもよい。

【0084】

並べ替えた行動ラベル群をＢＥＲＴのような学習済みの言語モデルに入力して文ベクトルを得る。本実施形態では、行動ラベル群は、ＢＥＲＴの入力長上限におさまる系列長（５１２単語）の範囲で、＜行動ラベル１＞＜行動ラベル２＞…といった形で連結して入力を行う。そこで、ステップＳ１６４で、ＣＰＵ１１は、生成部６２として、行動ラベル群が学習済みの言語モデルの入力長上限より長いか否かを判定する。行動ラベル群が学習済みの言語モデルの入力長上限より長い場合には、ステップＳ１６６へ移行する。一方、行動ラベル群が学習済みの言語モデルの入力長上限以下である場合には、ステップＳ１６８へ移行する。

【0085】

ステップＳ１６６では、ＣＰＵ１１は、生成部６２として、行動ラベル群における各行動ラベルの出現頻度を集計し、出現頻度順に各行動ラベルを並べ、学習済みの言語モデルの入力長上限におさまるように、上位Ｎ個の行動ラベルを抽出し、抽出された行動ラベル以外の行動ラベルを削除し、新たな行動ラベル群とする。

【0086】

ステップＳ１６８で、ＣＰＵ１１は、生成部６２として、並び替えた行動ラベル群を学習済みの言語モデルへと入力し、文ベクトルを生成する。

【0087】

ステップＳ１７０で、ＣＰＵ１１は、生成部６２として、得られた文ベクトルを出力する。

【0088】

上記ステップＳ１５０、Ｓ１５２の処理において、異常行動を判定する方法は２通りある。一方の方法では、手順文の文ベクトルとの類似度が、取り出した全ての手順文に対して低い場合、どの手順文にも該当していない行動として異常行動であると判定する。

【0089】

他方の方法では、手順の順序を考慮する。手順の順序を考慮する場合の、上記ステップＳ１５０、Ｓ１５２の処理における詳細動作を図９に示す。

【0090】

ステップＳ１８０で、ＣＰＵ１１は、算出した類似度を高い順に上位Ｍ個、異常判定部６６に入力する。

【0091】

ステップＳ１８２で、ＣＰＵ１１は、異常判定部６６として、入力された行動ラベル群が、映像の先頭から取り出した映像セグメント（以降先頭セグメントと表記）のものであるか否かを判定する。入力された行動ラベル群が、映像の先頭セグメントのものであった場合、ステップＳ１８８へ移行する。一方、入力された行動ラベル群が、映像の先頭セグメントのものでない場合、ステップＳ１８４へ移行する。

【0092】

ステップＳ１８４では、ＣＰＵ１１は、異常判定部６６として、入力された類似度Ｍ個の中に、一つ前の映像セグメントについて類似度が最も高かった手順文の文ベクトルと同じ文ベクトルと比較した類似度があるかどうかを判定する。入力された類似度Ｍ個の中に、一つ前の映像セグメントについて類似度が最も高かった手順文の文ベクトルと同じ文ベクトルと比較した類似度がある場合には、ステップＳ１８６へ移行する。一方、入力された類似度Ｍ個の中に、一つ前の映像セグメントについて類似度が最も高かった手順文の文ベクトルと同じ文ベクトルと比較した類似度がない場合には、ステップＳ１８８へ移行する。

【0093】

ステップＳ１８６では、ＣＰＵ１１は、異常判定部６６として、入力された類似度Ｍ個のうちの、一つ前の映像セグメントについて類似度が最も高かった手順文の文ベクトルと同じ文ベクトルと比較した類似度が、一つ前の映像セグメントについての同じ類似度より高いか否かを判定する。入力された類似度Ｍ個のうちの、一つ前の映像セグメントについて類似度が最も高かった手順文の文ベクトルと同じ文ベクトルと比較した類似度が、一つ前の映像セグメントについての同じ類似度より高い場合いは、ステップＳ１９２へ移行する。一方、入力された類似度Ｍ個のうちの、一つ前の映像セグメントについて類似度が最も高かった手順文の文ベクトルと同じ文ベクトルと比較した類似度が、一つ前の映像セグメントについての同じ類似度以下である場合には、ステップＳ１８８へ移行する。

【0094】

ステップＳ１８８では、入力された類似度Ｍ個のうちの最も高い類似度が、閾値より低いか否かを判定する。入力された類似度Ｍ個のうちの最も高い類似度が、閾値より低い場合には、ステップＳ１９０へ移行する。一方、入力された類似度Ｍ個のうちの最も高い類似度が、閾値以上である場合には、ステップＳ１９２へ移行する。

【0095】

ステップＳ１９０では、ＣＰＵ１１は、異常判定部６６として、人の行動が異常であることを示すラベルを出力する。ステップＳ１９２では、ＣＰＵ１１は、異常判定部６６として、人の行動が正常であることを示すラベルを出力する。

【0096】

以上説明したように、第１実施形態に係る学習装置は、手順に含まれる行動を表す学習用の映像データから、人の行動に関する行動ラベルを検出し、学習用の映像データに対して予め定められた手順文を表す文ベクトルを生成するように、行動ラベルから文ベクトルを生成する言語モデルを学習する。これにより、手順とは異なる異常行動を精度よく判定するための言語モデルを学習することができる。

【0097】

また、第１実施形態に係る異常行動判定装置は、人の行動を表す映像データから検出された、人の行動に関する行動ラベルに基づいて、行動ラベルから文ベクトルを生成する予め学習された言語モデルを用いて、文ベクトルを生成し、生成された文ベクトルと、手順文データベースに記憶された手順文を表す文ベクトルとの類似度を算出し、算出された類似度に基づいて、人の行動が異常であるか否かを判定する。これにより、映像で撮影された手順のある作業において、手順とは異なる異常行動を精度よく判定することができる。

【0098】

［第２実施形態］
次に、第２実施形態について説明する。なお、第１実施形態と同様の構成となる部分については、同一符号を付して説明を省略する。

【0099】

第２実施形態では、文ベクトルの類似度を用いるのではなく、行動ラベル群から手順文を生成し、手順文の類似度を算出して、人の行動が、手順と異なり異常であるか否かを判定する点が、第１実施形態と異なっている。

【0100】

＜第２実施形態の概要＞
第２実施形態では、行動ラベル群を入力として文を生成し、生成した文と手順文を入力として類似度を算出し、算出した類似度を入力として人の行動が異常であるか否かを判定する。

【0101】

＜第２実施形態に係る学習装置の構成＞
第２実施形態の学習装置は、文ベクトル生成部２２が不要な点以外は、上記第１実施形態の学習装置１０と同様であるため、同一符号を付して説明を省略する。

【0102】

第２実施形態の学習装置１０の手順文データベース２４は、作業マニュアルに含まれる複数の手順文の各々を記憶している。

【0103】

モデル学習部３０は、学習用の映像データに対して予め定められた手順文を生成するように、行動ラベルから文を生成する言語モデルを学習する。

【0104】

具体的には、モデル学習部３０は、ラベル検出部２８より学習用の映像データから検出された行動ラベル群を受け取る。また、モデル学習部３０は、手順文データベース２４より、学習用の映像データに対応付けられた正解となる手順文を取り出す。モデル学習部３０は、学習用の映像データから検出された行動ラベル群から、学習対象である言語モデルを用いて、文を生成する。例えば、生成される文は、各単語の発生確率で表される。モデル学習部３０は、正解となる手順文と、生成した文とを比較して評価し、正解となる手順文と、生成した文とが一致するように、言語モデルを更新して言語モデルを出力する。ここで言語モデルは、非特許文献５のように翻訳等で用いられるＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ型のニューラルネットワークのモデルなどである。

【0105】

［非特許文献５］Jinhua Zhu and Yingce Xia and Lijun Wu and Di He and Tao Qin and Wengang Zhou and Houqiang Li and Tieyan Liu. Incorporating BERT into Neural Machine Translation. ICLR2020.

【0106】

＜第２実施形態に係る異常行動判定装置の構成＞
第２実施形態の異常行動判定装置は、上記第１実施形態の異常行動判定装置５０と同様であるため、同一符号を付して説明を省略する。

【0107】

手順文データベース６０には、手順文データベース２４と同様に、作業マニュアルに含まれる複数の手順文の各々を記憶している。

【0108】

生成部６２は、入力された行動ラベル群に基づいて、学習装置１０により予め学習された言語モデルを用いて、文を生成する。

【0109】

類似度算出部６４は、生成部６２により生成された文と、手順文データベース６０に記憶された手順文との類似度を算出する。

【0110】

異常判定部６６は、類似度算出部６４によって算出された類似度に基づいて、人の行動が、手順と異なり異常であるか否かを判定する。

【0111】

＜第２実施形態に係る学習装置の作用＞
次に、第２実施形態に係る学習装置１０の作用について説明する。なお、第１実施形態と同様の処理については同一符号を付して詳細な説明を省略する。

【0112】

図１０は、学習装置１０による学習処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から学習プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、学習処理が行なわれる。また、学習装置１０に、学習用の映像データが複数入力され、学習用データベース２６に格納される。

【0113】

ステップＳ１１０で、ＣＰＵ１１は、ラベル検出部２８として、学習用データベース２６から複数の学習用の映像データを取り出し、それぞれを入力とする。

【0114】

ステップＳ１１２で、ＣＰＵ１１は、ラベル検出部２８として、複数の学習用の映像データの各々から、行動ラベル群を検出する。

【0115】

ステップＳ１１４で、ＣＰＵ１１は、モデル学習部３０として、複数の学習用の映像データの各々から検出された行動ラベル群を取得し、入力とする。

【0116】

ステップＳ２００で、ＣＰＵ１１は、モデル学習部３０として、手順文データベース２４より、複数の学習用の映像データの各々に対応付けられた正解となる手順文を取り出す。ＣＰＵ１１は、複数の学習用の映像データの各々から検出された行動ラベル群から、学習対象である言語モデルを用いて、文を生成する。ＣＰＵ１１は、正解となる手順文と、生成した文とを比較して評価し、正解となる手順文と、生成した文とが一致するように、言語モデルを更新する。

【0117】

ステップＳ１１８で、ＣＰＵ１１は、モデル学習部３０として、更新した言語モデルを出力する。

【0118】

上記ステップＳ１１４、Ｓ２００の処理における詳細動作を図１１に示す。

【0119】

ステップＳ１２０で、ＣＰＵ１１は、モデル学習部３０として、複数の学習用の映像データの各々から検出された行動ラベル群を取得し、入力とする。

【0120】

ステップＳ１２２で、ＣＰＵ１１は、モデル学習部３０として、行動ラベル群の各行動ラベルを＜人ラベル 動作ラベル 物体ラベル＞の順に並べ替える。

【0121】

ステップＳ１２４で、ＣＰＵ１１は、モデル学習部３０として、行動ラベル群が、学習対象の言語モデルの入力長上限より長いかを判断する。行動ラベル群が、学習対象の言語モデルの入力長上限より長い場合には、ステップＳ１２６へ移行する。一方、行動ラベル群が、学習対象の言語モデルの入力長上限以下である場合には、ステップＳ２１０へ移行する。

【0122】

ステップＳ１２６で、ＣＰＵ１１は、モデル学習部３０として、行動ラベル群における各行動ラベルの出現頻度を集計し、出現頻度順に各行動ラベルを並べ、学習対象の言語モデルの入力長上限におさまるように、上位Ｎ個の行動ラベルを抽出し、抽出された行動ラベル以外の行動ラベルを削除し、新たな行動ラベル群とする。

【0123】

ステップＳ２１０で、ＣＰＵ１１は、モデル学習部３０として、並び替えた行動ラベル群を学習対象の言語モデルへと入力し、文を生成する。

【0124】

ステップＳ２１２で、ＣＰＵ１１は、モデル学習部３０として、生成された文と、手順文データベース２４から取得した、当該学習用の映像データに紐づけられた正解の手順文との間で、評価関数による損失を算出する。具体的には、生成した文が表す各単語の出現確率と、正解の手順文の各単語とがどの程度異なるかを評価する評価関数による損失を算出する。例えば、評価関数により、正解の手順文の各単語の出現確率が１に近いほど損失が低く、正解の手順文に含まれない各単語の出現確率が０に近いほど損失が低くなるように損失を計算する。

【0125】

ステップＳ１３２で、ＣＰＵ１１は、モデル学習部３０として、得られた損失から勾配を計算し、言語モデルのパラメータをバックプロパゲーションで更新する。

【0126】

ステップＳ１３４で、ＣＰＵ１１は、モデル学習部３０として、更新した言語モデルを出力する。

【0127】

＜第２実施形態に係る異常行動判定装置の作用＞
次に、第２実施形態に係る異常行動判定装置５０の作用について説明する。

【0128】

図１２は、異常行動判定装置５０による異常行動判定処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から異常行動判定プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、異常行動判定処理が行なわれる。また、異常行動判定装置５０に、人の行動を表す映像データから検出された行動ラベル群が入力される。ここで、行動ラベル群は非特許文献３に示すような手法で検出済みとする。

【0129】

ステップＳ２２０で、ＣＰＵ１１は、入力された行動ラベル群を、生成部６２に入力する。そして、ＣＰＵ１１は、生成部６２として、行動ラベル群から文を生成する。

【0130】

ステップＳ２２２で、ＣＰＵ１１は、生成した文を類似度算出部６４に入力する。

【0131】

ステップＳ２２４で、ＣＰＵ１１は、手順文データベース６０から手順文を各々取り出し、類似度算出部６４に入力する。ここで、手順文データベース６０からの手順文の取り出しには、手順の順序を考慮してもよい。例えば、一つ前の映像セグメントの行動ラベル群について最も類似度が高いと判断された手順文のＩＤ等を保持しておき、当該手順文の手順の前後Ｔ個の手順文を取り出すようにしてもよい。これにより、手順文との類似度の計算量を削減できる。

【0132】

ステップＳ２２６で、ＣＰＵ１１は、類似度算出部６４として、取り出した手順文の各々について、当該手順文と生成した文との類似度を算出する。なお、類似度の指標としては、機械翻訳で使用される非特許文献６のＢＬＥＵや非特許文献７のＲＯＵＧＥ等を用いればよく、その他、文間の類似度が測定できる指標を用いてもよい。

【0133】

［非特許文献６］Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a method for automatic evaluation of machine translation. ACL2002.

【0134】

［非特許文献７］Lin, Chin-Yew. ROUGE: A Package for Automatic Evaluation of summaries. ACL Workshop: Text Summarization Braches Out 2004.

【0135】

ステップＳ１５０で、ＣＰＵ１１は、類似度算出部６４として、算出した類似度を異常判定部６６へ出力する。

【0136】

ステップＳ１５２で、ＣＰＵ１１は、異常判定部６６として、類似度と閾値とを比較し、人の行動が、手順と異なり異常であるか否かを判定し、判定結果を示すラベルを出力し、異常行動判定処理を終了する。

【0137】

上記ステップＳ２００の処理における詳細動作を図１３に示す。図１３に示す動作は、映像セグメントごとの行動ラベル群について繰り返し行われる。なお、映像セグメントのセグメント長は、アプリケーションに依存する。

【0138】

ステップＳ１６０で、ＣＰＵ１１は、行動ラベル群を生成部６２に入力する。

【0139】

ステップＳ１６２で、ＣＰＵ１１は、生成部６２として、行動ラベル群の各行動ラベルを＜人ラベル 動作ラベル 物体ラベル＞の順に並べ替える。

【0140】

ステップＳ１６４で、ＣＰＵ１１は、生成部６２として、行動ラベル群が学習済みの言語モデルの入力長上限より長いか否かを判定する。行動ラベル群が学習済みの言語モデルの入力長上限より長い場合には、ステップＳ１６６へ移行する。一方、行動ラベル群が学習済みの言語モデルの入力長上限以下である場合には、ステップＳ２３０へ移行する。

【0141】

ステップＳ１６６では、ＣＰＵ１１は、生成部６２として、行動ラベル群における各行動ラベルの出現頻度を集計し、出現頻度順に各行動ラベルを並べ、学習済みの言語モデルの入力長上限におさまるように、上位Ｎ個の行動ラベルを抽出し、抽出された行動ラベル以外の行動ラベルを削除し、新たな行動ラベル群とする。

【0142】

ステップＳ２３０で、ＣＰＵ１１は、生成部６２として、並び替えた行動ラベル群を学習済みの言語モデルへと入力し、文を生成する。

【0143】

ステップＳ２３２で、ＣＰＵ１１は、生成部６２として、得られた文を出力する。

【0144】

以上説明したように、第２実施形態に係る学習装置は、手順に含まれる行動を表す学習用の映像データから、人の行動に関する行動ラベルを検出し、学習用の映像データに対して予め定められた手順文を生成するように、行動ラベルから文を生成する言語モデルを学習する。これにより、手順とは異なる異常行動を精度よく判定するための言語モデルを学習することができる。

【0145】

また、第２実施形態に係る異常行動判定装置は、人の行動を表す映像データから検出された、人の行動に関する行動ラベルに基づいて、行動ラベルから文を生成する予め学習された言語モデルを用いて、文を生成し、生成された文と、手順文データベースに記憶された手順文との類似度を算出し、算出された類似度に基づいて、人の行動が異常であるか否かを判定する。これにより、映像で撮影された手順のある作業において、手順とは異なる異常行動を精度よく判定することができる。

【0146】

＜変形例＞
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0147】

例えば、映像データではなく、音声データから行動ラベルを検出するようにしてもよい。この場合、音声データから検出した動作ラベルと人ラベルの組み合わせを行動ラベルとすればよい。また、映像データと音声データとの組み合わせから行動ラベルを検出するようにしてもよい。この場合、音声データから検出した動作ラベルと人ラベルと、映像データから検出した物体ラベルとの組み合わせを行動ラベルとしてもよい。

【0148】

また、学習装置と異常行動判定装置とを別々の装置として構成する場合を例に説明したが、これに限定されるものではなく、学習装置と異常行動判定装置とを一つの装置として構成してもよい。

【0149】

また、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、学習処理及び異常行動判定処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0150】

また、上記各実施形態では、学習プログラム及び異常行動判定プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0151】

以上の実施形態に関し、更に以下の付記を開示する。

【0152】

（付記項１）
一連の手順の各々についての、前記手順に含まれる少なくとも一つの行動を表す複数の手順文、又は前記複数の手順文の各々を表す文ベクトルを記憶する手順文データベースを含む学習装置であって、
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
前記手順に含まれる行動を表す学習用の映像データ又は音声データから、人の行動に関する行動ラベルを検出し、
前記学習用の映像データ又は音声データに対して予め定められた前記手順文、又は前記手順文を表す文ベクトルを生成するように、前記行動ラベルから文又は文ベクトルを生成する言語モデルを学習する
ように構成される学習装置。

【0153】

（付記項２）
学習処理を実行するように、一連の手順の各々についての、前記手順に含まれる少なくとも一つの行動を表す複数の手順文、又は前記複数の手順文の各々を表す文ベクトルを記憶する手順文データベースを含むコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記学習処理は、
前記手順に含まれる行動を表す学習用の映像データ又は音声データから、人の行動に関する行動ラベルを検出し、
前記学習用の映像データ又は音声データに対して予め定められた前記手順文、又は前記手順文を表す文ベクトルを生成するように、前記行動ラベルから文又は文ベクトルを生成する言語モデルを学習する
非一時的記憶媒体。

【0154】

（付記項３）
一連の手順の各々についての、前記手順に含まれる少なくとも一つの行動を表す複数の手順文、又は前記複数の手順文の各々を表す文ベクトルを記憶する手順文データベースを含む異常行動判定装置であって、
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
人の行動を表す映像データ又は音声データから検出された、人の行動に関する行動ラベルに基づいて、前記行動ラベルから文又は文ベクトルを生成する予め学習された言語モデルを用いて、前記文又は文ベクトルを生成し、
前記生成された前記文又は文ベクトルと、前記手順文データベースに記憶された前記手順文、又は前記手順文を表す文ベクトルとの類似度を算出し、
前記算出された類似度に基づいて、前記人の行動が異常であるか否かを判定する
ように構成される異常行動判定装置。

【0155】

（付記項４）
異常行動判定処理を実行するように、一連の手順の各々についての、前記手順に含まれる少なくとも一つの行動を表す複数の手順文、又は前記複数の手順文の各々を表す文ベクトルを記憶する手順文データベースを含むコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記異常行動判定処理は、
人の行動を表す映像データ又は音声データから検出された、人の行動に関する行動ラベルに基づいて、前記行動ラベルから文又は文ベクトルを生成する予め学習された言語モデルを用いて、前記文又は文ベクトルを生成し、
前記生成された前記文又は文ベクトルと、前記手順文データベースに記憶された前記手順文、又は前記手順文を表す文ベクトルとの類似度を算出し、
前記算出された類似度に基づいて、前記人の行動が異常であるか否かを判定する
非一時的記憶媒体。

【符号の説明】

【0156】

１０ 学習装置
１１ ＣＰＵ
１４ ストレージ
２０ 作業マニュアルデータベース
２２ 文ベクトル生成部
２４ 手順文データベース
２６ 学習用データベース
２８ ラベル検出部
３０ モデル学習部
５０ 異常行動判定装置
６０ 手順文データベース
６２ 生成部
６４ 類似度算出部
６６ 異常判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】