特許 7472658 行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-15

(45)【発行日】2024-04-23

(54)【発明の名称】行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラム

(51)【国際特許分類】

   G06N 7/01 20230101AFI20240416BHJP

   G06N 20/20 20190101ALI20240416BHJP

   G06F 18/214 20230101ALI20240416BHJP

【ＦＩ】

G06N7/01

G06N20/20

G06F18/214

【請求項の数】 6

(21)【出願番号】P 2020096207

(22)【出願日】2020-06-02

(65)【公開番号】P2021189892

(43)【公開日】2021-12-13

【審査請求日】2023-03-09

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】藤本 純也

(72)【発明者】

【氏名】中山 收文

【審査官】山本 俊介

(56)【参考文献】

【文献】特開２０２０－３８４４０（ＪＰ，Ａ）

【文献】国際公開第２０１８／０４７８６３（ＷＯ，Ａ１）

【文献】特開２０１９－１８５４８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １８／２１４

(57)【特許請求の範囲】

【請求項1】

人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習する観測確率学習部と、
前記観測確率学習部にて学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習する遷移確率学習部と、
前記観測確率学習部で学習した前記観測確率及び前記遷移確率学習部で学習した前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する構築部と、
を含む行動区間推定モデル構築装置。

【請求項2】

前記遷移確率学習部は、前記第１教師ありデータにノイズを付加してオーバーサンプリングすることで生成したデータの各々に前記第１教師ありデータの教師情報を付加することで水増しをする、
請求項１に記載の行動区間推定モデル構築装置。

【請求項3】

前記ノイズはランダムノイズである、
請求項２に記載の行動区間推定モデル構築装置。

【請求項4】

前記ノイズは、前記複数の動作のサンプルの散らばりが大きいほど大きくばらつくノイズである、
請求項２に記載の行動区間推定モデル構築装置。

【請求項5】

コンピュータが、
人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習し、
学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習し、
学習した前記観測確率及び前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する、
行動区間推定モデル構築方法。

【請求項6】

人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習し、
学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習し、
学習した前記観測確率及び前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する、
処理をコンピュータに実行させる行動区間推定モデル構築プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラムに関する。

【背景技術】

【0002】

ディープラーニング技術の発展により通常のRGBカメラで撮影した人の映像から姿勢を高精度に認識できるようになり、この認識情報を利用して人の行動を推定する様々な研究開発が行われている。当該状況下において、人の映像から検出した姿勢の時系列データから指定した行動が発生した時間区間を推定する取り組みが行われている。

【先行技術文献】

【非特許文献】

【0003】

【文献】山本龍一、酒向慎司、北村正、「隠れセミマルコフモデルと線形動的システムを組み合わせた音楽音響信号と楽譜の実時間アライメント手法」、研究報告音楽情報科学（MUS）、2012年

【文献】Shun-ZhengYu、「Hidden semi-Markov models」、Artificial Intelligence、Volume 174、Issue 2、2010年2月、215-243頁

【文献】若林啓、三浦孝夫、「階層型隠れマルコフモデルの高速パラメータ推定」、電子情報通信学会論文誌、2011年

【文献】”映像から人の様々な行動を認識するAI技術「行動分析技術 Actlyzer」を開発”、［ｏｎｌｉｎｅ］、２０１９年１１月２５日、富士通株式会社、［２０２０年１月１６日検索］、インターネット（ＵＲＬ：ｈｔｔｐｓ：／／ｐｒ．ｆｕｊｉｔｓｕ．ｃｏｍ／ｊｐ／ｎｅｗｓ／２０１９／１１／２５．ｈｔｍｌ）

【発明の概要】

【発明が解決しようとする課題】

【0004】

行動の時間区間を推定するモデルを学習させる際の教師ありデータの教師情報を作成するコストが高い。

【0005】

本開示は、１つの側面として、行動区間推定モデルを効率的に構築することを目的とする。

【課題を解決するための手段】

【0006】

１つの実施形態では、隠れセミマルコフモデルは、人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む。隠れセミマルコフモデルにおいて、複数の第１隠れマルコフモデルの動作の種類ごとの観測確率を教師なし学習で学習する。学習した観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、第１隠れマルコフモデルの動作の遷移確率を第２教師ありデータを使用した教師あり学習で学習する。学習した観測確率及び遷移確率を使用して行動の区間を推定するモデルである隠れセミマルコフモデルを構築する。

【発明の効果】

【0007】

本開示は、１つの側面として、行動区間推定モデルを効率的に構築することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態の隠れセミマルコフモデルを例示する概念図である。

【図2】本実施形態の機能構成を例示するブロック図である。

【図3】本実施形態の第１隠れマルコフモデルの状態を例示する概念図である。

【図4】教師ありデータの水増しを説明する概念図である。

【図5】教師ありデータの水増しを説明する概念図である。

【図6】教師ありデータの水増しを説明する概念図である。

【図7】教師ありデータの水増しを説明する概念図である。

【図8】本実施形態のハードウェア構成を例示するブロック図である。

【図9】行動区間推定モデル構築処理の流れを例示するフローチャートである。

【図10】特徴ベクトル抽出処理の流れを例示するフローチャートである。

【図11】行動区間推定処理の流れを例示するフローチャートである。

【図12】関連技術の行動を説明する概念図である。

【図13】関連技術の階層型隠れマルコフモデルを例示する概念図である。

【図14】関連技術の概要を例示する概念図である。

【図15】本実施形態の概要を例示する概念図である。

【発明を実施するための形態】

【0009】

本実施形態では、人の行動が発生した時間区間を推定する行動区間推定モデルの一例として、図１に例示するような隠れセミマルコフモデル（以下、ＨＳＭＭ（Hidden semi-Markov model）という。）を構築する。ＨＳＭＭは、隠れマルコフモデル（以下、ＨＭＭ（Hidden Markov model）という。）のパラメータに加え、状態毎の継続時間の確率分布をパラメータとしてもつ。

【0010】

本実施形態のＨＳＭＭは、人の動作の各々を状態とする複数の第１ＨＭＭの各々であって、かつ、各々が複数の動作を組み合わせて定まる行動を状態とする第２ＨＭＭを含む。ｍ１、ｍ２、ｍ３は動作の一例であり、ａ１、ａ２、ａ３は行動の一例である。行動は、複数の動作の組合せであり、動作は、複数の姿勢の組合せである。

【0011】

パラメータを設定することで構築されたＨＳＭＭに人の姿勢を検知することで生成された時系列センサデータが与えられると、ＨＳＭＭは最適な行動の時間区間（以下、行動区間という。）を推定する。ｄ１、ｄ２、ｄ３は行動区間の一例である。

【0012】

ＨＭＭのパラメータには、観測確率及び遷移確率が存在する。Ｏ１、…、Ｏ８は観測確率の一例であり、遷移確率は状態をつなぐ矢印に対応する確率である。観測確率とは、各状態において、ある特徴が観測される確率であり、遷移確率とは、ある状態から別の状態に遷移する確率である。遷移の順番が定まっている場合は、遷移確率は不要である。なお、動作の数、行動の数、即ち、第１ＨＭＭの数は例示であり、図１に例示される数に限定されない。

【0013】

図２は、本実施形態の行動区間推定モデル構築装置１０の機能ブロック図の一例である。行動区間推定モデル構築装置１０は、観測確率学習部１１、遷移確率学習部１２、構築部１３を有する。観測確率学習部１１は、以下に説明するように、教師なしデータで行動区間推定モデルの一例であるＨＳＭＭの観測確率を学習する。

【0014】

本実施形態では、ある作業目標を達成するための限定された行動を対象とする。このような行動は、例えば、工場のラインで行われる定型作業での行動であり、以下の性質を有する。
性質１：作業を構成する各行動の違いは、限定された複数の動作の組合せの違いである。
性質２：同じ作業を行う際に観測される複数の姿勢は類似している。

【0015】

本実施形態では、性質１に基づいて、全ての行動が１つの動作群に含まれる動作で構成される。図３に例示するように、動作群には、例えば、３つの動作ｍ１１、ｍ１２、ｍ１３が含まれている。

【0016】

例えば、動作ｍ１１は「腕を上げる」、動作ｍ１２は「腕を降ろす」、動作ｍ１３は「腕を前に伸ばす」であってよい。動作群に含まれる動作の数は図３の例に限定されない。また、各行動に含まれる動作の数も図３の例に限定されない。

【0017】

図３のＨＭＭにおいて、破線矢印に対応する各動作の観測確率は行動には依存しないため、行動区間の教師なしデータで学習することができる。学習は、例えば、機械学習、ニューラルネットワーク、ディープラーニングなどを使用して行う。

【0018】

詳細には、観測確率の教師なし学習に使用するモデルは混合ガウス分布（以下、ＧＭＭ（Gaussian Mixture Model）という。）であってよい。各観測は動作のうちの１つの動作が確率的に選択され、その動作についてのガウス分布により生成されると仮定する。これは、観測の時系列的な依存関係を使用しない教師あり学習とは異なる仮定である。学習したＧＭＭの各ガウス分布のパラメータを各動作における観測確率の確率分布であるガウス分布に割り当てる。

【0019】

遷移確率学習部１２は、以下に説明するように、教師情報をもつ学習データ（以下、教師ありデータという。）で、第１ＨＭＭの動作の遷移確率を学習する。教師情報は、姿勢の時系列データに対して各行動が発生している時間区間の正解を与える情報である。学習は、例えば、最尤推定やＥＭアルゴリズム（Expectation-Maximization algorithm）などを使用して行う（その他の機械学習、ニューラルネットワーク、ディープラーニングなどの方式を使用してもよい）。

【0020】

教師ありデータの生成には、時間及び労力がかかる。したがって、本実施形態では、観測確率学習部１１で学習した観測確率を固定し、既存の教師ありデータから遷移確率を学習する。

【0021】

詳細には、図４に例示するように、第１教師ありデータの一例である既存の教師ありデータのデータを種データＳＤとし、種データＳＤにノイズを付加し、オーバーサンプリングすることでデータを水増しする。上記性質２によれば、同じ作業の姿勢は類似しているため、ノイズを付加することで、図５に例示するように実際の観測毎のばらつきに類似したばらつきをもつデータを生成することができる。ノイズは、例えば、ランダムノイズであってよい。

【0022】

種データＳＤの教師情報ＴＩを、水増ししたデータの各々に共通に適用することで教師ありデータを水増しする。第２教師ありデータの一例である水増しした教師ありデータを使用して、第１ＨＭＭの複数の動作の遷移確率を教師あり学習で学習する。

【0023】

オーバーサンプリングでは、各時刻の観測サンプルに所定の範囲のノイズを生成して付加する。ノイズを生成する際に、当該観測サンプルを生成した確率が高い動作を特定し、当該動作のサンプル群と別の動作のサンプル群との特徴空間内での広がり方の関係を考慮して適切な大きさのノイズを生成して付加する。これにより、より適切な教師ありデータを生成することができる。

【0024】

例えば、特定した動作のサンプル群の共分散の定数倍の共分散の多変量ガウス分布から生成したノイズを付加してもよい。また、特定した動作のサンプル群から最も中心距離が近い動作のサンプル群までの中心距離ｄを算出し、特徴空間の各軸方向の標準偏差がｄの定数倍となる等方性のガウス分布（共分散行列が対角行列である）から生成したノイズを付加してもよい。

【0025】

各動作のサンプル群に含まれるサンプルの散らばり、即ち、特徴空間内での広がりには差がある。即ち、散らばりが非常に小さい動作もあるし、非常に大きい動作もある。全ての動作について一律の範囲のランダムノイズを使用した場合、ある動作のサンプル群が散らばりの大きいサンプルを含むと、ランダムノイズによるばらつかせ方が相対的に小さい。一方、ある動作のサンプル群が散らばりの小さいサンプルを含むと、ランダムノイズによるばらつかせ方が相対的に大きい

【0026】

図６は、動作ｍ３１、動作ｍ３２、及び動作ｍ３３のサンプル群を例示する。図７は、動作ｍ３２のサンプル群にランダムノイズを付加した状態を例示する。図７では、ランダムノイズの範囲が大きいため、元の動作ｍ３２から離れているサンプルが多い。このような場合にも、上記したように、ある動作のサンプル群と別の動作のサンプル群との特徴空間内での広がり方の関係を考慮して適切な大きさのノイズを付加することで、より適切な教師ありデータを水増しすることができる。

【0027】

構築部１３は、観測確率学習部１１で学習した観測確率、及び遷移確率学習部１２で学習した状態遷移確率を使用して、図１に例示するようなＨＳＭＭを構築する。Ｏ１、Ｏ２、…、Ｏ８は、観測確率学習部１１で学習した観測確率を表し、行動ａ１、ａ２、ａ３の各々に含まれる動作ｍ１、ｍ２、及びｍ３間の矢印は、遷移確率学習部１２で学習した状態遷移確率に対応する。ｄ１、ｄ２、ｄ３は、各行動の継続時間を表し、継続時間の確率分布は、教師情報の行動の継続時間から決定される。例えば、継続時間の確率分布は、一定範囲の一様分布であってよい。構築したＨＳＭＭに、センサで人の姿勢を検知して生成したセンサデータを適用して、各行動の時間区間である行動区間を推定する。推定についての詳細は、後述する。

【0028】

本実施形態の行動区間推定モデル構築装置１０は、以下の特徴を有する。
１．第１ＨＭＭの全行動で共通な動作の観測確率は教師なし学習で学習する。
２．第１ＨＭＭの動作間の遷移確率は、教師あり種データから水増しした教師ありデータを使用して、教師あり学習で学習する。

【0029】

行動区間推定モデル構築装置１０は、一例として、図８に示すように、ＣＰＵ（Central Processing Unit）５１、一次記憶装置５２、二次記憶装置５３、及び、外部インターフェイス５４を含む。ＣＰＵ５１は、ハードウェアであるプロセッサの一例である。ＣＰＵ５１、一次記憶装置５２、二次記憶装置５３、及び、外部インターフェイス５４は、バス５９を介して相互に接続されている。ＣＰＵ５１は、単一のプロセッサであってもよいし、複数のプロセッサであってもよい。また、ＣＰＵ５１に代えて、例えば、ＧＰＵ（Graphics Processing Unit）が使用されてもよい。

【0030】

一次記憶装置５２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶装置５３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの不揮発性のメモリである。

【0031】

二次記憶装置５３は、プログラム格納領域５３Ａ及びデータ格納領域５３Ｂを含む。プログラム格納領域５３Ａは、一例として、行動区間推定モデル構築プログラムなどのプログラムを記憶している。データ格納領域５３Ｂは、一例として、教師ありデータ、教師なしデータ、学習した観測確率、及び遷移確率などを記憶する。

【0032】

ＣＰＵ５１は、プログラム格納領域５３Ａから行動区間推定モデル構築プログラムを読み出して一次記憶装置５２に展開する。ＣＰＵ５１は、行動区間推定モデル構築プログラムをロードして実行することで、図２の観測確率学習部１１、遷移確率学習部１２、及び、構築部１３として動作する。

【0033】

なお、行動区間推定モデル構築プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶装置５２に展開されてもよい。また、行動区間推定モデル生成プログラムなどのプログラムは、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶装置５２に展開されてもよい。

【0034】

外部インターフェイス５４には外部装置が接続され、外部インターフェイス５４は、外部装置とＣＰＵ５１との間の各種情報の送受信を司る。図８では、外部インターフェイス５４に、ディスプレイ５５Ａ及び外部記憶装置５５Ｂが接続されている例を示している。外部記憶装置５５Ｂには、例えば、教師ありデータ、教師なしデータ、及び、構築したＨＳＭＭなどを記憶する。ディスプレイ５５Ａは、例えば、構築したＨＳＭＭモデルを視認可能に表示する。

【0035】

行動区間推定モデル構築装置１０は、例えば、パーソナルコンピュータ、サーバ、及び、クラウド上のコンピュータなどであってよい。

【0036】

図９に、行動区間推定モデル構築処理の流れを例示する。ＣＰＵ５１は、ステップ１０１で、後述するように、学習データから人の姿勢の連鎖である運動を表す特徴ベクトルを抽出する。ＣＰＵ５１は、ステップ１０２で、ステップ１０１で抽出した特徴ベクトルのクラスタリング（ＧＭＭのパラメータ推定）により、要素となる動作に分類し、各動作の観測確率を教師なし学習で学習する。

【0037】

ＣＰＵ５１は、ステップ１０３で、教師あり種データにノイズを付加し、オーバーサンプリングして生成したデータに教師あり種データの教師情報を付与することで、教師ありデータを水増しする。ＣＰＵ５１は、ステップ１０４で、教師ありデータについて、教師情報で与えられた各行動の時間区間毎に特徴ベクトルを振り分ける。

【0038】

ＣＰＵ５１は、ステップ１０５で、ステップ１０４で振り分けた時間区間内の特徴ベクトルの系列を観測データとして、ステップ１０３で水増しした教師ありデータを使用し、第１ＨＭＭの動作の遷移確率を教師あり学習で学習する。

【0039】

ＣＰＵ５１は、ステップ１０６で、各行動の継続時間の確率分布として、教師情報で与えられた各行動の継続時間に対して所定の範囲の一様分布を設定する。ＣＰＵ５１は、ステップ１０２で学習した観測確率及びステップ１０５で学習した遷移確率を使用して、ＨＳＭＭを構築する。ステップ１０６の設定で一定時間継続後に教師情報で与えられた各行動の順番に第２ＨＭＭの行動が遷移するＨＳＭＭを構築する。構築したＨＳＭＭは、例えば、データ格納領域５３Ｂに格納されてもよい。

【0040】

図１０は、図９のステップ１０１の特徴ベクトル抽出処理の詳細を例示する。ＣＰＵ５１は、ステップ１５１で、学習に使用するデータから人を検出し、追跡することで、人の姿勢情報を取得する。ＣＰＵ５１は、ステップ１５２で、ステップ１５１で取得した姿勢情報が複数人の姿勢情報を含む場合、姿勢情報の時系列データから分析対象とする姿勢情報の時系列データを取得する。分析対象とする姿勢情報は、人を囲むバウンディングボックスの大きさ、及び時間などから選択する。

【0041】

ＣＰＵ５１は、ステップ１５３で、ステップ１５２で取得した姿勢情報の時系列データから身体の各部位についての運動情報の時系列データを取得する。運動情報の時系列とは、例えば、各部位の曲げの程度、曲げの速度などであってよい。各部位とは、例えば、肘、膝などであってよい。

【0042】

ＣＰＵ５１は、ステップ１５４で、スライディングタイムウィンドウにより一定の時間間隔毎にウィンドウ内のステップ１５３の運動情報を時間方向で平均化して特徴ベクトルを算出する。

【0043】

図１１に、本実施形態で構築したＨＳＭＭを使用した行動区間推定処理の流れを例示する。図８の行動区間推定モデル構築装置１０は、構築したＨＳＭＭをデータ格納領域５３Ｂに格納することで行動区間推定装置として機能してもよい。

【0044】

ＣＰＵ５１は、ステップ２０１で、センサで人の姿勢を検知することにより生成されたセンサデータから特徴ベクトルを抽出する。センサは、人の姿勢を検知するデバイスであり、例えば、カメラ、赤外線センサ、モーションキャプチャデバイスなどであってよい。図１１のステップ２０１は、図１０のステップ１０１と同様であるため、詳細な説明は省略する。

【0045】

ＣＰＵ５１は、ステップ２０２で、ステップ２０１で抽出した特徴ベクトルの系列を観測データとして、行動区間推定モデル構築処理で構築したＨＳＭＭと照合して各行動状態の継続時間を推定する。ＣＰＵ５１は、ステップ２０３で、ステップ２０２で推定した各行動状態の継続時間から各行動の時間区間を推定する。

【0046】

例えば、映像を入力として、映像における特定の行動を認識するような技術では、基本動作認識、要素行動認識、及び上位行動認識を行う。映像における特定の行動とは、要素行動の組合せで、さらに複雑な上位行動であり、基本動作認識とは、フレーム毎の姿勢認識であり、要素行動認識とは、時間的空間的認識を行い、ある程度の時間長における単純行動を認識することである。上位行動認識とは、ある程度の時間長における複雑行動の認識である。当該技術において、本実施形態の行動区間推定モデル構築処理及び構築した行動区間推定モデルを適用し、行動区間を推定することができる。

【0047】

関連技術では、行動に含まれる動作が特に限定されないＨＳＭＭが使用され得る。当該関連技術では、図１２に例示するように、例えば、以下の動作が存在すると仮定する。
（１）腕を上げる、（２）腕を降ろす、（３）腕を前に伸ばす、（４）両手を身体の前で近づける、（５）前に移動する、（６）横に移動する、（７）しゃがむ、（８）立つ

【0048】

行動の例は、例えば、以下の通りである。
行動ａ３１：（１）腕を上げる→（３）腕を前に伸ばす→（１）腕を上げる→（４）両手を身体の前で近づける→（７）しゃがむ、
行動ａ３２：（７）しゃがむ→（４）両手を身体の前で近づける→（８）立つ→（５）前に移動する→（３）腕を前に伸ばす、など

【0049】

上記のように、一般的な行動の動作、即ち、推定する行動が制限されない複数の動作をＨＭＭが含む場合、動作の観測確率を１つの単純な確率分布で表すことは困難である。この問題に対処するために、階層型隠れマルコフモデルを使用する技術が存在する。階層型隠れマルコフモデルは、図１３に例示するように、上位階層ＨＭＭが複数の下位階層ＨＭＭを状態として含む。行動ａ５１、ａ５２、及びａ５３は、下位階層ＨＭＭの例である。下位階層ＨＭＭの各々は、動作を状態として含み、ｍ５１、ｍ５２、ｍ５３、ｍ６１、ｍ６２、ｍ６３、ｍ７１、ｍ７２、及びｍ７３は、動作の例である。

【0050】

階層型ＨＭＭでは、図１４に例示するように、教師情報ＴＩＬをもつ学習データＬＤを使用して、各行動の動作の観測確率及び遷移確率を教師あり学習で学習する。図１４では、行動ａ５１の観測確率ｐ１１、遷移確率ｐ２１、行動ａ５２の観測確率ｐ１２、遷移確率ｐ２２、行動ａ５３の観測確率ｐ１３、遷移確率ｐ２３を例示する。しかしながら、階層型ＨＭＭでは、パラメータの数が多く、パラメータの自由度が高いため、パラメータの学習のために教師ありデータを多数使用する。教師ありデータの教師情報を作成するには、時間及び労力を要する。

【0051】

一方、本開示では、図１５に例示するように、ＨＳＭＭの行動に対応する第１ＨＭＭの各々で共通の観測確率ｐ１は教師なしデータＬＤＮを使用して教師なし学習で学習する。学習した観測確率ｐ１を固定して、第１ＨＭＭの各々の動作の遷移確率ｐ２１Ｄ、ｐ２２Ｄ、ｐ２３Ｄを教師ありデータを使用して教師あり学習で学習する。本開示では、既存の教師ありデータＬＤＤにノイズを付加しオーバーサンプリングし生成したデータに、教師ありデータＬＤＤの教師情報ＴＩＬを付加することで、教師ありデータを水増しして教師あり学習に使用する。したがって、本実施形態では、既存の教師ありデータが少ない場合でも、行動区間推定モデルを効率的に構築することができる。

【0052】

本実施形態では、隠れセミマルコフモデルは、人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む。隠れセミマルコフモデルにおいて、複数の第１隠れマルコフモデルの動作の種類ごとの観測確率を教師なし学習で学習する。学習した観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、第１隠れマルコフモデルの動作の遷移確率を第２教師ありデータを使用した教師あり学習で学習する。学習した観測確率及び遷移確率を使用して行動の区間を推定するモデルである隠れセミマルコフモデルを構築する。

【0053】

本開示によれば、行動区間推定モデルを効率的に構築することができる。即ち、例えば、工場での定型作業のように決まった順序で動作を行う複数の行動について、発生する順序に制約があるという条件の下で各行動の時間区間を正確に推定することができる。

【0054】

以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習する観測確率学習部と、
前記観測確率学習部にて学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習する遷移確率学習部と、
前記観測確率学習部で学習した前記観測確率及び前記遷移確率学習部で学習した前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する構築部と、
を含む行動区間推定モデル構築装置。
（付記２）
前記遷移確率学習部は、前記第１教師ありデータにノイズを付加してオーバーサンプリングすることで生成したデータの各々に前記第１教師ありデータの教師情報を付加することで水増しをする、
付記１の行動区間推定モデル構築装置。
（付記３）
前記ノイズはランダムノイズである、
付記２の行動区間推定モデル構築装置。
（付記４）
前記ノイズは、前記複数の動作のサンプルの散らばりが大きいほど大きくばらつくノイズである、
付記２の行動区間推定モデル構築装置。
（付記５）
コンピュータが、
人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習し、
学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習し、
学習した前記観測確率及び前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する、
行動区間推定モデル構築方法。
（付記６）
前記第１教師ありデータにノイズを付加してオーバーサンプリングすることで生成したデータの各々に前記第１教師ありデータの教師情報を付加することで水増しをする、
付記５の行動区間推定モデル構築方法。
（付記７）
前記ノイズはランダムノイズである、
付記６の行動区間推定モデル構築方法。
（付記８）
前記ノイズは、前記複数の動作のサンプルの散らばりが大きいほど大きくばらつくノイズである、
付記６の行動区間推定モデル構築方法。
（付記９）
人の動作の種類を状態とする複数の第１隠れマルコフモデルの各々であって、かつ、複数の前記動作を組み合わせて定まる行動を状態とする第２隠れマルコフモデルを含む隠れセミマルコフモデルにおいて、前記複数の第１隠れマルコフモデルの前記動作の種類ごとの観測確率を教師なし学習で学習し、
学習した前記観測確率を固定し、入力された第１教師ありデータを水増しすることで第２教師ありデータとし、前記第１隠れマルコフモデルの前記動作の遷移確率を前記第２教師ありデータを使用した教師あり学習で学習し、
学習した前記観測確率及び前記遷移確率を使用して前記行動の区間を推定するモデルである前記隠れセミマルコフモデルを構築する、
処理をコンピュータに実行させる行動区間推定モデル構築プログラム。
（付記１０）
前記第１教師ありデータにノイズを付加してオーバーサンプリングすることで生成したデータの各々に前記第１教師ありデータの教師情報を付加することで水増しをする、
付記９の行動区間推定モデル構築プログラム。
（付記１１）
前記ノイズはランダムノイズである、
付記１０の行動区間推定モデル構築プログラム。
（付記１２）
前記ノイズは、前記複数の動作のサンプルの散らばりが大きいほど大きくばらつくノイズである、
付記１０の行動区間推定モデル構築プログラム。

【符号の説明】

【0055】

１０ 行動区間推定モデル構築装置
１１ 観測確率学習部
１２ 遷移確率学習部
１３ 構築部
５１ ＣＰＵ
５２ 一次記憶装置
５３ 二次記憶装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】