知財求人 - 知財ポータルサイト「IP Force」
特開2023-31051ラベリングシステム、活動認識システム、及び教材生成システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023031051
(43)【公開日】2023-03-08
(54)【発明の名称】ラベリングシステム、活動認識システム、及び教材生成システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230301BHJP
G06N 20/00 20190101ALI20230301BHJP
【ＦＩ】
G06T7/00 350B
G06N20/00 130
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021136520
(22)【出願日】2021-08-24
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】コーペラ ジョセフ
(72)【発明者】
【氏名】秋山 高行
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096JA03
5L096JA11
5L096KA04
(57)【要約】
【課題】時系列データに含まれる活動に対応するデータに対して容易且つ適切にラベルを付けることができるようにする。
【解決手段】ラベリングシステム１において、プロセッサ（１０２、１０３、１０４）と、時系列データを入力として、時系列データに含まれる高レベル活動を示すラベルである高レベルラベルと、高レベル活動に含まれる複数の低レベル活動を示す低レベルラベルとを出力する機械学習モデルとを含み、プロセッサは、機械学習モデルを用いて高レベルラベル及び低レベルラベルを出力し、表示させ、時系列データに含まれる高レベルラベルについての入力を受け付け、時系列データに受け付けた高レベルラベルに対応する高レベル活動が含まれるとして、機械学習モデルを訓練し、訓練後の機械学習モデルを用いて、高レベルラベル及び低レベルラベルを出力するように構成する。
【選択図】図１
【解決手段】ラベリングシステム１において、プロセッサ（１０２、１０３、１０４）と、時系列データを入力として、時系列データに含まれる高レベル活動を示すラベルである高レベルラベルと、高レベル活動に含まれる複数の低レベル活動を示す低レベルラベルとを出力する機械学習モデルとを含み、プロセッサは、機械学習モデルを用いて高レベルラベル及び低レベルラベルを出力し、表示させ、時系列データに含まれる高レベルラベルについての入力を受け付け、時系列データに受け付けた高レベルラベルに対応する高レベル活動が含まれるとして、機械学習モデルを訓練し、訓練後の機械学習モデルを用いて、高レベルラベル及び低レベルラベルを出力するように構成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
時系列データに含まれる活動に対するラベリングを行うラベリングシステムであって、
前記活動には、低レベル活動と、複数の前記低レベル活動により構成される高レベル活動とを含み、
前記ラベリングシステムは、
プロセッサと、
時系列データを入力として、前記時系列データに含まれる高レベル活動を示すラベルである高レベルラベルと、前記高レベル活動に含まれる複数の低レベル活動を示す低レベルラベルとを出力する機械学習モデルを含み、
前記プロセッサは、
前記機械学習モデルを用いて、対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを出力し、
出力された対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを表示させ、
前記時系列データに含まれる高レベルラベルについての入力を受け付け、
前記時系列データに受け付けた高レベルラベルに対応する高レベル活動が含まれるとして、前記機械学習モデルを訓練し、
訓練後の前記機械学習モデルを用いて、対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを出力する
ラベリングシステム。
前記活動には、低レベル活動と、複数の前記低レベル活動により構成される高レベル活動とを含み、
前記ラベリングシステムは、
プロセッサと、
時系列データを入力として、前記時系列データに含まれる高レベル活動を示すラベルである高レベルラベルと、前記高レベル活動に含まれる複数の低レベル活動を示す低レベルラベルとを出力する機械学習モデルを含み、
前記プロセッサは、
前記機械学習モデルを用いて、対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを出力し、
出力された対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを表示させ、
前記時系列データに含まれる高レベルラベルについての入力を受け付け、
前記時系列データに受け付けた高レベルラベルに対応する高レベル活動が含まれるとして、前記機械学習モデルを訓練し、
訓練後の前記機械学習モデルを用いて、対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを出力する
ラベリングシステム。
【請求項2】
前記機械学習モデルは、
時系列データを入力として、前記時系列データにおける複数の低レベル活動の確率である低レベル活動確率を時系列で出力する低レベルモデルと、
低レベル活動確率を時系列で入力して、この低レベル活動確率に時系列データに含まれる高レベル活動を示すラベルである高レベルラベルを出力する高レベルモデルと、
低レベル活動確率と、高レベルラベルとを入力して、時系列データに含まれる複数の低レベル活動を示す低レベルラベルを出力するシーケンシャルモデルと、を含み、
前記プロセッサは、
前記時系列データに受け付けた高レベルラベルに対応する高レベル活動が含まれるとして、前記高レベルモデルを訓練し、
訓練後の前記高レベルモデルを用いて、対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを出力する
請求項１に記載のラベリングシステム。
時系列データを入力として、前記時系列データにおける複数の低レベル活動の確率である低レベル活動確率を時系列で出力する低レベルモデルと、
低レベル活動確率を時系列で入力して、この低レベル活動確率に時系列データに含まれる高レベル活動を示すラベルである高レベルラベルを出力する高レベルモデルと、
低レベル活動確率と、高レベルラベルとを入力して、時系列データに含まれる複数の低レベル活動を示す低レベルラベルを出力するシーケンシャルモデルと、を含み、
前記プロセッサは、
前記時系列データに受け付けた高レベルラベルに対応する高レベル活動が含まれるとして、前記高レベルモデルを訓練し、
訓練後の前記高レベルモデルを用いて、対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを出力する
請求項１に記載のラベリングシステム。
【請求項3】
前記プロセッサは、
前記高レベルラベルに対する入力をユーザから受け付けた場合に、前記高レベルモデルの訓練をせずに、前記受けつけた高レベルラベルを、前記シーケンシャルモデルの入力として、対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを出力する
請求項２に記載のラベリングシステム。
前記高レベルラベルに対する入力をユーザから受け付けた場合に、前記高レベルモデルの訓練をせずに、前記受けつけた高レベルラベルを、前記シーケンシャルモデルの入力として、対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを出力する
請求項２に記載のラベリングシステム。
【請求項4】
前記高レベルモデルは、複数の高レベルラベルと、対象時系列データに前記高レベルラベルに対応する高レベル活動が含まれる重要度とを出力し、
前記プロセッサは、
ユーザに対して、高レベルラベルと、前記重要度とを認識可能に出力する
請求項２に記載のラベリングシステム。
前記プロセッサは、
ユーザに対して、高レベルラベルと、前記重要度とを認識可能に出力する
請求項２に記載のラベリングシステム。
【請求項5】
前記プロセッサは、
ユーザから前記時系列データに含まれる高レベルラベルについての入力として、前記時系列データに含まれる高レベル活動の新たな高レベルラベルの指定、又は、前記出力された高レベルラベルの変更指示を受け付ける
請求項２に記載のラベリングシステム。
ユーザから前記時系列データに含まれる高レベルラベルについての入力として、前記時系列データに含まれる高レベル活動の新たな高レベルラベルの指定、又は、前記出力された高レベルラベルの変更指示を受け付ける
請求項２に記載のラベリングシステム。
【請求項6】
前記プロセッサは、
前記ユーザから前記時系列データに含まれる低レベルラベル活動の新たな低レベルラベルの指定、又は、前記出力された低レベルラベルの変更指示を受け付け、
前記時系列データに前記受け付けた低レベルラベルに対応する低レベル活動が含まれるとして、前記低レベルモデルを訓練する
請求項５に記載のラベリングシステム。
前記ユーザから前記時系列データに含まれる低レベルラベル活動の新たな低レベルラベルの指定、又は、前記出力された低レベルラベルの変更指示を受け付け、
前記時系列データに前記受け付けた低レベルラベルに対応する低レベル活動が含まれるとして、前記低レベルモデルを訓練する
請求項５に記載のラベリングシステム。
【請求項7】
前記ラベリングシステムは、
単一の情報処理装置により構成される
請求項１に記載のラベリングシステム。
単一の情報処理装置により構成される
請求項１に記載のラベリングシステム。
【請求項8】
前記ラベリングシステムは、
サーバと、前記サーバにネットワークを介して接続された情報処理装置により構成される
請求項１に記載のラベリングシステム。
サーバと、前記サーバにネットワークを介して接続された情報処理装置により構成される
請求項１に記載のラベリングシステム。
【請求項9】
前記時系列データは、人間の活動を撮影した映像データ又は人間が装着可能なセンサのセンサデータである
請求項１に記載のラベリングシステム。
請求項１に記載のラベリングシステム。
【請求項10】
時系列データに含まれる活動を認識する活動認識システムであって、
前記活動には、低レベル活動と、複数の前記低レベル活動により構成される高レベル活動とを含み、
前記活動認識システムは、
プロセッサと、
請求項１に記載のラベリングシステムにより訓練されている、時系列データを入力として、前記時系列データに含まれる高レベル活動を示すラベルである高レベルラベルと、前記高レベル活動に含まれる複数の低レベル活動を示す低レベルラベルとを出力する機械学習モデルとを含み、
前記プロセッサは、
人間の活動を撮影した映像データ又は人間が装着可能なセンサのセンサデータである
時系列データの入力を逐次的に受け付け、
前記機械学習モデルを用いて、対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを逐次出力し、
逐次出力される高レベルラベル及び低レベルラベルに基づいて、人間の活動を逐次認識する
活動認識システム。
前記活動には、低レベル活動と、複数の前記低レベル活動により構成される高レベル活動とを含み、
前記活動認識システムは、
プロセッサと、
請求項１に記載のラベリングシステムにより訓練されている、時系列データを入力として、前記時系列データに含まれる高レベル活動を示すラベルである高レベルラベルと、前記高レベル活動に含まれる複数の低レベル活動を示す低レベルラベルとを出力する機械学習モデルとを含み、
前記プロセッサは、
人間の活動を撮影した映像データ又は人間が装着可能なセンサのセンサデータである
時系列データの入力を逐次的に受け付け、
前記機械学習モデルを用いて、対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを逐次出力し、
逐次出力される高レベルラベル及び低レベルラベルに基づいて、人間の活動を逐次認識する
活動認識システム。
【請求項11】
前記プロセッサは、
前記認識した人間の活動が、異常な活動であるか否かを判定する
請求項１０に記載の活動認識システム。
前記認識した人間の活動が、異常な活動であるか否かを判定する
請求項１０に記載の活動認識システム。
【請求項12】
低レベル活動と、複数の前記低レベル活動により構成される高レベル活動とを含む活動における高レベル活動と低レベル活動との関係を示す教材を生成する教材生成システムであって、
前記教材生成システムは、
プロセッサと、
請求項１に記載のラベリングシステムにより訓練されている、時系列データを入力として、前記時系列データに含まれる高レベル活動を示すラベルである高レベルラベルと、前記高レベル活動に含まれる複数の低レベル活動を示す低レベルラベルとを出力する機械学習モデルとを含み、
前記プロセッサは、
前記機械学習モデルを用いて、所定の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを出力し、
出力された時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルに基づいて、高レベルラベルと低レベルラベルとの対応関係を示す情報を集約した教材を生成する
教材生成システム。
前記教材生成システムは、
プロセッサと、
請求項１に記載のラベリングシステムにより訓練されている、時系列データを入力として、前記時系列データに含まれる高レベル活動を示すラベルである高レベルラベルと、前記高レベル活動に含まれる複数の低レベル活動を示す低レベルラベルとを出力する機械学習モデルとを含み、
前記プロセッサは、
前記機械学習モデルを用いて、所定の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを出力し、
出力された時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルに基づいて、高レベルラベルと低レベルラベルとの対応関係を示す情報を集約した教材を生成する
教材生成システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、時系列データに含まれる活動に対応するデータに対してラベルを付ける技術等に関する。
【背景技術】
【0002】
時系列データに基づく活動認識は、多種多様な領域への応用がある主要な研究トピックである。近年、ディープラーニングのような機械学習技術の急速な改良が、産業および商業環境における活動認識の新しい応用の可能性を開いている。
【0003】
活動認識のために機械学習モデルを展開する際に直面する重要な問題の１つは、機械学習モデルを構築するために必要な大量の訓練データにラベルを付ける必要があることである。
【0004】
この問題に対して、特許文献１には、与えられたラベルなしデータサンプルにラベル付けされたときのモデル性能における期待される改善に基づいて、特定のラベルなしデータサンプルを積極的に選択することによって、ラベル付けされる必要がある訓練データの量を減らす方法が示されている。
【0005】
しかし、この方法は、ラベル付け効率を改善するために処理される訓練データの量を減らすことに依存しており、処理しているラベルなし時系列データをすべて見直し、ラベル付けしたい場合に対処するものではない。
【0006】
一方、非特許文献１には、全てのラベルなしデータを処理する場合の効率を改善するための方法が開示されている。この方法は、活動のサイクル内の個々の繰り返しについての自動ラベリングから得られる性能の向上であり、単純で、周期的な活動、例えば、歩行又は走行の繰り返しをカウントする場合においてのみ適用可能である。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】米国特許出願公開特開２００７－１３３６６４号公報
【非特許文献】
【0008】
【非特許文献1】Martindale, Christine F and Hoenig, Florian and Strohrmann, Christina and Eskofier, Bjoern M,”Smart annotation of cyclic data using hierarchical hidden Markov models”,Sensors, Multidisciplinary Digital Publishing Institute，2017,Vol.17,No.10,P.2328
【発明の概要】
【発明が解決しようとする課題】
【0009】
機械学習モデルの訓練データとして使用するために、時系列データにラベリングするプロセスは、多大なコストがかかる可能性があり、このプロセスの効率を向上させることが要請されている。
【0010】
特許文献１は、データ中の稀なイベントを認識できるようにするモデルを構築する場合のように、ラベルなしデータの稀なイベントを含む全てに対してラベルを付しておく必要がある場合には、対処することができない。
【0011】
一方、非特許文献１は、歩行や走行のような単純な繰り返しの活動にラベル付けする場合にのみ適用することができ、ユースケースが制限される。
【0012】
本発明は、上記事情に鑑みなされたものであり、その目的は、時系列データに含まれる活動に対応するデータに対して容易且つ適切にラベルを付けることができる技術を提供することにある。
【課題を解決するための手段】
【0013】
上記目的を達成するため、一観点に係るラベリングシステムは、時系列データに含まれる活動に対するラベリングを行うラベリングシステムであって、前記活動には、低レベル活動と、複数の前記低レベル活動により構成される高レベル活動とを含み、前記ラベリングシステムは、プロセッサと、時系列データを入力として、前記時系列データに含まれる高レベル活動を示すラベルである高レベルラベルと、前記高レベル活動に含まれる複数の低レベル活動を示す低レベルラベルとを出力する機械学習モデルとを含み、前記プロセッサは、前記機械学習モデルを用いて、対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを出力し、出力された対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを表示させ、前記時系列データに含まれる高レベルラベルについての入力を受け付け、前記時系列データに受け付けた高レベルラベルに対応する高レベル活動が含まれるとして、前記機械学習モデルを訓練し、訓練後の前記機械学習モデルを用いて、対象の時系列データに含まれる高レベル活動及び低レベル活動の高レベルラベル及び低レベルラベルを出力する。
【発明の効果】
【0014】
本発明によれば、時系列データに含まれる活動に対応するデータに対して容易且つ適切にラベルを付けることができる。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0017】
以下の説明では、「ＡＡＡデータセット」の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ＡＡＡデータセット」を「ＡＡＡ情報」と呼ぶことができる。
【0018】
図１は、第１実施形態に係るラベリングシステムの機能構成図である。
【0019】
ラベリングシステム１は、ラベル付き時系列データデータセット１０１と、ラベル無し時系列データデータセット１０５とを記憶し、階層活動認識モデル訓練部１０２と、機械アノテーション部１０３と、人間アノテーション部１０４とを含む。
【0020】
ラベル付き時系列データデータセット１０１は、ラベルが付けられた時系列データを格納する。ここで、時系列データは、例えば、活動を行う人物を撮影した映像データ又は活動を行う人物に装着されたセンサによる時系列のセンサデータである。活動としては、例えば、人物が製品（例えば、洗濯機、冷蔵庫等）を作成する活動（高レベル活動）であり、それぞれの製品を作成する活動（高レベル活動）の中には、その製品を作成する活動に含まれる複数の下位の活動（低レベル活動）が含まれる。低レベル活動は、例えば、洗濯機を作成する活動の場合には、例えば、パネルを取付ける活動、ネジを差し込む活動、ボルトを差し込む活動等がある。時系列データに対するラベルとしては、時系列データにおける高レベル活動を示す高レベルラベルと、低レベル活動を示す低レベルラベルとがある。ラベル付き時系列データデータセット１０１における時系列データに対しては、時系列データ中の高レベル活動が行われている期間（高レベル活動期間）には、高レベルラベルが付され、高レベル活動期間内の低レベル活動が行われている部分期間（サブセグメント）に対して低レベルラベルが付されている。なお、ラベルが付けられた時系列データは、例えば、或る活動に対する時系列データのうちの一部の高レベル活動に対して、この高レベル活動の高レベルラベルと、含まれる低レベル活動の低レベルラベルとを付したものでもよい。
【0021】
階層活動認識モデル訓練部１０２は、ラベル無し時系列データにおける高レベルラベルと低レベルラベルとを推定するための機械学習モデル（階層活動認識モデル）を、ラベル付き時系列データを用いて訓練する。
【0022】
ラベル無し時系列データデータセット１０５は、ラベルが付けられていない時系列データ、すなわち、ラベリングシステム１でラベル付けを行う対象とする時系列データを格納する。
【0023】
機械アノテーション部１０３は、ラベル無し時系列データデータセット１０５のラベル無し時系列データを階層活動認識モデル訓練部１０２で訓練された機械学習モデルに入力して、時系列データに付する高レベルラベル及び低レベルラベルを推定する。
【0024】
人間アノテーション部１０４は、時系列データを、機械アノテーション部１０３により推定された時系列データに付する高レベルラベル及び低レベルラベルと共に、ユーザインターフェース（例えば、図１１参照）により表示し、推定されたラベル（高レベルラベル及び／又は低レベルラベル）の修正や、時系列データに対する新たなラベル（高レベルラベル及び／又は低レベルラベル）の作成の入力を受け付ける。この場合、人間アノテーション部１０４は、入力に基づいて、ラベル無し時系列データをラベル付きの時系列データとし、ラベル付き時系列データデータセット１０１に追加する。
【0025】
この後、階層活動認識モデル訓練部１０２がラベル付き時系列データデータセット１０１を用いて、機械学習モデルを訓練し、機械アノテーション部１０３が新たに訓練された機械学習モデルを用いて、上記同様な処理を行ってもよい。
【0026】
次に、階層活動認識モデル訓練部１０２の階層活動認識モデル訓練処理３００について説明する。
【0027】
【0028】
階層活動認識モデル訓練部１０２は、時系列データデータセット２０１（図４参照）の時系列データＳと、低レベルラベルデータセット２０５（図６参照）の低レベルラベルＬと、高レベルラベルデータセット２０７（図７参照）の高レベルラベルＨとを入力する（ステップ３０１）。ここで、図１におけるラベル付き時系列データデータセット１０１と、ラベル無し時系列データデータセット１０５とは、時系列データデータセット２０１と、低レベルラベルデータセット２０５と、高レベルラベルデータセット２０７とにより構成される。
【0029】
階層活動認識モデル訓練部１０２は、低レベルモデル２０２を構築し、時系列データと、認証済みの低レベルラベルＬ（認証済み６０６がＴｒｕｅのエントリ）とを用いて低レベルモデル２０２を訓練する（ステップ３０２）。低レベルモデル２０２は、時系列データを入力して、時系列データに含まれる低レベル活動についての想定されている各低レベル活動の種類（低レベルクラス）に属する確率（低レベルクラス確率）を時系列で出力する。低レベルモデル２０２は、深層学習モデル、例えば、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ ｍｅｍｏｒｙ）であってよい。
【0030】
階層活動認識モデル訓練部１０２は、時系列データＳを低レベルモデル２０２に入力して、時系列データＳについての各時刻（タイムスタンプの時刻）における低レベルクラス確率Ｐを生成する（ステップ３０３）。生成された低レベルクラス確率Ｐは、低レベルクラス確率データセット２０３に格納される。
【0031】
階層活動認識モデル訓練部１０２は、高レベルモデル２０４を構築し、低レベルクラス確率と、認証済みの高レベルラベルＨとを用いて、訓練する（ステップ３０４）。高レベルモデル２０４は、低レベルクラス確率を入力して、高レベルモデル２０４を高レベルラベルを出力する。高レベルモデル２０４は、例えば、ＫＮＮ（Ｋ－Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）分類器である。なお、高レベルモデル２０４は、深層学習モデル、例えば、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ ｍｅｍｏｒｙ）であってもよいが、より単純なモデルを使用することで、より少ない訓練データで訓練することができる。
【0032】
階層活動認識モデル訓練部１０２は、シーケンシャルモデル２０６を構築し、各高レベル活動の種類（高レベルクラス）のそれぞれのクラス（対象クラスｃ）について、低レベルクラス確率Ｐと、認証済み且つ高ラベルクラスが対象クラスｃである高レベルラベルＨ（Ｍという）と、認証済み且つ親ラベルがＭである低レベルラベルＬを用いて、シーケンシャルモデル２０６を訓練する（ステップ３０５）。シーケンシャルモデル２０６は、高レベルクラスのそれぞれに対応付けられたモデルであり、低レベルクラス確率Ｐを入力し、対応する高レベルクラスに対応する高レベル活動における低レベル活動の低レベルラベルＬを出力する。シーケンシャルモデル２０６は、例えば、低レベルクラス確率を観測量とし、低レベルラベルを隠れ状態とするＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｋｌ）である。
【0033】
階層活動認識モデル訓練部１０２は、機械アノテーション部１０３で使用される低レベルクラス確率Ｐを出力する（ステップ３０６）。
【0034】
次に、時系列データデータセット２０１の構成について説明する。
【0035】
図４は、第１実施形態に係る時系列データデータセットの構成図である。
【0036】
時系列データデータセット２０１は、時系列データの各サンプルに対応するエントリを格納する。時系列データデータセット２０１のエントリは、タイムスタンプ４０１と、時系列データ４０２とのカラムを含む。
【0037】
タイムスタンプ４０１には、エントリに対応するサンプルの時刻を示すタイムスタンプが格納される。例えば、時系列データデータセット２０１にＨ個のサンプルがあるとすると、最初のサンプルのタイムスタンプをＴ１で示し、最後のサンプルのタイムスタンプを、ＴＨで示す。時系列データ４０２には、エントリに対応するサンプルの時点におけるデータが格納される。時系列データ４０２に格納されるデータは、複数のオブジェクト又は値から構成されてもよく、例えば、時系列データとして、３軸加速度計のデータとする場合には、３つの軸のそれぞれの値から構成されてもよい。図４の例では、Ｈ番目のサンプルのデータにおけるＪ番目の値については、ＳＨ，Ｊで示している。
【0038】
次に、低レベルクラス確率データセット２０３の構成について説明する。
【0039】
図５は、第１実施形態に係る低レベルクラス確率データセットの構成図である。
【0040】
低レベルクラス確率データセット２０３は、所定のサンプルの時点毎のエントリを格納する。低レベルクラス確率データセット２０３のエントリは、タイムスタンプ５０１と、低レベルクラス確率５０２とのカラムを含む。
【0041】
タイムスタンプ５０１には、エントリに対応するサンプルの時刻を示すタイムスタンプが格納される。例えば、低レベルクラス確率データセット２０３にＨ個のサンプルがあるとすると、最初のサンプルのタイムスタンプをＴ１で示し、最後のサンプルのタイムスタンプを、ＴＨで示す。なお、本実施形態では、低レベルクラス確率データセット２０３でのサンプルの時刻は、時系列データデータセット２０１のサンプルの時刻と１対１で対応する例としているが、これ以外に対応していてもよい。
【0042】
低レベルクラス確率５０２には、エントリに対応するタイムスタンプの時刻における時系列データに含まれる各低レベルクラスの確率（低レベルクラス確率：低レベル活動確率）が格納される。低レベルクラス確率は、各レベルクラスに対応する確率のベクトルとなっている。低レベルクラス確率は、低レベルモデル２０２で対象とする全クラスＫ個のそれぞれに対して１つずつの確率値を含んでいる。図５においては、Ｈ番目のタイムスタンプにおけるＫ番目の低レベルクラスの確率値を、ＰＨ（ＬＣＫ）で示している。
【0043】
次に、低レベルラベルデータセット２０５の構成について説明する。
【0044】
図６は、第１実施形態に係る低レベルラベルデータセットの構成図である。
【0045】
低レベルラベルデータセット２０５は、時系列データに対する低レベルラベル毎のエントリを格納する。低レベルラベルデータセット２０５のエントリは、低レベルラベル６０１と、親高レベルラベル６０２と、開始時刻６０３と、終了時刻６０４と、ラベルクラス６０５と、認証済み６０６とのカラムを含む。
【0046】
低レベルラベル６０１には、エントリに対応する低レベルラベルを示すインデックスが格納される。低レベルラベルデータセット２０５にＮ個の低レベルラベルがあるとすると、最初の低レベルラベルのインデックスをＬＬ１で示し、最後の低レベルラベルのインデックスをＬＬＮで示す。親高レベルラベル６０２には、エントリに対応する低レベルラベルを含む親レベルラベルの高レベルラベルデータセット２０７でのインデックス（高レベルラベルインデックス）が格納される。低レベルラベルデータセット２０５における親高レベルラベル６０２には、各高レベルラベルインデックスが０以上格納される。
【0047】
開始時刻６０３には、時系列データにおいて、エントリに対応する低レベルラベルに対応する低レベル活動が開始される時刻（開始時刻）が格納される。低レベルラベルデータセット２０５にＮ個の低レベルラベルがあるとすると、最初の低レベルラベルの開始時刻をＬＳ１で示し、最後の低レベルラベルの開始時刻をＬＳＮで示す。終了時刻６０４には、時系列データにおいて、エントリに対応する低レベルラベルに対応する低レベル活動が終了する時刻（終了時刻）が格納される。低レベルラベルデータセット２０５にＮ個の低レベルラベルがあるとすると、最初の低レベルラベルの終了時刻をＬＥ１で示し、最後の低レベルラベルの終了時刻をＬＥＮで示す。本実施形態では、時系列データにおいて２つの低レベルラベルが重なることがないものとし、低レベルラベルデータセット２０５において、開始時刻ＬＳａ＜終了時刻ＬＥｂ且つ開始時刻ＬＳｂ＜終了時刻ＬＥａとなるような２つの低レベルラベルＬＬａ及びＬＬｂは存在しない。
【0048】
ラベルクラス６０５には、エントリに対応する低レベルラベルの低レベル活動を示す低レベルラベルクラスが格納される。本実施形態では、低レベルラベルクラスは、低レベルモデル２０２が対象とするクラスの合計数であるＫ個存在する。低レベルラベルデータセット２０５におけるラベルクラス６０５には、各低レベルラベルクラスが０以上格納される。認証済み６０６には、エントリに対応する低レベルラベルについて人間のアノテータがラベルの正しさを確認したか否かを示すブーリアン型の値、すなわち、Ｔｒｕｅ（真）又はＦａｌｓｅ（偽）が格納される。認証済み６０６の値は、階層活動認識モデルを訓練する時に、どのラベルが訓練データであるかを決定するために使用される。
【0049】
次に、高レベルラベルデータセット２０７の構成について説明する。
【0050】
図７は、第１実施形態に係る高レベルラベルデータセットの構成図である。
【0051】
高レベルラベルデータセット２０７は、時系列データに対する高レベルラベル毎のエントリを格納する。高レベルラベルデータセット２０７のエントリは、高レベルラベル７０１と、開始時刻７０２と、終了時刻７０３と、ラベルクラス７０４と、認証済み７０５とのカラムを含む。
【0052】
高レベルラベル７０１には、エントリに対応する高レベルラベルを示すインデックスが格納される。高レベルラベルデータセット２０７にＭ個の高レベルラベルがあるとすると、最初の高レベルラベルのインデックスをＨＬ１で示し、最後の高レベルラベルのインデックスをＨＬＭで示す。
【0053】
開始時刻７０２には、時系列データにおいて、エントリに対応する高レベルラベルに対応する高レベル活動が開始される時刻（開始時刻）が格納される。高レベルラベルデータセット２０７にＭ個の高レベルラベルがあるとすると、最初の高レベルラベルの開始時刻をＨＳ１で示し、最後の高レベルラベルの開始時刻をＨＳＭで示す。終了時刻７０３には、時系列データにおいて、エントリに対応する高レベルラベルに対応する高レベル活動が終了する時刻（終了時刻）が格納される。高レベルラベルデータセット２０７にＭ個の高レベルラベルがあるとすると、最初の高レベルラベルの終了時刻をＨＥ１で示し、最後の低レベルラベルの終了時刻をＨＥＭで示す。本実施形態では、時系列データにおいて２つの高レベルラベルが重なることがないものとし、高レベルラベルデータセット２０７において開始時刻ＨＳａ＜終了時刻ＨＥｂ且つ開始時刻ＨＳｂ＜終了時刻ＨＥａとなるような２つの高レベルラベルＨＬａ及びＨＬｂは存在しない。
【0054】
ラベルクラス７０４には、エントリに対応する高レベルラベルの高レベル活動を示す高レベルラベルクラスが格納される。本実施形態では、高レベルラベルクラスは、高レベルモデル２０４が対象とするクラスの合計数であるJ個存在する。高レベルラベルデータセット２０７におけるラベルクラス７０４には、各高レベルラベルクラスが０以上格納される。認証済み７０５には、エントリに対応する高レベルラベルについて人間のアノテータがラベルの正しさを確認したか否かを示すブーリアン型の値が格納される。認証済み７０５の値は、階層活動認識モデルを訓練する時に、どのラベルが訓練データであるかを決定するために使用される。
【0055】
次に、機械アノテーション部１０３の機械アノテーション処理９００を説明する。
【0056】
【0057】
機械アノテーション部１０３は、低レベルラベルデータセット２０５の低レベルラベルＬと、高レベルラベルデータセット２０７の高レベルラベルＨと、低レベルクラス確率データセット２０３の低レベルクラス確率Ｐとを入力する（ステップ９０１）。
【0058】
機械アノテーション部１０３は、高レベルラベルＨ及び低レベルラベルＬから認証されていないラベルを削除する（ステップ９０２）。具体的には、機械アノテーション部１０３は、高レベルラベルＨの中の認証済み７０５の値がＴｒｕｅであるラベルを高レベルラベルＨに設定し、低レベルラベルＬの中の認証済み６０６の値がＴｒｕｅであるラベルを低レベルラベルＬに設定する。
【0059】
機械アノテーション部１０３は、時系列データから得られた低レベルクラス確率Ｐを高レベルモデル２０４に入力することで、時系列データにおけるラベル無しの時間区間に対しての高レベルラベルＲを予測し、予測した高レベルラベルＲのすべてについて認証済みをＦａｌｓｅに設定する（ステップ９０３）。
【0060】
機械アノテーション部１０３は、高レベルラベルＲを高レベルラベルＨと混合して、新たな高レベルラベルＨに設定する（ステップ９０４）。
【0061】
機械アノテーション部１０３は、高レベルラベルＨの各高レベルラベルｈについて、高レベルラベルｈに対応するシーケンシャルモデル２０６を、低レベルクラス確率データセット２０３の高レベルラベルｈに対応する時間区間に対して実行することにより、その時間区間についての低レベルラベルＮのシーケンスを予測する。次いで、機械アノテーション部１０３は、これらの予測された低レベルラベルＮについての認証済みのカラムをＦａｌｓｅに設定する（ステップ９０５）。
【0062】
機械アノテーション部１０３は、低レベルラベルＮを低レベルラベルＬと混合して、新たな低レベルラベルＬに設定する（ステップ９０６）。次いで、機械アノテーション部１０３は、低レベルラベルＬと高レベルラベルＨとを人間のアノテーションにおいてレビューさせるために出力として人間アノテーション部１０４に渡す（ステップ９０７）。
【0063】
次に、人間アノテーション部１０４による人間アノテーション処理を含む全体処理について説明する。
【0064】
図１０は、第１実施形態に係る全体処理のフローチャートである。
【0065】
全体処理において、階層活動認識モデル訓練部１０２が階層活動認識モデル訓練処理３００を実行する（ステップ３００）。次いで、機械アノテーション部１０３が機械アノテーション処理を実行する（ステップ９００）。次いで、人間アノテーション部１０４が人間アノテーション処理１０００を実行する。
【0066】
人間アノテーション処理１０００では、人間アノテーション部１０４は、図１１に示すようなユーザインターフェース（例えば、ＧＵＩ（Ｇｒａｆｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ））に、機械アノテーション処理９００により出力された低レベルラベル及び高レベルラベルと、時系列データとを表示させる（ステップ１００１）。これにより、ユーザが設定されたラベルをレビューすることができる。
【0067】
人間アノテーション部１０４は、ユーザインターフェースを介してユーザから新しいラベル（高レベルラベル及び／又は低レベルラベル）の追加を受けた場合には、対応するデータセット（高レベルラベルの追加の場合には、高レベルラベルデータセット２０７、低レベルラベルの追加の場合には、低レベルラベルデータセット２０５）に、ラベルのエントリを追加し（ステップ１００２）、そのエントリの認証済みのカラムをＴｒｕｅに設定し（ステップ１００３）、処理をステップ１００６に進める。この処理により、ユーザに追加された認証済みの新しいラベルをデータセット（高レベルラベルデータセット２０７及び／又は低レベルラベルデータセット２０５）に格納することができる。
【0068】
一方、人間アノテーション部１０４は、ユーザインターフェースを介してユーザから既存ラベル（高レベルラベル及び／又は低レベルラベル）に対する調整（変更指示）を受けた場合には、対応するラベルのエントリについて調整された値に調整する（ステップ１００４）。次いで、人間アノテーション部１０４は、ユーザにより認証済みがＴｒｕｅに設定された否かを判定し（ステップ１００５）、認証済みがＴｒｕｅに設定された場合（ステップ１００５：Ｙｅｓ）には、処理をステップ１００３に進める一方、認証済みがＴｒｕｅに設定された場合には、処理をステップ１００６に進める。この処理により、ユーザにより調整されて認証されたラベルをデータセット（高レベルラベルデータセット２０７及び／又は低レベルラベルデータセット２０５）に格納することができる。
【0069】
次いで、人間アノテーション部１０４は、ユーザによりモデルの再訓練が選択されたか否かを判定し（ステップ１００６）、モデルの再訓練が選択されたと判定した場合（ステップ１００６：Ｙｅｓ）には、人間アノテーション部１０４は、モデルを再訓練させるために、階層活動認識モデル訓練部１０２に階層活動認識モデル訓練処理３００を実行させる指示を行う。一方、モデルの再訓練が選択されていない判定した場合（ステップ１００６：Ｎｏ）には、人間アノテーション部１０４は、処理をステップ１００１に進める。
【0070】
上記した処理によると、機械アノテーション処理９００に予測されたラベルに対して、人間アノテーション処理１０００において、ユーザがラベルの追加や、ラベルを調整するといった簡単な操作により、時系列データに対してラベルを適切に設定することができる。また、この設定されたラベルを用いてモデルを再訓練することができ、モデルによるラベルの予測精度を向上することができる。
【0071】
次に、ユーザインターフェースについて説明する。
【0072】
図１１は、第１実施形態に係るユーザインターフェースを説明する図である。
【0073】
ユーザインターフェースとなる表示画面１９００は、映像表示領域１９０１と、時系列データ表示領域１９０２と、高レベルラベル表示領域１９０３と、低レベルラベル表示領域１９０４と、映像情報表示領域１９１１と、ラベル情報表示設定領域１９２０とを含む。表示画面１９００には、機械アノテーション部１０３により出力された低レベルラベルＬと高レベルラベルＨや、人間のア時系列データデータセット２０１、低レベルラベルデータセット２０５、高レベルラベルデータセット２０７に基づいて情報が表示される。
【0074】
映像表示領域１９０１には、作業における作業者の映像データの映像が表示される。この映像データは時系列データの一例である。時系列データ表示領域１９０２には、作業における作業者に取り付けられたセンサのセンサ値の時系列のデータ（センサデータ）が表示される。センサデータは時系列データの一例である。高レベルラベル表示領域１９０３には、時系列データに含まれる高レベル活動を示すそれぞれの高レベルラベル（例えば、１９０５）が、例えば矩形で表示される。低レベルラベル表示領域１９０４には、高レベルラベル表示領域１９０３の高レベルラベルの高レベル活動に含まれる低レベル活動を示す１以上の低レベルラベル（例えば、１９０６）が矩形で表示される。時系列データ表示領域１９０２、高レベルラベル表示領域１９０３、及び低レベルラベル表示領域１９０４は、横軸が時間を示している。
【0075】
映像情報表示領域１９１１には、映像表示領域１９０１に表示される映像の映像データについての操作ボタンや、情報（例えば、表示されている映像の時刻）が表示される。本実施形態では、時系列データ表示領域１９０２と、高レベルラベル表示領域１９０３と、低レベルラベル表示領域１９０４には、映像の時刻に対応する部分を示す時刻指示バー１９０７が表示される。
【0076】
ラベル情報表示設定領域１９２０には、低レベルラベル表示領域１９０４において選択されている低レベルラベルについての情報を表示したり設定したりするための領域である。図１１の例では、ラベル情報表示設定領域１９２０には、低レベルラベル表示領域１９０４で選択されている低レベルラベル１９０９の情報が表示される。
【0077】
ラベル情報表示設定領域１９２０には、開始時刻表示設定領域１９１５と、終了時刻表示設定領域１９１４と、ラベルクラス表示設定領域１９１３と、認証済み表示設定領域１９１２とを含む。
【0078】
開始時刻表示設定領域１９１５には、選択されている低レベルラベルの開始時刻が設定可能に表示される。本実施形態では、時系列データ表示領域１９０２と、高レベルラベル表示領域１９０３と、低レベルラベル表示領域１９０４とには、開始時刻を示す開始時刻指示バー１９０８が表示される。終了時刻表示設定領域１９１４には、選択されている低レベルラベルの終了時刻が設定可能に表示される。本実施形態では、時系列データ表示領域１９０２と、高レベルラベル表示領域１９０３と、低レベルラベル表示領域１９０４とには、終了時刻を示す終了時刻指示バー１９１０が表示される。ラベルクラス表示設定領域１９１３には、選択されている低レベルラベルのラベルクラスが設定可能に表示される。認証済み表示設定領域１９１２には、選択されている低レベルラベルが認証済みか否かの値が設定可能に表示される。
【0079】
本実施形態では、ラベル情報表示設定領域１９２０の各設定領域に対して入力（設定）を行うことにより、ユーザは、低レベルラベルに対する各種設定を行うことができる。また、本実施形態においては、高レベルラベル表示領域１９０３において、高レベルラベルを選択することにより、高レベルラベルの情報を設定可能に表示するラベル情報表示設定領域が表示される。高レベルラベルについてのラベル情報表示設定領域は、ラベル情報表示設定領域１９２０と同様な構成である。
【0080】
次に、ラベリングシステム１を構成する計算機１０について説明する。
【0081】
図１２は、第１実施形態に係るラベリングシステムを構成する計算機の構成図である。
【0082】
計算機１０は、情報処理装置の一例であり、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、汎用サーバ、タブレットコンピュータ、モバイルコンピュータ等によって構成されている。計算機１０は、通信インターフェース（Ｉ／Ｆ）１１と、１以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２と、入力デバイス１３と、記憶デバイス１４と、メモリ１５と、表示デバイス１６とを備える。
【0083】
通信Ｉ／Ｆ１１は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、図示しないネットワークを介して他の装置と通信する。
【0084】
ＣＰＵ１２は、プロセッサの一例であり、メモリ１５及び／又は記憶デバイス１４に格納されているプログラムに従って各種処理を実行する。
【0085】
メモリ１５は、例えば、ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）であり、ＣＰＵ１２で実行されるプログラムや、必要な情報を記憶する。
【0086】
記憶デバイス１４は、例えば、ハードディスクやフラッシュメモリなどであり、ＣＰＵ１２で実行されるプログラムや、ＣＰＵ１２に利用されるデータ等を記憶する。本実施形態では、記憶デバイス１４は、階層活動認識モデル訓練部１０２と、機械アノテーション部１０３と、人間アノテーション部１０４とを実現するプログラム等を記憶する。また、記憶デバイス１４は、時系列データデータセット２０１、低レベルクラス確率データセット２０３、低レベルラベルデータセット２０５、高レベルラベルデータセット２０７等を記憶する。
【0087】
入力デバイス１３は、例えば、マウス、キーボード等であり、ユーザによる情報の入力を受け付ける。表示デバイス１６は、例えば、ディスプレイであり、各種情報を含むユーザインターフェースを表示出力する。
【0088】
なお、ラベリングシステム１は、計算機１０と、計算機１０とネットワークを介して接続されたユーザが使用する計算機（ユーザ計算機：情報処理装置）とにより構成するようにしてもよい。この場合には、計算機１０と、ユーザ計算機とが実行する処理の切り分けは、任意でよく、例えば、入力デバイス１３及び表示デバイス１６が実行していた処理を、ユーザ計算機側に実行させるようにしてもよい。なお、後述する他の実施形態に係るシステムは、上記同様に計算機１０や、計算機１０及びネットワークを介して接続されたユーザ計算機により構成することができる。
【0089】
次に、第２実施形態に係るラベリングシステムについて説明する。なお、第１実施形態に係るラベリングシステムと同様な構成については、同一の符号を付すこととする。
【0090】
第１実施形態に係るラベリングシステム１においては、人間アノテーション処理１０００において、ラベルの追加や変更があった場合に、再度、階層活動認識モデル訓練処理３００を実行し、機械アノテーション処理９００を実行するようにしていたが、第２実施形態に係るラベリングシステム１Ａでは、階層活動認識モデル訓練処理３００を実行せずに、時系列データに対するラベルリングの精度を向上することができる。これにより、比較的時間のかかる階層活動認識モデル訓練処理３００を実行せずに、迅速にラベリングの精度を向上することができる。
【0091】
図１３は、第２実施形態に係るラベリングシステムの機能構成図である。
【0092】
ラベリングシステム１Ａは、ラベリングシステム１に対して、人間アノテーション部１０４に代えて人間アノテーション部１１０２を備え、機械アノテーション・部分再構築部１１０１を更に備えている。
【0093】
人間アノテーション部１１０２は、人間アノテーション部１０４に対して新たな処理を追加した機能部である。人間アノテーション部１１０２及び機械アノテーション・部分再構築部１１０１の具体的な処理については、後述する。
【0094】
次に、機械アノテーション・部分再構築部１１０１の機械アノテーション・部分再構築処理１３００を説明する。
【0095】
【0096】
機械アノテーション・部分再構築部１１０１は、低レベルラベルデータセット１２０５の低レベルラベルＬと、高レベルラベルデータセット１２０７の高レベルラベルＨと、低レベルクラス確率データセット２０３の低レベルクラス確率Ｐとを入力する（ステップ１３０１）。ここで、低レベルラベルデータセット１２０５は、低レベルラベルデータセット２０５に対して、人間アノテーション部１１０２による処理による変更が反映されたデータセットであり、高レベルラベルデータセット１２０７は、高レベルラベルデータセット２０７に対して、人間アノテーション部１１０２による処理による変更が反映されたデータセットである。
【0097】
機械アノテーション・部分再構築部１１０１は、低レベルラベルＬから認証されていないラベルを削除する（ステップ１３０２）。具体的には、機械アノテーション・部分再構築部１１０１は、低レベルラベルＬの中の認証済み６０６の値がＴｒｕｅであるラベルを低レベルラベルＬに設定する。ここで、機械アノテーション部１０３のステップ９０２の処理との違いは、高レベルラベルＨから認証済み７０５の値がＦａｌｓｅであるラベルが削除されていないことである。
【0098】
機械アノテーション・部分再構築部１１０１は、高レベルラベルＨの各高レベルラベルｈについて、高レベルラベルｈに対応するシーケンシャルモデル２０６を、低レベルクラス確率データセット２０３の高レベルラベルｈに対応する時間区間に対して実行することにより、その時間区間についての低レベルラベルＮのシーケンスを予測する。次いで、機械アノテーション・部分再構築部１１０１は、これらの予測された低レベルラベルＮについての認証済みのカラムをＦａｌｓｅに設定する（ステップ１３０３）。
【0099】
機械アノテーション・部分再構築部１１０１は、低レベルラベルＮを低レベルラベルＬと混合して、新たな低レベルラベルＬに設定する（ステップ１３０４）。次いで、機械アノテーション・部分再構築部１１０１は、低レベルラベルＬを人間のアノテーションにおいてレビューさせるために出力として人間アノテーション部１１０２に渡す（ステップ１３０５）。
【0100】
次に、人間アノテーション部１１０２による人間アノテーション処理１４００を含む全体処理について説明する。
【0101】
【0102】
本実施形態では、ステップ１００６において、モデルの再訓練が選択されていない判定した場合（ステップ１００６：Ｎｏ）には、人間アノテーション部１１０２は、高レベルラベルが修正されたか否かを判定し（ステップ１４０１）、高レベルラベルが修正されていない場合（ステップ１４０１：Ｎｏ）には、処理をステップ１００１に進める一方、高レベルラベルが修正されている場合（ステップＳ１４０１：Ｙｅｓ）には、処理をステップ１３００に進める。
【0103】
ステップ１３００では、機械アノテーション・部分再構築部１１０１が機械アノテーション・部分再構築処理１３００を実行する。
【0104】
上記した処理によると、高レベルラベルが修正された場合において、モデルの再訓練を行うための階層活動認識モデル訓練処理３００を行わずに、機械アノテーション・部分再構築処理１３００を行うようにすることができる。これにより、比較的時間を要する階層活動認識モデル訓練処理３００を行うことなく、短時間で時系列データに対するラベリングの精度を向上することができる。
【0105】
次に、第３実施形態に係るラベリングシステムについて説明する。なお、第１実施形態に係るラベリングシステムと同様な構成については、同一の符号を付すこととする。
【0106】
【0107】
第３実施形態に係るラベリングシステムは、第１実施形態に係るラベリングシステム１の機械アノテーション部１０３に代えて、機械アノテーション部１５００を備えるシステムである。機械アノテーション部１５００は、機械アノテーション部１０３の機能に加えて、重要度採点部１５０１と、重要度採点部１５０３とを備える。重要度採点部１５０１は、高レベルモデル２０４から出力された高レベルラベルの重要度を採点し、重要度のデータを高レベルラベル優先データセット１５０２に出力する。重要度採点部１５０３は、シーケンシャルモデル２０６から出力された低レベルラベルの重要度を採点し、重要度のデータを低レベルラベル優先データセット１５０４に出力する。
【0108】
機械アノテーション処理において、機械アノテーション部１５００は、低レベルラベルデータセット２０５の低レベルラベルＬと、高レベルラベルデータセット２０７の高レベルラベルＨと、低レベルクラス確率データセット２０３の低レベルクラス確率Ｐとを入力する（ステップ１６０１）。
【0109】
機械アノテーション部１５００は、高レベルラベルＨ及び低レベルラベルＬから認証されていないラベルを削除する（ステップ１６０２）。具体的には、機械アノテーション部１５００は、高レベルラベルＨの中の認証済み７０５の値がＴｒｕｅであるラベルを高レベルラベルＨに設定し、低レベルラベルＬの中の認証済み６０６の値がＴｒｕｅであるラベルを低レベルラベルＬに設定する。
【0110】
機械アノテーション部１５００は、時系列データから得られた低レベルクラス確率Ｐを高レベルモデル２０４に入力することで、時系列データにおけるラベル無しの時間区間に対しての高レベルラベルＲを予測し、予測した高レベルラベルＲのすべてについて認証済みをＦａｌｓｅに設定する（ステップ１６０３）。
【0111】
機械アノテーション部１５００の重要度採点部１５０１は、高レベルラベルＲの各ラベルについての重要度をＩとして計算する。例えば、重要度採点部１５０１は、対象のラベルについての高レベルモデル（例えば、モデルにおける分類器）から出力される各クラスについてのクラス確率のエントロピを計算することでモデルの確実性を示す重要度を決定するようにしてもよい。高い不確実性を示す対象のラベルについては高いエントロピが算出される。重要度採点部１５０１は、高レベルラベルデータセット２０７に存在する認証済みのラベルに対しては、重要度０を割り当てて、重要度Ｑとする（ステップ１６０４）。
【0112】
機械アノテーション部１５００は、高レベルラベルＲを高レベルラベルＨと混合して、新たな高レベルラベルＨに設定し、重要度Ｑを重要度Ｉと混合して新たな重要度Ｉに設定する（ステップ１６０５）。重要度Ｉは、高レベルラベル優先データセット１５０２に格納される。
【0113】
機械アノテーション部１５００は、高レベルラベルＨの各高レベルラベルｈについて、高レベルラベルｈに対応するシーケンシャルモデル２０６を、時系列データにおけるラベル無しの時間区間に対して実行することにより、その時間区間についての低レベルラベルＮのシーケンスを予測する。次いで、機械アノテーション部１５００は、これらの予測された低レベルラベルＮのすべてについて認証済みのカラムをＦａｌｓｅに設定する（ステップ１６０６）。
【0114】
機械アノテーション部１５００の重要度採点部１５０３は、低レベルラベルＮの各ラベルについての重要度をＪとして計算する。例えば、重要度採点部１５０３は、対象のラベルについてのシーケンシャルモデル２０６（例えば、モデルにおける分類器）から出力される各クラスについてのクラス確率のエントロピを計算することでモデルの確実性を示す重要度を決定するようにしてもよい。高い不確実性を示す対象のラベルについては高いエントロピが算出される。重要度採点部１５０３は、低レベルラベルデータセット２０５に存在する認証済みのラベルに対しては、重要度０を割り当てて、重要度Ｇとする（ステップ１６０７）。
【0115】
機械アノテーション部１５００は、低レベルラベルＮを低レベルラベルＬと混合して、新たな低レベルラベルＬに設定し、重要度Ｇを重要度Ｊと混合して新たな重要度Ｊに設定する（ステップ１６０８）。重要度Ｊは、低レベルラベル優先データセット１５０４に格納される。
【0116】
次いで、機械アノテーション部１５００は、低レベルラベルＬと、高レベルラベルＨと、重要度Ｉと、重要度Ｊとを、人間のアノテーションにおいてレビューさせるために出力として人間アノテーション部１０４に渡す（ステップ１６０９）。
【0117】
この後、人間アノテーション部１０４は、各ラベルと、そのラベルについての重要度を併せて、ユーザインターフェースにより表示される。これにより、ユーザは、表示されるラベルについての重要度を特定でき、注意を払うべきラベルを容易且つ適切に把握することができる。
【0118】
次に、高レベルラベル優先データセット１５０２の構成について説明する。
【0119】
図１９は、第３実施形態に係る高レベルラベル優先データセットの構成図である。
【0120】
高レベルラベル優先データセット１５０２は、高レベルラベルデータセット２０７の高レベルラベル毎のエントリを格納する。高レベルラベル優先データセット１５０２のエントリは、高レベルラベル１７０１と、重要度１７０２とのカラムを含む。
【0121】
高レベルラベル１７０１には、エントリに対応する高レベルラベルを示すインデックスが格納される。重要度１７０２には、エントリに対応する高レベルラベルに対して重要度採点部１５０１により算出された重要度が格納される。
【0122】
次に、低レベルラベル優先データセット１５０４の構成について説明する。
【0123】
図２０は、第３実施形態に係る低レベルラベル優先データセットの構成図である。
【0124】
低レベルラベル優先データセット１５０４は、低レベルラベルデータセット２０５の低レベルラベル毎のエントリを格納する。低レベルラベル優先データセット１５０４のエントリは、低レベルラベル１８０１と、重要度１８０２とのカラムを含む。
【0125】
低レベルラベル１８０１には、エントリに対応する低レベルラベルを示すインデックスが格納される。重要度１８０２には、エントリに対応する低レベルラベルに対して重要度採点部１５０３により算出された重要度が格納される。
【0126】
次に、第４実施形態に係る活動認識システム２について説明する。なお、第１実施形態に係るラベリングシステムと同様な構成については、同一の符号を付すこととする。
【0127】
第４実施形態に係る活動認識システム２は、第1実施形態に係るラベリングシステム１により訓練された機械学習モデル（訓練後の、低レベルモデル２０２、高レベルモデル２０４、及びシーケンシャルモデル２０６）を用いて、入力される時系列データに含まれる活動におけるエラーを検出する。
【0128】
【0129】
活動認識システム２は、時系列データデータセット２００１の時系列データＳを入力する（ステップ２１０１）。ここで、時系列データデータセット２００１は、活動を認識する対象となる、ラベルが付けられていない時系列データのデータセットであり、活動を行う人物を撮影した映像データ又は活動を行う人物に装着されたセンサによる時系列のセンサデータを含む。各時系列データは、リアルタイムに得られるデータであってもよい。時系列データデータセット２００１の構成自体は、時系列データデータセット２０１と同様である。
【0130】
活動認識システム２は、時系列データＳを低レベルモデル２０２に入力して、時系列データＳについての各時刻における低レベルクラス確率Ｐを生成する（ステップ２１０２）。生成した低レベルクラス確率Ｐは、低レベルクラス確率データセット２００２に格納される。低レベルクラス確率データセット２００２の構成自体は、低レベルクラス確率データセット２０３と同様である。
【0131】
活動認識システム２は、時系列データから得られた低レベルクラス確率Ｐを高レベルモデル２０４に入力することで、時系列データに対しての高レベルラベルＨを予測（生成）し、生成した高レベルラベルＨを高レベルラベルデータセット２００３に格納する（ステップ２１０３）。高レベルラベルデータセット２００３の構成自体は、高レベルラベルデータセット２０７と同様である。
【0132】
活動認識システム２は、高レベルラベルＨの各高レベルラベルｈについて、高レベルラベルｈに対応するシーケンシャルモデル２０６を、低レベルクラス確率データセット２００２の高レベルラベルｈに対応する時間区間に対して実行することにより、その時間区間についての低レベルラベルＬのシーケンスを予測し、生成した低レベルラベルＬを低レベルラベルデータセット２００４に格納する（ステップ２１０４）。低レベルラベルデータセット２００４の構成自体は、低レベルラベルデータセット２０５と同様である。
【0133】
活動認識システム２のエラー検出部２００５は、機械学習モデルからの出力に基づいて、時系列データにおける各時刻において発生した、エラー又は異常の確率を計算する（ステップ２１０５）。エラー検出部２００５は、シーケンシャルモデル２０６として使用されているＨＭＭの一部として実行されるＦｏｒｗａｒｄ－Ｂａｃｋｗａｒｄアルゴリズムから出力される放出確率の行列を解析してもよい。この場合、放出確率の行列は、ＨＭＭにおける、シーケンシャルモデルの入力として使用される低レベルクラス確率データセット２０３の放出される観測されるベクトルを示す確率を与える。エラー検出部２００５は、それぞれの時間区間における放出確率のエントロピを計算することにより、予期しない観察を検出し、高エントロピは、時系列データにおける潜在的なエラー又は異常を示しており、これによって、その時刻における高いエラー検出確率を保証することができる。エラー検出部２００５は、シーケンシャルモデルを通して実行されなかった全ての時刻には、対応する高レベルラベルを有さないので、エラー検出確率として０を割当てる。
【0134】
次いで、活動認識システム２は、エラー検出確率Ｚを出力する（ステップ２１０６）。この後、活動認識システム２は、エラー検出確率に基づく情報をユーザインターフェースにより表示してもよい。また、活動認識システム２は、エラー検出確率に基づいて、異常な活動が含まれているか否かを判定し、その結果をユーザインターフェースにより表示してもよい。
【0135】
次に、エラー検出確率データセット２００６の構成について説明する。
【0136】
図２３は、第４実施形態に係るエラー検出確率データセットの構成図である。
【0137】
エラー検出確率データセット２００６は、各時刻毎のエントリを格納する。エラー検出確率データセット２００６のエントリは、タイムスタンプ２２０１と、エラー検出確率２２０２とのカラムを含む。
【0138】
タイムスタンプ２２０１には、エントリに対応する時刻を示すタイムスタンプが格納される。例えば、時系列データデータセット２０１に全部でＨ個のサンプルがあるとすると、最初のサンプルのタイムスタンプをＴ１で示し、最後のサンプルのタイムスタンプを、ＴＨで示す。なお、本実施形態では、時系列データのオリジナルのサンプルに対して１対１でエラー検出確率を生成するようにしているが、これに限られない。エラー検出確率２２０２には、エントリに対応するタイムスタンプが示す時刻における、エラー検出部２００５によって計算された時系列データにおけるエラー検出確率が格納される。
【0139】
次に、第５実施形態に係る教材生成システム３について説明する。なお、第１実施形態に係るラベリングシステムと同様な構成については、同一の符号を付すこととする。
【0140】
第５実施形態に係る教材生成システム３は、第1実施形態に係るラベリングシステム１により訓練された機械学習モデル（訓練後の、低レベルモデル２０２、高レベルモデル２０４、及びシーケンシャルモデル２０６）を用いて、時系列データから教材を生成する。
【0141】
【0142】
教材生成システム３によるステップ２４０１～２４０４は、第４実施形態における活動認識システム２によるステップ２１０１～２１０４と同様である。
【0143】
教材生成システム３の教材生成部２３０１は、機械学習モデルを使用して、所定の手順（例えば、高レベルラベルデータセット２０７のラベルクラス｛ＨＣ１，ＨＣ２，・・・，ＨＣＫ｝からのラベルクラスｃ）についての予想される低レベルのステップのシーケンス（つまり、低レベルラベルデータセット２０５）を集約する（ステップ２４０５）。教材生成部２３０１は、例えば、各高レベルラベルのクラスについての低レベルラベルデータセット２０５の観察されるステップの組合せの情報（教材）のそれぞれを記憶したり、出力したりしてもよい。また、この情報に対して、各ステップや手順（活動）の時間の長さについての最小値、最大値、平均値、及び標準偏差等の情報を含めてもよい。
【0144】
この教材生成システム３によると、高レベルラベルのクラスと、その高レベルラベルのクラスに属する低レベルラベルのクラスを適切にユーザに把握させることができる。
【0145】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
【0146】
例えば、上記実施形態では、時系列データを入力として、高レベルラベルと、低レベルラベルとを出力する機械学習モデルとして、低レベルモデル２０２、高レベルモデル２０４、及びシーケンシャルモデル２０６を含む機械学習モデルとしていたが、本発明はこれに限られず、１つのモデルにより構成されてもよく、他の複数のモデルにより構成されていてもよい。
【0147】
また、上記第４実施形態に係る活動認識システム２又は第５実施形態に係る教材生成システム３において、第１実施形態乃至第３実施形態における機械学習モデルを訓練する構成（階層活動認識モデル訓練部１０２等）を備え、機械学習モデルを訓練するようにしてもよい。
【0148】
また、上記実施形態において、ＣＰＵが行っていた処理の一部又は全部を、ハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記録メディア（例えば可搬型の記録メディア）であってもよい。
【符号の説明】
【0149】
１，１Ａ…ラベリングシステム、２…活動認識システム、３…教材生成システム、１０…計算機、１２…ＣＰＵ、１０２…階層活動認識モデル訓練部、１０３…機械アノテーション部、１０４…人間アノテーション部、２０２…低レベルモデル、２０４…高レベルモデル、２０６…シーケンシャルモデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
