特許 7320280 ラベル収集装置、ラベル収集方法及びラベル収集プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-26

(45)【発行日】2023-08-03

(54)【発明の名称】ラベル収集装置、ラベル収集方法及びラベル収集プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230727BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 5

(21)【出願番号】P 2020502890

(86)(22)【出願日】2019-02-04

(86)【国際出願番号】 JP2019003818

(87)【国際公開番号】W WO2019167556

(87)【国際公開日】2019-09-06

【審査請求日】2021-12-15

(31)【優先権主張番号】P 2018033655

(32)【優先日】2018-02-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】504174135

【氏名又は名称】国立大学法人九州工業大学

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100188592

【弁理士】

【氏名又は名称】山口 洋

(74)【代理人】

【識別番号】100189348

【弁理士】

【氏名又は名称】古都 智

(72)【発明者】

【氏名】井上 創造

【審査官】渡辺 順哉

(56)【参考文献】

【文献】特開２０１８－１０６６６２（ＪＰ，Ａ）

【文献】特開２０１８－０１３８５７（ＪＰ，Ａ）

【文献】特開２０１５－２３０５７０（ＪＰ，Ａ）

【文献】井上創造 ほか，介護施設における介護スタッフの行動センシング実験，情報処理学会 研究報告，日本，情報処理学会，2017年05月18日，2017-CDS-19，第13号，pp.1-8，ISSN 2188-8604，特にpp.2-4

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

機械学習に用いられる第１の教師データの第１の教師ラベルを取得する取得部と、
取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行する学習処理部と、
前記第１のモデルの精度を検出する精度検出部と、
前記精度を提示する提示処理部と、
前記サンプルに対する行動ラベルとして正しい第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する警告処理部と
を備え、
前記取得部は、更新された第１の教師データを取得する、
ラベル収集装置。

【請求項2】

前記学習処理部は、前記サンプルに対する行動ラベルとして正しくない第３の教師ラベルを含む第３の教師データと、前記第２の教師ラベルを含む第２の教師データとに基づいて、第２のモデルの機械学習を実行し、
前記警告処理部は、第１の教師データに対する前記第２のモデルの精度が所定の精度閾値以下である場合に警告を出力する、
請求項１に記載のラベル収集装置。

【請求項3】

前記サンプルは、センサデータであり、
前記第１の教師ラベルは、人の行動を表すラベルである、
請求項１又は請求項２に記載のラベル収集装置。

【請求項4】

ラベル収集装置が実行するラベル収集方法であって、
機械学習に用いられる第１の教師データの第１の教師ラベルを取得するステップと、
取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行するステップと、
前記第１のモデルの精度を検出するステップと、
前記精度を提示するステップと、
前記サンプルとの関連が低くない第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力するステップと
更新された第１の教師データを取得するステップと
を含むラベル収集方法。

【請求項5】

コンピュータに、
機械学習に用いられる第１の教師データの第１の教師ラベルを取得する手順と、
取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行する手順と、
前記第１のモデルの精度を検出する手順と、
前記精度を提示する手順と、
前記サンプルとの関連が低くない第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する手順と
更新された第１の教師データを取得する手順と
を実行させるためのラベル収集プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ラベル収集装置、ラベル収集方法及びラベル収集プログラムに関する。
本願は、２０１８年２月２７日に、日本に出願された特願２０１８－０３３６５５号に基づき優先権を主張し、その内容をここに援用する。

【背景技術】

【0002】

機械学習の一分野である教師あり機械学習は、センサデータ等に基づいて人の行動を認識するために実行されることがある（非特許文献１参照）。教師あり機械学習のフェーズには、学習（訓練）フェーズと、判定（評価）フェーズとがある。

【先行技術文献】

【非特許文献】

【0003】

【文献】Nattaya Mairittha (Fah), Sozo Inoue, "Exploring the Challenges of Gamification in Mobile Activity Recognition", SOFT九州支部学術講演会, pp.47-50, 2017-12-02, Kagoshima.

【発明の概要】

【発明が解決しようとする課題】

【0004】

学習フェーズでは、センサデータ等であるサンプルに教師ラベルが付与されること（Annotations）によって、教師データが作成される。教師データを作成する作業は、手間と時間が必要であるため、作成者への負担が大きい。このため、作成者は、ヒューマンエラー、集中力又はインセンティブ等の理由で、サンプルとは関連が低い教師ラベルをサンプルに付与してしまう場合がある。この場合、サンプルに基づいて人の行動を認識する機械学習の精度は、低下してしまう。

【0005】

機械学習の精度を低下させないためには、機械学習の精度を向上させる教師データの教師ラベルを収集する必要がある。しかしながら、従来のラベル収集装置は、機械学習の精度を向上させる教師データの教師ラベルを収集することができない場合があった。

【0006】

上記事情に鑑み、本発明は、機械学習の精度を向上させる教師データの教師ラベルを収集することを可能とするラベル収集装置、ラベル収集方法及びラベル収集プログラムを提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明の一態様は、機械学習に用いられる教師データの教師ラベルを取得する取得部と、取得された前記教師ラベルを含む前記教師データに基づいてモデルの機械学習を実行する学習処理部と、前記モデルの精度を検出する精度検出部と、前記精度を提示する提示処理部とを備え、前記取得部は、更新された前記教師データを取得する、ラベル収集装置である。

【0008】

本発明の一態様は、機械学習に用いられる第１の教師データの第１の教師ラベルを取得する取得部と、取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行する学習処理部と、前記第１のモデルの精度を検出する精度検出部と、前記精度を提示する提示処理部と、前記サンプルに対する行動ラベルとして正しい第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する警告処理部とを備え、前記取得部は、更新された第１の教師データを取得する、ラベル収集装置である。

【0009】

本発明の一態様は、上記のラベル収集装置であって、前記学習処理部は、前記サンプルに対する行動ラベルとして正しくない第３の教師ラベルを含む第３の教師データと、前記第２の教師ラベルを含む第２の教師データとに基づいて、第２のモデルの機械学習を実行し、前記警告処理部は、第１の教師データに対する前記第２のモデルの精度が所定の精度閾値以下である場合に警告を出力する。

【0010】

本発明の一態様は、上記のラベル収集装置であって、前記サンプルは、センサデータであり、前記第１の教師ラベルは、人の行動を表すラベルである。

【0011】

本発明の一態様は、機械学習に用いられる第１の教師データの第１の教師ラベルを取得するステップと、取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行するステップと、前記第１のモデルの精度を検出するステップと、前記精度を提示するステップと、前記サンプルとの関連が低くない第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力するステップと更新された第１の教師データを取得するステップとを含むラベル収集方法である。

【0012】

本発明の一態様は、コンピュータに、機械学習に用いられる第１の教師データの第１の教師ラベルを取得する手順と、取得された第１の教師ラベルとサンプルとを含む第１の教師データに基づいて第１のモデルの機械学習を実行する手順と、前記第１のモデルの精度を検出する手順と、前記精度を提示する手順と、前記サンプルとの関連が低くない第２の教師ラベルを含む第２の教師データと第１の教師データとの類似度が所定の類似度閾値以下である場合に警告を出力する手順と更新された第１の教師データを取得する手順とを実行させるためのラベル収集プログラムである。

【発明の効果】

【0013】

本発明により、機械学習の精度を向上させる教師データの教師ラベルを収集することが可能である。

【図面の簡単な説明】

【0014】

【図1】第１実施形態における、ラベル収集装置の構成の例を示す図である。

【図2】第１実施形態における、作成者による教師データの作成処理とラベル収集装置の動作との例を示すフローチャートである。

【図3】第２実施形態における、ラベル収集装置の構成の例を示す図である。

【図4】第２実施形態における、ラベル収集装置の動作の例を示すフローチャートである。

【図5】第３実施形態における、ラベル収集装置の構成の例を示す図である。

【図6】第３実施形態における、判定モデルの学習例を示すフローチャートである。

【図7】第３実施形態における、判定モデルの精度の判定例を示すフローチャートである。

【発明を実施するための形態】

【0015】

本発明の実施形態について、図面を参照して詳細に説明する。

【0016】

（第１実施形態）
図１は、ラベル収集装置１ａの構成の例を示す図である。ラベル収集装置１ａは、機械学習に用いられる教師データの教師ラベルを収集する情報処理装置であり、例えば、パーソナルコンピュータ、スマートフォン端末、タブレット端末等である。教師ラベルは、サンプルに対する行動ラベルであり、例えば人の行動を表すラベルである。

【0017】

ラベル収集装置１ａは、サンプルｘの集合Ｘを入力データとして記憶している。以下では、集合のサンプルの数（要素数）は１以上である。サンプルｘは、センサデータであり、例えば、画像データ、音声データ、加速度データ、温度データ、照度データである。画像データは、例えば、病室に取り付けられたカメラによって看護師が撮影されている動画像又は静止画像のデータである。画像のデータは、画像に含まれている文字の認識結果を含んでもよい。音声データは、例えば、勤務中の看護師が身につけているマイクによって収音された音声のデータである。加速度データは、例えば、勤務中の看護師が身につけている加速度センサによって検出された加速度のデータである。

【0018】

１人以上の作成者は、サンプルの集合Ｘを構成するサンプルｘ_ｉに教師ラベル（分類クラス）を付与することによって、機械学習に用いられる教師データｄ_ｉ（＝（サンプルｘ_ｉ，教師ラベルｙ_ｉ））を作成する。ｄ_ｉの添字ｉは、教師データに含まれているサンプルのインデックスを表す。

【0019】

作成者は、ラベル収集装置１ａから提示されたサンプルｘを確認し、サンプルｘに付与する教師ラベルｙを決定する。例えば、作成者は、非系列データである静止画像データに、「犬」「猫」のような教師ラベルを付与することができる。例えば、作成者は、患者に投薬している看護師の姿が撮影されている静止画像データであるサンプルｘに、教師ラベル「投薬」を付与することができる。作成者は、系列データである音声データに、［開始時刻，終了時刻，分類クラス］等の組形式の教師ラベルを付与することができる。作成者は、ラベル収集装置１ａを操作することによって、サンプルｘに付与される教師ラベルをラベル収集装置１ａに記録する。

【0020】

以下では、サンプルｘは、一例として非系列データである。教師ラベルの集合Ｙは、一例として｛ｙ_１，…，ｙ_ｎ｝の形式で表記される。

【0021】

ラベル収集装置１ａは、バス２と、入力装置３と、インタフェース４と、表示装置５と、記憶装置６と、メモリ７と、演算処理部８ａとを備える。

【0022】

バス２は、ラベル収集装置１ａの各機能部の間におけるデータを転送する。
入力装置３は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。入力装置３は、教師データの作成者によって操作される。

【0023】

入力装置３は、無線通信装置でもよい。入力装置３は、例えば、センサによって生成された画像データ及び音声データ等のサンプルｘを、無線通信によってインタフェース４に入力してもよい。

【0024】

インタフェース４は、例えば、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現される。インタフェース４は、入力装置３から入力されたサンプルｘを、記憶装置６に記録する。インタフェース４は、サンプルｘを演算処理部８ａに出力してもよい。インタフェース４は、入力装置３から入力された教師ラベルｙを、演算処理部８ａに出力する。

【0025】

表示装置５は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示装置５は、インタフェース４から取得された画像データを表示する。インタフェース４から取得される画像データは、例えば、サンプルｘの画像データ、教師ラベルを表す文字列の画像データ、機械学習の推定モデルの精度を表す数値データである。

【0026】

記憶装置６は、フラッシュメモリ、ハードディスクドライブ等の不揮発性の記録媒体（非一時的な記録媒体）である。記憶装置６は、プログラムを記憶する。プログラムは、例えば、クラウドサービスとしてラベル収集装置１ａに提供される。プログラムは、サーバ装置から配信されるアプリケーションとして、ラベル収集装置１ａに提供されてもよい。

【0027】

記憶装置６は、入力装置３によってインタフェース４に入力された１以上のサンプルｘを記憶する。記憶装置６は、入力装置３によってインタフェース４に入力された１以上の教師ラベルｙを、サンプルｘに対応付けて記憶する。記憶装置６は、サンプルｘと教師ラベルｙとが対応付けられたデータである１以上の教師データｄを記憶する。

【0028】

メモリ７は、ＲＡＭ（Random Access Memory）等の揮発性の記録媒体である。メモリ７は、記憶装置６から展開されたプログラムを記憶する。メモリ７は、演算処理部８ａによって生成された各種データを一時的に記憶する。

【0029】

演算処理部８ａは、ＣＰＵ（Central Processing Unit）等のプロセッサを用いて構成される。演算処理部８ａは、記憶装置６からメモリ７に展開されたプログラムを実行することによって、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３として機能する。

【0030】

取得部８０は、入力装置３によってインタフェース４に入力された教師ラベルｙ_ｉを取得する。取得部８０は、表示装置５に表示されているサンプルｘ_ｉに教師ラベルｙ_ｉを対応付けることによって、教師データｄ_ｉ（＝（ｘ_ｉ，ｙ_ｉ））を生成する。取得部８０は、生成された教師データｄ_ｉを記憶装置６に記録する。

【0031】

取得部８０は、教師データｄ_ｉの集合Ｄ（＝（サンプルｘ_ｉの集合Ｘ，教師ラベルｙ_ｉの集合Ｙ））を、教師データのデータセットとして記憶装置６から取得する。なお、取得部８０は、他の作成者によって作成された教師データｄ_ｊの集合Ｄを、過去の教師データのデータセットとして更に取得してもよい。ｄ_ｊの添字ｊは、教師データのサンプルのインデックスを表す。

【0032】

学習処理部８１は、取得部８０によって取得された教師データｄ_ｉの集合Ｄに基づいて、推定モデルＭの機械学習を実行する。学習処理部８１は、過去の教師データに基づいて推定モデルＭの機械学習を実行してもよい。

【0033】

精度検出部８２は、推定モデルＭの精度を検出する。推定モデルＭの精度は、確率で表現可能な値であり、例えば、推定モデルＭの正解率、適合率又は再現率である。精度検出部８２は、推定モデルＭの精度を検出する代わりに、推定モデルＭの出力変数の誤差を検出してもよい。

【0034】

提示処理部８３は、推定モデルＭの精度を表す数値の画像を生成する。提示処理部８３は、教師データに含まれている各サンプルを表す画像を生成してもよい。提示処理部８３は、教師データに含まれている各教師ラベルを表す文字列等の画像を生成してもよい。提示処理部８３は、生成された画像を表示装置５に出力する。

【0035】

次に、動作例を説明する。
図２は、作成者による教師データの作成処理とラベル収集装置１ａの動作との例を示すフローチャートである。

【0036】

作成者は、サンプルｘ_ｉに教師ラベルｙ_ｉを付与することによって、教師データｄ_ｉの集合Ｄをラベル収集装置１ａに入力する（ステップＳ１０１）。

【0037】

取得部８０は、教師データｄ_ｉの集合Ｄを取得する（ステップＳ２０１）。学習処理部８１は、教師データｄ_ｉの集合Ｄに基づいて、推定モデルＭの機械学習を実行する（ステップＳ２０２）。精度検出部８２は、推定モデルＭの精度を検出する（ステップＳ２０３）。提示処理部８３は、推定モデルＭの精度を表すを数値の画像等を、表示装置５に表示させる（ステップＳ２０４）。

【0038】

提示処理部８３は、ステップＳ２０４の処理を、例えばセンサが画像データ等を生成中にリアルタイムで実行する。提示処理部８３は、ステップＳ２０４の処理を、センサが画像データ等を生成した日の後日における所定時刻に実行してもよい。

【0039】

作成者は、追加の教師データの集合を作成する（ステップＳ１０２）。作成者は、推定モデルＭの精度が第１の精度閾値を超えるように新規に取得された教師データＤ^＋を学習処理部に入力するため、ステップＳ１０１の処理を再び行う。

【0040】

以上のように、第１実施形態のラベル収集装置１ａは、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３とを備える。取得部８０は、機械学習に用いられる教師データｄの教師ラベルｙを取得する。学習処理部８１は、取得された教師ラベルｙとサンプルｘ_ｉとを含む教師データｄ_ｉに基づいて推定モデルＭの機械学習を実行する。精度検出部８２は、推定モデルＭの精度を検出する。提示処理部８３は、推定モデルＭの精度を表示装置５に表示させることによって、推定モデルＭの精度を作業者に提示する。取得部８０は、更新された教師データｄ_i＋を取得する。

【0041】

これによって、ラベル収集装置１ａは、機械学習の精度を向上させる教師データの教師ラベルを収集することが可能である。更新された教師データの質は向上しているので、センサデータに基づいて行動を認識する教師あり機械学習の精度は向上する。ラベル収集装置１ａは、推定モデルＭの精度を表示装置５に表示させ，作成者が教師データの質を向上させる動機づけをするというゲーミフィケーション（Gamification）を実行することが可能である。

【0042】

行動認識結果を業務履歴として記録する装置は、推定モデルＭの出力変数をリアルタイムで記録することができる。行動認識結果を可視化する装置は、推定モデルＭの出力変数をリアルタイムで可視化することができる。ユーザは、記録された行動認識結果に基づいて業務履歴を確認することができる。ユーザは、業務履歴に基づいて業務改善を行うことができる。

【0043】

（第２実施形態）
第２実施形態では、サンプルに対する行動ラベルとして正しくない（サンプルとの関連が低い）教師ラベルを作成者がサンプルに付与するという不正行為（cheating）の有無をラベル収集装置が判定する点が、第１実施形態と相違する。第２実施形態では第１実施形態との相違点について説明する。

【0044】

作成者は、教師データを作成する際に、サンプルとの関連が低い教師ラベルを作成者がサンプルに付与するという不正行為を行う可能性がある。例えば、作成者は、座って書類を作成している看護師の姿が撮影されている静止画像データであるサンプルに、教師ラベル「書類作成」ではなく、教師ラベル「投薬」を付与することができる。

【0045】

第２実施形態のラベル収集装置は、第１の作成者によって作成された第１教師データと、不正行為を行っていない１人以上の第２の作成者によって作成された第２教師データとの類似度に基づいて、第１の作成者が第１教師データを作成した際の不正行為の有無を判定する。

【0046】

図３は、ラベル収集装置１ｂの構成の例を示す図である。ラベル収集装置１ｂは、バス２と、入力装置３と、インタフェース４と、表示装置５と、記憶装置６と、メモリ７と、演算処理部８ｂとを備える。演算処理部８ｂは、記憶装置６からメモリ７に展開されたプログラムを実行することによって、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３と、特徴量処理部８４と、集合データ生成部８５と、警告処理部８６として機能する。

【0047】

取得部８０は、第１サンプルｘ_ｉの集合Ｘを、記憶装置６から取得する。取得部８０は、第１の作成者によって第１サンプルｘ_ｉに付与された第１教師ラベルｙ_ｉの集合Ｙを、記憶装置６から取得する。

【0048】

取得部８０は、第２サンプルの集合Ｘ’を、記憶装置６から取得する。取得部８０は、不正行為を行っていない１人以上の第２の作成者によって第２サンプルｘ_ｊ’に付与された第２教師ラベルｙ_ｊ’の集合Ｙ’を、記憶装置６から取得する。第２教師ラベルｙ_ｊ’は、サンプルに対する行動ラベルとして正しい教師ラベル（以下「正当ラベル」という。）である。サンプルとの関連が低い教師ラベルであるか否かは、例えば、所定の基準に基づいて予め定められる。

【0049】

特徴量処理部８４は、第１サンプルｘ_ｉの集合Ｘの統計量に基づく特徴量（以下「第１特徴量」という。）を算出する。第１特徴量は、例えば、第１サンプルｘ_ｉが画像データである場合、第１サンプルｘ_ｉの画像特徴量である。

【0050】

特徴量処理部８４は、第２サンプルｘ_ｊ’の集合Ｘ’の統計量に基づく特徴量（以下「第２特徴量」という。）を算出する。第２特徴量は、例えば、第２サンプルｘ_ｊ’が画像データである場合、第２サンプルｘ_ｊ’の画像特徴量である。

【0051】

集合データ生成部８５は、第１サンプルｘ_ｉの集合Ｘと第１教師ラベルｙ_ｉの集合Ｙとを結合することによって、第１教師データｄ_ｉの集合Ｄ（＝｛（ｘ_１，ｙ_１），…｝）を生成する。集合データ生成部８５は、第２サンプルｘ_ｊの集合Ｘ’と第２教師ラベルｙ_ｊの集合Ｙ’とを結合することによって、第２教師データｄ_ｊの集合Ｄ’（＝｛（ｘ_１’，ｙ_１’），…｝）を生成する。

【0052】

警告処理部８６は、第１教師データの集合Ｄと第２教師データの集合Ｄ’との類似度Ｇ_ｉ（ｉ＝１，２，…）を、例えば第１特徴量Ｖ及び第２特徴量Ｖ’に基づいて、閾値法又は異常検出法によって算出する。なお、これらの方法は一例である。

【0053】

（閾値法）
警告処理部８６は、例えば第１教師データｄ_ｉから第２教師データｄ_ｊ（ｊ＝１，２，…）までの各距離の平均値ｈを、類似度Ｇ_ｉとして算出する。距離とは、第１特徴量Ｖ及び第１教師データを組にしたベクトルと、第２特徴量Ｖ’及び第２教師データを組にしたベクトルとの間の距離である。各距離の平均値ｈが閾値以上である場合、類似度Ｇ_ｉは１である。各距離の平均値ｈが閾値未満である場合、類似度Ｇ_ｉは０である。

【0054】

（異常検出法）
警告処理部８６は、第２教師データｄ_ｊ（ｊ＝１，２，…）に対する第１教師データｄ_ｉの異常度の逆数（正常度）を、類似度Ｇ_ｉとして算出してもよい。異常度は、第１教師データｄ_ｉ及び第２教師データｄ_ｊの間の距離、すなわち、第１教師データから得られる第１特徴量Ｖと第２教師データから得られる第２特徴量Ｖ’との差分の絶対値でもよい。又は、異常度は、第１データから得られる第１特徴量Ｖと第２教師データから得られる第２特徴量Ｖ’とのユークリッド距離でもよい。異常度には、上限が設けられてもよい。

【0055】

警告処理部８６は、類似度Ｇ_ｉ（ｉ＝１，２，…）の平均値Ｈを算出する。警告処理部８６は、類似度Ｇ_ｉの平均値Ｈが類似度閾値を超えているか否かを判定する。類似度閾値は、類似度Ｇ_ｉが１又は０である場合、例えば０．５である。

【0056】

提示処理部８３は、類似度Ｇ_ｉの平均値Ｈを表示装置５に出力する。提示処理部８３は、類似度Ｇ_ｉの平均値Ｈが類似度閾値以下であると判定された場合、第１教師データｄ_ｉの作成に関して不正行為が行われた可能性が高い旨の警告を、表示装置５に出力する。

【0057】

次に、ラベル収集装置１ｂの動作の例を説明する。
図４は、ラベル収集装置１ｂの動作の例を示すフローチャートである。取得部８０は、第１サンプルｘ_ｉの集合Ｘと、第１教師ラベルｙ_ｉの集合Ｙとを取得する（ステップＳ３０１）。取得部８０は、第２サンプルの集合Ｘ’と、第２教師ラベルｙ_ｊ’の集合Ｙ’とを取得する（ステップＳ３０２）。

【0058】

特徴量処理部８４は、第１サンプルｘ_ｉの集合Ｘに基づいて、第１特徴量Ｖを算出する（ステップＳ３０３）。特徴量処理部８４は、第２サンプルｘ_ｊ’の集合Ｘ’に基づいて、第２特徴量Ｖ’を算出する（ステップＳ３０４）。

【0059】

集合データ生成部８５は、第１教師データｄ_ｉの集合Ｄを生成する（ステップＳ３０５）。集合データ生成部８５は、第２教師データｄ_ｊの集合Ｄ’を生成する（ステップＳ３０６）。

【0060】

警告処理部８６は、第１特徴量及び第１教師データを組みにしたベクトルの集合と、第２特徴量及び第２教師データを組みにしたベクトルの集合との類似度Ｇ_ｉの平均値Ｈを算出する（ステップＳ３０７）。提示処理部８３は、類似度Ｇ_ｉの平均値Ｈを表示装置５に出力する（ステップＳ３０８）。

【0061】

警告処理部８６は、類似度Ｇ_ｉの平均値Ｈが類似度閾値を超えているか否かを判定する（ステップＳ３０９）。類似度Ｇ_ｉの平均値Ｈが類似度閾値を超えていると判定された場合（ステップＳ３０９：ＹＥＳ）、ラベル収集装置１ｂは、図４に示されたフローチャートの処理を終了する。類似度Ｇ_ｉの平均値Ｈが類似度閾値以下であると判定された場合（ステップＳ３０９：ＮＯ）、提示処理部８３は、警告を表示装置５に出力する（ステップＳ３１０）。

【0062】

以上のように、第２実施形態のラベル収集装置１ｂは、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３と、警告処理部８６とを備える。取得部８０は、機械学習に用いられる第１の教師データｄ_ｉの第１の教師ラベルｙ_ｉを取得する。学習処理部８１は、取得された第１の教師ラベルｙ_ｉとサンプルｘ_ｉとを含む第１の教師データｄ_ｉに基づいて、推定モデルＭの機械学習を実行する。精度検出部８２は、推定モデルＭの精度を検出する。提示処理部８３は、推定モデルＭの精度を表示装置５に表示させることによって、推定モデルＭの精度を作業者に提示する。警告処理部８６は、サンプルとの関連が低くない第２の教師ラベル（正当ラベル）を含む第２の教師データｄ_ｊと第１の教師データｄ_ｉとの類似度が所定の類似度閾値以下である場合に警告を出力する。さらに、取得部８０は、更新された第１の教師データｄ_ｉを取得する。

【0063】

これによって、第２実施形態のラベル収集装置１ｂは、作成者によって作成された教師データの集合と他の作成者によって作成された教師データの集合との類似度を、ユーザに提示することを可能とする。また、ラベル収集装置１ｂは、第２の教師データｄ_ｊと第１の教師データｄ_ｉとの類似度が所定の類似度閾値以下である場合に、警告を出力することが可能である。

【0064】

（第３実施形態）
第３実施形態では、機械学習が実行された判定モデルを用いて不正行為の有無をラベル収集装置が判定する点が、第２実施形態と相違する。第３実施形態では第２実施形態との相違点について説明する。

【0065】

図５は、ラベル収集装置１ｃの構成の例を示す図である。ラベル収集装置１ｃは、バス２と、入力装置３と、インタフェース４と、表示装置５と、記憶装置６と、メモリ７と、演算処理部８ｃとを備える。演算処理部８ｂは、記憶装置６からメモリ７に展開されたプログラムを実行することによって、取得部８０と、学習処理部８１と、精度検出部８２と、提示処理部８３と、特徴量処理部８４と、集合データ生成部８５と、警告処理部８６と、ラベル処理部８７と、学習データ生成部８８と、不正判定学習処理部８９として機能する。

【0066】

取得部８０は、第１サンプルｘ_ｉの集合Ｘと、第１の作成者によって第１サンプルｘ_ｉに付与された第１教師ラベルｙ_ｉの集合Ｙとを取得する。取得部８０は、第２サンプルの集合Ｘ’と、不正行為を行っていない１人以上の第２の作成者によって第２サンプルｘ_ｊ’に付与された第２教師ラベルｙ_ｊ’の集合Ｙ’とを取得する。取得部８０は、第３サンプルの集合Ｘ’’と、意図的に不正行為を行った１人以上の第３の作成者によって第３サンプルｘ_ｋ’’に付与された第３教師ラベルｙ_ｋ’’の集合Ｙ’’とを取得する。ｘ_ｋ’’の添字ｋは、第３サンプルのインデックスを表す。

【0067】

集合データ生成部８５は、第１サンプルｘ_ｉの集合Ｘと第１教師ラベルｙ_ｉの集合Ｙとを結合することによって、第１教師データｄ_ｉの集合Ｄ（＝｛（ｘ_１，ｙ_１），…｝）を生成する。集合データ生成部８５は、第２サンプルｘ_ｊの集合Ｘ’と第２教師ラベルｙ_ｊの集合Ｙ’とを結合することによって、第２教師データｄ_ｊの集合Ｄ’（＝｛（ｘ_１’，ｙ_１’），…｝）を生成する。集合データ生成部８５は、第３サンプルｘ_ｋの集合Ｘ’’と第３教師ラベルｙ_ｋの集合Ｙ’’とを結合することによって、第３教師データｄ_ｋの集合Ｄ’’（＝｛（ｘ_１’’，ｙ_１’’），…｝）を生成する。

【0068】

ラベル処理部８７は、正当ラベルを第２教師データの集合Ｄ’に含める。例えば、ラベル処理部８７は、第２教師データｄ_ｊ’の構成（第２サンプルｘ_ｊ’，第２教師ラベルｙ_ｊ’）を、（第２サンプルｘ_ｊ’，第２教師ラベルｙ_ｊ’，正当ラベルｒ_ｊ’）という構成に更新する。

【0069】

ラベル処理部８７は、サンプルに対する行動ラベルとして正しくない教師ラベル（以下「不正ラベル」という。）を、第３教師データの集合Ｄ’’に含める。例えば、ラベル処理部８７は、第３教師データｄ_ｋ’’の構成（第３サンプルｘ_ｋ’’，第３教師ラベルｙ_ｋ’’）を、（第３サンプルｘ_ｋ’’，第３教師ラベルｙ_ｋ’’，不正ラベルｒ_ｋ’’）という構成に更新する。

【0070】

学習データ生成部８８は、第２教師データの集合Ｄ’と第３教師データの集合Ｄ’’とに基づいて、判定モデルＦの機械学習に用いられるデータである学習データを生成する。判定モデルＦは、機械学習のモデルであり、不正行為の有無を判定するために用いられるモデルである。

【0071】

学習フェーズにおいて、不正判定学習処理部８９は、生成された学習データを判定モデルＦの入力変数及び出力変数とすることによって、判定モデルＦの機械学習を実行する。不正判定学習処理部８９は、機械学習が実行された判定モデルＦを、記憶装置６に記録する。

【0072】

学習フェーズよりも後の判定フェーズにおいて、不正判定学習処理部８９は、第１教師データｄ_ｉを判定モデルＦの入力変数として、判定モデルＦの出力Ｐ_ｉ（＝Ｆ（ｄ_ｉ））を、第１教師データの集合Ｄについて検出する。正当ラベル及び不正ラベルが２値で表現されている場合、正当ラベルであることを表す出力Ｐ_ｉは０であり、不当ラベルであることを表す出力変数Ｐ_ｉは１である。なお、出力Ｐ_ｉは、０から１までの確率で表現されてもよい。

【0073】

判定フェーズにおいて、警告処理部８６は、出力Ｐ_ｉ（ｉ＝１，２，…）の平均値を、判定モデルＦの精度の平均値Ｈ’として算出する。警告処理部８６は、判定モデルＦの精度の平均値Ｈ’が第２の精度閾値を超えているか否かを判定する。第２の精度閾値は、出力Ｐ_ｉが１又は０である場合、例えば０．５である。判定モデルＦの精度は、確率で表現可能な値であり、例えば、判定モデルＦの正解率、適合率又は再現率である。

【0074】

提示処理部８３は、判定モデルＦの精度の平均値Ｈ’を表示装置５に出力する。提示処理部８３は、判定モデルＦの精度の平均値Ｈ’が第２の精度閾値以下であると判定された場合、警告を表示装置５に出力する。

【0075】

次に、ラベル収集装置１ｃの動作の例を説明する。
図６は、判定モデルＦの学習例（学習フェーズ）を示すフローチャートである。取得部８０は、第１サンプルｘ_ｉの集合Ｘと第１教師ラベルｙ_ｉの集合Ｙとを取得する（ステップＳ４０１）。取得部８０は、第２サンプルの集合Ｘ’と第２教師ラベルｙ_ｊ’の集合Ｙ’とを取得する（ステップＳ４０２）。取得部８０は、第３サンプルの集合Ｘ’’と第３教師ラベルｙ_ｋ’’の集合Ｙ’’とを取得する（ステップＳ４０３）。

【0076】

集合データ生成部８５は、第１教師データｄ_ｉの集合Ｄを生成する（ステップＳ４０４）。集合データ生成部８５は、第２教師データｄ_ｊの集合Ｄ’を生成する（ステップＳ４０５）。集合データ生成部８５は、第３教師データｄ_ｋの集合Ｄ’’を生成する（ステップＳ４０６）。

【0077】

ラベル処理部８７は、正当ラベルを第２教師データの集合Ｄ’に含める（ステップＳ４０７）。ラベル処理部８７は、不正ラベルを第３教師データの集合Ｄ’’に含める（ステップＳ４０８）。

【0078】

学習データ生成部８８は、第２教師データの集合Ｄ’と第３教師データの集合Ｄ’’とに基づいて、学習データを生成する（ステップＳ４０９）。不正判定学習処理部８９は、判定モデルＦの機械学習を実行する（ステップＳ４１０）。不正判定学習処理部８９は、機械学習が実行された判定モデルＦを、記憶装置６に記録する（ステップＳ４１１）。

【0079】

図７は、判定モデルＦの精度の判定例（判定フェーズ）を示すフローチャートである。不正判定学習処理部８９は、第１サンプルの集合Ｘを、入力変数として判定モデルＦに入力する（ステップＳ５０１）。警告処理部８６は、出力Ｐ_ｉの平均値（判定モデルＦの出力）を、判定モデルＦの精度の平均値Ｈ’として算出する（ステップＳ５０２）。提示処理部８３は、判定モデルＦの精度の平均値Ｈ’を表示装置５に出力する（ステップＳ５０３）。

【0080】

警告処理部８６は、判定モデルＦの精度の平均値Ｈ’が第２の精度閾値を超えているか否かを判定する（ステップＳ５０４）。判定モデルＦの精度の平均値Ｈ’が第２の精度閾値を超えていると判定された場合（ステップＳ５０４：ＹＥＳ）、ラベル収集装置１ｃは、図７に示されたフローチャートの処理を終了する。判定モデルＦの精度の平均値Ｈ’が第２の精度閾値以下であると判定された場合（ステップＳ５０４：ＮＯ）、提示処理部８３は、警告を表示装置５に出力する（ステップＳ５０５）。

【0081】

以上のように、第３実施形態のラベル収集装置１ｃは、学習処理部８１と、警告処理部８６とを備える。学習処理部８１は、サンプルとの関連が低い第３の教師ラベル（不正ラベル）を含む第３の教師データｄ_ｋと第２の教師データｄ_ｊとに基づいて、判定モデルＦの機械学習を実行する。警告処理部８６は、第１の教師データｄ_ｉに対する判定モデルＦの精度が所定の第２の精度閾値以下である場合に警告を出力する。

【0082】

これによって、第３実施形態のラベル収集装置１ｃは、作成者が教師データを作成した際の不正行為の有無を、判定モデルＦを用いて作成者ごとに判定することができる。ラベル収集装置１ｃは、１個の第１サンプルｘ_ｉと１個の教師ラベルｙ_ｉとから第１教師データｄ_ｉが構成されている場合、１個の第１サンプルｘ_ｉが不正行為によって作成されたサンプルであるか否かを判定することができる。

【0083】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【産業上の利用可能性】

【0084】

本発明は、教師データの教師ラベルを収集する情報処理装置に適用可能である。

【符号の説明】

【0085】

１ａ，１ｂ，１ｃ…ラベル収集装置、２…バス、３…入力装置、４…インタフェース、５…表示装置、６…記憶装置、７…メモリ、８ａ，８ｂ，８ｃ…演算処理部、８０…取得部、８１…学習処理部、８２…精度検出部、８３…提示処理部、８４…特徴量処理部、８５…集合データ生成部、８６…警告処理部、８７…ラベル処理部、８８…学習データ生成部、８９…不正判定学習処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】