特許 7353946 アノテーション装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-22

(45)【発行日】2023-10-02

(54)【発明の名称】アノテーション装置および方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230925BHJP

   G06T 7/00 20170101ALI20230925BHJP

【ＦＩ】

G06N20/00 130

G06T7/00 350C

【請求項の数】 12

(21)【出願番号】P 2019218292

(22)【出願日】2019-12-02

(65)【公開番号】P2021089491

(43)【公開日】2021-06-10

【審査請求日】2022-07-05

(73)【特許権者】

【識別番号】597132849

【氏名又は名称】株式会社日立ソリューションズ・クリエイト

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】若林 洋輔

(72)【発明者】

【氏名】田中 亜友子

(72)【発明者】

【氏名】中村 将大

(72)【発明者】

【氏名】米野 恭章

(72)【発明者】

【氏名】畠山 侑也

【審査官】武田 広太郎

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１５６２０２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１１／０３１４３６７（ＵＳ，Ａ１）

【文献】特開２０１８－１６３５９０（ＪＰ，Ａ）

【文献】特開２００８－０９２４７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

所定の予測事項を予測するための予測モデルを、正解ラベルが付与された学習データを用いた機械学習により生成する学習部と、
前記予測モデルを用いて、与えられた候補データにおける前記予測事項を予測する予測部と、
前記候補データに対して予測された予測事項に基づき、前記候補データに付与する正解ラベルの候補である疑似ラベルを前記候補データに付与し、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定し、疑似ラベルが正解ラベルとして妥当と決定された候補データとその疑似ラベルとを、前記学習データに登録するラベル処理部と、
前記予測モデルを用いて前記予測事項を予測した結果が所定の条件を満たすまで、前記学習部、前記予測部、および前記ラベル処理部に処理を繰り返させる学習管理部と、
を有し、
前記ラベル処理部は、
前記候補データに対して予測された予測事項に基づき、前記候補データに対する疑似ラベルを表示し、前記疑似ラベルが前記候補データの正解ラベルとして妥当か否かの判定を含む入力を受け付け、
前記候補データと、前記学習データのうち正解ラベルが前記疑似ラベルと同一であるデータとの遠さの度合いに関する指標値を算出し、
前記入力と前記指標値とに基づいて、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定する、
アノテーション装置。

【請求項2】

前記予測モデルがニューラルネットワークであり、
前記ラベル処理部は、前記候補データに対する疑似ラベルが妥当か否かを、前記入力と、前記候補データおよび前記疑似ラベルと前記学習データに登録されているデータとの前記ニューラルネットワークの中間層の出力同士のユークリッド距離と、に基づいて決定する、
請求項１に記載のアノテーション装置。

【請求項3】

前記ラベル処理部は、疑似ラベルが正解ラベルとして妥当と入力された候補データおよび前記疑似ラベルについて、前記学習データに登録されているデータのそれぞれについて前記ユークリッド距離を算出し、前記ユークリッド距離の平均値が所定の閾値以下であれば、前記候補データに正解ラベルとして前記疑似ラベルを付与して、前記学習データに登録する、
請求項２に記載のアノテーション装置。

【請求項4】

前記ラベル処理部は、前記疑似ラベルが前記候補データの正解ラベルとして妥当であるという入力を受け付けたら、前記指標値を算出し、前記指標値が所定の閾値以下であれば、前記疑似ラベルが前記候補データの正解ラベルとして妥当であると決定する、
請求項１に記載のアノテーション装置。

【請求項5】

前記ラベル処理部は、前記指標値が所定の閾値以下であれば前記疑似ラベルを表示し、前記疑似ラベルが前記候補データの正解ラベルとして妥当か否かの判定を含む入力を受け付け、妥当であることが入力されたら、前記疑似ラベルが前記候補データの正解ラベルとして妥当であると決定する、
請求項１に記載のアノテーション装置。

【請求項6】

所定の予測事項を予測するための予測モデルを、正解ラベルが付与された学習データを用いた機械学習により生成する学習部と、
前記予測モデルを用いて、与えられた候補データにおける前記予測事項を予測する予測部と、
前記候補データに対して予測された予測事項に基づき、前記候補データに付与する正解ラベルの候補である疑似ラベルを前記候補データに付与し、前記疑似ラベルを表示し、前記疑似ラベルが前記候補データの正解ラベルとして妥当か否かの判定を含む入力を受け付け、前記入力に基づいて、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定し、疑似ラベルが正解ラベルとして妥当と決定された候補データとその疑似ラベルとを、前記学習データに登録するラベル処理部と、
前記予測モデルを用いて前記予測事項を予測した結果が所定の条件を満たすまで、前記学習部、前記予測部、および前記ラベル処理部に処理を繰り返させる学習管理部と、
を有し、
前記予測部は、前記予測事項を予測するとき、予測が正しいであろう度合いを示す確信度を算出し、
前記ラベル処理部は、前記確信度が第１閾値以上であれば、前記候補データに対して予測された予測事項に基づき、前記候補データに対する疑似ラベルを表示し、前記疑似ラベルが前記候補データの正解ラベルとして妥当か否かの入力を受け付け、前記入力に基づいて、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定し、前記確信度が前記第１閾値よりも小さい第２閾値以下であれば、前記候補データに対する正解ラベルの入力を受け付ける、
アノテーション装置。

【請求項7】

所定の予測事項を予測するための予測モデルを、正解ラベルが付与された学習データを用いた機械学習により生成する学習部と、
前記予測モデルを用いて、与えられた候補データにおける前記予測事項を予測する予測部と、
前記候補データに対して予測された予測事項に基づき、前記候補データに付与する正解ラベルの候補である疑似ラベルを前記候補データに付与し、前記疑似ラベルを表示し、前記疑似ラベルが前記候補データの正解ラベルとして妥当か否かの判定を含む入力を受け付け、前記入力に基づいて、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定し、疑似ラベルが正解ラベルとして妥当と決定された候補データとその疑似ラベルとを、前記学習データに登録するラベル処理部と、
前記予測モデルを用いて前記予測事項を予測した結果が所定の条件を満たすまで、前記学習部、前記予測部、および前記ラベル処理部に処理を繰り返させる学習管理部と、
を有し、
前記疑似ラベルが正解ラベルとして妥当か否かの判定を含む入力は、前記疑似ラベルが正解ラベルとして妥当であるか、妥当でないか、あるいは妥当か否か判別できないかの入力である、
アノテーション装置。

【請求項8】

所定の予測事項を予測するための予測モデルを、正解ラベルが付与された学習データを用いた機械学習により生成する学習部と、
前記予測モデルを用いて、与えられた候補データにおける前記予測事項を予測する予測部と、
前記候補データに対して予測された予測事項に基づき、前記候補データに付与する正解ラベルの候補である疑似ラベルを前記候補データに付与し、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定し、疑似ラベルが正解ラベルとして妥当と決定された候補データとその疑似ラベルとを、前記学習データに登録するラベル処理部と、
前記予測モデルを用いて前記予測事項を予測した結果が所定の条件を満たすまで、前記学習部、前記予測部、および前記ラベル処理部に処理を繰り返させる学習管理部と、
を有し、
前記学習管理部は、前記予測モデルによる前記予測事項の予測の精度、与えられた候補データにおける前記学習データに登録されていない候補データの割合、前記疑似ラベルが正解ラベルとして妥当か否かの判定を含む入力における妥当という入力と妥当でないという入力との数の相対関係との少なくとも１つに基づき、前記予測モデルが成熟したか否か判定し、前記予測モデルが成熟していなければ、前記学習部に、新たに登録したものを含む学習データを用いた機械学習を再度行わせ、前記予測モデルを生成させ、前記予測モデルが成熟していれば機械学習を繰り返す処理を終了し、
前記疑似ラベルが正解ラベルとして妥当か否かの判定を含む入力は、前記疑似ラベルが正解ラベルとして妥当であるか、妥当でないか、あるいは妥当か否か判別できないかの入力である、
アノテーション装置。

【請求項9】

所定の予測事項を予測するための予測モデルを、正解ラベルが付与された学習データを用いた機械学習により生成し、
前記予測モデルを用いて、与えられた候補データにおける前記予測事項を予測し、
前記候補データに対して予測された予測事項に基づき、前記候補データに付与する正解ラベルの候補である疑似ラベルを前記候補データに付与し、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定し、疑似ラベルが正解ラベルとして妥当と決定された候補データとその疑似ラベルとを、前記学習データに登録し、
前記予測モデルを用いて前記予測事項を予測した結果が所定の条件を満たすまで、前記予測モデルの生成と前記予測事項の予測と前記学習データの登録を繰り返す、
ことをコンピュータが実行する、
アノテーション方法であって、
前記コンピュータは、
前記候補データに対して予測された予測事項に基づき、前記候補データに対する疑似ラベルを表示し、前記疑似ラベルが前記候補データの正解ラベルとして妥当か否かの判定を含む入力を受け付け、
前記候補データと、前記学習データのうち正解ラベルが前記疑似ラベルと同一であるデータとの遠さの度合いに関する指標値を算出し、
前記入力と前記指標値とに基づいて、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定する、
アノテーション方法。

【請求項10】

所定の予測事項を予測するための予測モデルを、正解ラベルが付与された学習データを用いた機械学習により生成し、
前記予測モデルを用いて、与えられた候補データにおける前記予測事項を予測し、
前記候補データに対して予測された予測事項に基づき、前記候補データに付与する正解ラベルの候補である疑似ラベルを前記候補データに付与し、前記疑似ラベルを表示し、前記疑似ラベルが前記候補データの正解ラベルとして妥当か否かの判定を含む入力を受け付け、前記入力に基づいて、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定し、疑似ラベルが正解ラベルとして妥当と決定された候補データとその疑似ラベルとを、前記学習データに登録し、
前記予測モデルを用いて前記予測事項を予測した結果が所定の条件を満たすまで、前記予測モデルの生成と前記予測事項の予測と前記学習データの登録を繰り返す、
ことをコンピュータが実行する、
アノテーション方法であって、
前記コンピュータは、
前記予測事項を予測するとき、予測が正しいであろう度合いを示す確信度を算出し、
前記確信度が第１閾値以上であれば、前記候補データに対して予測された予測事項に基づき、前記候補データに対する疑似ラベルを表示し、前記疑似ラベルが前記候補データの正解ラベルとして妥当か否かの入力を受け付け、前記入力に基づいて、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定し、前記確信度が前記第１閾値よりも小さい第２閾値以下であれば、前記候補データに対する正解ラベルの入力を受け付ける、
アノテーション方法。

【請求項11】

所定の予測事項を予測するための予測モデルを、正解ラベルが付与された学習データを用いた機械学習により生成し、
前記予測モデルを用いて、与えられた候補データにおける前記予測事項を予測し、
前記候補データに対して予測された予測事項に基づき、前記候補データに付与する正解ラベルの候補である疑似ラベルを前記候補データに付与し、前記疑似ラベルを表示し、前記疑似ラベルが前記候補データの正解ラベルとして妥当か否かの判定を含む入力を受け付け、前記入力に基づいて、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定し、疑似ラベルが正解ラベルとして妥当と決定された候補データとその疑似ラベルとを、前記学習データに登録し、
前記予測モデルを用いて前記予測事項を予測した結果が所定の条件を満たすまで、前記予測モデルの生成と前記予測事項の予測と前記学習データの登録を繰り返す、
ことをコンピュータが実行する、
アノテーション方法であって、
前記疑似ラベルが正解ラベルとして妥当か否かの判定を含む入力は、前記疑似ラベルが正解ラベルとして妥当であるか、妥当でないか、あるいは妥当か否か判別できないかの入力である、
アノテーション方法。

【請求項12】

所定の予測事項を予測するための予測モデルを、正解ラベルが付与された学習データを用いた機械学習により生成し、
前記予測モデルを用いて、与えられた候補データにおける前記予測事項を予測し、
前記候補データに対して予測された予測事項に基づき、前記候補データに付与する正解ラベルの候補である疑似ラベルを前記候補データに付与し、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定し、疑似ラベルが正解ラベルとして妥当と決定された候補データとその疑似ラベルとを、前記学習データに登録し、
前記予測モデルを用いて前記予測事項を予測した結果が所定の条件を満たすまで、前記予測モデルの生成と前記予測事項の予測と前記学習データの登録を繰り返す、
ことをコンピュータが実行する、
アノテーション方法であって、
前記コンピュータは、前記予測モデルによる前記予測事項の予測の精度、与えられた候補データにおける前記学習データに登録されていない候補データの割合、前記疑似ラベルが正解ラベルとして妥当か否かの判定を含む入力における妥当という入力と妥当でないという入力との数の相対関係との少なくとも１つに基づき、前記予測モデルが成熟したか否か判定し、前記予測モデルが成熟していなければ、新たに登録したものを含む学習データを用いた機械学習を再度行い、前記予測モデルを生成し、前記予測モデルが成熟していれば機械学習を繰り返す処理を終了し、
前記疑似ラベルが正解ラベルとして妥当か否かの判定を含む入力は、前記疑似ラベルが正解ラベルとして妥当であるか、妥当でないか、あるいは妥当か否か判別できないかの入力である、
アノテーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習に用いるデータに対するアノテーションを行う技術に関する。

【背景技術】

【0002】

機械学習には学習データが必要である。例えば、画像認識を行うための人工知能（ＡＩ）モデルを生成するために、認識処理の対象となる画像の学習データを用いて機械学習が行われる。例えば、教師あり学習では、学習データとして、画像データと、その画像に対応する正解ラベルとがセットで用いられる。

【0003】

通常、画像データに正解ラベルが予め付いていることはない。そのため、画像データに正解ラベルを付与することが必要となる。正解ラベルを付与する作業はアノテーションと呼ばれる。

【0004】

ＡＩで画像を扱う処理の例として、画像に何が映っているかをＡＩにより認識する画像分類処理や、画像内の物体を検出する物体検出処理がある。画像に何が映っているかを認識するための機械学習に用いる画像データに対するアノテーションでは、その画像に何が写っているかを示す情報を正解ラベルとして付与する。画像内の物体を検出するための機械学習に用いる画像データに対するアノテーションでは、画像のどの部分にどんな物体が写っているのかを示す情報を正解ラベルとして付与する。

【0005】

このようなアノテーション作業は、自動化することが困難であり、一般に人によって行われる。精度の高いＡＩモデルを生成するには大量の学習データが必要である。そのため、人による膨大な作業工数が必要とされるという問題がある。

【0006】

これに対して、特許文献１には、アノテーションを支援する技術が開示されている。特許文献１の段落００８３には以下の技術が開示されている。機械学習制御部は、訓練データまたはテストデータとして選択された画像のうち、アノテーションが未実施の画像を、任意の順序でいずれか一枚ずつ表示装置に表示させる。次に、機械学習制御部は、ユーザが入力装置を介して入力した上記画像を説明するテキストデータまたは数値データを受け取り、このデータを上記画像の教師データフィールドに記録する。ここで、属性特徴量が同一の画像については、機械学習制御部が同一の画像の教師データフィールドに同一のデータを記録する。これにより、ユーザによるアノテーション回数を低減することができる。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１７－２２４１８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に開示された技術によれば、特徴量が同一である画像の教師データフィールドに同一のデータを記録することにより、アノテーションの回数を削減することができる。しかしながら、ユーザは正解ラベルのテキストデータ等をタイプ入力するという煩雑な作業が必要である。

【0009】

本開示のひとつの目的は、人によるアノテーションの作業を軽減する技術を提供することである。

【課題を解決するための手段】

【0010】

本発明のひとつの実施態様に従うアノテーション装置は、所定の予測事項を予測するための予測モデルを、正解ラベルが付与された学習データを用いた機械学習により生成する学習部と、前記予測モデルを用いて、与えられた候補データにおける前記予測事項を予測する予測部と、前記候補データに対して予測された予測事項に基づき、前記候補データに付与する正解ラベルの候補である疑似ラベルを前記候補データに付与し、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定し、疑似ラベルが正解ラベルとして妥当と決定された候補データとその疑似ラベルとを、前記学習データに登録するラベル処理部と、前記予測モデルを用いて前記予測事項を予測した結果が所定の条件を満たすまで、前記学習部、前記予測部、および前記ラベル処理部に処理を繰り返させる学習管理部と、を有している。

【発明の効果】

【0011】

本開示のひとつの態様によれば、疑似ラベルが正解ラベルとして妥当か否かの二者択一の判定によりアノテーションを進めるので、人による作業を軽減できる。

【図面の簡単な説明】

【0012】

【図1】アノテーション支援サーバのハードウェア構成を示すブロック図である。

【図2】アノテーション支援サーバの機能構成を示すブロック図である。

【図3】実施例１によるアノテーション支援サーバを用いたアノテーションにおけるデータの流れを示す図である。

【図4】実施例１におけるアノテーションの全体処理のフローチャートである。

【図5】予測処理のフローチャートである。

【図6】疑似ラベル付き候補データの一例を示す図である。

【図7】疑似ラベル付き候補データの他の例を示す図である。

【図8】目視判定支援処理のフローチャートである。

【図9】図９は、ソート済データの一例を示す図である。

【図10】距離判定処理のフローチャートである。

【図11】実施例２におけるアノテーションの全体処理のフローチャートである。

【図12】実施例３におけるアノテーションの全体処理のフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について図面を参照して説明する。

【実施例1】

【0014】

図１は、アノテーション支援サーバのハードウェア構成を示すブロック図である。

【0015】

図１を参照すると、アノテーション支援サーバ１０は、ハードウェアとして、ＣＰＵ１１、ＧＰＵ１２、メモリ１３、および記憶装置１４を有している。

【0016】

記憶装置１４は、書込みおよび読み出しが可能にデータを記憶する装置である。記憶装置１４には、ソフトウェアプログラムおよびデータが記録される。具体的には、アノテーションプログラム１５、予測プログラム１６、学習プログラム１７、予測モデル２１、取得データ２２、および学習データ２３がある。これらのプログラムおよびデータについては後述する。

【0017】

ＣＰＵ（Ｃｅｎｔｏｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、記憶装置１４に記憶されたソフトウェアプログラムおよびデータをメモリ１３に読み出し、メモリ１３を利用してソフトウェアプログラムの処理を実行するプロセッサである。

【0018】

ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２は、ＣＰＵ１１と同様に処理を実行するプロセッサである。本実施例のアノテーション支援サーバ１０は、画像分類処理や物体検出処理といった画像認識処理のためのアノテーションを支援するものであり、機械学習による予測モデルの生成と、その予測モデルを用いた画像認識の処理を行う。ＧＰＵ１２は主にその機械学習および画像認識の処理に利用される。

【0019】

図２は、アノテーション支援サーバの機能構成を示すブロック図である。図２を参照すると、アノテーション支援サーバ１０は、学習部３１、予測部３２、ラベル処理部３３、および学習管理部３４を有している。

【0020】

学習部３１は、学習データ２３を用いて機械学習を行い、予測モデル２１を生成する。一例として、機械学習はディープラーニングであり、予測モデル２１はニューラルネットワークである。予測モデル２１は、画像に何が映っているかを認識する画像分類、あるいは画像内の物体を検出する物体検出を、予測する事項とした予測モデルである。学習データ２３は正解ラベル付きの画像データである。上述したように、本アノテーション支援サーバ１０は、機械学習と画像認識の予測処理とを繰り返すが、その途中の段階で生成される予測モデル２１は未成熟な状態である。学習部３１は、図１に示した学習プログラム１７をＧＰＵ１２が実行することにより、実現される。

【0021】

予測部３２は、予測モデル２１を用いて、取得データ２２の中から抽出され、与えられた候補データに対して画像分類あるいは物体検出の予測処理を実行する。取得データ２２からどれだけの候補データを抽出するか、どのように抽出するかは特に限定されない。例えば、予め決められた個数の候補データをランダムに抽出してもよい。候補データは、学習データとなる候補の画像データであり、予測部３２に入力される段階では、正解ラベルが付与されていない。予測部３２は、候補データの正解ラベルとなる事項を予測するが、上述のように繰り返しの途中段階では予測モデル２１が未成熟であるため、予測の精度は十分でないかも知れない。予測された正解ラベルは、この段階では、それが妥当であるかどうかが未だ定まっていない疑似ラベル（正解ラベルの候補）である。予測部３２の予測結果である疑似ラベルと共に、予測モデル２１の所定の中間層の出力も記録される。予測部３２は、図１に示した予測プログラム１６をＧＰＵ１２が実行することにより、実現される。

【0022】

ラベル処理部３３は、取得データ２２の中から抽出したものを候補データとして、予測部３２にその候補データに対する予測処理を実行させて疑似ラベルを生成させ、生成された疑似ラベルを候補データに付与し、更に、その疑似ラベルが、候補データに対する正解ラベルとして妥当か否かを決定する。更に、ラベル処理部３３は、ラベル処理部３３にて疑似ラベルが正解ラベルとして妥当であると判定された候補データにその疑似ラベルを正解ラベルとして付与し、学習データ２３に登録する。本実施例では、疑似ラベルが、候補データに対する正解ラベルとして妥当か否かの判定は、人の目視による判定と、演算による自動的な判定とを組み合わせて行われる。上述した予測モデル２１の中間層の出力は、その演算による判定に利用される。人の目視による判定と、演算による判定とを組み合わせた判定の詳細は後述する。

【0023】

学習管理部３４は、予測モデル２１が所定の成熟条件を満たしているか否か判定し、成熟条件が満たされていなければ、学習部３１に、新たに登録したものを含む学習データ２３を用いた機械学習を再度行わせ、予測モデル２１を生成させる。成熟条件とは、予測モデル２１が所望の精度の画像認識処理が可能な程度まで成熟したことを測る条件である。

【0024】

成熟条件は、例えば、予測モデル２１を用いて候補データについて予測した疑似ラベルが正解ラベルとなり、候補データが学習データ２３に追加される割合が所定値以上となったということを成熟条件としてもよい。あるいは、取得データ２２のうち学習データ２３となっていないデータの割合が所定値以下となったということを成熟条件としてもよい。あるいは、ＯＫデータ４６の個数がＮＧデータ４４の個数よりも少ないということを成熟条件としてもよい。

【0025】

予測モデル２１が成熟条件を満たしたということは、その予測モデル２１を用いて取得データ２２に対するアノテーションが良好に行える状態に達したということでもある。学習管理部３４は、成熟条件が満たされていれば、成熟した予測モデル２１を出力する。

【0026】

ラベル処理部３３および学習管理部３４は、図１に示したアノテーションプログラム１５をＣＰＵ１１が実行することにより、実現される。

【0027】

上述したような、学習データ２３を用いて予測モデル２１を生成し、予測モデル２１を用いて候補データの疑似ラベルを生成し、疑似ラベルが正解ラベルとして妥当か否か判定し、妥当な正解ラベルを付与した候補データを学習データ２３に追加するというサイクルを繰り返すことにより、取得データに対するアノテーションと、予測モデル２１の成熟とを並行して行うことができる。その際に、疑似ラベルが正解ラベルとして妥当か否かの二者択一の判定によりアノテーションを進めるので、人による作業を軽減できるとともに、人為的なミスの低減が期待できる。

【0028】

図３は、実施例１によるアノテーション支援サーバを用いたアノテーションにおけるデータの流れを示す図である。

【0029】

学習データ２３の無い初期段階では、まずは人が不図示のアノテーションツールを用いて目視により一部の取得データ２２に対してアノテーションを行い、正解ラベルを付与することにより、一定数の学習データ２３を用意する。次に、学習部３１が学習データ２３を機械学習し、予測モデル２１を生成する。この段階では、予測モデル２１は十分な精度を出せる程度まで成熟していなくてよい。

【0030】

次に、予測部３２が、取得データ２２から抽出された一部の画像データを候補データ４１とし、予測モデル２１を用いてラベルを予測する。この予測で得られるラベルはこの段階では疑似ラベルである。

【0031】

次に、ラベル処理部３３は、疑似ラベル付き候補データ４２について、候補データ４２の疑似ラベルが正解ラベルとして妥当であるか、妥当でないか、あるいは妥当か否か判別できないかを人に目視で判定させる。目視で妥当でないと判定された候補データ４２は、疑似ラベルが破棄され、ＮＧデータ４４として取得データ２２に戻される。目視で妥当か否か判定ができない候補データ４２は、判別不能データ４５として記録される。目視で妥当であると判定された候補データ４２は、暫定ＯＫデータ４３とされ、次段の判定に回される。なお、ここでは、候補データ４２の疑似ラベルが正解ラベルとして妥当であるか、妥当でないか、あるいは妥当か否か判別できないかという三者択一を人に目視で判定させる例を示したが、これに限定されることはない。候補データ４２の疑似ラベルが正解ラベルとして妥当か否かという二者択一を人に目視で判定させるものであってもよい。

【0032】

次段の判定では、ラベル処理部３３は、暫定ＯＫデータ４３となった疑似ラベル付き候補データ４２と、その候補データ４２と同じ正解ラベルを有する各学習データとの遠さの度合いを示す所定の指標値を算出する。指標値の例については後述する。そして、ラベル処理部３３は、指標値が所定の閾値以下であれば、その疑似ラベル付きの候補データ４２を、正解ラベル付きの学習データとして、学習データ２３に追加する。指標値が閾値を超えていたら、その候補データ４２は、疑似ラベルが破棄され、ＮＧデータ４４として取得データ２２に戻される。

【0033】

なお、本実施例では、図１に示したように、アノテーションを支援するシステムが１つの装置（アノテーション支援サーバ１０）で実現される例が示されているが、実施の態様がこれに限定されることはない。他の例として、複数の装置によりシステムを構築してもよい。例えば、ラベル処理部３３が、疑似ラベルが正解ラベルとして妥当か否かを人に入力させるユーザインタフェースをアノテーションツールとして、不図示のクライアントＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に配置し、クライアントＰＣとアノテーション支援サーバ１０と通信回線経由で連係動作させることにしてもよい。また、取得データ２２を格納する記憶装置を不図示のデータサーバに配置し、データサーバとアノテーション支援サーバを通信回線経由で連係動作させることにしてもよい。

【0034】

図４は、実施例１におけるアノテーションの全体処理のフローチャートである。

【0035】

ステップＳ１０１にて、まず、人が不図示のアノテーションツールを用いて目視により一部の取得データ２２に対してアノテーションを行い、正解ラベルを付与することにより、一定数の学習データ２３を用意する。その際、ラベル処理部３３は、取得データ２２の一部を入力とし、各取得データ２２の画像を画面に表示し、それに対する正解ラベルの入力を人に促す。そして、ラベル処理部３３は、入力された正解ラベルを取得データ２２に付与し、正解ラベル付きの学習データ２３として登録する。当該処理は、取得データ２２の一部を入力とし、正解ラベル付きの学習データ２３を出力とする。

【0036】

次に、ステップＳ１０２にて、学習部３１が学習データ２３を機械学習し、予測モデル２１を生成する。当該処理は、正解ラベル付きの学習データ２３を入力とし、予測モデル２１を出力とする。

【0037】

続いて、ステップＳ１０３にて、予測部３２が予測処理を実行する。予測処理は、取得データ２２から抽出された一部の画像データを候補データ４１とし、予測モデル２１を用いてラベルを予測する処理である。ここで得られるラベルは疑似ラベルである。当該予測処理は、予測モデル２１と候補データ４１を入力とし、疑似ラベル付き候補データ４２を出力とする。予測処理の詳細は後述する。

【0038】

次に、ステップＳ１０４にて、ラベル処理部３３は、目視判定支援処理を実行する。目視判定支援処理は、疑似ラベル付き候補データ４２について、疑似ラベルが正解ラベルとして妥当か否かを人に目視で判定させる処理である。当該目視判定支援処理は、疑似ラベル付き候補データ４２を入力とし、暫定ＯＫかＮＧか判別不能かという判定結果を出力とする。目視判定支援処理の詳細は後述する。

【0039】

次に、ステップＳ１０５にて、ラベル処理部３３は、距離判定処理を実行する。距離判定処理は、暫定ＯＫデータ４３となった疑似ラベル付き候補データ４２と、その候補データ４２と同じ正解ラベルを有する各学習データとの遠さの度合いを示す所定の指標値を算出し、指標値に基づいて、暫定ＯＫデータ４３をＯＫデータ４６かＮＧデータ４４に振り分ける処理である。当該距離判定処理は、暫定ＯＫデータ４３を入力とし、ＯＫかＮＧかの判定結果を出力とする。距離判定処理の詳細は後述する。

【0040】

次に、ステップＳ１０６にて、学習管理部３４は、ＯＫデータ４６を学習データ２３に追加し、ＮＧデータ４４を取得データ２２に戻す。当該処理は、ＯＫデータ４６とＮＧデータ４４を入力とし、学習データ２３と、戻された取得データ２２とを出力とする。なお、このとき、学習管理部３４は、ＮＧデータ４４とされることが所定回数繰り返された候補データを判別不能データ４５とすることにしてもよい。

【0041】

次に、ステップＳ１０７にて、学習管理部３４は、予測モデル２１が成熟条件を満たしているか否か判定する。そして、学習管理部３４は、成熟条件が満たされていなければ、ステップＳ１０２に戻し、成熟条件が満たされていれば、成熟した予測モデル２１を出力する。

【0042】

予測モデル２１が成熟条件を満たしたということは、その予測モデル２１を用いて取得データ２２に対するアノテーションが良好に行える状態に達したということでもあるので、その後は図４に示したステップＳ１０３からステップＳ１０６の処理のみを行い、取得データ２２に対して順次アノテーションを行うことにしてもよい。

【0043】

図５は、予測処理のフローチャートである。

【0044】

まず、予測部３２は、ステップＳ２０１にて、候補データをひとつ選択し、予測モデル２１を用いて、その候補データの正解ラベルを予測し、予測された正解ラベルをその候補データの疑似ラベルとする。次に、ステップＳ２０２にて、予測部３２は、全ての候補データについて疑似ラベルを生成したか否か判定する。疑似ラベルが生成されていない候補データがあれば、予測部３２はステップＳ２０１に戻って処理を繰り返す。全ての候補データについて疑似ラベルを生成していれば、予測部３２は、それら疑似ラベル付き候補データ４２を出力して一連の処理を終了する。

【0045】

図６は、疑似ラベル付き候補データの一例を示す図である。図７は、疑似ラベル付き候補データの他の例を示す図である。

【0046】

本実施例のアノテーション支援サーバ１０は、一例として、画像分類のためのアノテーションと、物体検出のためのアノテーションとを行うことができる。

【0047】

図６には、画像分類の場合の疑似ラベル付き候補データ４２ａが示されている。図６に示すように、候補データの画像ファイル名と、その候補データに付与された疑似ラベルとが対応付けて記録されている。例えば、候補データ＃１の場合、画像ファイル名が２００１．ｊｐｇであり、疑似ラベルがｄｏｇである。これは、２００１．ｊｐｇの画像は、ｄｏｇが写っていると予測されたことを意味している。

【0048】

図７には、物体検出の場合の疑似ラベル付き候補データ４２ｂが示されている。図７に示すように、候補データの画像ファイル名と、その候補データに付与された疑似ラベルとが対応付けて記録されている。物体検出の疑似ラベルには、検出位置と、検出物体とが含まれている。検出位置は、物体が検出された位置および範囲を示している。ｘおよびｙは物体が検出された範囲の始点の位置をｘ座標およびｙ座標で示している。ｗは物体が検出された範囲のｘ軸方向の幅を示している。ｈは物体が検出された範囲のｙ軸方向の高さを示している。例えば、候補データ＃１の場合、画像ファイル名が２００１．ｊｐｇである。疑似ラベルは、（ｘ、ｙ、ｗ、ｈ）で示される位置に、ｄｏｇが検出されたことを意味している。

【0049】

図８は、目視判定支援処理のフローチャートである。

【0050】

まず、ステップＳ３０１にて、ラベル処理部３３は、予測処理の種類を判定する。予測処理の種類とは、予測モデル２１を用いて予測する事項で分類される。本実施例では、予測処理の種類として画像分類と物体検出とがある。

【0051】

予測処理の種類が画像分類の場合、ステップＳ３０２にて、ラベル処理部３３は、疑似ラベル付き候補データ４２を、その疑似ラベルの物体毎にソートする。例えば、ｄｏｇという疑似ラベルが付与された候補データを纏め、次にｃａｔという疑似ラベルが付与された候補データを纏めるというように、疑似ラベル付き候補データ４２を並べる。

【0052】

図９は、ソート済データの一例を示す図である。図９には、画像分類の場合のソート済データの一例が示されている。ｄｏｇという疑似ラベルが付与された候補データが先頭から並んでおり、その後ろに、ｃａｔという疑似ラベルが付与された候補データの並んでいる。

【0053】

図８に戻り、ステップＳ３０３にて、ラベル処理部３３は、疑似ラベル付き候補データ４２のうち１つを選択し、その画像と疑似ラベルとを画面に表示し、疑似ラベルがその画像の正解ラベルとして妥当か否かという目視による二者択一の判定を人に促す。

【0054】

目視で疑似ラベルが正解ラベルとして妥当（つまり正しい）と判定された場合、その疑似ラベル付き候補データ４２は、暫定ＯＫデータ４３となる。目視で疑似ラベルが正解ラベルとして妥当でない（つまり誤り）と判定された場合、その疑似ラベル付き候補データ４２は、ＮＧデータ４４となる。目視で妥当か否かの判定ができない場合、その疑似ラベル付き候補データ４２は判別不能データ４５となる。

【0055】

次に、ステップＳ３０４にて、ラベル処理部３３は、全ての疑似ラベル付き候補データ４２について目視による判定を行ったか否か判定する。目視による判定を行っていない疑似ラベル付き候補データ４２が残っていれば、ステップＳ３０３に戻って目視による判定を繰り返す。一方、全ての疑似ラベル付き候補データ４２について目視による判定が行われていれば、ラベル処理部３３は、暫定ＯＫデータ４３、ＮＧデータ４４、および判別不能データ４５を出力して一連の処理を終了する。
なお、ここでは、疑似ラベル付き候補データ４２のうち１つを選択して表示し、目視判定を促すということを、疑似ラベル付き候補データ４２の個数だけ繰り返す例を示したが、これに限定されることはない。他の例として、複数個（例えば１０個）の疑似ラベルの画像を一度に表示し、目視判定を促すことにしてもよい。

【0056】

図１０は、距離判定処理のフローチャートである。

【0057】

まず、ステップＳ４０１にて、ラベル処理部３３は、学習データ２３のひとつを選択し、その学習データ２３について、予測モデル２１により正解ラベルを予測する処理を実行したときのニューラルネットワークの出力層の前段の中間層の出力を表すベクトル（以下「中間層ベクトル」という）を取得する。次に、ステップＳ４０２にて、ラベル処理部３３は、全ての学習データ２３のベクトルを取得したか否か判定する。ベクトルを取得していない学習データ２３が残っていれば、ラベル処理部３３は、ステップＳ４０１に戻って処理を繰り返す。

【0058】

全ての学習データ２３のベクトルを取得していれば、次に、ステップＳ４０３にて、ラベル処理部３３は、ひとつの暫定ＯＫデータ４３を選択し、その暫定ＯＫデータ４３について中間層ベクトルを取得する。続いて、ステップＳ４０４にて、ラベル処理部３３は、暫定ＯＫデータ４３の疑似ラベルと同じ正解ラベルが付与されている学習データ２３をひとつ選択し、暫定ＯＫデータ４３の中間層ベクトルと学習データ２３の中間層ベクトルとのユークリッド距離を算出する。ユークリッド距離は、ベクトルの要素の差の二乗の総和の平方根である。次に、ステップＳ４０５にて、ラベル処理部３３は、暫定ＯＫデータ４３の疑似ラベルと同じ正解ラベルを有する全ての学習データ２３について中間層ベクトルのユークリッド距離を算出したか否か判定する。中間層ベクトルのユークリッド距離を算出していない、暫定ＯＫデータ４３の疑似ラベルと同じ正解ラベルを有する学習データ２３が残っていれば、ラベル処理部３３は、ステップＳ４０４に戻って処理を繰り返す。

【0059】

暫定ＯＫデータ４３の疑似ラベルと同じ正解ラベルを有する全ての学習データ２３について中間層ベクトルのユークリッド距離を算出していれば、次に、ステップＳ４０６にて、ラベル処理部３３は、算出した全ての中間層ベクトルのユークリッド距離の平均値を算出する。続いて、ステップＳ４０７にて、ラベル処理部３３は、中間層ベクトルのユークリッド距離の平均値が所定の閾値ｔ以下であるか否かにより、暫定ＯＫデータ４３をＯＫデータ４６かＮＧデータ４４のいずれかに振り分ける。ユークリッド距離の平均値が閾値ｔ以下であれば、暫定ＯＫデータ４３をＯＫデータ４６とする。ユークリッド距離の平均値が閾値ｔより大きければ、暫定ＯＫデータ４３をＮＧデータ４４とする。なお、閾値ｔの値は任意に定めることができる。ここでは一例として、目視判定における人為的なミスを除去することを目的とし、目視判定にて明らかに誤った判定がされている暫定ＯＫデータ４３をＮＧデータ４４とできる程度の値に設定することにする。

【0060】

次に、ステップＳ４０８にて、ラベル処理部３３は、全ての暫定ＯＫデータ４３についてＯＫデータ４６かＮＧデータ４４かの振り分けを行ったか否か判定する。ＯＫデータ４６かＮＧデータ４４かの振り分けを行っていない暫定ＯＫデータ４３が残っていれば、ラベル処理部３３は、ステップＳ４０３に戻って処理を繰り返す。全ての暫定ＯＫデータ４３についてＯＫデータ４６かＮＧデータ４４かの振り分けを行っていれば、ラベル処理部３３は、ＯＫデータ４６とＮＧデータ４４を出力して一連の処理を終了する。

【0061】

なお、ここでは中間層ベクトルとして、予測モデル２１により正解ラベルを予測する処理を実行したときのニューラルネットワークの出力層の前段の中間層の出力を表すベクトルを用いたが、これに限定されることはなく、他の中間層の出力を用いてもよい。

【0062】

また、本実施例では、疑似ラベルが正解ラベルとして妥当か否か判定するときに、人の目視による判定と演算による判定とを組み合わせて用いる例を示したが、実施の態様がこれに限定されることはない。他の例として、人の目視による判定のみで、疑似ラベルが正解ラベルとして妥当か否かを判定することにしてもよい。その場合でも二者択一の判定を用いることにより、十分な精度でアノテーションができるとともに、人の作業を低減することが可能となる。また、演算による判定はユークリッド距離による判定に限らない。他の例として、ステップＳ１０３で得られる確信度で判定する方法を用いてもよい。あるいは、ユークリッド距離による判定と、確信度による判定とを組み合わせることにしてもよい。その場合、ユークリッド距離による判定と、確信度による判定のどちらを先に行うことにしてもよい。なお、確信度は、予測が正しいであろう度合いを示す指標値である。予測された疑似ラベルの確信度が所定の閾値を超えていれば、疑似ラベルが正解ラベルとして妥当であると判定することができる。本手法を適用する用途等に応じて閾値を適切に調整すれば、正解ラベルとして妥当な疑似ラベルを十分な精度で選別することが可能となる。

【実施例2】

【0063】

実施例１では、疑似ラベルが正解ラベルとして妥当なものであるか否かを判定するときに、まず人の目視による判定を行い、その後で演算による判定を行う例を示した。しかし、実施の態様がそれに限定されることはない。実施例２では、まず演算による判定を行い、その後で人の目視による判定を行う例を示す。

【0064】

本実施例におけるアノテーション支援サーバのハードウェア構成および機能構成は図１および図２に示した実施例１のものと同様である。

【0065】

図１１は、実施例２におけるアノテーションの全体処理のフローチャートである。

【0066】

ステップＳ１０１からステップＳ１０３までは、図４に示した実施例１のものと同様である。

【0067】

本実施例では、ステップＳ１０３の次に、ステップＳ５０１にて、ラベル処理部３３は、まず距離判定処理を実行する。ここで行う距離判定処理は、基本的には、図１０に示した実施例１のものと同様であるが、本実施例では、暫定ＯＫデータ４３ではなく、全ての疑似ラベル付き候補データ４２を対象として距離判定処理を行う。全ての疑似ラベル付き候補データ４２について、全ての学習データとの中間層ベクトルのユークリッド距離の平均値を算出する。中間層ベクトルのユークリッド距離の平均値が所定の閾値ｔ以下であれば、この段階では暫定ＯＫとし、閾値ｔより大きければＮＧとする。暫定ＯＫとされた疑似ラベル付き候補データ４２が次段の人の目視による判定の対象となる。

【0068】

次に、ステップＳ５０２にて、ラベル処理部３３は、目視判定支援処理を実行する。ここで行う目視判定支援処理は、基本的には、図８に示した実施例１のものと同様であるが、本実施例では、全ての疑似ラベル付き候補データ４２ではなく、ステップＳ５０１で暫定ＯＫとされた疑似ラベル付き候補データ４２だけを対象として目視判定支援処理を行う。また、目視で正しいと判定された場合には、暫定ＯＫではなく、ＯＫとする。

【0069】

ステップＳ５０２の後は、図４に示した実施例１と同様に、ステップＳ１０６からステップＳ１０７の処理を行う。

【0070】

実施例１では、目視判定における人為的なミスを低減するために、目視判定の後に演算による判定を行ったが、本実施例２では、目視判定の前に演算による判定を行うことで、目視判定の対象とする候補データを削減し、人による作業を軽減することが可能となる。

【0071】

なお、本実施例では、疑似ラベルが正解ラベルとして妥当か否か判定するときに、演算による判定と人の目視による判定とを組み合わせて用いる例を示したが、実施の態様がこれに限定されることはない。他の例として、演算による判定のみで、疑似ラベルが正解ラベルとして妥当か否かを判定することにしてもよい。その場合でも演算による判定に疑似ラベルが正解ラベルとして妥当か否かを含む判定を用いることにより、十分な精度でアノテーションができるとともに、人の作業を低減することが可能となる。また、演算による判定はユークリッド距離による判定に限らない。他の例として、ステップＳ１０３で得られる確信度で判定する方法を用いてもよい。あるいは、ユークリッド距離による判定と、確信度による判定とを組み合わせることにしてもよい。その場合、ユークリッド距離による判定と、確信度による判定のどちらを先に行うことにしてもよい。なお、確信度は、予測が正しいであろう度合いを示す指標値である。予測された疑似ラベルの確信度が所定の閾値を超えていれば、疑似ラベルが正解ラベルとして妥当であると判定することができる。本手法を適用する用途等に応じて閾値を適切に調整すれば、正解ラベルとして妥当な疑似ラベルを十分な精度で選別することが可能となる。

【実施例3】

【0072】

実施例１および実施例２では、人の目視による正誤判定に加え、演算による正誤判定を用いる例を示したが、実施の態様がこれらに限定されることはない。他の例として、実施例３では、人の目視による正誤判定に加え、人の目視によるアノテーションを用いる例を示す。

【0073】

本実施例におけるアノテーション支援サーバのハードウェア構成および機能構成は図１および図２に示した実施例１のものと同様である。

【0074】

図１２は、実施例３におけるアノテーションの全体処理のフローチャートである。

【0075】

ステップＳ１０１からステップＳ１０３までは、図４に示した実施例１のものと同様である。

【0076】

本実施例では、ステップＳ１０３の次に、ステップＳ６０１にて、ラベル処理部３３は、まず目視判定支援処理を実行する。ここで行う目視判定支援処理は、基本的には、図８に示した実施例１のものと同様であるが、本実施例では、全ての疑似ラベル付き候補データ４２ではなく、ステップＳ１０３で得られる確信度が所定の閾値ｔ１以上の疑似ラベル付き候補データ４２だけを対象として目視判定支援処理を行う。また、目視で正しいと判定された場合には、暫定ＯＫではなく、ＯＫデータ４６とする。

【0077】

確信度は、予測モデル２１を用いて予測した疑似ラベルが正解ラベルでありうる度合いを示す指標である。本実施例では、予測部３２が、ステップＳ１０３の予測処理で疑似ラベルを生成するときに確信度を算出する。確信度に対する閾値ｔ１は任意に設定することができる。確信度がある程度高い疑似ラベルを、その疑似ラベルが正解ラベルとして妥当か否かの二者択一の判定の対象とすることで、アノテーションにおける人の作業を低減することができる。

【0078】

次に、ステップＳ６０２にて、ラベル処理部３３は、確信度が所定の閾値ｔ２以下の疑似ラベル付き候補データ４２を対象として人に目視でアノテーションを行わせる。閾値ｔ２は閾値ｔ１よりも小さい値に設定される。そのとき、ラベル処理部３３は、疑似ラベル付き候補データ４２の疑似ラベルを破棄し、その画像を画面に表示し、正解ラベルの入力を人に促す。そして、ラベル処理部３３は、入力された正解ラベルを候補データ４２に付与する。

【0079】

次に、ステップＳ６０３にて、学習管理部３４は、ステップＳ６０１で得られたＯＫデータ４６とステップＳ６０２で得られた正解ラベル付き候補データとを学習データ２３として登録する。また、学習管理部３４は、ステップＳ６０１で得られたＮＧデータ４４の疑似ラベルを破棄し、取得データ２２に戻す。

【0080】

次に、ステップＳ６０４にて、学習管理部３４は、取得データ２２のうち正解ラベルが付与され学習データ２３とされていないデータの個数が所定の閾値ｔ３を下回っているか否か判定する。学習データ２３とされていない取得データ２２の個数が閾値ｔ３を下回っていなければ、学習管理部３４はステップＳ１０２に戻って処理を繰り返す。

【0081】

学習データ２３とされていない取得データ２２の個数が閾値ｔ３を下回っていれば、ラベル処理部３３は、次に、ステップＳ６０５にて、残りの取得データ２２について人に目視でアノテーションを行わせる。そのとき、ラベル処理部３３は、取得データ２２の画像を画面に表示し、正解ラベルの入力を人に促す。そして、ラベル処理部３３は、入力された正解ラベルを取得データ２２に付与し、学習データ２３に登録する。

【0082】

最後に、ステップＳ６０６にて、学習部３１は、学習データ２３を機械学習して予測モデル２１を生成し、一連の処理を終了する。

【0083】

本実施例によれば、確信度がある程度高い場合には疑似ラベルが妥当か否かを人に判断させ、確信度がある程度低い場合には疑似ラベルを用いず正解ラベルを人に入力させる。これにより、疑似ラベルが妥当か否かを容易に判断できるであろう候補データについては人が妥当か否か判定し、それが容易に判断できないであろう候補データについては正解ラベルを人に入力させることで、アノテーションの効率化を図り、人の作業を低減することができる。

【0084】

なお、ここではステップＳ６０１の目視判定支援処理では、目視で正しいと判定された場合には、その疑似ラベル付き候補データ４２はＯＫデータとして学習データ２３に追加することとしたが、更に実施例１のステップＳ１０５に示した距離判定を行うことにしてもよい。

【0085】

以上説明した各実施例には以下に示す各事項が含まれている。ただし、各実施例に含まれる事項が以下に示すものに限定されることはない。

【0086】

（事項１）
アノテーション装置は、所定の予測事項を予測するための予測モデルを、正解ラベルが付与された学習データを用いた機械学習により生成する学習部と、前記予測モデルを用いて、与えられた候補データにおける前記予測事項を予測する予測部と、前記候補データに対して予測された予測事項に基づき、前記候補データに付与する正解ラベルの候補である疑似ラベルを前記候補データに付与し、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定し、疑似ラベルが正解ラベルとして妥当と決定された候補データとその疑似ラベルとを、前記学習データに登録するラベル処理部と、前記予測モデルを用いて前記予測事項を予測した結果が所定の条件を満たすまで、前記学習部、前記予測部、および前記ラベル処理部に処理を繰り返させる学習管理部と、を有する。これにより、疑似ラベルが正解ラベルとして妥当か否かの二者択一の判定によりアノテーションを進めるので、人による作業を軽減できるとともに、人為的なミスの低減が期待できる。

【0087】

（事項２）
事項１において、前記ラベル処理部は、前記候補データに対して予測された予測事項に基づき、前記候補データに対する疑似ラベルを表示し、前記疑似ラベルが前記候補データの正解ラベルとして妥当か否かの判定を含む入力を受け付け、前記入力に基づいて、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定する。これにより、人は二者択一を目視で判定すればよいので、人による作業を軽減できるとともに、人為的なミスの低減が期待できる。

【0088】

（事項３）
事項２において、前記ラベル処理部は、複数の候補データを、該候補データに対する疑似ラベルに基づいてソートして表示し、前記複数の候補データに対する、疑似ラベルが正解ラベルとして妥当か否かの判定を含む入力を受け付ける。これにより、複数の候補データに対するアノテーションにおいて、疑似ラベルに基づいてソートされた順序で候補データが表示されるので、ユーザは疑似ラベルが同じような候補データを連続して判定でき、判定入力の作業が容易となる。

【0089】

（事項４）
事項２において、前記ラベル処理部は、前記候補データと、前記学習データのうち正解ラベルが前記疑似ラベルと同一であるデータとの遠さの度合いに関する指標値を算出し、前記候補データに対する疑似ラベルが妥当か否かを、前記入力と前記指標値とに基づいて決定する。これにより、人による判定と、データから算出した類似度による判定とを組み合わせるので、人為的ミスの低減が期待できる。

【0090】

（事項５）
事項４において、前記予測モデルがニューラルネットワークであり、前記ラベル処理部は、前記候補データに対する疑似ラベルが妥当か否かを、前記入力と、前記候補データおよび前記疑似ラベルと前記学習データに登録されているデータとの前記ニューラルネットワークの中間層の出力同士のユークリッド距離と、に基づいて決定する。これにより、人による判定と中間層出力のユークリッド距離による判定とを組み合わせるので、人為的ミスの低減が期待できる。

【0091】

（事項６）
事項５において、前記ラベル処理部は、疑似ラベルが正解ラベルとして妥当と入力された候補データおよび前記疑似ラベルについて、前記学習データに登録されているデータのそれぞれについて前記ユークリッド距離を算出し、前記ユークリッド距離の平均値が所定の閾値以下であれば、前記候補データに正解ラベルとして前記疑似ラベルを付与して、前記学習データに登録する。これにより、閾値による容易な判定により明らかな人為的なミスの低減が期待できる。

【0092】

（事項７）
事項４において、前記ラベル処理部は、前記疑似ラベルが前記候補データの正解ラベルとして妥当であるという入力を受け付けたら、前記指標値を算出し、前記指標値が所定の閾値以下であれば、前記疑似ラベルが前記候補データの正解ラベルとして妥当であると決定する。これにより、目視により妥当と判定されたものについて更に指標値で判定するので、目視による判定における人為的ミスで不備の学習データが登録される可能性を低減することができる。

【0093】

（事項８）
事項４において、前記ラベル処理部は、前記指標値が所定の閾値以下であれば前記疑似ラベルを表示し、前記疑似ラベルが前記候補データの正解ラベルとして妥当か否かの判定を含む入力を受け付け、妥当であることが入力されたら、前記疑似ラベルが前記候補データの正解ラベルとして妥当であると決定する。これにより、指標値により妥当と判定されたものについて人の目視で判定するので、目視による判定の回数を低減することができる。

【0094】

（事項９）
事項２において、前記予測部は、前記予測事項を予測するとき、予測が正しいであろう度合いを示す確信度を算出し、前記ラベル処理部は、前記確信度が第１閾値以上であれば、前記候補データに対して予測された予測事項に基づき、前記候補データに対する疑似ラベルを表示し、前記疑似ラベルが前記候補データの正解ラベルとして妥当か否かの入力を受け付け、前記入力に基づいて、前記候補データに対する正解ラベルとして前記疑似ラベルが妥当か否か決定し、前記確信度が前記第１閾値よりも小さい第２閾値以下であれば、前記候補データに対する正解ラベルの入力を受け付ける。これにより、疑似ラベルが妥当か否かを容易に判断できるであろう候補データについては人が妥当か否か判定し、それが容易に判断できないであろう候補データについては正解ラベルを人に入力させることで、アノテーションの効率化を図り、人の作業を低減することができる。

【0095】

（事項１０）
事項１において、前記学習管理部は、前記予測モデルによる前記予測事項の予測の精度、与えられた候補データにおける前記学習データに登録されていない候補データの割合、前記疑似ラベルが正解ラベルとして妥当か否かの判定を含む入力における妥当という入力と妥当でないという入力との数の相対関係との少なくとも１つに基づき、前記予測モデルが成熟したか否か判定し、前記予測モデルが成熟していなければ、前記学習部に、新たに登録したものを含む学習データを用いた機械学習を再度行わせ、前記予測モデルを生成させ、前記予測モデルが成熟していれば機械学習を繰り返す処理を終了する。これにより、アノテーションと機械学習とにより予測モデルが十分に利用できるものとなっているか否かを判定することができる。

【0096】

（事項１１）
事項２または１０において、前記疑似ラベルが正解ラベルとして妥当か否かの判定を含む入力は、前記疑似ラベルが正解ラベルとして妥当であるか、妥当でないか、あるいは妥当か否か判別できないかの入力である。

【0097】

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。

【符号の説明】

【0098】

１０…アノテーション支援サーバ、１１…ＣＰＵ、１２…ＧＰＵ、１３…メモリ、１４…記憶装置、１５…アノテーションプログラム、１６…予測プログラム、１７…学習プログラム、２１…予測モデル、２２…取得データ、２３…学習データ、３１…学習部、３２…予測部、３３…ラベル処理部、３４…学習管理部、４１…候補データ、４２ａ…候補データ、４２ｂ…候補データ、４２…候補データ、４３…暫定ＯＫデータ、４４…ＮＧデータ、４５…判定不能データ、４６…ＯＫデータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】