特許 7236694 情報処理方法、及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-02

(45)【発行日】2023-03-10

(54)【発明の名称】情報処理方法、及び情報処理システム

(51)【国際特許分類】

   G06F 16/58 20190101AFI20230303BHJP

   G06F 16/535 20190101ALI20230303BHJP

【ＦＩ】

G06F16/58

G06F16/535

【請求項の数】 10

(21)【出願番号】P 2019070210

(22)【出願日】2019-04-01

(65)【公開番号】P2020024665

(43)【公開日】2020-02-13

【審査請求日】2021-10-26

(31)【優先権主張番号】P 2018146202

(32)【優先日】2018-08-02

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】石川 和史

(72)【発明者】

【氏名】山口 拓也

【審査官】和田 財太

(56)【参考文献】

【文献】特開２０１５－０６０４３２（ＪＰ，Ａ）

【文献】特開２０１５－２００９８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
画像に映る物体に対して作業者がアノテーション情報を付与する作業の正確性を評価した指標であるアノテーションスキルに関連する情報を取得し、
前記アノテーションスキルに関連する情報から特定される前記物体が映るアノテーション用画像を取得し、
前記作業者による前記アノテーション用画像に対するアノテーション結果を取得し、
前記アノテーション用画像に映る前記物体に対応する正解アノテーション情報及び前記アノテーション結果を用いて前記アノテーションスキルに関連する情報を更新する
情報処理方法。

【請求項2】

前記アノテーション情報の付与は、アノテーションの位置の指定、大きさの指定、及び形状の指定の少なくとも１つを含む
請求項１に記載の情報処理方法。

【請求項3】

前記アノテーション情報の付与は、アノテーションのラベルの指定を含む
請求項１に記載の情報処理方法。

【請求項4】

前記アノテーション結果は、前記アノテーション情報の付与にかけた時間を含み、
前記アノテーションスキルに関連する情報は、前記アノテーション情報の付与にかかる時間を含む
請求項１～３のいずれか１項に記載の情報処理方法。

【請求項5】

前記アノテーション用画像、及び前記正解アノテーション情報は、前記コンピュータの記憶部に複数記憶されており、
複数の前記アノテーション用画像の中から、前記正解アノテーション情報に対応する前記物体が映る１のアノテーション用画像を前記アノテーション用画像として選択することにより、前記アノテーション用画像を取得する
請求項１に記載の情報処理方法。

【請求項6】

前記正解アノテーション情報に対応する前記物体が映るアノテーション用画像を生成することにより前記アノテーション用画像を取得する
請求項１に記載の情報処理方法。

【請求項7】

前記アノテーション用画像、及び前記正解アノテーション情報は、前記コンピュータの記憶部に複数記憶されており、
前記アノテーション用画像の生成は、複数の前記アノテーション用画像のうち、前記正解アノテーション情報に対応する前記物体が映る１のアノテーション用画像を別のアノテーション用画像と合成することを含む
請求項６に記載の情報処理方法。

【請求項8】

さらに、前記正解アノテーション情報と前記アノテーション結果との差分を前記作業者に提示する
請求項１～７のいずれか１項に記載の情報処理方法。

【請求項9】

さらに、更新された前記アノテーションスキルに関連する情報を前記作業者に提示する
請求項１～８のいずれか１項に記載の情報処理方法。

【請求項10】

画像に映る物体に対して作業者がアノテーション情報を付与する作業の正確性を評価した指標であるアノテーションスキルに関連する情報から特定される前記物体が映るアノテーション用画像を取得する第１取得部と、
前記作業者による前記アノテーション用画像に対するアノテーション結果を取得する第２取得部と、
前記アノテーション用画像に含まれる物体に対応する正解アノテーション情報及び前記アノテーション結果を用いて前記アノテーションスキルに関連する情報を更新する処理部とを備える
情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理方法、及び情報処理システムに関する。

【背景技術】

【0002】

近年では、ディープラーニングを用いて、画像から物体検出を行う取り組みが行われてきている。画像から物体検出を正確に行うためには、例えば大量の画像が収集されて、作業者が当該大量の画像から教師データを作成する。そのため、画像に対する物体検出の正確性は、作業者のスキルによって変動する。

【0003】

作業者のスキルに関する技術として、例えば特許文献１の技術がある。特許文献１のスキル評価装置は、対象コンテンツとしての画像中で、人の顔が含まれる箇所をマークする作業において、マークの位置及び面積を学習情報と比較して類似度を算出する。スキル評価装置は、学習情報に対する類似度が高い作業ほど、高スキルな作業者によって作業されたものと評価する。これにより、複数の作業者の中で、高スキルの作業者を選択することができている。また、評価結果が作業者にフィードバックされる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－２００９８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１で開示される従来技術は、作業者のスキルを個人特性に応じて効率的に向上させることが困難である。

【0006】

そこで、本開示は、作業者のアノテーションスキルを個人特性に応じて効率的に向上させることができる情報処理方法、及び情報処理システムを提供する。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本開示の一形態に係る情報処理方法は、コンピュータが、画像に映る物体に対して作業者がアノテーション情報を付与する作業の正確性を評価した指標であるアノテーションスキルに関連する情報を取得し、前記アノテーションスキルに関連する情報から特定される前記物体が映るアノテーション用画像を取得し、前記作業者による前記アノテーション用画像に対するアノテーション結果を取得し、前記アノテーション用画像に映る前記物体に対応する正解アノテーション情報及び前記アノテーション結果を用いて前記アノテーションスキルに関連する情報を更新する。

【0008】

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0009】

本開示の情報処理方法等によれば、作業者のアノテーションスキルを個人特性に応じて効率的に向上させることができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態１に係る情報処理システム及び入出力部を例示するブロック図である。

【図2】図２は、実施の形態１に係る情報処理システムにおける情報の伝達を例示する図である。

【図3A】図３Ａは、実施の形態１に係る第１アノテーション情報を例示する図である。

【図3B】図３Ｂは、実施の形態１に係るアノテーションスキルを例示する図である。

【図3C】図３Ｃは、実施の形態１に係る第２アノテーション情報を例示する図である。

【図4】図４は、実施の形態１に係る情報処理システムの動作を例示する図である。

【図5】図５は、アノテーション用画像にアノテーション情報を付与する作業を例示する図である。

【図6】図６は、実施の形態２に係る情報処理システム及び入出力部を例示するブロック図である。

【図7】図７は、実施の形態２に係る情報処理システムにおける情報の伝達を例示する図である。

【図8】図８は、実施の形態２に係る情報処理システムの動作を例示する図である。

【発明を実施するための形態】

【0011】

本開示の一形態に係る情報処理方法は、コンピュータを用いて、センシングデータに対してアノテーション情報を付与する作業者のアノテーションスキルを取得し、前記アノテーションスキルから特定されるセンシングデータの特徴を有するアノテーション用センシングデータを取得し、前記作業者による前記アノテーション用センシングデータに対するアノテーション結果を取得し、前記センシングデータの特徴に対応する正解アノテーション情報及び前記アノテーション結果を用いて前記アノテーションスキルを更新する。

【0012】

このように、作業者のアノテーションスキルに応じたアノテーション用センシングデータが決定されることで、作業者の個人特性に応じたアノテーションの訓練が可能となる。例えば、作業者にとって苦手なセンシングデータがアノテーション用センシングデータとして決定される。また、アノテーションスキルが自動更新されることで、継続的なアノテーションスキルの向上が可能となる。このため、作業者のアノテーションスキルを個人特性に応じて効率的に向上させることができる。

【0013】

本開示の一形態に係る情報処理方法は、センシングデータに対してアノテーション情報を付与する作業者のアノテーションスキルから特定されるセンシングデータの特徴を有するアノテーション用センシングデータを取得する第１取得部と、前記作業者による前記アノテーション用センシングデータに対するアノテーション結果を取得する第２取得部と、前記センシングデータの特徴に対応する正解アノテーション情報及び前記アノテーション結果を用いて前記アノテーションスキルを更新する処理部とを備える。

【0014】

この情報処理方法においても上述と同様の作用効果を奏する。

【0015】

本開示の一形態に係る情報処理方法において、前記アノテーションスキルは、前記アノテーション情報の指定に関するスキルを含む。

【0016】

このように、アノテーション情報の品質に直接的に関わるスキルが対象となることにより、アノテーションにより生成された教師データを用いて学習する学習モデルの品質を効果的に向上させることができる。

【0017】

本開示の一形態に係る情報処理方法において、前記アノテーション情報の指定は、アノテーションの位置の指定、大きさの指定、及び形状の指定の少なくとも１つを含む。

【0018】

このように、作業者は、アノテーションの位置の指定、大きさの指定、及び形状の指定の少なくとも１つを行うための訓練をそれぞれ行うことができる。このため、作業者が苦手なアノテーションの指定の訓練をすることによって、アノテーション用センシングデータにアノテーション情報を付与する作業の正確性が向上する。

【0019】

本開示の一形態に係る情報処理方法において、前記アノテーション情報の指定は、アノテーションのラベルの指定を含む。

【0020】

このように、作業者は、アノテーションのラベル（例えばクラス）ごとに、アノテーションの指定を行うための訓練を行うことができる。このため、作業者が苦手なアノテーションのクラスの訓練をすることによって、アノテーション用センシングデータにアノテーション情報を付与する作業の正確性が向上する。

【0021】

本開示の一形態に係る情報処理方法において、前記アノテーション結果は、前記アノテーション情報の指定にかけた時間を含み、前記アノテーションスキルは、前記アノテーション情報の指定にかかる時間を含む。

【0022】

これによれば、作業者は、アノテーションの指定を行うための作業にかかる時間を改善する訓練を行うことができる。このため、作業者がアノテーション用センシングデータに対してアノテーション情報を付与する作業の速さというスキルを向上させることができる。

【0023】

本開示の一形態に係る情報処理方法において、前記センシングデータは、画像データであり、前記アノテーション用センシングデータは、アノテーション用画像データである。

【0024】

これによれば、情報量の多くアノテーションスキルの向上に個人差がある画像データについてもアノテーションスキルを効率よく向上させることができる。

【0025】

本開示の一形態に係る情報処理方法は、前記アノテーションスキルから前記正解アノテーション情報を特定し、複数の前記アノテーション用画像データの中から、特定された前記正解アノテーション情報に対応する物体が映る前記アノテーション用画像データを選択することにより、前記アノテーション用画像データを取得する。

【0026】

これによれば、アノテーションスキルの向上につながる、教師データ付きのアノテーション用画像データを選択することができる。例えば、作業者が苦手とするアノテーション情報を付与することが求められるアノテーション用画像データが選択される。作業者は、自身が苦手とする作業の訓練を行うことができる。

【0027】

本開示の一形態に係る情報処理方法は、前記アノテーションスキルから前記正解アノテーション情報を特定し、特定された前記正解アノテーション情報に対応する物体が映る画像データを生成することにより前記アノテーション用画像データを取得する。

【0028】

これによれば、アノテーションスキルの向上に適したアノテーション用画像データが無くても作業者に訓練させることができる。

【0029】

本開示の一形態に係る情報処理方法において、前記画像データの生成は、特定された前記正解アノテーション情報に対応する物体が映る画像データを別の画像データと合成することを含む。

【0030】

これによれば、教師データ付きのアノテーション用画像データを効率的に生成することができる。

【0031】

本開示の一形態に係る情報処理方法は、さらに、前記正解アノテーション情報と前記アノテーション結果との差分を前記作業者に提示する。

【0032】

これによれば、作業者は、正解アノテーション情報とアノテーション結果との差分から、自身のアノテーションスキルを感覚的に理解することができる。

【0033】

本開示の一形態に係る情報処理方法は、さらに、更新された前記アノテーションスキルを前記作業者に提示する。

【0034】

これによれば、作業者は、自身のアノテーションスキルの状態を把握することができる。例えば、アノテーションスキルが向上したか、変化していないか、低下したか、などを作業者に把握させることができる。それにより、アノテーションスキルが向上する行動を直接的又は間接的に作業者に促すことができる。

【0035】

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0036】

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0037】

なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。

【0038】

以下、本開示の実施の形態に係る情報処理方法、及び情報処理システムについて説明する。

【0039】

（実施の形態１）
［構成］
図１は、実施の形態１に係る情報処理システム１及び入出力部４０を例示するブロック図である。図２は、実施の形態１に係る情報処理システム１における情報の伝達を例示する図である。

【0040】

図１及び図２に示すように、作業者（アノテータともいう）は、センシングデータに対して、機械学習のためのアノテーションを行う。例えば、センシングデータは画像データであり、作業者は、撮像装置で撮像された画像又はＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）合成された画像等（以下、アノテーション用画像という）に対して、アノテーション用画像に映る物体に関するアノテーション情報を付与する。情報処理システム１は、アノテーション用画像に付与されたアノテーション情報の正確性を評価する。情報処理システム１は、作業者がアノテーション情報を付与したアノテーション用画像に応じて作業者を評価（アノテーションスキルを決定）し、評価に応じたアノテーション用画像を作業者にアノテーション情報を付与する作業を行わせる。物体は、例えば人、動物、車両、設備等いかなるものでもよい。

【0041】

ここで、アノテーションとは、アノテーション用画像に関連付けられた特定の物体に対し、関連するメタデータを注釈（ラベル）として付与することであり、テキストで記述される。また、アノテーション用画像とは、作業者の作業対象となる物体が映り込んだ画像であり、作業者が物体に対してアノテーション情報を付与するための画像である。

【0042】

情報処理システム１には、作業者がアノテーション情報を付与するための入出力部４０が接続されている。入出力部４０は、例えば、パーソナルコンピュータであり、パーソナルコンピュータに表示されたブラウザ等の画面を介して、作業者による入力を受付ける。情報処理システム１は、第１処理部１０と、第２処理部２０と、第３処理部３０とを備える。

【0043】

第１処理部１０は、アノテーション用画像を示す情報、第１アノテーション情報、作業者のアノテーションスキルを示す情報を格納する記憶部１１を有する。ここでいう第１アノテーション情報は、作業者がアノテーション情報を付与したアノテーション用画像つまりアノテーション済みの画像に対して、正しくアノテーションが付与されているかどうかを評価するための、模範となるアノテーション情報（正解データともいう）である。第１アノテーション情報は、正解アノテーション情報の一例である。

【0044】

なお、第１処理部１０は、アノテーションスキルに応じた物体が映っているアノテーション用画像が記憶部１１に存在しない場合、アノテーションスキルに応じた物体が映るアノテーション用画像を生成する。このアノテーション用画像の生成は、特定された第２アノテーション情報に対応する物体が映る画像を別の画像と合成することを含む。

【0045】

第１アノテーション情報の一例を図３Ａを用いて説明する。図３Ａは、実施の形態１に係る第１アノテーション情報を例示する図である。

【0046】

図３Ａに示すように、第１アノテーション情報は、物体（図３Ａのクラスに相当する）が映り込んだアノテーション用画像において、物体が配置されているｘ、ｙ座標上の位置、物体の大きさ、物体の形状、アノテーション情報の付与にかかる時間等の模範となるテキストデータである。第１アノテーション情報は、１つのアノテーション用画像において複数の物体が存在する場合、複数の物体に対応する各々のテキストデータを含む。

【0047】

アノテーションスキルを示す情報の一例を、図３Ｂを用いて説明する。図３Ｂは、実施の形態１に係るアノテーションスキルを例示する図である。

【0048】

図３Ｂに示すように、アノテーションスキルは、アノテーション情報の指定（付与）に関するスキル、つまり、作業者がアノテーション用画像にアノテーション情報を付与する作業において、各々の物体ごとの精度、選択肢の正解率、アノテーション情報の付与にかかる作業時間等を示す作業者のスキルである。アノテーションスキルは、例えば作業者がアノテーション用画像に対してアノテーション情報を付与する作業の正確性を評価した指標である。アノテーションスキルは、各々の物体ごとに決定されている。精度は、アノテーション用画像に含まれる物体に対してアノテーション情報を付与する位置、範囲（大きさ）、形等といった、アノテーション情報の正確性を意味する。

【0049】

第１処理部１０は、アノテーション情報を付与する作業者のアノテーションスキルを取得する。第１処理部１０は、作業者のアノテーションスキルから特定された画像の特徴を有するアノテーション用画像を入出力部４０に出力する。画像の特徴は、例えば画像に映り込んだ物体である。入出力部４０は、アノテーション用画像を取得し、作業者にアノテーション情報を付与する作業させるために、アノテーション用画像を表示する。

【0050】

また、第１処理部１０は、後述で説明する評価部３３が評価した作業者のアノテーションスキルを示す情報を取得すると、作業者のアノテーションスキルを更新する。なお、第１処理部１０は、他の装置で評価された作業者のアノテーションスキルを示す情報を、他の装置から取得してもよい。

【0051】

第２処理部２０は、第１取得部２１と、付与部２２とを有する。

【0052】

第１取得部２１は、作業者がアノテーション用画像に対してアノテーション情報を付与する入力を、入出力部４０を介して取得する。

【0053】

付与部２２は、第１取得部２１を介して、第１取得部２１が取得したアノテーション用画像に対してアノテーション情報を付与する入力に応じて、アノテーション用画像に対してアノテーション情報を付与したアノテーション済みの画像と、後述する第２アノテーション情報とを生成する。第２アノテーション情報は、作業者がアノテーション用画像に付与したアノテーション情報であり、アノテーション済みの画像に対応したテキストデータである。第２アノテーション情報は、アノテーション情報の指定（付与）にかけた時間をも含む。付与部２２は、生成したアノテーション済みの画像を示す情報と第２アノテーション情報とを第３処理部３０に出力する。第２アノテーション情報はアノテーション結果の一例である。

【0054】

第２アノテーション情報について図３Ｃを用いて説明する。図３Ｃは、実施の形態１に係る第２アノテーション情報を例示する図である。

【0055】

図３Ｃに示すように、第２アノテーション情報は、アノテーション用画像に対して、作業者が入力した物体の、ｘ、ｙ座標上の位置、大きさ、形状、アノテーション情報の付与にかかる時間等のテキストデータである。第２アノテーション情報は、１つのアノテーション用画像において複数の物体が存在する場合、複数の物体に対応する各々のテキストデータである。

【0056】

第３処理部３０は、第２取得部３２と、評価部３３とを有する。

【0057】

第２取得部３２は、第２処理部２０からアノテーション済みの画像と第２アノテーション情報とを取得し、第２アノテーション情報を評価部３３に出力する。また、第２取得部３２は、第１処理部１０の記憶部１１から、第２アノテーション情報と比較するべき第１アノテーション情報を取得し、取得した第１アノテーション情報を評価部３３に出力する。

【0058】

評価部３３は、第２アノテーション情報を評価する。具体的には、評価部３３は、図３Ｃの第２アノテーション情報における、物体の位置、大きさ、形状等と、図３Ａの第１アノテーション情報における、物体の位置、大きさ、形状等とを比較し、それぞれの差分（類似度）を算出する。評価部３３は、算出した差分に基づいて、作業者のアノテーションスキルを示す情報を生成する。評価部３３は、生成した新しいアノテーションスキルを示す情報を第１処理部１０に出力する。第１処理部１０の記憶部１１に格納されているアノテーションスキルを示す情報は自動更新される。

【0059】

なお、評価部３３が算出した差分（類似度）が規定の閾値以上であれば、精度の良いアノテーション済みの画像といえるため、完成品としてアノテーション済みの画像及び第２アノテーション情報を外部装置に送信してもよい。

【0060】

［動作］
次に、本実施の形態における情報処理システム１の動作について、図４を用いて説明する。

【0061】

図４は、実施の形態１に係る情報処理システム１の動作を例示する図である。

【0062】

この情報処理システム１では、作業者のアノテーションスキルが予め第１処理部１０の記憶部１１に格納されている場合を想定する。また、作業者は、入出力部４０を介して、アノテーション用画像に対してアノテーション情報を付与する作業を行う。

【0063】

図４に示すように、まず、第１処理部１０は、作業者のアノテーションスキルを記憶部１１から取得する（Ｓ１１）。

【0064】

次に、第１処理部１０は、取得したアノテーションスキルから特定される画像の特徴を有するアノテーション用画像を出力する（Ｓ１２）。具体的には、第１処理部１０は、アノテーションスキルに応じた物体が映るアノテーション用画像を記憶部１１から検索する。第１処理部１０は、アノテーションスキルに応じた物体が映るアノテーション用画像が存在する場合、このアノテーション用画像を選択する。また、記憶部１１にアノテーションスキルに応じた物体が映るアノテーション用画像が存在しない場合、第１処理部１０は、アノテーションスキルに応じた物体が映るアノテーション用画像を生成する。第１処理部１０は、選択又は生成したアノテーション用画像を入出力部４０に出力する。

【0065】

次に、作業者は、入出力部４０に表示されたアノテーション用画像を介して、アノテーション情報を入力する。ここでアノテーション用画像にアノテーション情報を付与する作業の一例を、図５を用いて説明する。図５は、アノテーション用画像にアノテーション情報を付与する作業を例示する図である。

【0066】

例えば入出力部４０には、
（１）「手を上げている」又は「手を下げている」
（２）「足を開いている」又は「足を閉じている」
という互いに背反しかつ独立する選択肢を表示する。作業者は、この選択肢のいずれかを選択することで作業を行う。

【0067】

また、作業者は、入出力部４０を介して、アノテーション用画像における物体（図では人物）の位置にアノテーション情報を付与するために、アノテーション用画像に映っている人物の範囲を設定する。また、人物の頭の位置を点として設定し、人物の手足等の骨格を線として設定する。

【0068】

図４に示すように、入出力部４０は、作業者により受付けた入力を第２処理部２０に出力する。第２処理部２０の第１取得部２１は、作業者がアノテーション用画像に対してアノテーション情報を付与するための入力を取得すると、第２処理部２０の付与部２２は、アノテーション用画像に対してアノテーション情報を付与し、アノテーション済みの画像と第２アノテーション情報とを生成する。そして、第２処理部２０は、アノテーション済みの画像と第２アノテーション情報とを第３処理部３０に出力する（Ｓ１３）。

【0069】

次に、第３処理部３０の第２取得部３２は、第２処理部２０から第２アノテーション情報と、第１処理部１０の記憶部１１から第１アノテーション情報とを取得し、第２アノテーション情報と第１アノテーション情報とを評価部３３に出力する。評価部３３は、図３Ｃの第２アノテーション情報における、物体の位置、大きさ、形状等と、図３Ｂの第１アノテーション情報における、物体の位置、大きさ、形状等とを比較し、それぞれの差分（類似度）を算出する。この差分は、第２アノテーション情報における、それぞれの物体ごとに行う。評価部３３は、算出したそれぞれの差分に基づいて、作業者のアノテーションスキルを示す情報を生成する。評価部３３は、作業者のアノテーションスキルを示す情報を第１処理部１０に出力し、第１処理部１０の記憶部１１に格納されているアノテーションスキルを示す情報を更新させる（Ｓ１４）。

【0070】

評価部３３は、作業者がアノテーション用画像にアノテーション情報を付与する作業において、作業者が苦手とする所定の物体（作業）が存在するかどうかを判断する（Ｓ１５）。具体的には、評価部３３は、作業者のアノテーションスキルを示す情報において、このアノテーションスキルが所定閾値未満となるスキルが存在するかどうかを特定する。

【0071】

アノテーションスキルが所定閾値未満となるスキルが存在しない場合（Ｓ１５でＮＯ）、作業者が苦手とする作業が存在しないため、情報処理システム１は、ステップＳ１１に戻す。

【0072】

一方、アノテーションスキルが所定閾値以上となるスキルが存在する場合（Ｓ１５でＹＥＳ）、作業者が苦手とする作業が存在するため、評価部３３は、所定閾値以上となるアノテーションスキルを表した評価結果を示す情報を生成し、評価結果を示す情報を作業者に提示する（Ｓ１６）。つまり、評価部３３は、入出力部４０又はパーソナルコンピュータ等の外部表示装置に評価結果を示す情報を出力する。

【0073】

ここで作業者に提示する評価結果について例示する。

【0074】

第３処理部３０は、模範となるアノテーションされた画像、模範となる選択肢等と、作業者が作業したアノテーション済みの画像、作業者が選択した選択肢等とを提示する。また、第３処理部３０は、作業者が作業したアノテーションと模範となるアノテーションとの差分（違い）を提示する。この差分は、アノテーション用画像に含まれる複数の物体全体を評価した統計指標、物体ごとに評価した個別指標、目標を達成した場合に評価する絶対指標、及び複数の物体での相対的な相対指標で示される。第３処理部３０は、上述の指標に基づいて、作業者が得意とする作業、又は苦手とする作業を提示する。

【0075】

また、第３処理部３０は、アノテーション用画像に映る各々の物体の対する各々の作業時間、他の作業者とのアノテーションスキルの比較、作業者におけるアノテーションスキルの履歴、複数の作業者におけるランキング、作業者の作業単価、作業者に応じた練習問題等を提示する。

【0076】

そして、情報処理システム１は、この処理を終了させ、フローを最初に戻す。

【0077】

［効果等］
このように、この情報処理システム１では、作業者のアノテーションスキルに応じたアノテーション用画像を含むアノテーション用画像が決定される。これにより、作業者の個人特性に応じたアノテーションの訓練が可能となる。例えば、作業者が苦手な画像がアノテーション用画像として決定される。

【0078】

また、評価部３３は、第１処理部１０の記憶部１１に格納されている作業者のアノテーションスキルを更新させる。このため、作業者の新しい（更新された）アノテーションスキルに応じた画像を含むアノテーション用画像が決定することができる。これにより、作業者は、自身のアノテーションスキルに応じた、アノテーション用画像に対してアノテーション情報を付与する訓練を行うことで、継続的なアノテーションスキルの向上が可能となる。このため、作業者のアノテーションスキルを個人特性に応じて効率的に向上させることができる。

【0079】

（実施の形態２）
［構成］
本実施の形態の情報処理方法、及び情報処理システム２００の構成は、特に明記しない場合は、実施の形態１と同様であり、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。

【0080】

図６は、実施の形態２に係る情報処理システム２００及び入出力部４０を例示するブロック図である。図７は、実施の形態２に係る情報処理システム２００における情報の伝達を例示する図である。

【0081】

図６及び図７に示すように、本実施の形態における情報処理システム２００は、作業者に提示する複数のアノテーション用画像の中に、作業者のアノテーションスキルを評価するための評価用画像を混合する。情報処理システム２００は、作業者が作業を行う上で、自身のアノテーションスキルを評価するための画像と気づかれないように、アノテーション用画像と同等に見える態様で、評価用画像を複数のアノテーション用画像に混合する。これにより、情報処理システム２００は、複数のアノテーション用画像と評価用画像とを作業者に提示することができる。

【0082】

情報処理システム２００は、第１処理部１０、第２処理部２０、及び第３処理部３０の他に、第１画像選択部２１０、第２画像選択部２２０、及び管理部２３０をさらに備える。

【0083】

第１処理部１０は、評価用画像を示す情報、及び、第１アノテーション情報を格納する記憶部１１を有する。第１処理部１０は、管理部２３０から作業者のアノテーションスキルを示す情報を取得すると、アノテーションスキルに応じた評価用画像を取得する。例えば、第１処理部１０は、第１画像選択部２１０が作業者に提示するアノテーション用画像と同等に見えるように（アノテーション用画像と異なる評価用画像であることを作業者に気づかれないように）、作業者に提示すべき評価用画像を加工する。また、第１処理部１０は、評価用画像が記憶部１１に存在しない場合、作業者に提示すべき評価用画像を新たに生成したり、アノテーション用画像を評価用画像として加工したりする。このようにして、第１処理部１０は、評価用画像を取得する。

【0084】

第１画像選択部２１０は、作業者にアノテーション情報を付与する作業を行わせる複数のアノテーション用画像を保持する。第１画像選択部２１０は、アノテーション用画像を格納する記憶部２２１を有する。第１画像選択部２１０は、管理部２３０から作業者のアノテーションスキルを取得し、アノテーションスキルに応じたアノテーション用画像を決定する。第１画像選択部２１０は、第１処理部１０から評価用画像を取得し、複数のアノテーション用画像に取得した評価用画像を混合して、評価用画像と複数のアノテーション用画像とを入出力部４０に出力する。

【0085】

第２画像選択部２２０は、入出力部４０を介して第２処理部２０で生成されたアノテーション済みの画像を示す情報と第２アノテーション情報とを取得する。第２画像選択部２２０は、アノテーション済みの画像を示す情報及び第２アノテーション情報の中から、評価用画像として作業された、評価用のアノテーション済みの画像を示す情報と、評価用の第２アノテーション情報とを第３処理部３０に出力する。

【0086】

第３処理部３０の評価部３３は、評価用の第２アノテーション情報と第１アノテーション情報とを評価する。評価部３３は、作業者のアノテーションスキルを示す情報を生成し、管理部２３０に出力する。

【0087】

なお、第２画像選択部２２０は、評価用以外のアノテーション済みの画像を示す情報と第２アノテーション情報とを完成品として外部装置に送信してもよい。

【0088】

管理部２３０は、アノテーションスキルを示す情報を格納する記憶部２３１を備え、作業者のアノテーションスキルを管理している。管理部２３０は、作業者のアノテーションスキルを取得すると、記憶部２３１に格納されているアノテーションスキルを更新する。

【0089】

また、管理部２３０は、アノテーションスキルに応じて作業者を選択する。例えば全体的にアノテーションスキルが低い作業者を選択して、この作業者にアノテーション用画像に対してアノテーション情報を付与する作業を積極的に行わせたりしてもよい。

【0090】

［動作］
次に、本実施の形態における情報処理システム２００の動作について説明する。

【0091】

図８は、実施の形態２に係る情報処理システム２００の動作を例示する図である。

【0092】

この情報処理システム２００では、作業者のアノテーションスキルが予め管理部２３０に格納されている場合を想定する。

【0093】

図８に示すように、まず、第１処理部１０は、作業者のアノテーションスキルを管理部２３０から取得する（Ｓ２１）。

【0094】

次に、第１処理部１０は、取得したアノテーションスキルに応じた評価用画像を出力する（Ｓ２２）。具体的には、第１処理部１０は、アノテーションスキルに応じた物体が映るアノテーション用画像を記憶部１１から検索する。第１処理部１０は、アノテーションスキルに応じた物体が映る評価用画像が存在する場合、この評価用画像を選択する。また、記憶部１１にアノテーションスキルに応じた物体が映る評価用画像が存在しない場合、第１処理部１０は、アノテーションスキルに応じた物体が映る評価用画像を生成したり、第１画像選択部２１０から取得したアノテーション用画像に基づいて、作業者に評価用画像と気づかれないように、作業者に提示すべきアノテーション用画像を評価用画像に加工したりする。第１処理部１０は、選択、生成又は加工した評価用画像を示す情報を第１画像選択部２１０に出力する。

【0095】

第１画像選択部２１０は、第１処理部１０を介して管理部２３０から作業者のアノテーションスキルを取得し、アノテーションスキルに応じたアノテーション用画像を選択する。第１画像選択部２１０は、第１処理部１０から評価用画像を取得し、複数のアノテーション用画像に取得した評価用画像を混合して、評価用画像と複数のアノテーション用画像とを入出力部４０に出力する（Ｓ２３）。

【0096】

入出力部４０は、作業者により受付けた入力を第２処理部２０に出力する。第２処理部２０は、アノテーション用画像に対して、作業者がアノテーション情報を付与した、アノテーション済みの画像と第２アノテーション情報とを生成する。そして、第２処理部２０は、アノテーション済みの画像と第２アノテーション情報とを第２画像選択部２２０に出力する（Ｓ２４）。

【0097】

第２画像選択部２２０は、アノテーション済みの画像を示す情報及び第２アノテーション情報を取得する。第２画像選択部２２０は、アノテーション済みの画像を示す情報及び第２アノテーション情報の中から、評価用画像として作業された、評価用のアノテーション済みの画像を示す情報と、評価用の第２アノテーション情報とを第３処理部３０に出力する（Ｓ２５）。

【0098】

次に、第３処理部３０は、評価用のアノテーション済みの画像を示す情報と、評価用の第２アノテーション情報とを取得すると、第３処理部３０の評価部３３は、評価用の第２アノテーション情報と第１アノテーション情報とを評価する。つまり、評価部３３は、評価用の第２アノテーション情報と評価用の第１アノテーション情報との差分に基づいて、作業者のアノテーションスキルを示す情報を生成する。評価部３３は、作業者のアノテーションスキルを示す情報を第１処理部１０に出力し、第１処理部１０の記憶部１１に格納されているアノテーションスキルを示す情報を更新させる（Ｓ２６）。つまり、評価部３３は、作業者がアノテーション用画像にアノテーション情報を付与する作業において、作業者が苦手とする所定の物体（作業）が存在するかどうかを判断する（Ｓ２７）。具体的には、評価部３３は、作業者のアノテーションスキルを示す情報において、このアノテーションスキルが所定閾値未満となるスキルが存在するかどうかを特定する。

【0099】

アノテーションスキルが所定閾値未満となるスキルが存在しない場合（Ｓ２７でＮＯ）、作業者が苦手とする作業が存在しないため、情報処理システム２００は、ステップＳ２１に戻す。

【0100】

一方、アノテーションスキルが所定閾値以上となるスキルが存在する場合（Ｓ２７でＹＥＳ）、作業者が苦手とする作業が存在するため、評価部３３は、所定閾値以上となるアノテーションスキルを表した評価結果を示す情報を生成し、評価結果を示す情報を作業者に提示する（Ｓ２８）。

【0101】

評価部３３は、アノテーションスキルを示す情報を管理部２３０に出力し、管理部２３０は、作業者のアノテーションスキルを示す情報を取得すると、記憶部２３１に格納されているアノテーションスキルを更新する。そして、情報処理システム２００は、この処理を終了させ、フローを最初に戻す。

【0102】

［効果等］
このように、この情報処理システム２００では、評価用画像が、アノテーション用画像と異なる評価用画像であると気づかれないように、評価用画像を加工又は選択したりする。情報処理システム２００は、この評価用画像を複数のアノテーション用画像に混合し、作業者に提示する。このため、作業者は、評価用画像が含まれていることを気づき難くなるため、作業者のアノテーションスキルを評価することができるようになる。

【0103】

本実施の形態における他の作用効果は、実施の形態１と同様の作用効果を奏する。

【0104】

（その他変形例）
以上、本開示の実施の形態１、２に係る情報処理方法、及び情報処理システムについて説明したが、本開示の実施の形態は上述の実施の形態１、２に限定されるものではない。

【0105】

例えば、上記実施の形態では、アノテーション対象のセンシングデータが画像データである例を説明したが、当該センシングデータはこれに限られない。アノテーション対象のセンシングデータは、距離センサから得られる距離データ、マイクロフォンから得られる音データ、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などのレーダから得られる点群データ、香りセンサから得られる香りデータなどの他のセンシングデータであってもよい。

【0106】

また、例えば、上記実施の形態に係る情報処理方法をコンピュータに実行させるプログラム、プログラムを記憶する記憶媒体として実現することもできる。

【0107】

また、上記実施の形態に係る情報処理システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

【0108】

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0109】

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0110】

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の実施の形態は例示された数字に制限されない。

【0111】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0112】

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

【0113】

以上、一つ又は複数の態様に係る情報処理方法、及び情報処理システムについて、実施の形態１、２に基づいて説明したが、本開示の実施の形態１、２は当該複数の態様に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態１、２に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。

【産業上の利用可能性】

【0114】

本開示は、センシングデータにアノテーション情報を付与するスキルを把握するための評価システム、センシングデータにアノテーション情報を付与するスキルを向上させるための訓練システム等に適用できる。

【符号の説明】

【0115】

１、２００ 情報処理システム
１０ 第１処理部（処理部）
２１ 第１取得部
３２ 第２取得部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】