特許 7375135 判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-27

(45)【発行日】2023-11-07

(54)【発明の名称】判定方法

(51)【国際特許分類】

   G06Q 10/06 20230101AFI20231030BHJP

   G06Q 10/101 20230101ALI20231030BHJP

【ＦＩ】

G06Q10/06

G06Q10/101

【請求項の数】 3

(21)【出願番号】P 2022132483

(22)【出願日】2022-08-23

(62)【分割の表示】P 2018159825の分割

【原出願日】2018-08-29

(65)【公開番号】P2022162026

(43)【公開日】2022-10-21

【審査請求日】2022-08-23

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】谷川 徹

(72)【発明者】

【氏名】庄田 幸恵

(72)【発明者】

【氏名】井本 淳一

(72)【発明者】

【氏名】塚本 裕介

(72)【発明者】

【氏名】芋本 征矢

【審査官】牧 裕子

(56)【参考文献】

【文献】特開２００６－１７１９９３（ＪＰ，Ａ）

【文献】特開２０１８－１０６６６２（ＪＰ，Ａ）

【文献】特表２０１６－５３２９５８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３４２６２４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータが行う判定方法であって、
クラウドソーシングを利用する複数の作業者により、アノテーションが付される作業であるアノテーション作業が完了した１以上の対象データそれぞれに対するアノテーション作業の更新履歴を第１記憶装置から取得する更新履歴取得ステップと、
前記１以上の対象データそれぞれについての前記アノテーション作業が完了したか否かを判定する判定ステップと、を含み、
前記判定ステップでは、一の前記対象データに対して、作業順で１つ前に行ったアノテーション作業における修正量よりも小さい修正量のアノテーション作業が所定回数行われたことを検出した場合には、前記一の対象データに対するさらなるアノテーション作業をロックし、前記一の対象データについての前記アノテーション作業が完了したと判定する、
判定方法。

【請求項2】

前記判定ステップでは、さらに、一の前記対象データに対して、作業順で１つ前に行った第１アノテーション作業における修正量よりも大きい修正量の第２アノテーション作業がなされたことを検出した場合には、前記一の対象データについての前記第２アノテーション作業が不正作業であるか否かの確認を促す通知を送信する、
請求項１に記載の判定方法。

【請求項3】

前記判定ステップでは、さらに、一の前記対象データに対して、作業順で１つ前に行った第１アノテーション作業における修正量よりも大きい修正量の第２アノテーション作業がなされた回数を検出した場合、前記一の対象データについての前記アノテーション作業が完了したと判定したときに、前記一の対象データについての前記回数を通知する、
請求項１に記載の判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、寄与度決定方法、寄与度決定装置及びプログラムに関する。

【背景技術】

【0002】

近年、ニューラルネットワークの１種である、Ｄｅｅｐ Ｌｅａｒｎｉｎｇと呼ばれる機械学習の手法が、注目されている。Ｄｅｅｐ Ｌｅａｒｎｉｎｇでは、認識対象の画像上の位置を示すバウンディングボックス及び認識対象の種類等を示す正解ラベル等と画像とをセットにした学習データを用いて、学習処理を行うことで、高精度の物体認識を実現することができる。

【0003】

大量のアノテーション付き画像を用意する方法としては、クラウドソーシングを利用する方法がある。ここで、クラウドソーシングは、インターネットを通じて不特定多数の者（作業者）に作業（タスク）を依頼する仕組みである。したがって、クラウドソーシングを利用することで、複数の作業者に映像フレームなど画像から学習処理に必要な人物などの物体を見つけて、認識対象の画像上において当該物体が映っている領域を示すバウンディングボックスと種類等のラベルを付すといったアノテーション作業を行わせることができる。これにより、コストを抑制しつつ大量のアノテーション付き画像を用意することができる。

【0004】

ここで、例えば特許文献１には、複数の作業者それぞれの作業の実施場所及び実施時間を示す情報に基づいて各作業者の対価を決定する技術が開示されている。これにより、作業の依頼者は、設定した予算ないでより多くの作業を複数の作業者に実施させることができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－１５６８１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、クラウドソーシングを利用して依頼される作業者は、在宅において作業する者が大半であり、作業者自身の空き時間に作業を行うため、依頼された作業の着手及び完了までに時間を要することがある。そして、上記の特許文献１でも、作業者が作業を着手する及び完了させるまでの時間を早めるインセンティブは働かないため、依頼された作業を着手させ完了させるまでに時間を要することがある。

【0007】

本開示は、上述の事情を鑑みてなされたもので、クラウドソーシングを利用する作業者の作業着手を早めさすことができる寄与度決定方法、寄与度決定装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本開示の一形態に係る寄与度決定方法は、コンピュータが行う寄与度決定方法であって、クラウドソーシングを利用する複数の作業者により、アノテーションが付される作業であるアノテーション作業が完了した１以上の対象データそれぞれに対するアノテーション作業の更新履歴を第１記憶装置から取得する更新履歴取得ステップと、前記更新履歴取得ステップにおいて取得した前記更新履歴を参照して、第２記憶装置に格納されている予め定められた重み付けルールに従い、前記複数の作業者を示す複数の作業者ＩＤ毎の作業寄与度を算出する寄与度算出ステップとを含み、前記寄与度算出ステップでは、前記１以上の対象データそれぞれに対して作業順で最初にアノテーション作業を行った作業者を示す作業者ＩＤに、作業順で次以降にアノテーション作業を行った作業者を示す作業者ＩＤよりも大きく重み付けた作業寄与度を算出する。また、本開示の一形態に係る決定方法は、コンピュータが行う判定方法であって、クラウドソーシングを利用する複数の作業者により、アノテーションが付される作業であるアノテーション作業が完了した１以上の対象データそれぞれに対するアノテーション作業の更新履歴を第１記憶装置から取得する更新履歴取得ステップと、前記１以上の対象データそれぞれについての前記アノテーション作業が完了したか否かを判定する判定ステップと、を含み、前記判定ステップでは、一の前記対象データに対して、作業順で１つ前に行ったアノテーション作業における修正量よりも小さい修正量のアノテーション作業が所定回数行われたことを検出した場合には、前記一の対象データに対するさらなるアノテーション作業をロックし、前記一の対象データについての前記アノテーション作業が完了したと判定する。

【0009】

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0010】

本開示によれば、クラウドソーシングを利用する作業者の作業着手を早めさすことができる寄与度決定方法、寄与度決定装置及びプログラムを実現できる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１におけるシステムの全体構成の一例を示す図である。

【図2】実施の形態１におけるセンサデータＤＢが保存する静止画像の一例を示す図である。

【図3】実施の形態１におけるアノテーションツール部が提供するアノテーション作業画面の一例を示す図である。

【図4A】実施の形態１におけるアノテーションツール部が提供するアノテーション作業画面の一例を示す図である。

【図4B】実施の形態１におけるアノテーションツール部が提供するアノテーション作業画面の一例を示す図である。

【図4C】実施の形態１におけるアノテーションツール部が提供するアノテーション作業画面の一例を示す図である。

【図5】実施の形態１におけるアノテーション作業データＤＢに格納されるアノテーション作業データの一例を示す図である。

【図6】実施の形態１における金額計算部の詳細構成の一例を示す図である。

【図7A】実施の形態１における寄与度決定装置の動作の一例を示すフローチャートである。

【図7B】図７Ａに示すステップＳ２０の詳細動作例を示すフローチャートである。

【図8A】実施の形態１におけるアノテーションツール部が提供するアノテーション作業画面の別の一例を示す図である。

【図8B】図８Ａに示すアノテーション作業画面にアノテーション作業が反映された場合のアノテーション作業画面の一例を示す図である。

【図8C】図８Ａに示すアノテーション作業画面にアノテーション作業が反映された場合のアノテーション作業画面の一例を示す図である。

【図9】実施の形態２におけるシステムの全体構成の一例を示す図である。

【図10】図９に示す判定部の詳細構成の一例を示す図である。

【図11】実施の形態２におけるアノテーションツール部が提供するアノテーション作業画面の一例を示す図である。

【図12】実施の形態２におけるアノテーションツール部が提供するアノテーション作業画面の一例を示す図である。

【図13】実施の形態２における寄与度決定装置の作業完了判定処理を示すフローチャートである。

【図14】実施の形態２における寄与度決定装置の不適切作業判定処理を示すフローチャートである。

【発明を実施するための形態】

【0012】

本開示の一態様に係る寄与度決定方法は、コンピュータが行う寄与度決定方法であって、クラウドソーシングを利用する複数の作業者により、アノテーションが付される作業であるアノテーション作業が完了した１以上の対象データそれぞれに対するアノテーション作業の更新履歴を第１記憶装置から取得する更新履歴取得ステップと、前記更新履歴取得ステップにおいて取得した前記更新履歴を参照して、第２記憶装置に格納されている予め定められた重み付けルールに従い、前記複数の作業者を示す複数の作業者ＩＤ毎の作業寄与度を算出する寄与度算出ステップとを含み、前記寄与度算出ステップでは、前記１以上の対象データそれぞれに対して作業順で最初にアノテーション作業を行った作業者を示す作業者ＩＤに、作業順で次以降にアノテーション作業を行った作業者を示す作業者ＩＤよりも大きく重み付けた作業寄与度を算出する。

【0013】

これによれば、クラウドソーシングを利用する作業者の作業着手を早めさすことができる。

【0014】

ここで、例えば、前記１以上の対象データは１以上の静止画像であり、前記アノテーション作業は、前記１以上の静止画像それぞれに映る１以上の対象物体それぞれを囲うバウンディングボックスを付して、前記１以上の対象物体それぞれを表すラベルを前記バウンディングボックスに付す作業である。

【0015】

さらに、例えば、前記１以上の静止画像のそれぞれは、車両に搭載された車載カメラまたは所定位置に設置された監視カメラにより撮影された画像であり、前記１以上の対象物体は、前記静止画像に映る人を含むとしてもよい。

【0016】

また、例えば、前記１以上の対象データは１以上の時系列データであり、前記アノテーション作業は、前記１以上の時系列データに含まれる１以上の状態それぞれを区別する時間区間を付して、１以上の前記時間区間それぞれに、対応する状態を表すラベルを付す作業である。

【0017】

さらに、例えば、前記１以上の時系列データのそれぞれは、車両に搭載された車載カメラにより撮影された複数の画像それぞれと同時にセンサにより取得された前記車両に関するセンサデータであり、前記１以上の状態は、前記車両の走行状態、前記車両の走行場所、前記車両の周辺環境、前記車両が走行する道路状況のうちの少なくとも一であるとしてもよい。

【0018】

また、例えば、前記寄与度算出ステップでは、前記１以上の対象データそれぞれに対して作業順で最後にアノテーション作業を行った作業者を示す作業者ＩＤに、作業順で前記次以降から最後より前までにアノテーション作業を行った作業者を示す作業者ＩＤよりも大きく重み付けた作業寄与度を算出するとしてもよい。

【0019】

また、例えば、さらに、１つの対象データあたりの金額の設定を受け付ける受付ステップと、前記寄与度算出ステップで算出された前記作業者ＩＤ毎の作業寄与度に、前記受付ステップで受け付けた金額を乗算して得た前記作業者ＩＤ毎の金額を報酬として計算する計算ステップとを含むとしてもよい。

【0020】

また、例えば、さらに、前記１以上の対象データそれぞれについての前記アノテーション作業が完了したか否かを判定する判定ステップを含み、前記判定ステップでは、一の前記対象データに対して、作業順で１つ前に行ったアノテーション作業における修正量よりも小さい修正量のアノテーション作業が所定回数行われたことを検出した場合には、前記一の対象データに対するさらなるアノテーション作業をロックし、前記一の対象データについての前記アノテーション作業が完了したと判定するとしてもよい。

【0021】

また、例えば、前記判定ステップでは、さらに、一の前記対象データに対して、作業順で１つ前に行った第１アノテーション作業における修正量よりも大きい修正量の第２アノテーション作業がなされたことを検出した場合には、前記一の対象データについての前記第２アノテーション作業が不正作業であるか否かの確認を促す通知を送信するとしてもよい。

【0022】

また、例えば、前記判定ステップでは、さらに、一の前記対象データに対して、作業順で１つ前に行った第１アノテーション作業における修正量よりも大きい修正量の第２アノテーション作業がなされた回数を検出した場合、前記一の対象データについての前記アノテーション作業が完了したと判定したときに、前記一の対象データについての前記回数を通知するとしてもよい。

【0023】

また、本開示の一態様に係る寄与度決定装置は、クラウドソーシングを利用する複数の作業者により、アノテーションが付される作業であるアノテーション作業が完了した１以上の対象データそれぞれに対するアノテーション作業の更新履歴を第１記憶装置から取得する更新履歴取得部と、前記更新履歴取得部において取得した前記更新履歴を参照して、第２記憶装置に格納されている予め定められた重み付けルールに従い、前記複数の作業者を示す複数の作業者ＩＤ毎の作業寄与度を算出する寄与度算出部とを備え、前記寄与度算出部は、前記１以上の対象データそれぞれに対して作業順で最初にアノテーション作業を行った作業者を示す作業者ＩＤに、作業順で次以降にアノテーション作業を行った作業者を示す作業者ＩＤよりも大きく重み付けた作業寄与度を算出する。

【0024】

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

【0025】

以下、本開示の一態様に係る寄与度決定方法等について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

【0026】

（実施の形態１）
［システムの全体構成］
図１は、実施の形態１におけるシステムの全体構成の一例を示す図である。

【0027】

実施の形態１におけるシステムは、図１に示すように、寄与度決定装置１０と、サーバ２０と、複数の作業端末３０とを備える。寄与度決定装置１０、サーバ２０、及び、複数の作業端末３０は、ネットワーク４０を介して接続されている。サーバ２０と寄与度決定装置１０は、ネットワーク４０を介して接続されてもよいし、直接有線または無線で接続されていてもよい。なお、寄与度決定装置１０の一部ないし全部は、サーバ２０に含まれて構成されるとしてもよい。

【0028】

［サーバ２０の構成］
サーバ２０は、アノテーションツール部２０１と、センサデータＤＢ２０２と、アノテーション作業データＤＢ２０３と、報酬金額ＤＢ２０４とを備える。サーバ２０は、例えば、プロセッサ（マイクロプロセッサ）、メモリ、通信インタフェース等を備えるコンピュータで実現される。

【0029】

＜センサデータＤＢ２０２＞
センサデータＤＢ２０２は、クラウドソーシングを利用する複数の作業者に対してアノテーション作業を実施してもらうための対象データを格納する記憶装置である。センサデータＤＢ２０２は、半導体メモリ、ハードディスクなどで実現される。ここで、対象データは、１以上の静止画像であってもよい。この場合、１以上の静止画像のそれぞれは、例えば、車両に搭載された車載カメラまたは所定位置に設置された監視カメラにより撮影された画像である。

【0030】

図２は、実施の形態１におけるセンサデータＤＢ２０２が保存する静止画像の一例を示す図である。図２に示す静止画像５１は、車載カメラにより撮影された画像であり、人物を示す物体５１１、５１２と自動車を示す物体５１３とが映っている。

【0031】

なお、対象データは、１以上の静止画像である場合に限らず、１以上の時系列データであってもよい。この場合、１以上の時系列データのそれぞれは、車両に搭載された車載カメラにより撮影された動画像、もしくは、連続静止画像（以後、動画像と記載）それぞれと同時にセンサにより取得された車両に関するセンサデータであってもよい。ここで、車両に関するセンサデータは、例えば車両の速度、加速度、ＧＰＳまたはＣＡＮデータである。また、１以上の時系列データは、監視カメラにより撮影された動画像であってもよいし、バイタルセンシングまたは環境センシングにより取得されたセンサデータであってもよい。

【0032】

＜アノテーションツール部２０１＞
アノテーションツール部２０１は、センサデータＤＢ２０２に格納される複数の対象データからアノテーション作業を依頼する対象データを選択し、ネットワーク４０を介して選択した対象データに対するアノテーション作業画面を複数の作業端末３０に提供する。

【0033】

図３は、実施の形態１におけるアノテーションツール部２０１が提供するアノテーション作業画面の一例を示す図である。図２と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0034】

図３に示すアノテーション作業画面５０は、Ｗｅｂページなどで提供され、ＲＵＮボタン５０ａ、データ選択領域５０ｂ及びＳａｖｅボタン５０ｃを含んでいる。また、アノテーション作業画面５０は、静止画像５１が表示されている画像領域と、ラベル選択領域５３とを含んでいる。ラベル選択領域５３には、歩行者、自動車＋搭乗者、車、トラック、及びバイク＋搭乗者といったクラスラベルが含まれている。クラスラベルは、静止画像５１に含まれる対象物体の位置を示すために付したバウンディングボックスに対するラベルであり、歩行者、自動車＋搭乗者、車、トラック、及びバイク＋搭乗者のうちの一が選択される。そして、アノテーション作業を行う複数の作業者の少なくとも一は、図３に示すアノテーション作業画面５０の静止画像５１に含まれる対象物体にバウンディングボックスを付して、付したバウンディングボックスのラベルをラベル選択領域５３から選択するといったアノテーション作業を行うことになる。

【0035】

また、アノテーション作業画面５０中の「Ｗｏｒｋｅｒ ＩＤ」の横のスペースは作業者のＩＤを入力する領域であり、作業者を一意に特定するためのユニークなＩＤが入力される。なお、他人にＩＤが使用されないようにＩＤ入力後にパスワードの入力を求めてもよい。

【0036】

また、アノテーション作業画面５０中の「Ｄａｔａ Ｓｅｌｅｃｔ」の横のスペースは、データセットを選択するための領域であり、プルダウンにより、対象データの中のどのデータセットを作業するかを選択できる。そして、データセットを選択後に、ＲＵＮボタン５０ａを押すと、アノテーション作業画面５０の画像領域に静止画像５１が表示され、アノテーション作業が開始できる状態となる。

【0037】

なお、他の作業者がアノテーション作業中のデータセットは選択できないようにしてもよい。これにより、複数人の作業者により、同じデータに対するアノテーション作業が同時に行われないようにすることができる。また、例えばアノテーション作業が完了した後のデータセットなど、アノテーション作業が不要となったデータセットも選択できないようにしてもよい。ここで、例えばデータセットの公開時刻、もしくは、初回のアノテーション作業の完了時刻から所定の時刻が経過した段階で、当該データセットのアノテーション作業が完了しているとみなしてもよい。また、例えば、アノテーションデータ作業の更新が所定の回数実施されたことをトリガとして当該データセットのアノテーション作業が完了したとみなしてもよい。

【0038】

また、アノテーション作業画面５０中のデータ選択領域５０ｂを押すことで、選択されたデータセット（図では「Data_Set_001/SUB006」）に含まれるデータの中から、どのデータを作業するかを選択できる。データ選択領域５０ｂは、例えば図３に示すように、左及び右の矢印のボタンであり、アノテーション作業するデータを、次のデータに進めたり、前のデータに戻したりできる。なお、アノテーション作業画面５０中に表示されている３２／５０は、選択されたデータセットには５０のデータが含まれていて、現在、３２個目のデータを選択していることを示す。

【0039】

アノテーション作業画面５０中のＳａｖｅボタン５０ｃは、押されると、アノテーション作業画面５０に現在表示されているアノテーション作業の内容をアノテーション作業データＤＢ２０３に登録（保存）される。

【0040】

本実施の形態では、１つの対象データに対して、複数の作業者によりアノテーション作業が行われる。より具体的には、１つの対象データに対してクラウドソーシングを利用する複数の作業者により、アノテーションが付される作業であるアノテーション作業が行われる。つまり、換言すると、クラウドソーシングによりアノテーション作業が依頼された１つの対象データに対して、当該１つの対象データに対するアノテーション作業を行ってもよいと考える複数の作業者によりアノテーション作業が行われる。ここで、１以上の対象データが１以上の静止画像である場合、アノテーション作業は、１以上の静止画像それぞれに映る１以上の対象物体それぞれを囲うバウンディングボックスを付して、当該１以上の対象物体それぞれを表すラベルをバウンディングボックスに付す作業である。１以上の対象物体は、静止画像に映る歩行者を含む。１以上の対象物体には、車両が含まれていてもよい。なお、１以上の対象データが１以上の時系列データである場合、アノテーション作業は、１以上の時系列データに含まれる１以上の状態それぞれを区別する時間区間を付して、付した１以上の時間区間それぞれに、対応する状態を表すラベルを付す作業である。時系列データが車載センサのデータである場合、１以上の状態は、車両の走行状態、車両の走行場所、車両の周辺環境、車両が走行する道路状況のうちの少なくとも一である。

【0041】

また、アノテーションツール部２０１は、ネットワーク４０を介して提供するアノテーション作業画面に対して行われたアノテーション作業を示すアノテーション作業データを取得する。そして、アノテーションツール部２０１は、取得したアノテーション作業データをアノテーション作業画面に反映して提供するとともに、アノテーション作業データＤＢ２０３に保存する。

【0042】

図４Ａ～図４Ｃは、実施の形態１におけるアノテーションツール部２０１が提供するアノテーション作業画面の一例を示す図である。図３と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0043】

図４Ａでは、静止画像５１に含まれる物体５１１にバウンディングボックス５２を付し、ラベル選択領域５３においてバウンディングボックス５２に対するクラスラベルが歩行者であることを選択したアノテーション作業が反映されたアノテーション作業画面５０Ａが示されている。図４Ｂでは、アノテーション作業画面５０Ａにおける物体５１１に対するバウンディングボックス５２を更新してバウンディングボックス５４を付したアノテーション作業が反映されたアノテーション作業画面５０Ｂが示されている。なお、図４Ｃでは、アノテーション作業画面５０Ａに含まれる静止画像５１に対して行われた複数のアノテーション作業を反映したアノテーション作業画面５０Ｃが示されている。より具体的には、アノテーション作業画面５０Ｃでは、静止画像５１の物体５１１に対するバウンディングボックス５２が複数回更新され、物体５１２に対するバウンディングボックス５５と物体５１３に対するバウンディングボックス５６とが新たに付されている。また、アノテーション作業画面５０Ｃでは、ある作業者により木を人に誤認してバウンディングボックス５７が新たに付されている。

【0044】

＜アノテーション作業データＤＢ２０３＞
アノテーション作業データＤＢ２０３は、第１記憶装置の一例であり、対象データそれぞれについて紐づけられるアノテーション作業データの履歴を格納する。アノテーション作業データＤＢ２０３は、半導体メモリ、ハードディスクなどで実現される。

【0045】

本実施の形態では、アノテーション作業データＤＢ２０３は、アノテーションツール部２０１が提供するアノテーション作業画面に対して行われたアノテーション作業を示すアノテーション作業データの履歴を格納する。

【0046】

図５は、実施の形態１におけるアノテーション作業データＤＢ２０３に格納されるアノテーション作業データの一例を示す図である。

【0047】

アノテーション作業データは、例えば図５に示すように、作業者ＩＤ、対象データＩＤ、アノテーションＩＤ、作業時刻、及び、アノテーション内容を含む。つまり、図５に示す例では、アノテーション作業データは一行毎に構成され、ひとつの静止画像（対象データ）に対して付与されたデータ毎に存在する。アノテーション作業データは、データ毎に、複数の作業者のうちの一人が行うアノテーション作業の履歴となっている。

【0048】

作業者ＩＤは、アノテーション作業を行った作業者を示す。より具体的には、作業者ＩＤは、クラウドソーシングを利用する複数の作業者の一を一意に示す識別子である。図５に示す例では、同一の対象データに対してアノテーション作業を行った作業者ＩＤが示されている。すなわち、図５に示す例では、作業者ＩＤとして、ＷｏｒｋｅｒＩＤ_０００１、ＷｏｒｋｅｒＩＤ_０００２、ＷｏｒｋｅｒＩＤ_０００３、ＷｏｒｋｅｒＩＤ_０００４・・・等が示されている。

【0049】

対象データＩＤは、アノテーション作業が行われた対象データを示す。より具体的には、対象データＩＤは、クラウドソーシングを利用して依頼された対象データの一であってアノテーション作業が行われた対象データを一意に示す識別子である。図５に示す例では、対象データＩＤとして、アノテーション作業が行われた一の対象データを示すDataSet_001/SUB006/32.jpgが示されている。

【0050】

アノテーションＩＤは、対象データＩＤで示される対象データに付されたアノテーションを示す。より具体的には、アノテーションＩＤは、クラウドソーシングを利用して依頼された対象データに対して付されたアノテーションを一意に示す識別子である。図５に示す例では、００００１、００００２、００００３及び００００４等、対象データＩＤで示される対象データに付されたバウンディングボックスまたは時間区間などを示すアノテーションＩＤが示されている。なお、図５に示す例では、アノテーションＩＤは、対象データＩＤとの組み合わせにより一意になるようになっているが、これに限ることはない。

【0051】

作業時刻は、アノテーション作業が行われた時刻を示す。より具体的には、作業時刻は、2018/06/24 12:46:37など同じ行の対象データＩＤに示される対象データに対してアノテーション作業が行われた時刻である。図５に示す例では、2018/06/24 12:46:37、2018/06/24 18:10:24、2018/06/25 10:31:57、2018/06/25 12:45:03等の作業時刻が示されており、作業時刻から作業順がわかるようになっている。

【0052】

アノテーション内容は、アノテーションＩＤに示されるアノテーションの内容を示す。より具体的には、アノテーション内容は、同じ行のアノテーションＩＤに示されるアノテーションの内容を示す。

【0053】

図５に示す例では、「Create」は、対象データＩＤが「DataSet_001/SUB006/32.jpg」の対象データに対して、初めてアノテーション作業が行われ、「００００１」～「００００４」のアノテーションＩＤが付されたこと示している。この例を図４Ｃに当てはめると、００００１のアノテーションＩＤはバウンディングボックス５２に該当し、００００２のアノテーションＩＤはバウンディングボックス５５に該当する。００００３のアノテーションＩＤはバウンディングボックス５６に該当し、００００４のアノテーションＩＤはバウンディングボックス５７に該当する。また、「（３０２、２０９）、（４０６、３７４）」のバウンディングボックスは、「００００１」で示されるアノテーションＩＤのバウンディングボックス５２の左上の座標が（３０２、２０９）、右下の座標が（４０６、３７４）であることを示している。なお、これら座標は静止画像５１の左上の角を原点（０、０）としたときの座標となっている。また、「（５７１、２４６）、（６０６、３６０）」のバウンディングボックスは、「００００２」で示されるアノテーションＩＤのバウンディングボックス５５の左上の座標が（５７１、２４６）、右下の座標が（６０６、３６０）であることを示している。「（４２０、２６２）、（６３６、３３４）」のバウンディングボックスは、「００００３」で示されるアノテーションＩＤのバウンディングボックス５６の左上の座標が（４２０、２６２）、右下の座標が（６３６、３３４）であることを示している。「（２１９、２５４）、（２４２、３１２）」のバウンディングボックスは、「００００４」で示されるアノテーションＩＤのバウンディングボックス５７の左上の座標が（２１９、２５４）、右下の座標が（２４２、３１２）であることを示している。

【0054】

また、図５に示す「Pedestrian」のクラスラベルは、歩行者が選択されたことを示し、「CAR」のクラスラベルは、車が選択されたことを示している。この例を図４Ｃに当てはめると、「００００１」で示されるアノテーションＩＤのバウンディングボックス５２が付与された物体５１１が歩行者であることを示している。「００００２」で示されるアノテーションＩＤのバウンディングボックス５５が付与された物体５１２が歩行者であることを示している。また、「００００３」で示されるアノテーションＩＤのバウンディングボックス５６が付与された物体が車であることを示している。また、「００００４」で示されるアノテーションＩＤのバウンディングボックス５７が付与された物体を木ではあるが誤って歩行者としていることを示している。

【0055】

また、図５に示す「Update」は、対象データＩＤが「DataSet_001/SUB006/32.jpg」の対象データに含まれる物体等に対して付されたアノテーションを更新するアノテーション作業が行われたことをこと示している。図５では、ＷｏｒｋｅｒＩＤ_０００２、ＷｏｒｋｅｒＩＤ_０００１、及びＷｏｒｋｅｒＩＤ_０００３がこの順で「００００１」のアノテーションＩＤで示されるバウンディングボックス５２を縮小する方向で更新したことを示している。図５に示す例では、「００００１」で示されるアノテーションＩＤのバウンディングボックスの左上及び右下の座標が「（３０２、２０２）、（４０６、３７４）」から「（３１６、２３３）、（３８２、３４６）」の位置に更新され、さらに「（３２２、２０９）、（４０６、３７４）」の位置に更新されている。なお、クラスラベルは、歩行者が選択されたままで更新されていない。

【0056】

また、図５に示す「Delete」は、対象データＩＤが「DataSet_001/SUB006/32.jpg」の対象データに含まれる物体等に対して付されたアノテーションを削除するアノテーション作業が行われたことをこと示している。図５では、ＷｒｋｅｒＩＤ_０００４の作業者が誤って付した「００００４」のアノテーションＩＤで示されるバウンディングボックス５７を削除する更新をしたことを示している。この例を図４Ｃに当てはめると、「００００４」のアノテーションＩＤで示されるバウンディングボックス５７は誤って付されたものであるので、静止画面５１上から削除されたことを示す。

【0057】

＜報酬金額ＤＢ２０４＞
報酬金額ＤＢ２０４は、寄与度決定装置１０から出力される算出結果を格納する記憶装置である。報酬金額ＤＢ２０４は、半導体メモリ、ハードディスクなどで実現される。

【0058】

本実施の形態では、報酬金額ＤＢ２０４は、対象データごとに算出された作業者ごとの寄与度を用いて計算された、１以上の対象データすべてに対する作業者ごとの報酬金額を格納する。なお、寄与度は、１つの対象データに対する全作業者の寄与度を合計すると１になるよう正規化されている。これにより、クラウドソーシングを利用する依頼側は、報酬金額ＤＢ２０４に格納される作業者ごとの報酬金額に従って、作業者に報酬を支払うことができる。

【0059】

［作業端末３０の構成］
作業端末３０は、図１に示すように、通信部３０１、提示部３０２、及び、入力部３０３を備える。作業端末３０は、例えば、プロセッサ（マイクロプロセッサ）、メモリ、センサ、通信インタフェース等を備えるコンピュータで実現される。作業端末は、パソコンまたはタブレットなどの携帯端末である。

【0060】

＜通信部３０１＞
通信部３０１は、プロセッサおよび通信Ｉ／Ｆ等により実現され、サーバ２０と通信を行う。より具体的には、通信部３０１は、サーバ２０より提供された対象データに対するアノテーション作業画面を提示部３０２に送信する。

【0061】

また、通信部３０１は、入力部３０３により入力されたアノテーション作業画面に対して行われたアノテーション作業を示すアノテーション作業データをサーバ２０に送信する。

【0062】

＜提示部３０２＞
提示部３０２は、通信部３０１を介してサーバ２０より送信された対象データに対するアノテーション作業画面を提示する。例えば、提示部３０２は、図３に示すようなアノテーション作業画面５０を提示する。

【0063】

また、提示部３０２は、通信部３０１を介して送信された対象データに対するアノテーション作業が反映されたアノテーション作業画面を提示する。例えば、提示部３０２は、図４Ａに示すような対象データに対するアノテーション作業が反映されたアノテーション作業画面５０Ａまたは図４Ｂに示すような対象データに対するアノテーション作業が反映されたアノテーション作業画面５０Ｂを提示する。

【0064】

＜入力部３０３＞
入力部３０３は、ユーザからの入力を受け取るインターフェース装置である。入力部３０３は、提示部３０２により提示されたアノテーション作業画面に含まれる対象データが画像である場合には、対象データに含まれる対象物体に対してバウンディングボックスを付す、更新する、または削除などアノテーション作業の入力を受け取る。例えば図４Ａに示すアノテーション作業画面５０Ａを例に挙げると、入力部３０３は、物体５１１に対して物体５１１の位置を示すバウンディングボックス５２を付して、ラベル選択領域５３の一のクラスラベルを選択するアノテーション作業の入力を受け取ってもよい。

【0065】

なお、入力部３０３は、提示部３０２により提示されたアノテーション作業画面に含まれる対象データが時系列データである場合には、対象データに含まれる状態に対して時間区間を付す、更新するまたは削除するなどのアノテーション作業の入力を受け取るとしてもよい。

【0066】

［寄与度決定装置１０］
寄与度決定装置１０は、更新履歴取得部１０１と、寄与度算出部１０２と、重み付けＤＢ１０３と、金額計算部１０４とを備える。寄与度決定装置１０は、例えば、プロセッサ（マイクロプロセッサ）、メモリ、センサ、通信インタフェース等を備えるコンピュータで実現される。

【0067】

＜更新履歴取得部１０１＞
更新履歴取得部１０１は、クラウドソーシングを利用する複数の作業者により、アノテーションが付される作業であるアノテーション作業が完了した１以上の対象データそれぞれに対するアノテーション作業の更新履歴をアノテーション作業データＤＢ２０３から取得する。

【0068】

例えば、更新履歴取得部１０１は、図５に示したような複数のアノテーション作業データを、アノテーション作業データＤＢ２０３から取得する。

【0069】

なお、更新履歴取得部１０１は、アノテーション作業データＤＢ２０３に格納される複数のアノテーション作業データのうち、アノテーション内容に新規が含まれる作業時刻から所定時間経過しているものをアノテーション作業が完了しているとして取得すればよい。アノテーション内容に新規が含まれる作業時刻は、その対象データに対して初めてアノテーション作業が行われた作業時刻であり、そこから所定時間経過したものをアノテーション作業が完了したとしてもよいからである。

【0070】

＜寄与度算出部１０２＞
寄与度算出部１０２は、更新履歴取得部１０１により取得された更新履歴を参照して、重み付けＤＢ１０３に格納されている予め定められた重み付けルールに従い、複数の作業者を示す複数の作業者ＩＤ毎の作業寄与度を算出する。寄与度算出部１０２は、１以上の対象データそれぞれに対して作業順で最初にアノテーション作業を行った作業者を示す作業者ＩＤに、作順で次以降にアノテーション作業を行った作業者を示す作業者ＩＤよりも大きく重み付けた作業寄与度を算出する。

【0071】

なお、アノテーション作業の完了のトリガが時間であった場合、作業者は何名になるか分からないため、例えば、新規作業者と更新作業者との寄与度の比率を重み付けＤＢ１０３に記録しておいても良い。これにより、更新作業者が何人になっても寄与率を計算できる。

【0072】

また、アノテーション作業の完了のトリガが更新回数であった場合、作業人数は決まっているため、例えば、新規作業者と更新作業者で寄与度を直接重み付けＤＢに記録しておいてもよい。

【0073】

このように、一の対象データに割り当てられた複数の作業者のうち、バウンディングボックスを付すなどのアノテーション作業を最初に行った作業者に報酬を多く入るようにすることで、作業者の作業着手を早めさすことができる。この結果、アノテーション作業の完了までの時間を短縮することができる。さらに、サーバ２０によるアノテーション作業画面の提供の総時間も短縮できるので、省エネにも寄与することになる。

【0074】

また、寄与度算出部１０２は、当該１以上の対象データそれぞれに対して作業順で最後にアノテーション作業を行った作業者を示す作業者ＩＤに、作業順で前記次以降から最後より前までにアノテーション作業を行った作業者を示す作業者ＩＤよりも大きく重み付けた作業寄与度を算出してもよい。

【0075】

このように、一の対象データに割り当てられた複数の作業者のうち、バウンディングボックスの範囲を修正するなどアノテーション作業の更新を最後に行った作業者にもより多くの報酬が入るようにする。これにより、同一または他の作業者が行うアノテーションの修正に価値をもたせることができるので、一の対象データに対する更新作業を促すことができるだけでなく、アノテーション作業の完了までの時間を短縮することができる。この結果、サーバ２０によるアノテーション作業画面の提供の総時間を短縮できるので、省エネにも寄与することができる。

【0076】

＜重み付けＤＢ１０３＞
重み付けＤＢ１０３は、第２記憶装置の一例であり、半導体メモリ、ハードディスクなどで実現される。重み付けＤＢ１０３には、予め定められた重み付けルールが登録されている。

【0077】

本実施の形態では、重み付けＤＢ１０３には、上述したが、作業順で最初にアノテーション作業を行った作業者に大きな重みを付すという重み付けルールが登録されている。また、重み付けＤＢ１０３には、作業順で最後にアノテーション作業を行った作業者に対して、次に大きな重みを付すという重み付けルールが登録されている。

【0078】

＜金額計算部１０４＞
図６は、実施の形態１における金額計算部１０４の詳細構成の一例を示す図である。

【0079】

金額計算部１０４は、受付部１０４１と、計算部１０４２とを備え、１以上の対象データすべてに対する作業者ごとの報酬金額を計算する。

【0080】

受付部１０４１は、１つの対象データあたりの金額の設定を受け付ける。

【0081】

ここで、１つの対象データあたりに含まれる１以上の静止画像または１以上の状態の数はわからないので、当該数に応じた金額を支払うとすれば依頼者側の予算を超えてしまう場合も考えられる。そのため、本実施の形態では、１つの対象データあたりの金額を設定することで、依頼者側が支払う金額の増加を抑えることができる。

【0082】

計算部１０４２は、寄与度算出部１０２で算出された作業者ＩＤ毎の作業寄与度に、受付部１０４１で受け付けた金額を乗算して得た作業者ＩＤ毎の金額を報酬として計算する。

【0083】

これにより、対象データに対して作業者がアノテーション作業を最初に着手するほど、その作業者の報酬としての金額が多くなり、また、アノテーション作業を最後に行うほどその作業者の報酬としての金額が多くなる。これにより、対象データに対するアノテーション作業を着手するまたは完了させるまでの時間を早めるインセンティブを作業者に対して働かせることができる。

【0084】

［寄与度決定装置１０の動作］
次に、以上のように構成された寄与度決定装置１０の動作について説明する。

【0085】

図７Ａは、実施の形態１における寄与度決定装置１０の動作の一例を示すフローチャートである。図７Ｂは、図７Ａに示すステップＳ２０の詳細動作例を示すフローチャートである。

【0086】

まず、寄与度決定装置１０は、対象データに対するアノテーション作業の作業履歴を取得する（Ｓ１０）。より具体的には、寄与度決定装置１０は、アノテーション作業が完了した対象データから１つの対象データを選択し、選択した対象データに関するアノテーション作業の作業履歴を全て取得する。ここで、図５を用いて説明すると、対象データがDataSet_001/SUB006/32.jpgであった場合、寄与度決定装置１０は、対象データＩＤにDataSet_001/SUB006/32.jpgが記録されている全ての作業履歴を、アノテーション作業データＤＢ２０３から取得する。

【0087】

次に、寄与度決定装置１０は、作業者ＩＤごとの作業寄与度を、重み付けＤＢ１０３に登録されている重み付けルールに従い算出する（Ｓ２０）。より具体的には、図８Ｂに示すように、寄与度決定装置１０は、ステップＳ１０で取得した更新履歴を参照して、対象データの作業寄与度を、重み付けＤＢ１０３に登録されている重み付けルールに従い計算する（Ｓ２０１）。次いで、寄与度決定装置１０は、作業者ＩＤごとに作業寄与度を加算することで（Ｓ２０２）、作業者ＩＤごとの作業寄与度を算出する。

【0088】

なお、ステップＳ２０の後、すべての対象データについて処理すなわち作業寄与度の算出が完了していなければ、ステップＳ１０に戻り、別の対象データについての作業寄与度を算出する。一方、すべての対象データについて処理が完了していれば、寄与度決定装置１０は、動作を終了する。

【0089】

［効果等]
以上のように、本実施の形態によれば、クラウドソーシングを利用して依頼される作業者の作業着手を早めさすことができる寄与度決定方法等を実現できる。

【0090】

より具体的には、一の対象データに割り当てられた複数の作業者のうち、バウンディングボックスを付すなどのアノテーション作業を最初に行った作業者に報酬を多く入るようにすることで、作業者の作業着手を早めさすことができる。この結果、アノテーション作業の完了までの時間を短縮することができる。これにより、サーバ２０によるアノテーション作業画面の提供の総時間を短縮できるので、省エネにも寄与することができる。

【0091】

また、一の対象データに割り当てられた複数の作業者のうち、バウンディングボックスの範囲を修正するなどアノテーション作業の更新を最後に行った作業者にもより多くの報酬が入るようにする。なお、対象データ毎に支払金額が設定されている場合、各作業者への分配金額は、対象データに対する寄与度の比率に応じて決定しても良い。これらにより、同一または他の作業者が行うアノテーションの修正に価値をもたせることができるので、一の対象データに対する更新作業を促すことができるだけでなく、アノテーション作業の完了までの時間を短縮することができる。さらに、サーバ２０によるアノテーション作業画面の提供の総時間を短縮できるので、省エネにも寄与することができる。

【0092】

なお、上記実施の形態では、図３、図４Ａ及び図４Ｂを用いて、対象データが車載カメラにより撮影された画像である場合に、人物を示す物体５１１に対してバウンディングボックスを付すなどのアノテーション作業の一例について説明したが、これに限らない。図８Ａ、図８Ｂ、図８Ｃを用いて、対象データが時系列データである場合のアノテーション作業の一例について説明する。

【0093】

図８Ａは、実施の形態１におけるアノテーションツール部２０１が提供するアノテーション作業画面の別の一例を示す図である。図８Ａに示すアノテーション作業画面６１は、Ｗｅｂページで提供され、時系列データ６６と、時刻ｔ_６５における画像６５とを含んでいる。時系列データ６６は、車両の加速度を含むセンサデータであり、図８Ａでは車両のｘｙｚそれぞれの方向（水平、横、垂直方向）の加速度等が時系列にグラフ化されている。また、時系列データ６６の各時刻では、当該車両に搭載された車載カメラにより撮影された画像が紐付けられている。画像６５は、時刻ｔ_６５において車載カメラにより撮影された画像である。

【0094】

このように、アノテーションツール部２０１は、時系列データ６６と、時刻ｔ_６５における画像６５とを含むアノテーション作業画面６１を提供してもよい。

【0095】

図８Ｂ及び図８Ｃは、図８Ａに示すアノテーション作業画面にアノテーション作業が反映された場合のアノテーション作業画面の一例を示す図である。図８Ａと同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0096】

図８Ｂに示すアノテーション作業画面６１ａでは、複数の作業者によりアノテーションとして複数の状態それぞれを区別する時間区間が付され、付された複数の時間区間それぞれに、対応する状態を表すラベルが付されている。すなわち、作業者の少なくとも一は、時系列データ６６の加速度の変化と、時々刻々において紐付けられている画像６５等とを確認して、車両のイベント、場所及び天気などをアノテーションとして付す。図８Ｂに示す例では、イベントとして、車両が右折している時間区間６６１、車両が段差を通った時間区間６６２、車両が減速している時間区間６６３を付した上で、右折、段差及び減速といった車両の走行状態及び車両が走行する道路状況のラベルが付されている。

【0097】

また、図８Ｂに示す例では、場所として、車両が一般道路を走行している時間区間６６４、車両が高速道路を走行している時間区間６６５を付した上で、一般道路及び高速道路といった車両の走行場所を示す状態のラベルが付されている。

【0098】

同様に、図８Ｂに示す例では、天気として、曇りとなった時間区間６６６を付した上で、曇りといった車両の周辺環境を示す状態のラベルが付されている。

【0099】

図８Ｃに示すアノテーション作業画面６１ｂは、時系列データ６６と、時刻ｔ_６７における画像６７とを含んでいる。図８Ｃに示すアノテーション作業画面６１ｂに示されるように、例えば、時刻ｔ_６５おける画像６５とは、時刻ｔ_６５おける時系列データ６６の加速度の変動から、車両が段差を通ったと判断した図が示されている。その他については、上述したので説明を省略する。

【0100】

（実施の形態２）
実施の形態１では、アノテーション作業の完了をクラウドソーシングの作業者が最初に行った作業時刻から一定時間経過後として説明した。しかし、一の対象データに付されたバウンディングボックスの修正量がほとんどない作業が連続する場合などには、アノテーション作業が完了しているとみなしてもよい。また、実施の形態１では、クラウドソーシングの複数の作業者はアノテーション作業を正しく行うものとして説明した。しかし、複数の作業者の中に、悪意のある悪質な者がいる場合も考えられる。この場合、悪質な者は、一の対象データに付されたバウンディングボックスの大きさを大きくしたり削除したりして、アノテーション作業の更新回数を増やす、またはアノテーション作業の最初若しくは最後を行った者になろうとする場合も考えられる。

【0101】

本実施の形態では、アノテーション作業の完了を判定し、悪質な者によるアノテーション作業の可能性を判定することができる寄与度決定装置等について、実施の形態１と異なるところを中心に説明する。

【0102】

［システムの全体構成］
図９は、実施の形態２におけるシステムの全体構成の一例を示す図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0103】

実施の形態２におけるシステムは、実施の形態１におけるシステムと比較して、サーバ２０Ａの構成と、寄与度決定装置１０Ａの構成が異なる。それ以外の構成は、実施の形態１におけるシステムと同様のため説明は省略する。

【0104】

［サーバ２０Ａの構成］
サーバ２０Ａは、アノテーションツール部２０１Ａと、センサデータＤＢ２０２と、アノテーション作業データＤＢ２０３と、報酬金額ＤＢ２０４とを備える。サーバ２０Ａも、例えば、プロセッサ（マイクロプロセッサ）、メモリ、センサ、通信インタフェース等を備えるコンピュータで実現される。

【0105】

サーバ２０Ａは、図１に示すサーバ２０と比較して、アノテーションツール部２０１Ａの構成が異なる。

【0106】

＜アノテーションツール部２０１Ａ＞
アノテーションツール部２０１Ａは、センサデータＤＢ２０２に格納される複数の対象データからアノテーション作業を依頼する対象データを選択し、ネットワーク４０を介して選択した対象データに対するアノテーション作業画面を複数の作業端末３０に提供する。

【0107】

また、アノテーションツール部２０１Ａは、ネットワーク４０を介して提供するアノテーション作業画面に対して行われたアノテーション作業を示すアノテーション作業データを取得する。そして、アノテーションツール部２０１Ａは、取得したアノテーション作業データをアノテーション作業画面に反映して提供するとともに、アノテーション作業データＤＢ２０３に保存する。

【0108】

本実施の形態では、アノテーションツール部２０１Ａは、さらに、寄与度決定装置１０Ａから、ロックすべき旨の通知を受けると、一の対象データに対するさらなるアノテーション作業をロックする。つまり、アノテーションツール部２０１Ａは、ロックすべき旨の通知を受けると、アノテーション作業データの取得を中止し、さらなるアノテーション作業を取得しないことでロックしてもよい。また、アノテーションツール部２０１Ａは、ロックすべき旨の通知を受けると、提供するアノテーション作業画面をロックし、さらなる入力を受け付けないことを表示してもよい。そして、アノテーションツール部２０１Ａは、当該アノテーション作業画面に対するさらなるアノテーション作業データを取得しない。

【0109】

［寄与度決定装置１０Ａ］
寄与度決定装置１０Ａは、更新履歴取得部１０１Ａと、寄与度算出部１０２と、重み付けＤＢ１０３と、金額計算部１０４と、判定部１０５とを備える。寄与度決定装置１０Ａは、例えば、プロセッサ（マイクロプロセッサ）、メモリ、センサ、通信インタフェース等を備えるコンピュータで実現される。

【0110】

寄与度決定装置１０Ａは、図１に示す寄与度決定装置１０と比較して、更新履歴取得部１０１Ａの構成が異なり、判定部１０５の構成が追加されている。

【0111】

＜判定部１０５＞
図１０は、図９に示す判定部１０５の詳細構成の一例を示す図である。

【0112】

判定部１０５は、作業完了判定部１０５１と、不適切作業判定部１０５２とを備える。

【0113】

作業完了判定部１０５１は、１以上の対象データそれぞれについてのアノテーション作業が完了したか否かを判定する。より具体的には、作業完了判定部１０５１は、一の対象データに対して、作業順で１つ前に行ったアノテーション作業における修正量よりも小さい修正量のアノテーション作業が所定回数行われたことを検出した場合には、一の対象データに対するさらなるアノテーション作業をロックさせて、一の対象データについてのアノテーション作業が完了したと判定する。ここで、所定回数行われたとは、例えば２以上連続して行われたとしてもよいし、１回行われたとしてもよい。

【0114】

なお、作業完了判定部１０５１は、対象データに対する更新作業が所定時間実施されなかったことを検出した場合に、アノテーション作業が完了したと判定してもよい。

【0115】

図１１は、実施の形態２におけるアノテーションツール部２０１Ａが提供するアノテーション作業画面の一例を示す図である。なお、図４Ｂ等と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0116】

図１１には、複数のアノテーション作業データが反映されたアノテーション作業画面５０Ｄが示されている。より具体的には、静止画像５１の物体５１１に対して付されたバウンディングボックス５２はバウンディングボックス５４に修正され、バウンディングボックス５４はバウンディングボックス７１に修正され、バウンディングボックス７１はさらにバウンディングボックス７２に修正されたことが示されている。同図から、バウンディングボックス５４以降の修正量は軽微であり、物体５１１に対してバウンディングボックス５４等を付すアノテーション作業を完了したとみなしても差し支えないことがわかる。

【0117】

つまり、アノテーション作業データＤＢ２０３に格納される、図１１に示す複数のアノテーション作業データにおいては、アノテーション内容に示されるバウンディングボックス５４、バウンディングボックス７１及びバウンディングボックス７２に対応する座標からバウンディングボックスの位置に対する修正量がほとんどない。そこで、本実施の形態では、作業完了判定部１０５１は、まず、一の対象データについてのアノテーション作業の更新履歴をアノテーション作業データＤＢ２０３から取得する。次に、一の対象データに対して、作業順で１つ前に行ったアノテーション作業における修正量よりも小さい修正量のアノテーション作業が２以上連続しているかを計算する。そして、このようなアノテーション作業が２以上連続したことを計算により検出した場合には、サーバ２０のアノテーションツール部２０１に当該一の対象データに対するさらなるアノテーション作業をロックするよう通知する。この通知とともに、作業完了判定部１０５１は、当該一の対象データについてのアノテーション作業が完了したと判定する。

【0118】

不適切作業判定部１０５２は、一の対象データに対して、作業順で１つ前に行った第１アノテーション作業における修正量よりも大きい修正量の第２アノテーション作業がなされたことを検出した場合には、当該一の対象データについての第２アノテーション作業が不正作業であるか否かの確認を促す通知を送信する。

【0119】

図１２は、実施の形態２におけるアノテーションツール部２０１Ａが提供するアノテーション作業画面５０Ｅの一例を示す図である。なお、図４Ｂ等と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0120】

図１２にも、複数のアノテーション作業データが反映されたアノテーション作業画面５０Ｅが示されている。より具体的には、静止画像５１の物体５１１に対して付されたバウンディングボックス５２はバウンディングボックス５４に修正され、バウンディングボックス５４はバウンディングボックス７１に修正され、その後バウンディングボックス８３に修正されたことが示されている。同図から、バウンディングボックス５４からバウンディングボックス７１への修正量は軽微であるものの、バウンディングボックス７１からバウンディングボックス８３への修正量は増大しているだけでなく、バウンディングボックス７１と比較して物体５１１に付すバウンディングボックスとして不適切なのがわかる。バウンディングボックス７１からバウンディングボックス８３への修正は、作業者のミスによるものか、作業回数を増大せしめるといった悪質なアノテーション作業によるものかわからないため、依頼者またはサーバ２０の管理人は悪質なものか否かを確認する必要がある。

【0121】

そして、アノテーション作業データＤＢ２０３に格納される、図１２に示す複数のアノテーション作業データでは、アノテーション内容に示されるバウンディングボックス７１及びバウンディングボックス８３に対応する座標から、バウンディングボックスの位置に対する修正量が増大することになる。そのため、本実施の形態では、不適切作業判定部１０５２は、まず、一の対象データについてのアノテーション作業の更新履歴をアノテーション作業データＤＢ２０３から取得する。次に、一の対象データに対して、作業順で１つ前に行ったアノテーション作業における修正量よりも大きい修正量のアノテーション作業がなされたかを計算する。そして、このようなアノテーション作業がなされたことを計算により検出した場合には、サーバ２０のアノテーションツール部２０１に不正作業であるか否かの確認を促す通知することで、サーバ２０の管理人等に通知し、確認を促してもよい。もちろん、不適切作業判定部１０５２は、管理人に直接、不正作業であるか否かの確認を促す通知をしてもよい。

【0122】

なお、不適切作業判定部１０５２は、一の対象データに対して、作業順で１つ前に行った第１アノテーション作業における修正量よりも大きい修正量の第２アノテーション作業がなされた回数を検出してもよい。この場合、作業完了判定部１０５１により一の対象データについてのアノテーション作業が完了したと判定されたときに、不適切作業判定部１０５２は、一の対象データについての回数を通知してもよい。不適切作業判定部１０５２は、サーバ２０のアノテーションツール部２０１にその回数を通知することで、サーバ２０の管理人等に通知してもよいし、管理人に直接その回数を通知してもよい。

【0123】

＜更新履歴取得部１０１Ａ＞
更新履歴取得部１０１Ａは、クラウドソーシングを利用する複数の作業者によるアノテーション作業が完了した１以上の対象データそれぞれに対するアノテーション作業の更新履歴をアノテーション作業データＤＢ２０３から取得する。

【0124】

本実施の形態では、更新履歴取得部１０１Ａは、作業完了判定部１０５１により１以上の対象データについてのアノテーション作業が完了したと判定されたときに、アノテーション作業が完了したと判定された１以上の対象データそれぞれに対するアノテーション作業の更新履歴をアノテーション作業データＤＢ２０３から取得する。その他については、実施の形態１で説明した通りであるので、さらなる説明は省略する。

【0125】

［寄与度決定装置１０Ａの動作］
次に、以上のように構成された寄与度決定装置１０Ａの判定動作について説明する。

【0126】

図１３は、実施の形態２における寄与度決定装置１０Ａの作業完了判定処理を示すフローチャートである。

【0127】

まず、寄与度決定装置１０Ａは、１つ前のアノテーション作業における修正量よりも小さいかを検出する（Ｓ８１）。例えば、寄与度決定装置１０Ａは、アノテーション作業データＤＢ２０３に格納されるアノテーション作業データに含まれるアノテーション内容の座標から１つ前のアノテーション作業における修正量よりも小さいかを計算により検出できる。

【0128】

ステップＳ８１において、検出した場合（Ｓ８１でＹｅｓ）、寄与度決定装置１０Ａは、それが２以上連続したかを検出する。一方、ステップＳ８１において、検出しなかった場合（Ｓ８１でＮｏ）、ステップＳ８１を再度繰り返す。

【0129】

ステップＳ８２において、２以上連続したことを検出した場合（Ｓ８２でＹｅｓ）、寄与度決定装置１０Ａは、当該対象データについてのさらなるアノテーション作業をロックする（Ｓ８３）。より具体的には、寄与度決定装置１０Ａは、サーバ２０のアノテーションツール部２０１に当該一の対象データに対するさらなるアノテーション作業をロックするよう通知する。これにより、サーバ２０のアノテーションツール部２０１に当該一の対象データに対するさらなるアノテーション作業をロックさせることができる。

【0130】

次に、寄与度決定装置１０Ａは、当該対象データについてのアノテーション作業が完了と判定する（Ｓ８４）。より具体的には、寄与度決定装置１０Ａは、サーバ２０のアノテーションツール部２０１に当該一の対象データに対するアノテーション作業をロックするとともに、当該一の対象データについてのアノテーション作業が完了したと判定する。

【0131】

図１４は、実施の形態２における寄与度決定装置１０Ａの不適切作業判定処理を示すフローチャートである。

【0132】

まず、寄与度決定装置１０Ａは、１つ前のアノテーション作業における修正量よりも大きいかを検出する（Ｓ９１）。例えば、寄与度決定装置１０Ａは、アノテーション作業データＤＢ２０３に格納されるアノテーション作業データに含まれるアノテーション内容の座標から１つ前のアノテーション作業における修正量よりも大きいかを計算により検出できる。

【0133】

ステップＳ９１において、検出した場合（Ｓ９１でＹｅｓ）、寄与度決定装置１０Ａは、当該アノテーション作業が不正であるか否かの確認を促す通知を送信する（Ｓ９２）。より具体的には、寄与度決定装置１０Ａは、サーバ２０のアノテーションツール部２０１に不正作業であるか否かの確認を促す通知することで、サーバ２０の管理人等に通知して確認を促してもよい。なお、寄与度決定装置１０Ａは、管理人に直接、不正作業であるか否かの確認を促す通知をしてもよい。

【0134】

［効果等]
以上のように、本実施の形態によれば、クラウドソーシングを利用して依頼される作業者が悪意をもって行った悪質なアノテーション作業か否かを管理人等に確認させることができる。これにより、悪質な作業者の検出と管理とが可能になる。

【0135】

また、本実施の形態によれば、クラウドソーシングを利用して依頼される作業者のアノテーション作業の修正量によりアノテーション作業が完了したか否かを判定できる。これにより、アノテーション作業の完了を自動で判定可能になる。

【0136】

（他の実施態様の可能性）
以上、本開示の一つまたは複数の態様に係る寄与度決定方法等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。例えば、以下のような場合も本開示に含まれる。

【0137】

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

【0138】

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

【0139】

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

【0140】

（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

【0141】

（５）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

【0142】

（６）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

【0143】

（７）また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

【0144】

（８）また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

【産業上の利用可能性】

【0145】

本開示は、寄与度決定方法、寄与度決定装置及びプログラムに利用でき、特に、クラウドソーシングの作業者にアノテーション作業を依頼する際に用いるサーバ、システム等に利用可能である。

【符号の説明】

【0146】

１０、１０Ａ 寄与度決定装置
２０、２０Ａ サーバ
３０ 作業端末
４０ ネットワーク
５０ａ ＲＵＮボタン
５０ｂ データ選択領域５０ｂ
５０ｃ Ｓａｖｅボタン
５０、５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ、５０Ｅ アノテーション作業画面
５１ 静止画像
５２、５４、７１、７２、８３ バウンディングボックス
５３ ラベル選択領域
６５ 画像
６６ 時系列データ
１０１、１０１Ａ 更新履歴取得部
１０２ 寄与度算出部
１０３ 重み付けＤＢ
１０４ 金額計算部
１０５ 判定部
２０１、２０１Ａ アノテーションツール部
２０２ センサデータＤＢ
２０３ アノテーション作業データＤＢ
２０４ 報酬金額ＤＢ
３０１ 通信部
３０２ 提示部
３０３ 入力部
５１１、５１２、５１３ 物体
６６１、６６２、６６３、６６４、６６５、６６６ 時間区間
１０４１ 受付部
１０４２ 計算部 １０５１ 作業完了判定部
１０５２ 不適切作業判定部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】