特許 6722309 検証用注釈処理作業を用いた実施用注釈処理作業の検証方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6722309

(24)【登録日】2020年6月23日

(45)【発行日】2020年7月15日

(54)【発明の名称】検証用注釈処理作業を用いた実施用注釈処理作業の検証方法及び装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20200706BHJP

【ＦＩ】

   G06N20/00 130

【請求項の数】11

【全頁数】20

(21)【出願番号】特願2019-7987(P2019-7987)

(22)【出願日】2019年1月21日

(65)【公開番号】特開2020-98556(P2020-98556A)

(43)【公開日】2020年6月25日

【審査請求日】2019年1月21日

(31)【優先権主張番号】10-2018-0163418

(32)【優先日】2018年12月17日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】518414959

【氏名又は名称】クラウドワークス インコーポレイテッド

【氏名又は名称原語表記】ＣｒｏｗｄＷｏｒｋｓ， Ｉｎｃ．

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】パク，ミン ウ

【審査官】 多賀 実

(56)【参考文献】

【文献】 特開２０１８−１０６６６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ３／００−９９／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｆ ４０／００−４０／５８

Ｇ０６Ｑ １０／００−１０／１０

Ｇ０６Ｑ ３０／００−３０／０８

Ｇ０６Ｑ ５０／００−９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータにより実行される方法であって、
１つ以上の実施用注釈処理作業の結果を受信する段階と、
前記１つ以上の実施用注釈処理作業に相応する１つ以上の検証用注釈処理作業の結果を受信する段階と、
前記１つ以上の検証用注釈処理作業の結果に基づいて、前記１つ以上の実施用注釈処理作業の結果の信頼度を判断する段階と、
前記判断された信頼度に基づいて、前記１つ以上の実施用注釈処理作業の結果の有効可否を判断する段階と、
を含み、
前記１つ以上の実施用注釈処理作業の結果を受信する段階は、
作業者の端末にｎ個（但し、ｎは１以上の自然数）の前記実施用注釈処理作業を送信する段階と、
前記作業者の端末から前記ｎ個の実施用注釈処理作業の結果を受信する段階とを、含み、
前記１つ以上の実施用注釈処理作業に相応する１つ以上の検証用注釈処理作業の結果を受信する段階は、
前記ｎ個の実施用注釈処理作業に相応し、事前に準備された１つ以上の検証用注釈処理作業を、読み出す段階と、
前記ｎ個の実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記１つ以上の検証用注釈処理作業を送信する段階と、
前記作業者の端末から前記１つ以上の検証用注釈処理作業の結果を受信する段階とを、含み、
前記判断された信頼度に基づいて、前記１つ以上の実施用注釈処理作業の結果の有効可否を判断する段階は、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、前記ｎ個の実施用注釈処理作業の結果を有効でない注釈処理と定義し、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、前記ｎ個の実施用注釈処理作業の結果を有効な注釈処理と定義し、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、
１つ以上の追加的な実施用注釈処理作業の結果を受信する段階と、
前記１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する段階とを、更に含み、
前記１つ以上の追加的な実施用注釈処理作業の結果を受信する段階は、
前記ｎ個の実施用注釈処理作業の結果を有効でない注釈処理と定義した直後に、前記作業者の端末にｎ-ｉ個（但し、ｉは１以上の自然数）の追加的な実施用注釈処理作業を送信する段階と、
前記作業者の端末から前記ｎ-ｉ個の追加的な実施用注釈処理作業の結果を受信する段階とを、含み、
前記１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する段階は、
前記ｎ-ｉ個の追加的な実施用注釈処理作業に相応し、事前に準備された１つ以上の追加的な検証用注釈処理作業を、読み出す段階と、
前記ｎ-ｉ個の追加的な実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記１つ以上の追加的な検証用注釈処理作業を送信する段階と、
前記作業者の端末から前記１つ以上の追加的な検証用注釈処理作業の結果を受信する段階とを、含み、
前記ｉは有効でない注釈処理と定義された作業の数に相応して変更される、
検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。

【請求項2】

前記ｉが所定の基準以下である場合、前記作業者を信頼できない作業者と定義し、前記作業者の端末に前記１つ以上の追加的な実施用注釈処理作業をこれ以上送信しない、
ことを特徴とする請求項１に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。

【請求項3】

顧客の端末から要求された注釈処理作業の信頼度を受信する段階を、更に含み、
前記ｉは前記要求された注釈処理作業の信頼度に相応して変更された値である、
ことを特徴とする請求項１に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。

【請求項4】

コンピュータにより実行される方法であって、
１つ以上の実施用注釈処理作業の結果を受信する段階と、
前記１つ以上の実施用注釈処理作業に相応する１つ以上の検証用注釈処理作業の結果を受信する段階と、
前記１つ以上の検証用注釈処理作業の結果に基づいて、前記１つ以上の実施用注釈処理作業の結果の信頼度を判断する段階と、
前記判断された信頼度に基づいて、前記１つ以上の実施用注釈処理作業の結果の有効可否を判断する段階と、
を含み、
前記１つ以上の実施用注釈処理作業の結果を受信する段階は、
作業者の端末にｎ個（但し、ｎは１以上の自然数）の前記実施用注釈処理作業を送信する段階と、
前記作業者の端末から前記ｎ個の実施用注釈処理作業の結果を受信する段階とを、含み、
前記１つ以上の実施用注釈処理作業に相応する１つ以上の検証用注釈処理作業の結果を受信する段階は、
前記ｎ個の実施用注釈処理作業に相応し、事前に準備された１つ以上の検証用注釈処理作業を、読み出す段階と、
前記ｎ個の実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記１つ以上の検証用注釈処理作業を送信する段階と、
前記作業者の端末から前記１つ以上の検証用注釈処理作業の結果を受信する段階とを、含み、
前記判断された信頼度に基づいて、前記１つ以上の実施用注釈処理作業の結果の有効可否を判断する段階は、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、前記ｎ個の実施用注釈処理作業の結果を有効でない注釈処理と定義し、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、前記ｎ個の実施用注釈処理作業の結果を有効な注釈処理と定義し、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、
１つ以上の追加的な実施用注釈処理作業の結果を受信する段階と、
前記１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する段階とを、更に含み、
前記１つ以上の追加的な実施用注釈処理作業の結果を受信する段階は、
前記ｎ個の実施用注釈処理作業の結果を有効な注釈処理と定義した直後に、前記作業者の端末にｎ＋ｊ個（但し、ｊは１以上の自然数）の追加的な実施用注釈処理作業を送信する段階と、
前記作業者の端末から前記ｎ＋ｊ個の追加的な実施用注釈処理作業の結果を受信する段階とを、含み、
前記１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する段階は、
前記ｎ＋ｊ個の追加的な実施用注釈処理作業に相応し、事前に準備された１つ以上の追加的な検証用注釈処理作業を読み出す段階と、
前記ｎ＋ｊ個の追加的な実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記１つ以上の追加的な検証用注釈処理作業を送信する段階と、
前記作業者の端末から前記１つ以上の追加的な検証用注釈処理作業の結果を受信する段階とを、含み、
前記ｊは有効な注釈処理と定義された作業の数に相応して変更される、
検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。

【請求項5】

前記ｊが所定の基準以上である場合、前記作業者を信頼できる作業者と定義し、
前記１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する段階を進行せず、
前記信頼できる作業者による追加的な前記実施用注釈処理作業の結果を有効な注釈処理と定義する、
ことを特徴とする請求項４に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。

【請求項6】

顧客の端末から要求された注釈処理作業の信頼度を受信する段階を、更に含み、
前記ｊは前記要求された注釈処理作業の信頼度に相応して変更された値である、
ことを特徴とする請求項４に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。

【請求項7】

前記検証用注釈処理作業及び前記検証用注釈処理作業に相応する事前に決定された回答で前記検証用注釈処理作業のデータセットを、構成し、
前記１つ以上の検証用注釈処理作業の結果に基づいて、前記１つ以上の実施用注釈処理作業の結果の信頼度を判断する段階は、
前記１つ以上の検証用注釈処理作業の結果及び前記１つ以上の検証用注釈処理作業に相応する事前に決定された回答の類似度を判断し、前記１つ以上の実施用注釈処理作業の結果の信頼度を判断する、
ことを特徴とする請求項１又は４に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。

【請求項8】

前記１つ以上の実施用注釈処理作業はデータベースに格納及び管理され、前記１つ以上の検証用注釈処理作業は前記データベースに格納された前記１つ以上の実施用注釈処理作業から選択され、前記１つ以上の検証用注釈処理作業の数は、前記データベースに格納された前記１つ以上の実施用注釈処理作業の数に相応して決定される、
ことを特徴とする請求項１又は４に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法。

【請求項9】

作業者の端末に１つ以上の実施用注釈処理作業を送信する実施用注釈処理作業送信部と、
前記作業者の端末から前記１つ以上の実施用注釈処理作業の結果を受信する実施用注釈処理作業受信部と、
前記作業者の端末に前記１つ以上の検証用注釈処理作業を送信する検証用注釈処理作業送信部と、
前記１つ以上の実施用注釈処理作業に相応し、事前に準備された１つ以上の検証用注釈処理作業を読み出し、前記作業者の端末から前記１つ以上の検証用注釈処理作業の結果を受信する検証用注釈処理作業受信部と、
前記１つ以上の検証用注釈処理作業の結果に基づいて、前記１つ以上の実施用注釈処理作業の結果の信頼度を判断する信頼度判断部と、
前記判断された信頼度に基づいて、前記１つ以上の実施用注釈処理作業の結果の有効可否を判断する有効判断部と、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、１つ以上の追加的な実施用注釈処理作業の結果を受信する追加的な実施用注釈処理作業受信部と、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、前記１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する追加的な検証用注釈処理作業受信部と、
を含み、
前記実施用注釈処理作業受信部は、
作業者の端末にｎ個（但し、ｎは１以上の自然数）の前記実施用注釈処理作業を送信し、
前記作業者の端末から前記ｎ個の実施用注釈処理作業の結果を受信し、
前記検証用注釈処理作業受信部は、
前記ｎ個の実施用注釈処理作業に相応し、事前に準備された１つ以上の検証用注釈処理作業を、読み出し、
前記ｎ個の実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記１つ以上の検証用注釈処理作業を送信し、
前記作業者の端末から前記１つ以上の検証用注釈処理作業の結果を受信し、
前記有効判断部は、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、前記ｎ個の実施用注釈処理作業の結果を有効でない注釈処理と定義し、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、前記ｎ個の実施用注釈処理作業の結果を有効な注釈処理と定義し、
前記追加的な実施用注釈処理作業受信部は、
前記ｎ個の実施用注釈処理作業の結果を有効でない注釈処理と定義した直後に、前記作業者の端末にｎ-ｉ個（但し、ｉは１以上の自然数）の追加的な実施用注釈処理作業を送信し、
前記作業者の端末から前記ｎ-ｉ個の追加的な実施用注釈処理作業の結果を受信し、
前記追加的な検証用注釈処理作業受信部は、
前記ｎ-ｉ個の追加的な実施用注釈処理作業に相応し、事前に準備された１つ以上の追加的な検証用注釈処理作業を、読み出し、
前記ｎ-ｉ個の追加的な実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記１つ以上の追加的な検証用注釈処理作業を送信し、
前記作業者の端末から前記１つ以上の追加的な検証用注釈処理作業の結果を受信し、
前記ｉは有効でない注釈処理と定義された作業の数に相応して変更される、
検証用注釈処理作業を用いた実施用注釈処理作業の検証装置。

【請求項10】

作業者の端末に１つ以上の実施用注釈処理作業を送信する実施用注釈処理作業送信部と、
前記作業者の端末から前記１つ以上の実施用注釈処理作業の結果を受信する実施用注釈処理作業受信部と、
前記作業者の端末に前記１つ以上の検証用注釈処理作業を送信する検証用注釈処理作業送信部と、
前記１つ以上の実施用注釈処理作業に相応し、事前に準備された１つ以上の検証用注釈処理作業を読み出し、前記作業者の端末から前記１つ以上の検証用注釈処理作業の結果を受信する検証用注釈処理作業受信部と、
前記１つ以上の検証用注釈処理作業の結果に基づいて、前記１つ以上の実施用注釈処理作業の結果の信頼度を判断する信頼度判断部と、
前記判断された信頼度に基づいて、前記１つ以上の実施用注釈処理作業の結果の有効可否を判断する有効判断部と、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、１つ以上の追加的な実施用注釈処理作業の結果を受信する追加的な実施用注釈処理作業受信部と、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、前記１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する追加的な検証用注釈処理作業受信部と、
を含み、
前記実施用注釈処理作業受信部は、
作業者の端末にｎ個（但し、ｎは１以上の自然数）の前記実施用注釈処理作業を送信し、
前記作業者の端末から前記ｎ個の実施用注釈処理作業の結果を受信し、
前記検証用注釈処理作業受信部は、
前記ｎ個の実施用注釈処理作業に相応し、事前に準備された１つ以上の検証用注釈処理作業を、読み出し、
前記ｎ個の実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記１つ以上の検証用注釈処理作業を送信し、
前記作業者の端末から前記１つ以上の検証用注釈処理作業の結果を受信し、
前記有効判断部は、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、前記ｎ個の実施用注釈処理作業の結果を有効でない注釈処理と定義し、
前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、前記ｎ個の実施用注釈処理作業の結果を有効な注釈処理と定義し、
前記追加的な実施用注釈処理作業受信部は、
前記ｎ個の実施用注釈処理作業の結果を有効な注釈処理と定義した直後に、前記作業者の端末にｎ＋ｊ個（但し、ｊは１以上の自然数）の追加的な実施用注釈処理作業を送信し、
前記作業者の端末から前記ｎ＋ｊ個の追加的な実施用注釈処理作業の結果を受信し、
前記追加的な検証用注釈処理作業受信部は、
前記ｎ＋ｊ個の追加的な実施用注釈処理作業に相応し、事前に準備された１つ以上の追加的な検証用注釈処理作業を読み出し、
前記ｎ＋ｊ個の追加的な実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記１つ以上の追加的な検証用注釈処理作業を送信し、
前記作業者の端末から前記１つ以上の追加的な検証用注釈処理作業の結果を受信し、
前記ｊは有効な注釈処理と定義された作業の数に相応して変更される、
検証用注釈処理作業を用いた実施用注釈処理作業の検証装置。

【請求項11】

コンピュータと協働し、請求項１〜８の何れか一項に記載の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法を実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検証用注釈処理作業を用いた実施用注釈処理作業の検証方法及び装置に関する。

【背景技術】

【0002】

機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）において、学習方法とアルゴリズム以上に重要なのは学習のためのデータである。従って、良質の学習データを多く確保することは機械学習分野において非常に重要である。

【0003】

学習データを得るためには、一般にローデータ（ｒａｗ ｄａｔａ）と、ローデータに関するラベリング情報が必要である。注釈処理作業は人によって行われなければならないので、機械学習を研究したり、開発する所では注釈処理作業を行う労働力を保有することもある。

【0004】

しかし、注釈処理作業は専門知識がなくても誰でも行える作業である場合が多いので、人件費の削減のために、インターネットを介して多数の作業者にデータを分配し、注釈処理作業に伴う報酬を支払う形のプラットフォームが登場するようになった。例えば、アマゾン（ａｍａｚｏｎ）のメカニカルターク（Ｍｅｃｈａｎｉｃａｌ Ｔｕｒｋ）が挙げられる。

【0005】

しかし、従来のプラットフォームの場合、作業者が誠実に注釈処理作業を行ったかを検査する過程で多くのコストと時間がかかるという問題がある。従って、従来のプラットフォームの長所を維持しながらも注釈処理作業の検査を効率的に行い、学習データの信頼度を向上させることができる技術の開発が要求される。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】韓国公開特許公報第１０-２０１２-０１４９９３０号（２０１２.１２.２０）

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は上記事情に鑑みてなされたものであって、その目的は、検証用注釈処理作業を用いた実施用注釈処理作業の検証方法及び装置を提供することにある。

【0008】

本発明が解決しようとする課題は、以上で言及された課題に限定されず、言及されていない他の課題は、以下の記載から通常の技術者が明確に理解できるはずである。

【課題を解決するための手段】

【0009】

上述した課題を解決するための本発明の一側面に係る検証用注釈処理作業を用いた実施用注釈処理作業の検証方法は、コンピュータにより実行される方法であって、１つ以上の実施用注釈処理作業の結果を受信する段階と、前記１つ以上の実施用注釈処理作業に相応する１つ以上の検証用注釈処理作業の結果を受信する段階と、前記１つ以上の検証用注釈処理作業の結果に基づいて、前記１つ以上の実施用注釈処理作業の結果の信頼度を判断する段階と、前記判断された信頼度に基づいて、前記１つ以上の実施用注釈処理作業の結果の有効可否を判断する段階とを含み、前記１つ以上の実施用注釈処理作業の結果を受信する段階は、作業者の端末にｎ個（但し、ｎは１以上の自然数）の前記実施用注釈処理作業を送信する段階と、前記作業者の端末から前記ｎ個の実施用注釈処理作業の結果を受信する段階とを含み、前記１つ以上の実施用注釈処理作業に相応する１つ以上の検証用注釈処理作業の結果を受信する段階は、前記ｎ個の実施用注釈処理作業に相応し、事前に準備された１つ以上の検証用注釈処理作業を読み出す段階と、前記ｎ個の実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記１つ以上の検証用注釈処理作業を送信する段階と、前記作業者の端末から前記１つ以上の検証用注釈処理作業の結果を受信する段階とを含む。

【0010】

一実施形態において、前記判断された信頼度に基づいて、前記１つ以上の実施用注釈処理作業の結果の有効可否を判断する段階は、前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、前記ｎ個の実施用注釈処理作業の結果を有効でない注釈処理と定義し、前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、前記ｎ個の実施用注釈処理作業の結果を有効な注釈処理と定義する。

【0011】

一実施形態において、前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、１つ以上の追加的な実施用注釈処理作業の結果を受信する段階と、前記１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する段階とを更に含み、前記１つ以上の追加的な実施用注釈処理作業の結果を受信する段階は、前記ｎ個の実施用注釈処理作業の結果を有効でない注釈処理と定義した直後に、前記作業者の端末にｎ-ｉ個（但し、ｉは１以上の自然数）の追加的な実施用注釈処理作業を送信する段階と、前記作業者の端末から前記ｎ-ｉ個の追加的な実施用注釈処理作業の結果を受信する段階とを含み、前記１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する段階は、前記ｎ-ｉ個の追加的な実施用注釈処理作業に相応し、事前に準備された１つ以上の追加的な検証用注釈処理作業を読み出す段階と、前記ｎ-ｉ個の追加的な実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記１つ以上の追加的な検証用注釈処理作業を送信する段階と、前記作業者の端末から前記１つ以上の追加的な検証用注釈処理作業の結果を受信する段階とを含み、前記ｉは有効でない注釈処理と定義された作業の数に相応して変更される。

【0012】

一実施形態において、前記ｉが所定の基準以下である場合、前記作業者を信頼できない作業者と定義し、前記作業者の端末に前記１つ以上の追加的な実施用注釈処理作業をこれ以上送信しない。

【0013】

一実施形態において、顧客の端末から要求された注釈処理作業の信頼度を受信する段階を更に含み、前記ｉは前記要求された注釈処理作業の信頼度に相応 して変更された値である。

【0014】

一実施形態において、前記ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、１つ以上の追加的な実施用注釈処理作業の結果を受信する段階と、前記１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する段階とを更に含み、前記１つ以上の追加的な実施用注釈処理作業の結果を受信する段階は、前記ｎ個の実施用注釈処理作業の結果を有効な注釈処理と定義した直後に、前記作業者の端末にｎ＋ｊ個（但し、ｊは１以上の自然数）の追加的な実施用注釈処理作業を送信する段階と、前記作業者の端末から前記ｎ＋ｊ個の追加的な実施用注釈処理作業の結果を受信する段階とを含み、前記１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する段階は、前記ｎ＋ｊ個の追加的な実施用注釈処理作業に相応し、事前に準備された１つ以上の追加的な検証用注釈処理作業を読み出す段階と、前記ｎ＋ｊ個の追加的な実施用注釈処理作業の結果を受信した直後に、前記作業者の端末に前記１つ以上の追加的な検証用注釈処理作業を送信する段階と、前記作業者の端末から前記１つ以上の追加的な検証用注釈処理作業の結果を受信する段階とを含み、前記ｊは有効な注釈処理と定義された作業の数に相応して変更される。

【0015】

一実施形態において、前記ｊが所定の基準以上である場合、前記作業者を信頼できる作業者と定義し、前記１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する段階を進行せず、前記信頼できる作業者による追加的な前記実施用注釈処理作業の結果を有効な注釈処理と定義する。

【0016】

一実施形態において、顧客の端末から要求された注釈処理作業の信頼度を受信する段階を更に含み、前記ｊは前記要求された注釈処理作業の信頼度に相応して変更された値である。

【0017】

一実施形態において、前記検証用注釈処理作業及び前記検証用注釈処理作業に相応する事前に決定された回答で前記検証用注釈処理作業のデータセットを構成し、前記１つ以上の検証用注釈処理作業の結果に基づいて、前記１つ以上の実施用注釈処理作業の結果の信頼度を判断する段階は、前記１つ以上の検証用注釈処理作業の結果及び前記１つ以上の検証用注釈処理作業に相応する事前に決定された回答の類似度を判断し、前記１つ以上の実施用注釈処理作業の結果の信頼度を判断する。

【0018】

一実施形態において、前記１つ以上の実施用注釈処理作業はデータベースに格納及び管理され、前記１つ以上の検証用注釈処理作業は前記データベースに格納された前記１つ以上の実施用注釈処理作業から選択され、前記１つ以上の検証用注釈処理作業の数は、前記データベースに格納された前記１つ以上の実施用注釈処理作業の数に相応して決定される。

【0019】

上述した課題を解決するための本発明の他の側面に係る検証用注釈処理作業を用いた実施用注釈処理作業の検証装置は、作業者の端末に１つ以上の実施用注釈処理作業を送信する実施用注釈処理作業送信部と、前記作業者の端末から前記１つ以上の実施用注釈処理作業の結果を受信する実施用注釈処理作業受信部と、前記作業者の端末に前記１つ以上の検証用注釈処理作業を送信する検証用注釈処理作業送信部と、前記１つ以上の実施用注釈処理作業に相応し、事前に準備された１つ以上の検証用注釈処理作業を読み出し、前記作業者の端末から前記１つ以上の検証用注釈処理作業の結果を受信する検証用注釈処理作業受信部と、前記１つ以上の検証用注釈処理作業の結果に基づいて、前記１つ以上の実施用注釈処理作業の結果の信頼度を判断する信頼度判断部と、前記判断された信頼度に基づいて、前記１つ以上の実施用注釈処理作業の結果の有効可否を判断する有効判断部とを含む。

【0020】

本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。

【発明の効果】

【0021】

本発明の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法及び装置によれば、１つ以上の実施用注釈処理作業の直後に行われる１つ以上の検証用注釈処理作業の結果に基づいて、１つ以上の実施用注釈処理作業の結果の信頼度を判断することによって、実施用注釈処理作業の信頼度を自動で算出できるという効果を奏する。

【0022】

また、検査者が、作業者が処理した注釈処理作業に対する検査を行う前に実施用注釈処理作業の信頼度を自動で判断することによって、作業者が処理した全ての注釈処理に対して検査を進行せず、所定の基準以上の信頼度が判断された作業物に対して検査を行うことができる。

【0023】

更に、実施用注釈処理作業の結果の信頼度が所定の基準以下である場合、該当実施用注釈処理作業を行った作業者を信頼できない作業者と定義し、所定の基準以下の能力を持っている作業者を自動でフィルタリングすることができる。

【0024】

本発明の効果は、以上で言及された効果に制限されず、言及されていない他の効果は、以下の記載から通常の技術者が明確に理解できるはずである。

【図面の簡単な説明】

【0025】

【図1】本発明の一実施形態に係る検証用注釈処理作業を用いた実施用注釈処理作業の検証方法の概略的な順序図である。

【図2】客体が含まれているイメージに対する注釈処理の概略的な例示図である。

【図3】図１の実施用注釈処理作業の結果を受信する段階の概略的な順序図である。

【図4】図１の検証用注釈処理作業の結果を受信する段階の概略的な順序図である。

【図5】図１の実施用注釈処理作業の結果の有効可否を判断する段階の後に追加的な実施用注釈処理作業の結果を受信する段階及び追加的な検証用注釈処理作業の結果を受信する段階の概略的な順序図である。

【図6】図１の実施用注釈処理作業の結果の有効可否を判断する段階の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合の例示図である。

【図7】図１の実施用注釈処理作業の結果の有効可否を判断する段階の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合の例示図である。

【図8】本発明の他の実施形態に係る検証用注釈処理作業を用いた実施用注釈処理作業の検証装置の概略的な構成図である。

【発明を実施するための形態】

【0026】

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述される実施形態を参照すれば、明確になるはずである。しかし、本発明は以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施形態は本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範疇を完全に理解させるために提供されるものであり、本発明は請求範囲の範疇により定義されるに過ぎない。

【0027】

本明細書で用いられた用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除するものではない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」は言及された構成要素のぞれぞれ及び１つ以上のあらゆる組み合わせを含む。たとえ、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素はこれらの用語により制限されないのはもちろんである。これらの用語は、単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素であり得る。

【0028】

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として、使用される。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

【0029】

本明細書において、作業者は、検証用注釈処理作業を用いた実施用注釈処理作業の検証装置から提供される注釈処理作業に対する注釈処理を行い、所定の報酬をもらう個人又は団体を意味する。例えば、検証用注釈処理作業を用いた実施用注釈処理作業の検証装置は、作業者に特定客体又はテキストが含まれているイメージを提供し、作業者はイメージに含まれている客体又はテキストの範囲を指定し、指定された範囲に含まれている客体又はテキストが何かを入力する注釈処理作業を行う。作業者が行った注釈処理作業の結果は、検証用データを用いたデータの注釈処理を行う作業の検査自動化装置に、伝達される。

【0030】

検査者は、作業者がアップロードした注釈処理作業の結果に対する検査を行う個人又は団体を意味する。実施形態によって、検査者は人ではなく、自動で検査を行える学習されたモデル、プログラム及び端末などを包括する意味としても理解される。

【0031】

作業者は作業者端末を用いて検証用注釈処理作業を用いた実施用注釈処理作業の検証装置に接続し、注釈処理作業を行い、その結果を、検証用注釈処理作業を用いた実施用注釈処理作業の検証装置にアップロードする。作業者がアップロードした注釈処理作業の結果のうち、不適合な注釈処理作業の結果があれば、検査者は、不適合な注釈処理作業の結果を返戻し、返戻理由を入力する。検証用注釈処理作業を用いた実施用注釈処理作業の検証装置は、不適合な注釈処理作業を行った作業者に注釈処理結果返戻理由を伝達し、再作業を要請する。

【0032】

検証用注釈処理作業を用いた実施用注釈処理作業の検証装置は、作業者が行った注釈処理作業の結果が検査者の検査を通過すると、作業者に注釈処理作業に対する補償を支払う。例えば、検証用注釈処理作業を用いた実施用注釈処理作業の検証装置は、所定のポイントを作業者に支払う処理をする。作業者のポイントは、作業者のアカウントと関連して記録されて管理される。一実施形態において、一定水準以上累積されたポイントは現金に交換されて作業者に入金される。例えば、作業者は、１０００ポイント以上累積されたポイントを、同等な価値の現金で入金される。

【0033】

しかし、全ての注釈処理結果に対して検査を行う場合、検査者の数によって検査過程で学習データ生成のボトルネック現象が発生するおそれがあり、これを改善するための方法の開発が要求される。

【0034】

従って、本発明の検証用注釈処理作業を用いた実施用注釈処理作業の検証方法及び装置は、作業者が行った注釈処理作業を検査者が検査する前に自動で先に検証する方法であって、検証用注釈処理作業の結果に基づいて、実施用注釈処理作業の結果の信頼度を判断し、検査を行う前に所定の基準を通過した作業者の実施用注釈処理作業の結果のみ検査者が検査する。

【0035】

以下、添付の図面を参照し、本発明の実施形態を詳細に説明する。

【0036】

図１は、本発明の一実施形態に係る検証用注釈処理作業を用いた実施用注釈処理作業の検証方法の概略的な順序図である。

【0037】

図１を参照すれば、検証用注釈処理作業を用いた実施用注釈処理作業の検証方法は、実施用注釈処理作業の結果を受信する段階（Ｓ１００）、検証用注釈処理作業の結果を受信する段階（Ｓ２００）、実施用注釈処理作業の結果の信頼度を判断する段階（Ｓ３００）及び実施用注釈処理作業の結果の有効可否を判断する段階（Ｓ４００）を含む。

【0038】

段階Ｓ１００で、実施用注釈処理作業受信部５２０は、１つ以上の実施用注釈処理作業の結果を受信する。

【0039】

実施用注釈処理作業は、注釈処理作業を依頼した顧客が要請した作業で構成される。ここで、作業は、イメージ、ビデオ、オーディオ、テキストの形態を含み、これに対する注釈処理作業を行う形態を含む。顧客は、検証用注釈処理作業を用いた実施用注釈処理作業の検証方法及び装置の管理者に、所定の注釈処理作業を依頼する。管理者は、依頼を受けた所定の注釈処理作業を一人以上の作業者に依頼し、作業者の作業結果によって報酬を支払う。

【0040】

段階Ｓ２００で、検証用注釈処理作業受信部５４０は、１つ以上の実施用注釈処理作業に相応する１つ以上の検証用注釈処理作業の結果を受信する。

【0041】

検証用注釈処理作業、及び検証用注釈処理作業に相応する事前に決定された回答は、検証用注釈処理作業のデータセットで構成される。検証用注釈処理作業は、顧客から依頼を受けた所定の注釈処理作業である実施用注釈処理作業の中から選択される。検証用注釈処理作業に相応する事前に決定された回答は、検証用注釈処理作業に対して、検証用注釈処理作業を用いた実施用注釈処理作業の検証装置の管理者が事前に作成した回答を含む。管理者は、顧客から依頼を受けた所定の注釈処理作業を所定の分野別に分け、分野別に注釈処理作業と回答とのデータセットを構成する。

【0042】

段階Ｓ３００で、信頼度判断部５５０は１つ以上の検証用注釈処理作業の結果に基づいて、１つ以上の実施用注釈処理作業の結果の信頼度を判断する。

【0043】

信頼度判断部５５０は、１つ以上の検証用注釈処理作業の結果及び１つ以上の検証用注釈処理作業に相応する事前に決定された回答の類似度を判断し、１つ以上の実施用注釈処理作業の結果の信頼度を判断する。信頼度判断部５５０は、作業者の端末から受信した１つ以上の検証用注釈処理作業の結果とデータベースに格納された１つ以上の検証用注釈処理作業に対応する１つ以上の事前に決定された検証用注釈処理作業の回答の類似度を判断する。例えば、信頼度判断部５５０は、データベースに格納された１つの客体を称する他の多様な表現のうち１つを作業者の端末から受信した場合、実施用注釈処理作業の結果の信頼度を高く判断する。例えば、図２の注釈処理の例示を参照すれば、データベースに格納された１つの客体を称する表現として「寝台」があり、作業者の端末から「ｂｅｄ」などで受信した場合、信頼度判断部５５０は、実施用注釈処理作業の結果の信頼度を高く判断する。

【0044】

段階Ｓ４００で、有効判断部５６０は１つ以上の実施用注釈処理作業に対する判断された信頼度に基づいて、１つ以上の実施用注釈処理作業の結果の有効可否を判断する。有効判断部５６０は１つ以上の実施用注釈処理作業に対して判断された信頼度に基づいて、１つ以上の実施用注釈処理作業の結果を有効なデータに分類するか、有効でないデータに分類するかを判断する。

【0045】

有効判断部５６０は、ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合、ｎ個の実施用注釈処理作業の結果を有効でない注釈処理と定義する。従って、有効でない注釈処理と定義された実施用注釈処理作業は、検査者により検査が行われないため、検査者が検査する量を低減できる。また、有効判断部５６０は、ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合、ｎ個の実施用注釈処理作業の結果を有効な注釈処理と定義する。従って、有効な注釈処理と定義された実施用注釈処理作業は、検査者により検査が行われる。

【0046】

図２は、客体が含まれているイメージに対する注釈処理の概略的な例示図である。

【0047】

図２を参照すれば、寝台が含まれているイメージに対する注釈処理を行う実施形態が示されている。実施用注釈処理作業及び検証用注釈処理作業は、例えば、図２のような形態である。

【0048】

図２に示すイメージ６００は、少なくとも１つの客体を含む。作業者は、イメージ６００の特定領域６１０を選択し、選択された特定領域６１０に含まれている客体を説明する情報６２０を入力又は選択する。例えば、１つのイメージ６００には、複数の客体を含ませることができる。この場合、作業者は、イメージ６００に含まれている１つ以上の客体に対する注釈処理作業を、行うことができる。

【0049】

図２に示す実施形態において、注釈処理作業の結果は、特定領域６１０の座標と特定領域６１０に含まれている客体に関する情報（例えば、特定領域６１０に含まれている客体が寝台という情報）を含む。

【0050】

図３は、図１の実施用注釈処理作業の結果を受信する段階の概略的な順序図である。

【0051】

図３を参照すれば、実施用注釈処理作業の結果を受信する段階（Ｓ１００）は、実施用注釈処理作業を送信する段階（Ｓ１１０）及び実施用注釈処理作業の結果を受信する段階（Ｓ１２０）を含む。

【0052】

段階Ｓ１１０で、実施用注釈処理作業送信部５１０は、作業者の端末にｎ個（但し、ｎは１以上の自然数）の実施用注釈処理作業を送信する。

【0053】

段階Ｓ１２０で、実施用注釈処理作業受信部５２０は、作業者の端末からｎ個の実施用注釈処理作業の結果を受信する。作業者は、作業者の端末を用いてｎ個の実施用注釈処理作業を行い、その結果を作業者の端末を用いて実施用注釈処理作業受信部５２０に送信する。

【0054】

図４は、図１の検証用注釈処理作業の結果を受信する段階の概略的な順序図である。

【0055】

図４を参照すれば、検証用注釈処理作業の結果を受信する段階（Ｓ２００）は、検証用注釈処理作業を読み出す段階（Ｓ２１０）、検証用注釈処理作業を送信する段階（Ｓ２２０）及び検証用注釈処理作業の結果を受信する段階（Ｓ２３０）を含む。

【0056】

段階Ｓ２１０で、検証用注釈処理作業受信部５４０は、ｎ個の実施用注釈処理作業に相応し、事前に準備された１つ以上の検証用注釈処理作業を読み出す。

【0057】

検証用注釈処理作業受信部５４０は、データベース制御部（図示せず）から、加工された１つ以上の検証用注釈処理作業を、読み出す。ここで、加工とは、１つ以上の注釈処理作業、及び１つ以上の注釈処理作業の回答を用いて、データセットを生成することを意味する。

【0058】

データベース制御部（図示せず）は、１つ以上の検証用注釈処理作業をデータベースから選択する。データベース制御部（図示せず）は、実施用注釈処理作業に相応する１つ以上の検証用注釈処理作業の問題をデータベースから選択する。従って、検証用注釈処理作業と実施用注釈処理作業とは、同一のカテゴリを有する作業として、行われる。また、データベース制御部（図示せず）は、実施用注釈処理作業のうち１つ以上を、検証用注釈処理作業として選択する。検証用注釈処理作業と実施用注釈処理作業とを同一のカテゴリにするか、実施用注釈処理作業のうち１つ以上を検証用注釈処理作業として選択するかによって、作業者は、注釈処理作業の進行中に自身が実施用注釈処理作業を行っているか、検証用注釈処理作業を行っているかに気づくことなく、注釈処理作業を行うようになる。また、検証用注釈処理作業の結果が実施用注釈処理作業の結果を代表できるようになる。

【0059】

１つ以上の実施用注釈処理作業はデータベースに格納及び管理され、１つ以上の検証用注釈処理作業は、データベースに格納された１つ以上の実施用注釈処理作業から選択される。１つ以上の検証用注釈処理作業の数は、データベースに格納された前記１つ以上の実施用注釈処理作業の数に相応して決定される。従って、検証用注釈処理作業は、顧客から依頼を受けた実施用注釈処理作業全体から選択され、実施用注釈処理作業全体の数によって検証用注釈処理作業全体の量が決定される。作業者は、実施用注釈処理作業の実行中に検証用注釈処理作業全体のうちの一部を行うようになり、作業者が行った実施用注釈処理作業の結果の信頼度によって、検証用注釈処理作業全体のうちの他の一部を実行するか否かが決定される。

【0060】

データベースは、１つ以上の検証用注釈処理作業の回答を管理者の端末から受信する。管理者は、管理者の端末を用いて１つ以上の検証用注釈処理作業に対する回答を作成し、データベースに送信する。または、検査者は、信頼できる作業者が行った検証用注釈処理作業の回答に対して検査を行い、管理者は検査を通過した回答をデータベースに送信して検証用注釈処理作業の回答と定義する。

【0061】

データベースは、顧客の端末から受信した１つ以上の実施用注釈処理作業を格納及び管理し、データベース制御部（図示せず）から選択された検証用注釈処理作業及び回答を格納及び管理し、作業者の端末から受信した１つ以上の実施用注釈処理作業の回答を格納及び管理する。

【0062】

段階Ｓ２２０で、検証用注釈処理作業送信部５３０は、実施用注釈処理作業受信部５２０がｎ個の実施用注釈処理作業の結果を受信した直後に、作業者の端末に１つ以上の検証用注釈処理作業を送信する。検証用注釈処理作業送信部５３０は、実施用注釈処理作業受信部５２０がｎ番目の実施用注釈処理作業の結果を受信した後、実施用注釈処理作業送信部５１０がｎ＋１番目の実施用注釈処理作業を送信する前に、作業者の端末に１つ以上の検証用注釈処理作業を送信する。

【0063】

段階Ｓ２３０で、検証用注釈処理作業受信部５４０は、作業者の端末から１つ以上の検証用注釈処理作業の結果を受信する。作業者は、作業者の端末を用いて１つ以上の検証用注釈処理作業を行い、その結果を作業者の端末を用いて検証用注釈処理作業受信部５４０に送信する。

【0064】

図５は、図１の実施用注釈処理作業の結果の有効可否を判断する段階の後に追加的な実施用注釈処理作業の結果を受信する段階及び追加的な検証用注釈処理作業の結果を受信する段階の概略的な順序図である。

【0065】

図５を参照すれば、図１の実施用注釈処理作業の結果の有効可否を判断する段階の後に実施用注釈処理作業の結果の信頼度によって、１つ以上の追加的な実施用注釈処理作業の結果を受信する段階と、１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する段階とを更に含む。

【0066】

１つ以上の追加的な実施用注釈処理作業の結果を受信する段階は、追加的な実施用注釈処理作業を送信する段階（Ｓ１１１）、追加的な実施用注釈処理作業の結果を受信する段階（Ｓ１２１）を含む。

【0067】

１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する段階は、追加的な検証用注釈処理作業を読み出す段階（Ｓ２１１）、追加的な検証用注釈処理作業を送信する段階（Ｓ２２１）及び追加的な検証用注釈処理作業の結果を受信する段階（Ｓ２３１）を含む。

【0068】

（１）ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合
段階Ｓ１１１で、実施用注釈処理作業送信部は、ｎ個の実施用注釈処理作業の結果を有効でない注釈処理と定義した直後に、作業者の端末にｎ-ｉ個（但し、ｉは１以上の自然数）の追加的な実施用注釈処理作業を送信する。

【0069】

段階Ｓ１２１で、実施用注釈処理作業受信部は、作業者の端末からｎ-ｉ個の追加的な実施用注釈処理作業の結果を受信する。

【0070】

段階Ｓ２１１で、検証用注釈処理作業受信部５４０は、ｎ-ｉ個の追加的な実施用注釈処理作業に相応し、事前に準備された１つ以上の追加的な検証用注釈処理作業を読み出す。

【0071】

段階Ｓ２２１で、検証用注釈処理作業送信部５３０は、ｎ-ｉ個の追加的な実施用注釈処理作業の結果を受信した直後に、作業者の端末に前記１つ以上の追加的な検証用注釈処理作業を送信する。

【0072】

段階Ｓ２３１で、検証用注釈処理作業受信部５４０は、作業者の端末から１つ以上の追加的な検証用注釈処理作業の結果を受信する。

【0073】

作業者が検証用注釈処理作業を正常に行わなければ、その後に検証用注釈処理作業をより速く伝送を受けるようになるが、その後に検証用注釈処理作業の伝送を受ける順番はｉによって決定され、ｉは有効でない注釈処理と定義された作業の数に相応して変更される。例えば、ｉは、以前の有効でない注釈処理と定義された作業の数を所定の１以上の自然数で割った値であり得る。または、ｉは、以前の有効でない注釈処理と定義された作業の数に相応する所定の１以上の自然数であり得る。

【0074】

ｉが所定の基準以下である場合、該当実施用注釈処理作業及び検証用注釈処理作業を行った作業者を、信頼できない作業者として定義及び分類し、実施用注釈処理作業送信部５１０は、該当作業者の端末に１つ以上の実施用注釈処理作業を送信しない。例えば、ｉが２以下になると、作業者はこれ以上実施用注釈処理作業を行うことができない。作業者を、信頼できない作業者として定義するということは、１つの特定の注釈処理作業に対して信頼できないということを意味するものである。新しい顧客又は既存の顧客が新たな注釈処理作業を管理者に要請する場合、以前の注釈処理作業で信頼できない作業者に分類された作業者も新たに実施用注釈処理作業を行うことができる。

【0075】

顧客要求受信部（図示せず）は、顧客の端末から要求された注釈処理作業の信頼度を、受信する。ｉは、顧客端末から要求された注釈処理作業の信頼度に相応して変更された値であり得る。ｉは、有効でない注釈処理と定義された作業の数を所定の数で割った値であり得る。例えば、ｉは、有効でない注釈処理作業の数を２で割った値であり得る。所定の数は、顧客から要求された注釈処理作業の信頼度によって、決定される。例えば、顧客から要求された注釈処理作業の信頼度が高い場合、所定の数を低い数字に設定する。これにより、ｉは相対的に高い数字になり、検証用注釈処理作業が伝送される時点が相対的に繰り上げられる。

【0076】

（２）ｎ個の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合
段階Ｓ１１１で、実施用注釈処理作業送信部はｎ個の実施用注釈処理作業の結果を有効な注釈処理と定義した直後に、作業者の端末にｎ＋ｊ個（但し、ｊは１以上の自然数）の追加的な実施用注釈処理作業を送信する。

【0077】

段階Ｓ１２１で、実施用注釈処理作業受信部は、作業者の端末からｎ＋ｊ個の追加的な実施用注釈処理作業の結果を受信する。

【0078】

段階Ｓ２１１で、検証用注釈処理作業受信部５４０はｎ＋ｊ個の追加的な実施用注釈処理作業に相応し、事前に準備された１つ以上の追加的な検証用注釈処理作業を読み出す。

【0079】

段階Ｓ２２１で、検証用注釈処理作業送信部５３０は、ｎ＋ｊ個の追加的な実施用注釈処理作業の結果を受信した直後に、作業者の端末に１つ以上の追加的な検証用注釈処理作業を送信する。

【0080】

段階Ｓ２３１で、検証用注釈処理作業受信部５４０は、作業者の端末から１つ以上の追加的な検証用注釈処理作業の結果を受信する。

【0081】

作業者が検証用注釈処理作業を正常に行うと、その後に検証用注釈処理作業をより遅く伝送を受けるようになるが、その後に検証用注釈処理作業の伝送を受ける順番はｊによって決定され、ｊは有効な注釈処理と定義された作業の数に相応して変更される。例えば、ｊは以前の有効な注釈処理と定義された作業の数を所定の１以上の自然数で割った値であり得る。または、ｊは以前の有効な注釈処理と定義された作業の数に相応する所定の１以上の自然数であり得る。

【0082】

ｊが所定の基準以上である場合、該当実施用注釈処理作業及び検証用注釈処理作業を行った作業者を、信頼できる作業者として定義及び分類し、検証用注釈処理作業送信部５３０は、該当作業者の端末に１つ以上の検証用注釈処理作業を送信しない。作業者を、信頼できる作業者として定義するということは、１つの特定の注釈処理作業に対して信頼できるということを意味するものである。新しい顧客又は既存の顧客が新たな注釈処理作業を管理者に要請する場合、以前の注釈処理作業で信頼できる作業者に分類された作業者も新たに検証用注釈処理作業を実行しなければならないこともあり得る。

【0083】

作業者が信頼できる作業者に分類及び定義された場合、１つ以上の追加的な実施用注釈処理作業に相応する１つ以上の追加的な検証用注釈処理作業の結果を受信する段階を進行しない。従って、信頼できる作業者による追加的な実施用注釈処理作業の結果を検証用注釈処理作業で検証する過程なしに有効な注釈処理と定義する。

【0084】

顧客要求受信部（図示せず）は、顧客の端末から要求された注釈処理作業の信頼度を受信し、ｊは顧客から要求された注釈処理作業の信頼度に相応して変更された値であり得る。ｊは有効な注釈処理作業の数を所定の数で割った値であり得る。例えば、ｊは有効な注釈処理作業の数を２で割った値であり得る。所定の数は、顧客から要求された注釈処理作業の信頼度によって決定される。例えば、顧客から要求された注釈処理作業の信頼度が高い場合、所定の数を高い数字に設定する。これにより、ｊは相対的に低い数字になり、検証用注釈処理作業が伝送される時点が相対的に繰り上げられる。

【0085】

図６は、図１の実施用注釈処理作業の結果の有効可否を判断する段階の実施用注釈処理作業の結果の信頼度が所定の基準未満である場合の例示図である。

【0086】

図６を参照すれば、検証用注釈処理作業の結果に基づいて、実施用注釈処理作業の結果の信頼度を判断し、判断された信頼度が所定の基準未満である場合、検証用注釈処理作業の以前に行われた実施用注釈処理作業は有効でない注釈と定義及び分類する。

【0087】

作業者が検証用注釈処理作業＃１（７１０）を正常に行わなければ、検証用注釈処理作業＃１（７１０）の前に行われたｎ個の実施用注釈処理作業の結果は、有効でない注釈処理と定義及び分類される。そして、作業者は以前のｎ番目よりも更に低いｎ-i番目の実施用注釈処理作業を行い、検証用注釈処理作業＃２（７２０）を行う。同様に、検証用注釈処理作業＃２（７２０）を正常に行わなければ、検証用注釈処理作業＃１（７１０）の後、検証用注釈処理作業＃２（７２０）の前に行われたｎ-ｉ個の実施用注釈処理作業の結果は、有効でない注釈処理と定義及び分類される。

【0088】

従って、作業者が検証用注釈処理作業を正常に行わなかった場合、以前の実施用注釈処理作業の結果は、有効でない注釈処理と定義及び分類される。そして、該当作業者の能力に対する信頼度は以前よりも低く評価され、該当作業者は検証用注釈処理作業を以前よりも更に速く伝送されるようになる。検証用注釈処理作業は、以前の検証用注釈処理作業の結果によって、相対的に速く伝送を受けることも、相対的に遅く伝送を受けることもあり得る。そして、ｉが所定の値以下になると、該当作業者は信頼できない作業者になり、その後からは検証用注釈処理作業及び実施用注釈処理作業を行うことができなくなる。

【0089】

図７は、図１の実施用注釈処理作業の結果の有効可否を判断する段階の実施用注釈処理作業の結果の信頼度が所定の基準以上である場合の例示図である。

【0090】

図７を参照すれば、検証用注釈処理作業の結果に基づいて、実施用注釈処理作業の結果の信頼度を判断し、判断された信頼度が所定の基準以上である場合、検証用注釈処理作業の前に行われた実施用注釈処理作業は、有効な注釈と定義及び分類する。

【0091】

作業者が検証用注釈処理作業＃１（８１０）を正常に行うと、検証用注釈処理作業＃１（８１０）の前に行われたｎ個の実施用注釈処理作業の結果は、有効な注釈処理と定義及び分類される。そして、作業者は、以前のｎ番目よりも更に高いｎ＋ｊ番目の実施用注釈処理作業を行い、検証用注釈処理作業＃２（８２０）を行う。同様に、検証用注釈処理作業＃２（８２０）を正常に行うと、検証用注釈処理作業＃１（８１０）の後、検証用注釈処理作業＃２（７２０）の前に行われたｎ＋ｊ個の実施用注釈処理作業の結果は、有効な注釈処理と定義及び分類される。

【0092】

従って、作業者が検証用注釈処理作業を正常に行う場合、以前の実施用注釈処理作業の結果は、有効な注釈処理と定義及び分類される。そして、該当作業者の能力に対する信頼度は以前よりも高く評価され、該当作業者は検証用注釈処理作業を以前よりも更に遅く伝送されるようになる。検証用注釈処理作業は、以前の検証用注釈処理作業の結果によって、相対的に速く伝送を受けることも、相対的に遅く伝送を受けることもできる。そして、ｊが所定の値以上になると、該当作業者は信頼できる作業者になり、その後から検証用注釈処理作業を行わなくても、実施用注釈処理作業の結果を有効な注釈処理作業と定義する。

【0093】

図８は、本発明の他の実施形態に係る検証用注釈処理作業を用いた実施用注釈処理作業の検証装置の概略的な構成図である。

【0094】

図８を参照すれば、検証用注釈処理作業を用いた実施用注釈処理作業の検証装置は、実施用注釈処理作業送信部５１０、実施用注釈処理作業受信部５２０、検証用注釈処理作業送信部５３０、検証用注釈処理作業受信部５４０、信頼度判断部５５０及び有効判断部５６０を含む。

【0095】

図８の検証用注釈処理作業を用いた実施用注釈処理作業の検証装置の構成要素は、図１〜図７を参照して説明した方法の構成要素に相応する。以下、装置の各構成要素の機能又は動作を説明するにおいて重複する説明は省略する。

【0096】

実施用注釈処理作業送信部５１０は、作業者の端末に１つ以上の実施用注釈処理作業を送信する。

【0097】

実施用注釈処理作業受信部５２０は、作業者の端末から１つ以上の実施用注釈処理作業の結果を受信する。

【0098】

検証用注釈処理作業送信部５３０は、作業者の端末に１つ以上の検証用注釈処理作業を送信する。

【0099】

検証用注釈処理作業受信部５４０は、１つ以上の実施用注釈処理作業に相応し、事前に準備された１つ以上の検証用注釈処理作業を読み出し、作業者の端末から１つ以上の検証用注釈処理作業の結果を受信する。

【0100】

信頼度判断部５５０は、１つ以上の検証用注釈処理作業の結果に基づいて、１つ以上の実施用注釈処理作業の結果の信頼度を判断する。

【0101】

有効判断部５６０は、判断された信頼度に基づいて、１つ以上の実施用注釈処理作業の結果の有効可否を判断する。

【0102】

本発明の実施形態と関連して説明された方法又はアルゴリズムの段階は、ハードウェアで直接実現したり、ハードウェアにより行われるソフトウェアモジュールで実現したり、これらの結合により実現したりすることができる。ソフトウェアモジュールは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、脱着型ディスク、ＣＤ-ＲＯＭ、又は本発明が属する技術分野において周知されている任意の形態のコンピュータ読み取り可能な記録媒体に、存在することができる。

【0103】

以上、添付の図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須の特徴を変更することなく、他の具体的な形態で実施され得ることが理解できるはずである。従って、以上で記述した実施形態はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

【符号の説明】

【0104】

５１０ 実施用注釈処理作業送信部
５２０ 実施用注釈処理作業受信部
５３０ 検証用注釈処理作業送信部
５４０ 検証用注釈処理作業受信部
５５０ 信頼度判断部
５６０ 有効判断部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】