特許 7096866 クロスチェックを通じた信頼性の高い作業結果獲得の方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-28

(45)【発行日】2022-07-06

(54)【発明の名称】クロスチェックを通じた信頼性の高い作業結果獲得の方法及び装置

(51)【国際特許分類】

   G06Q 10/06 20120101AFI20220629BHJP

【ＦＩ】

G06Q10/06 300

【請求項の数】 7

(21)【出願番号】P 2020139985

(22)【出願日】2020-08-21

(65)【公開番号】P2021034053

(43)【公開日】2021-03-01

【審査請求日】2020-08-21

(31)【優先権主張番号】10-2019-0103885

(32)【優先日】2019-08-23

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】518414959

【氏名又は名称】クラウドワークス インコーポレイテッド

【氏名又は名称原語表記】ＣｒｏｗｄＷｏｒｋｓ， Ｉｎｃ．

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】パク，ミン ウ

(72)【発明者】

【氏名】キム，ジ ソン

【審査官】谷川 智秀

(56)【参考文献】

【文献】特開２０１９－０９６３１９（ＪＰ，Ａ）

【文献】特開２０１４－０３５６８３（ＪＰ，Ａ）

【文献】特開２０１７－１８７８４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータにより行われる方法であって、
同一の作業をｎ名の作業者に割り当てる段階（ｎは３以上の自然数）と、
ｎ名の作業者からそれぞれ作業結果の入力を受けることで、ｎ個の作業結果の入力を受ける段階と、
前記ｎ個の作業結果が全て一致するかを確認する段階と、
前記ｎ個の作業結果が一致しない場合、前記同一の作業をｍ名の新たな追加の作業者に再び割り当てる段階（ｍはｎ個の作業結果のうちの少数意見に該当する作業結果の数）と、
前記ｍ名の新たな追加の作業者からそれぞれ作業結果の入力を受けることで、ｍ個の再作業結果の入力を受ける段階と、
前記ｍ個の再作業結果が、前記ｎ個の作業結果のうちの多数意見に該当する作業結果と全て一致するかについて確認する段階と、
前記再作業結果と、前記多数意見に該当する作業結果とが全て一致する場合、前記多数意見に該当する作業結果を有効データとして用いる段階とを含み、
前記作業は、主観的な評価が要求される質問に対する答えを選択するものであって、前記ｎ名の作業者に、それぞれの判断によって２つの選択肢の中から１つを選択するようにする二者択一型の作業であり、
前記再作業結果と、前記多数意見に該当する作業結果とが一致しない場合、
前記同一の作業を検収者に割り当てる段階と、
前記検収者から検収結果の入力を受ける段階と、
前記検収結果と一致するどうかを判断することにより、前記多数意見に該当する作業結果、及び、前記少数意見に該当する作業結果のうちの前記検収結果と一致するものを有効データとして用いるようにする段階と、
を更に含む、クロスチェックを通じた信頼性の高い作業結果獲得方法。

【請求項2】

前記ｎ個の作業結果が互いに一致する場合、
前記ｎ個の作業結果に対する検収を行わずに、有効データとして用いる段階を更に含むことを特徴とする請求項１に記載のクロスチェックを通じた信頼性の高い作業結果獲得方法。

【請求項3】

前記再作業結果と、前記多数意見に該当する作業結果とが一致しない場合、
前記ｎ個の作業結果と前記ｍ個の再作業結果とを、有効データでないとして扱うようにする段階を更に含むことを特徴とする請求項１に記載のクロスチェックを通じた信頼性の高い作業結果獲得方法。

【請求項4】

前記ｎは奇数であることを特徴とする請求項１に記載のクロスチェックを通じた信頼性の高い作業結果獲得方法。

【請求項5】

前記ｎは、依頼者が要求する信頼性の度合が高いほど大きい数に決定されることを特徴とする請求項１に記載のクロスチェックを通じた信頼性の高い作業結果獲得方法。

【請求項6】

ハードウェアであるコンピュータに、請求項１～５の何れか一項に記載のクロスチェックを通じた信頼性の高い作業結果獲得方法を実行させるステップを含む、媒体に格納されたコンピュータプログラム。

【請求項7】

クロスチェックを通じた信頼性の高い作業結果獲得装置であって、
同一の作業をｎ名の作業者、ｍ名の新たな追加の作業者、及び検収者に送信し、前記ｎ名の作業者からそれぞれ作業結果の入力を受けることで、ｎ個の作業結果を受信し、前記ｍ名の新たな追加の作業者からそれぞれ作業結果の入力を受けることで、ｍ個の再作業結果を受信し、前記検収者から検収結果を受信する通信部（ｎは３以上の自然数、ｍはｎ個の作業結果のうちの少数意見に該当する作業結果の数）と、
前記ｎ名の作業者から入力された前記ｎ個の作業結果、前記ｍ名の新たな追加の作業者から入力された前記ｍ個の再作業結果、及び前記検収結果を格納する格納部と、
前記ｎ名の作業者から入力された前記ｎ個の作業結果が全て一致するかについて判断し、前記ｍ個の再作業結果が、前記ｎ個の作業結果のうちの多数意見に該当する作業結果と全て一致するかについて判断する判断部と、
前記同一の作業を前記ｎ名の作業者に割り当て、前記ｎ個の作業結果が全て一致する場合、前記ｎ個の作業結果を有効データとして選別し、前記ｎ個の作業結果が一致しない場合、前記同一の作業を前記ｍ名の新たな追加の作業者に再び割り当て、前記ｍ個の再作業結果が前記ｎ個の作業結果のうちの多数意見に該当する作業結果と全て一致する場合、前記多数意見に該当する作業結果を有効データとして選別し、前記再作業結果と、前記多数意見に該当する作業結果とが一致しない場合、前記同一の作業を前記検収者に割り当て、前記検収結果と一致するどうかを判断することにより、前記多数意見に該当する作業結果、及び、前記少数意見に該当する作業結果のうちの前記検収結果と一致するものを有効データとして選別する選別部とを含み、
前記作業は、主観的な評価が要求される質問に対する答えを選択するものであって、前記ｎ名の作業者に、各自の判断によって２つの選択肢の中から１つを選択するようにする両者択一型の作業である、クロスチェックを通じた信頼性の高い作業結果獲得装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、クロスチェックを通じた、信頼性の高い作業結果獲得の方法及び装置に関する。

【背景技術】

【0002】

近年、企業活動の一部の過程に、一般大衆を参加させるクラウドソーシングに基づいて、多量のデータを収集及び加工する企業が増えている。即ち、企業は１つのプロジェクトをオープンにして、一般大衆、即ち作業者が、該当プロジェクトに参加するようにすることによって、作業者により完了した作業結果を通じて必要な情報を収集する。

【0003】

このとき、企業は、より信頼度の高い情報を収集するために、作業者により完了した作業結果を、検収者に割り当てて検収作業を行うようにする。

【0004】

具体的に、１つのプロジェクトがオープンされると、複数の作業者に、それぞれ複数の作業が割り当てられる。それぞれの作業者は割り当てられた複数の作業を行い、作業結果を提供する。その後、複数の検収者に、作業結果に対する複数の検収作業がそれぞれ割り当てられ、検収者は、それぞれ割り当てられた複数の検収作業を行う。

【0005】

現在、検収者の検収方法において、１つのプロジェクトに対する複数の作業結果に対して、基本的に全数検査を行うことを原則としている。

【0006】

しかし、１つのプロジェクトに参加する検収者の人数は作業者数に比べて顕著に少ないため、一人の検収者に数多くの検収作業が割り当てられており、検収者の業務が過重になるという問題がある。

【0007】

また、作業結果全体に対して全数検査を基本とするため、検収が不要な作業であるにも拘わらず、検収者により検収が行われており、検収者が効率的に検収作業を行う上で困難があるという問題がある。

【先行技術文献】

【特許文献】

【0008】

【文献】韓国公開特許第１０-２０１４-００９５９５６号公報（２０１４.０８.０４）

【発明の概要】

【発明が解決しようとする課題】

【0009】

そこで、本発明は上記事情に鑑みてなされたものであって、その目的は、複数の作業結果が一致するか否かによって、該当作業結果を有効データとして用いるかを判断する、クロスチェックを通じた信頼性の高い作業結果獲得の方法及び装置を提供することにある。

【0010】

本発明が解決しようとする課題は、以上で言及した課題に限らず、言及されていない他の課題は、以下の記載から通常の技術者が明確に理解できるであろう。

【課題を解決するための手段】

【0011】

前述した課題を解決するための、本発明の一側面に係る、クロスチェックを通じた信頼性の高い作業結果獲得の方法は、同一の作業をｎ名の作業者に割り当てる段階（ｎは３以上の自然数）と、ｎ名の作業者からｎ個の作業結果の入力を受ける段階と、前記ｎ個の作業結果が全て一致するかを確認する段階と、前記ｎ個の作業結果が一致しない場合、前記同一の作業を、ｍ名の新たな追加の作業者に再び割り当てる段階（ｍはｎ個の作業結果のうちの少数意見に該当する作業結果の数）と、前記ｍ名の新たな追加の作業者からｍ個の再作業結果の入力を受ける段階と、前記ｍ個の再作業結果と前記ｎ個の作業結果のうちの多数意見に該当する作業結果とが一致するかを確認する段階と、前記再作業結果と前記多数意見に該当する作業結果とが一致する場合、前記再作業結果と前記多数意見に該当する作業結果とだけを有効データとして用いる段階とを含み、前記作業は、作業者に２つの選択肢の中から１つを選択するようにする二者択一型の作業であることを特徴とする。

【0012】

本発明の一実施例において、前記ｎ個の作業結果が互いに一致する場合、前記ｎ個の作業結果に対する検収を行わず、有効データとして用いる段階を更に含むことができる。

【0013】

本発明の一実施例において、前記再作業結果と、前記多数意見に該当する作業結果とが一致しない場合、前記同一の作業を検収者に割り当てる段階と、前記検収者から検収結果の入力を受ける段階と、前記検収結果に応じて、前記ｎ個の作業結果及び前記ｍ個の再作業結果のうちのいずれの作業結果を有効データとして用いるかを判断する段階とを更に含むことができる。

【0014】

本発明の一実施例において、前記再作業結果と、前記多数意見に該当する作業結果とが一致しない場合、前記ｎ個の作業結果と前記ｍ個の再作業結果とを無効化する段階を更に含むことができる。

【0015】

本発明の一実施例において、前記ｎは奇数であり得る。

【0016】

本発明の一実施例において、前記ｎは信頼度に応じて決定され得る。

【0017】

本発明の一実施例において、前記作業は、作業者の主観的な評価が要求される質問に対する回答であり得る。

【0018】

前述した課題を解決するための本発明の他の側面に係るコンピュータプログラムは、ハードウェアであるコンピュータと結合されて、前記クロスチェックを通じた信頼性の高い作業結果獲得方法を実行するのであり、媒体に格納される。

【0019】

前述した課題を解決するための本発明の更に他の側面に係るクロスチェックを通じた信頼性の高い作業結果獲得装置は、同一の作業をｎ名の作業者及びｍ名の新たな追加の作業者に送信し、前記ｎ名の作業者からｎ個の作業結果を受信し、前記ｍ名の新たな追加の作業者からｍ個の再作業結果を受信する通信部（ｎは３以上の自然数、ｍはｎ個の作業結果のうちの少数意見に該当する作業結果の数）と、前記ｎ名の作業者から入力された前記ｎ個の作業及び前記ｍ名の新たな追加の作業者から入力された前記ｍ個の再作業結果を格納する格納部と、前記ｎ名の作業者から入力された前記ｎ個の作業が全て一致するかについて判断し、前記ｎ個の作業のうちの多数意見に該当する作業結果が、前記ｍ個の再作業結果と一致するかについて判断する判断部と、前記ｎ個の作業が全て一致する場合、前記ｎ個の作業結果を有効データとして選別し、前記ｎ個の作業のうちの多数意見に該当する作業結果が、前記ｍ個の再作業結果と一致する場合、前記再作業結果と前記多数意見に該当する作業結果とを有効データとして選別し、信頼度に応じて決定された前記ｎ名の作業者を選別し、前記ｎ個の作業が全て一致するか否かによって、前記ｍ名の新たな追加の作業者を選別する選別部とを含む。

【0020】

本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。

【発明の効果】

【0021】

前記のような本発明の、クロスチェックを通じた信頼性の高い作業結果獲得の方法及び装置によれば、同一の作業に対して複数の作業者から作業結果の入力を受けて、複数の作業結果が一致するか否かによって該当作業結果を有効データとして用いるので、依頼者に信頼性の高いプロジェクト結果を提供できるという効果を奏する。

【0022】

また、複数の作業結果が一致すると、該当作業結果は検収作業を行わず、直ちに有効データとして用いられるため、検収者に割り当てられる検収作業の数が全般的に減少して検収者の業務及び関連コストが削減されるのであり、また、作業結果に対する信頼度が低い場合に限って検収者が効率的に検収作業を行うことができる。

【0023】

更に、複数の作業結果が一致すると、該当作業結果は検収作業を行わず、直ちに有効データとして用いられるため、検収者に割り当てられる検収作業の数が全般的に減少して、検収者の検収作業の過剰及び滞積によるプロジェクト全体のボトルネック現象を防止できる。

【0024】

本発明の効果は、以上で言及した効果に限らず、言及されていない他の効果は、以下の記載から、通常の技術者が明確に理解できるであろう。

【図面の簡単な説明】

【0025】

【図1】本発明の一実施例に係るクラウドソーシングサービスの概念図である。

【図2】本発明の一実施例に係るクラウドソーシング基盤のプロジェクトの進行プロセスを説明するフローチャートである。

【図3】本発明の一実施例に係るクロスチェックを通じた信頼性の高い作業結果獲得方法のフローチャートである。

【図4】本発明の一実施例に係る客観的な評価が要求される作業を説明する例示図である。

【図5】本発明の一実施例に係る主観的な評価が要求される作業を説明する例示図(1)である。

【図6】本発明の一実施例に係る主観的な評価が要求される作業を説明する例示図(2)である。

【図7】本発明の一実施例に係る、クロスチェックを通じた信頼性の高い作業結果獲得装置のブロック図である。

【発明を実施するための形態】

【0026】

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施例は本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範疇を完全に理解させるために提供されるものであり、本発明は請求範囲の範疇により定義されるに過ぎない。

【0027】

本明細書で用いられる用語は実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」は言及された構成要素のそれぞれ及び１つ以上のあらゆる組み合わせを含む。たとえ、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素はこれらの用語により制限されないのはもちろんである。これらの用語は単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素でもありうるのは言うまでもない。

【0028】

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用いられる。また、一般的に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

【0029】

以下、添付の図面を参照して本発明の実施例を詳細に説明する。

【0030】

図１は、本発明の一実施例に係るクラウドソーシングサービスの概念図である。

【0031】

図１を参照すれば、クラウドソーシングサービスは依頼者１０、サービス提供業者２０及び大衆３０で構成されて行われる。

【0032】

依頼者１０は、クラウドソーシング基盤のプロジェクト（以下、プロジェクト）を依頼する企業や個人を意味する。

【0033】

依頼者１０は、ソースデータの収集又はデータアノテーションなどを目的にプロジェクトを依頼する。ソースデータの収集は、録音された音声の収集、写真の収集など、加工されないデータを収集することを意味する。データアノテーションは、テキスト、写真、ビデオなどのソースデータに関連の注釈データを入力することを意味する。例えば、データアノテーションとしては、与えられたテキストから、個体を探すこと、類似する文章を探すことなどが挙げられるが、これに制限されない。

【0034】

サービス提供業者２０は、クラウドソーシングサービスを提供する企業を意味する。

【0035】

サービス提供業者２０は、依頼者１０から製品又はサービスに対するプロジェクトの依頼を受けると、該当プロジェクトに対する作業を一般の大衆３０に割り当てて、大衆３０から作業結果の提供を受ける。その後、作業結果を基にして抽出されたアウトプット（最終プロダクト）を依頼者１０に提供する。

【0036】

この際、サービス提供業者２０は、クラウドソーシングプラットホーム（以下、プラットホーム）を介して依頼者１０及び大衆３０にクラウドソーシングサービスを提供する。即ち、サービス提供業者２０は、依頼者１０からプロジェクトの依頼を受けると、プラットホームにプロジェクトをオープンする。その後、大衆３０から、オープンされたプロジェクトに対する作業結果の提供を受けると、該当プロジェクトをプラットホーム上で終了し、アウトプット（最終プロダクト）を抽出して依頼者１０に提供できる。

【0037】

大衆３０は、プラットホームにオープンされたプロジェクトに参加する一般大衆を意味する。ここで、大衆３０は、サービス提供業者２０が提供するアプリケーション又はウェブサイトなどを介して、プラットホームにオープンされたプロジェクトに参加できる。

【0038】

大衆３０は、作業者３２及び検収者３４で構成される。

【0039】

作業者３２は、プラットホームにオープンされた複数のプロジェクトのうちの特定プロジェクトへの参加を決定する。その後、作業者３２は、ソースデータの収集又はデータアノテーションなどの作業を行い、これをプラットホームに送る。

【0040】

検収者３４は、プラットホームにオープンされた複数のプロジェクトのうちの特定プロジェクトへの参加を決定する。その後、検収者３４は、作業者３２が行った作業結果に対する検収を行う。検収者３４は、検収遂行の結果として、作業の合格認定（通過）又は差し戻しを行うことができ、作業の差し戻しの際に、差し戻しの事由を入力できる。

【0041】

図２は、本発明の一実施例に係るクラウドソーシング基盤のプロジェクトについての進行プロセスを説明するフローチャートである。

【0042】

まず、依頼者１０がサービス提供業者２０にプロジェクトを依頼する（Ｓ４１）。

【0043】

その後、サービス提供業者２０は、依頼されたプロジェクトをプラットホーム上にオープンする（Ｓ４２）。この際、サービス提供業者２０は、プロジェクトのオープン前に、該当プロジェクトの難易度などを考慮して等級を決定する。即ち、難易度に応じて、どのような等級以上の大衆３０に、該当プロジェクトを露出させるかを決定する。これにより、プロジェクトの作業結果の信頼度を高めることができる。

【0044】

その後、サービス提供業者２０は、プロジェクトの等級に応じて該当する等級以上の作業者３２に作業を割り当てる（Ｓ４３）。

【0045】

その後、作業者３２は、割り当てられた作業を行うこととなる（Ｓ４４）。このとき、作業者３２は、何らかの理由により作業自体が不可能な作業に対しては、作業を行わずに、作業不可である事由を入力することができる。

【0046】

その後、サービス提供業者２０は、作業者３２から作業結果の提供を受け（Ｓ４５）、該当作業結果に対する検収作業を検収者３４に割り当てる（Ｓ４６）。

【0047】

その後、検収者３４は、割り当てられた検収を行う（Ｓ４７）。このとき、検収者３４は、作業が正常に行われたものと判断すれば、検収通過を決定し、検収により、作業が誤っているものと判断すれば、差し戻しを決定する。差し戻しの決定時、検収者３４は、どんな理由により、作業が誤ったものであると判断したかについての、差し戻しの事由を入力する。

【0048】

その後、サービス提供業者２０は、検収者３４から検収結果の提供を受ける（Ｓ４８）。

【0049】

検収結果が合格認定（通過）である場合、サービス提供業者２０は、該当作業結果を有効なデータとして用い、これを基にして、プロジェクトの終了時にアウトプット（最終プロダクト）を抽出する。

【0050】

検収結果が差し戻しである場合、サービス提供業者２０は内部的に検収を再び行うか、作業者３２に再び作業を割り当てて作業を行うようにすることもできる。

【0051】

その後、サービス提供業者２０は、プロジェクト期間が終了するか、十分な有効データを確保するようになると、該当プロジェクトを終了し（Ｓ４９）、確保された有効データに基づき、最終の結果物を算出して依頼者１０に提供する（Ｓ５０）。

【0052】

このとき、プロジェクトの終了前にサービス提供業者２０は、作業者３２及び検収者３４の遂行結果を評価し、評価に応じて作業コスト及び検収コストを算出し、作業者３２及び検収者３４に提供する。

【0053】

図１及び図２では、単に、依頼者、サービス提供業者、作業者、検収者と表現したが、これらは、各参加者によって運用される、スマートフォン、タブレットPC、ＰＤＡ、ラップトップPC、デスクトップPC、サーバなどといったコンピュータ装置又は電気通信装置を意味する。

【0054】

図３は、本発明の一実施例に係る、クロスチェックを通じた信頼性の高い作業結果獲得の方法についてのフローチャートであり、図４は、本発明の一実施例に係る、客観的な評価が要求される作業を説明する例示図であり、図５及び図６は、本発明の一実施例に係る、主観的な評価が要求される作業を説明する例示図である。

【0055】

図３に示された段階Ｓ１１０ないしＳ１８０は、サービス提供業者２０によって運用される、プラットホームサーバ（以下、サーバ）により行われるものと理解され得るが、これに制限されるものではない。

【0056】

図３を参照すれば、段階Ｓ１１０で、サーバは同一の作業を複数の作業者３２に割り当てる。ここで、作業は、２つの選択肢の中から１つを選択する二者択一型の作業を意味する。

【0057】

即ち、同一の作業が割り当てられた複数の作業者３２は、各自の判断によって２つの選択肢の中から１つを選択して作業を行うようになる。

【0058】

サーバは、同一の作業を行うｎ名の作業者３２を選別して同一の作業を割り当てる。ここで、ｎは３以上の自然数を意味する。

【0059】

一実施例として、ｎは３以上の奇数であり得る。サーバは、同一の作業を３以上の奇数（即ち、３、５、７など）の作業者３２に割り当てることができる。後述するように、多数意見を区分するためである。

【0060】

この際、サーバは、依頼者１０が要求する信頼度に合せてｎを決定できる。ｎが大きいほど、即ち同一の作業をより多くの作業者３２に割り当てるほど、同一の作業に対して、より多くの作業結果を獲得できるため、作業結果に対する信頼度を高めることができる。

【0061】

作業者３２に割り当てられる二者択一型の作業は、客観的な評価が要求される作業であってもよく、主観的な評価が要求される作業であってもよい。特に、主観的な評価が要求される作業の場合、多数の作業者が同一の作業に参加することによって、多数意見によって形成された信頼性の高いデータを確保するようにすることができる。

【0062】

図４を参照すれば、作業者３２にテキストが与えられ、テキストを基にした質問が与えられる。作業者３２は、与えられた質問が正しい質問であるか、誤った質問であるかを、テキストを参考にして客観的に判断した後に答える。

【0063】

例えば、作業者３２は、「エリック・テイムズの国籍は米国ですか？」という質問に対し、テキストの内容を参考にして「○」を選択できる。

【0064】

図５を参照すれば、作業者３２に２つの類似する意味の文章が与えられると、作業者３２は、２つの文章が同じ意味か異なる意味かにつき、主観的に判断した後に答える。

【0065】

例えば、「素直でよい人に見える」と「よい人で綺麗に見える」の意味が同一のものと判断されると、作業者３２は「同じ意味（○）」を選択できるのであり、又、「素直でよい人に見える」と「よい人で綺麗に見える」の意味が異なるものと判断されると、作業者３２は「異なる意味（×）」を選択できる。

【0066】

図６を参照すれば、作業者３２に人物写真（具体的に、顔写真）が与えられると、作業者３２は、与えられた写真を見て、その人物の性別を主観的に判断した後に答える。

【0067】

例えば、帽子を被っており、性別の区別が付かない写真が提供され、「性別を選択して下さい」という質問が与えられる。これに対して、作業者３２は、判断に応じて「男子」又は「女子」を選択できる。

【0068】

このような図４ないし図６の例示的な作業を通じて確保されたデータは、人工知能又は機械学習のための学習用データとして活用されうる。

【0069】

次に、再び図３を参照すれば、段階Ｓ１２０にて、サーバは、ｎ名の作業者３２からｎ個の作業結果の入力を受ける。

【0070】

ｎが３の場合、サーバは３人の作業者３２から３つの作業結果の入力を受けることとなる。

【0071】

例えば、作業が、○又は×を選択する二者択一型の作業である場合、サーバは、「○○○」、「×××」、「○○×」、「○××」のうちの１つの形態で結果の提供を受ける。

【0072】

次に、段階Ｓ１３０で、サーバはｎ個の作業結果が全て一致するかを確認する。即ち、ｎ個の作業結果同士をクロスチェックして、全て一致するかどうかを確認する。

【0073】

例えば、作業が○又は×を選択する二者択一型の作業であり、ｎが３の場合、サーバは「○○○」及び「×××」の作業結果に対しては３人の作業者３２の意見が全て一致するものと判断し、「○○×」及び「○××」の作業結果に対しては３人の作業者３２の意見が一致していないものと判断する。

【0074】

ｎ個の作業結果が全て一致する場合、サーバは、ｎ個の作業結果を有効データとして用いる。これに関する詳細な内容を段階Ｓ１８０にて後述する。

【0075】

次に、段階Ｓ１４０にて、ｎ個の作業結果が一致しない場合、サーバは、同一の作業をｍ名の新たな追加の作業者３２に再び割り当てる。ここで、ｍはｎ個の作業結果のうち少数意見に該当する作業結果の数を意味する。

【0076】

即ち、ｎ個の作業結果が「○○×」である場合、サーバは○を多数意見と判断し、×を少数意見と判断する。従って、サーバは×に該当する作業結果の数、即ち一人の新たな追加の作業者３２を選別して同一の作業を再び割り当てる。

【0077】

また、ｎが５の場合、サーバが５人の作業者から「○○○○×」又は「○○○××」の作業結果を提供されたら、サーバは×を少数意見と判断して、×に該当する作業結果の数、即ち一人又は二人の新たな追加の作業者３２を選別して同一の作業を再び割り当てる。

【0078】

例えば、ｎ名の作業者３２に、図５に示されるように、類似する２つの文章が同一か否かを判断する作業が割り当てられたとすると、ｍ名の新たな追加の作業者３２にも同様に、類似する２つの文章が同一か否かを判断する作業が割り当てられる。

【0079】

次に、段階Ｓ１５０で、サーバは、ｍ名の新たな追加の作業者３２からｍ個の再作業結果の入力を受ける。

【0080】

例えば、ｍが１の場合（即ち、ｎ個の作業結果のうち少数意見に該当する作業結果の数が１つである場合）、サーバは、一人の新たな追加の作業者３２から１つの再作業結果の入力を受ける。

【0081】

このとき、作業が○又は×を選択する二者択一型の作業である場合、サーバは、一人の新たな追加の作業者３２から、○又は×の再作業結果を提供されるようになる。

【0082】

次に、段階Ｓ１６０で、サーバは、ｍ個の再作業結果と、ｎ個の作業結果のうちの多数意見に該当する作業結果とが一致するかを確認する。即ち、ｍ個の再作業結果と、ｎ個の作業結果のうちの、多数意見に該当する作業結果との結果同士をクロスチェックして、一致するかを確認する。

【0083】

即ち、ｎが３であり、ｍが１の場合、サーバは、多数意見に該当する２つの作業結果と１つの再作業結果とが互いに一致するかを確認する。

【0084】

例えば、作業が○又は×を選択する二者択一型の作業である場合、多数意見に該当する２つの作業結果は「○○」であってもよく、「××」であってもよい。このとき、１つの再作業結果が○か×かによって一致するか否かを判断する。

【0085】

具体的に、２つの作業結果が「○○」であり、１つの再作業結果が○であれば、サーバは、再作業結果と、多数意見に該当する作業結果とが一致するものと判断する。

【0086】

再作業結果と、多数意見に該当する作業結果とが一致する場合、サーバは、再作業結果及び多数意見に該当する作業結果を、有効データとして用いる。これに関する詳細な内容を段階Ｓ１８０にて後述する。

【0087】

反面、２つの作業結果が「○○」であり、１つの再作業結果が×であれば、サーバは、再作業結果と、多数意見に該当する作業結果とが一致しないものと判断する。

【0088】

次に、段階Ｓ１７０で、再作業結果と、多数意見に該当する作業結果とが一致しない場合、サーバは、同一の作業を検収者３４に割り当てる。

【0089】

例えば、サーバは「○」又は「×」を選択する二者択一型の作業を検収者３４に割り当てる。即ち、検収者３４は、複数の作業者に割り当てられたと同一の作業を割り当てられ、「○」が正しいか、「×」が正しいかについて判断する。

【0090】

その後、サーバは、検収者３４から入力された検収結果に基づいて最終データを確保する。これに関する詳細な内容を段階Ｓ１８０にて後述する。

【0091】

また、一実施例として、段階Ｓ１７０にて、再作業結果と多数意見に該当する作業結果とが一致しない場合、サーバは、作業結果と再作業結果を無効化できる。

【0092】

即ち、ｎが３であり、ｍが１の場合、１つの再作業結果と多数意見に該当する２つの作業結果とが一致しなければ、サーバは１つの再作業結果、及び３つの作業結果を何れも無効化することができる。結果的には、全ての作業結果が無効化される。

【0093】

作業結果を何れも無効化した後、サーバは同一の作業を更に他のｎ名の作業者３２に割り当てて同一の過程を最初から行うことができる。又は、サーバは、検収者３４に作業を割り当てて直接作業を行うようにすることもできる。通常、検収者３４は、作業者３２に比べて長年の経験と高い信頼度を有する者として選別されるので、検収者３４の作業結果は、そのまま有効データとして用いることができる。

【0094】

次に、段階Ｓ１８０にて、サーバは、クロスチェックをパス（通過）した作業結果又は検収結果による作業結果を有効データとして用いる。

【0095】

整理すると、サーバが作業結果を有効データとして用いる場合としては、３つの場合がある。

【0096】

第一に、段階Ｓ１３０にて、ｎ個の作業結果が全て一致する場合、サーバはｎ個の作業結果を有効データとして用いる。

【0097】

例えば、作業が○又は×を選択する二者択一型の作業であり、ｎが３の場合、３人の作業者３２から入力を受けた３つの作業結果が「○○○」又は「×××」であって何れも一致するものと確認されると、サーバは３つの作業結果に対する検収を行わずに、直ちに有効データとして用いる。ここで、有効データは、プロジェクトの終了時にアウトプット（最終プロダクト）を生成するのに用いられるデータを意味する。即ち、３つの作業結果が「○○○」であれば、該当作業に対する作業結果は「○」であるとして用いられる。

【0098】

第二に、段階Ｓ１６０にて、再作業結果と、多数意見に該当する作業結果とが一致する場合、サーバは、再作業結果、及び、多数意見に該当する作業結果を、有効データとして用いる。

【0099】

例えば、作業が○又は×を選択する二者択一型の作業であり、ｎが３であり、ｍが１の場合、１つの再作業結果が「○」であり、多数意見に該当する２つの作業結果が「○○」であって一致するものと確認されると、サーバは、１つの再作業結果と、多数意見に該当する２つの作業結果とだけを有効データとして用いる。

【0100】

即ち、該当作業に対する作業結果は「○」であるとして用いられ、３つの作業結果のうちの、少数意見に該当する１つの作業結果（×）は廃棄処理する。

【0101】

この際、サーバは、再作業結果と多数意見に該当する作業結果に対する検収を行わずに、即ち、（むしろ、多数意見が間違っている恐れがあるので）検収者によって該当作業に対する作業結果が「○」が合っているかについて検収を行うことなしに、直ちに有効データとして用いる。

【0102】

第三に、段階Ｓ１７０にて、同一の作業に対する検収結果に応じて、サーバは、作業結果全体（ｎ個の作業結果及びｍ個の再作業結果）のうちのどの作業結果を有効データとして用いるかを判断する。

【0103】

一実施例として、二者択一型の作業に対して検収者３４から「○」が合っていると検収結果が入力されると、サーバは、ｍ個の再作業結果とｎ個の作業結果のうち「○」に該当する作業結果のみを有効データとして用いる。

【0104】

例えば、３つの作業結果のうちの、多数意見が「×」であり、少数意見が「○」であり、１つの再作業結果が「○」と入力された場合、サーバは、検収結果（「○」）にしたがって、少数意見に該当する１つの作業結果（「○」）と１つの再作業結果（「○」）とだけを有効データとして用いる。

【0105】

図７は、本発明の一実施例に係るクロスチェックを活用した作業結果獲得装置のブロック図である。

【0106】

図７を参照すれば、クロスチェックを通じた信頼性の高い作業結果獲得装置２００（以下、作業結果獲得装置）は、通信部２１０、格納部２２０、判断部２３０、及び選別部２４０を含む。

【0107】

通信部２１０は、同一の作業をｎ名の作業者に送信し、ｎ名の作業者からｎ個の作業結果を受信する役割を果たす。また、再作業が必要な場合、通信部２１０は、同一の作業をｍ名の新たな追加の作業者に送信し、ｍ名の新たな追加の作業者からｍ個の再作業結果を受信する役割を果たす。

【0108】

ここで、ｎは３以上の奇数である自然数であり、ｍはｎ個の作業結果のうちの、少数意見に該当する作業結果の数である。

【0109】

格納部２２０は、ｎ名の作業者から入力されたｎ個の作業、及び、ｍ名の新たな追加の作業者から入力されたｍ個の再作業についての結果を格納する役割を果たす。

【0110】

判断部２３０は、ｎ名の作業者から入力されたｎ個の作業が全て一致するかについて判断するとともに、ｎ個の作業のうちの、多数意見に該当する作業結果が、ｍ個の再作業結果と一致するかについて判断する役割を果たす。

【0111】

選別部２４０は、ｎ個の作業が全て一致する場合、ｎ個の作業結果を有効データとして選別する役割を果たす。

【0112】

また、選別部２４０は、ｎ個の作業のうちの、多数意見に該当する作業結果が、ｍ個の再作業結果と一致する場合、再作業結果と多数意見に該当する作業結果を有効データとして抽出する役割を果たす。

【0113】

更に、選別部２４０は、信頼度に応じて決定されたｎ名の作業者を選別し、ｎ個の作業が全て一致するか否かによって、ｍ名の新たな追加の作業者を選別する役割を果たす。

【0114】

図７を参照して説明した作業結果獲得装置２００は、上述したサーバの構成要素として提供されうる。

【0115】

以上で前述した、本発明の一実施例に係る、クロスチェックを通じた信頼性の高い作業結果獲得方法は、ハードウェアであるコンピュータと結合されて実行されるために、プログラム（又はアプリケーション）でもって具現されて媒体に格納されうる。

【0116】

前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムでもって具現された前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インターフェースを介して読み取り可能なＣ、Ｃ＋＋、ＪＡＶＡ（登録商標）、Ｒｕｂｙ、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと、関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）とを含むことができ、前記各機能を、前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な、実行手順関連の制御コードを含むことができる。また、このようなコードは、前記各機能を前記コンピュータのプロセッサが実行させるのに必要な、追加の情報やメディアが、前記コンピュータの内部又は外部メモリのどの位置（アドレス）にて参照されるべきかについての、メモリ参照関連のコードを更に含むことができる。また、前記コンピュータのプロセッサが前記各機能を実行させるために、遠隔（Ｒｅｍｏｔｅ）にある、何（いずれ）かの他のコンピュータやサーバなどとの通信が必要な場合、コードは、前記コンピュータの通信モジュールを用いて、遠隔にある何（いずれ）か他のコンピュータやサーバなどと、どのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連のコードを更に含むことができる。

【0117】

前記格納される媒体は、レジスタ、キャッシュ、メモリなどのように短時間だけデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能である媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などが挙げられるが、これに制限されない。即ち、前記プログラムは、前記コンピュータが接続できる多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されうる。また、前記媒体は、ネットワークでもって互いに接続されているコンピュータシステムに分散されて、分散方式にてコンピュータが読み取れるコードが格納されるのでありうる。

【0118】

以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態で実施され得るということが理解できるであろう。従って、以上で記述した実施例は、あらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

【符号の説明】

【0119】

１０ 依頼者
２０ サービス提供業者
３０ 大衆
３２ 作業者
３４ 検収者
２００ 検収者モニターリング装置
２１０ 通信部
２２０ 格納部
２３０ 判断部
２４０ 選別部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】