特許 6465708 情報提供装置、情報提供方法および情報提供プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6465708

(24)【登録日】2019年1月18日

(45)【発行日】2019年2月6日

(54)【発明の名称】情報提供装置、情報提供方法および情報提供プログラム

(51)【国際特許分類】

   G06F 16/00 20190101AFI20190128BHJP

【ＦＩ】

   G06F17/30 210D

【請求項の数】23

【全頁数】29

(21)【出願番号】特願2015-56469(P2015-56469)

(22)【出願日】2015年3月19日

(65)【公開番号】特開2016-177477(P2016-177477A)

(43)【公開日】2016年10月6日

【審査請求日】2017年12月7日

【新規性喪失の例外の表示】特許法第３０条第２項適用 投稿日 平成２７年１月１３日 平成２７年１月１３日に投稿した論文 ｈｔｔｐ：／／ｄｂ−ｅｖｅｎｔ．ｊｐｎ．ｏｒｇ／ｄｅｉｍ２０１５／ｓｕｂｍｉｔ．ｈｔｍｌ 投稿日 平成２７年１月１３日 平成２７年４月９日時点におけるＤＥＩＭ２０１５ 論文投稿に関するページ ｈｔｔｐ：／／ｄｂ−ｅｖｅｎｔ．ｊｐｎ．ｏｒｇ／ｄｅｉｍ２０１５／ｉｎｄｅｘ．ｈｔｍｌ 投稿日 平成２７年１月１３日 平成２７年４月９日時点におけるＤＥＩＭ２０１５ トップページ 投稿日 平成２７年２月１３日 平成２７年２月１３日に投稿した論文 ｈｔｔｐ：／／ｄｂ−ｅｖｅｎｔ．ｊｐｎ．ｏｒｇ／ｄｅｉｍ２０１５／ｓｕｂｍｉｔ．ｈｔｍｌ 投稿日 平成２７年２月１３日 平成２７年４月９日時点におけるＤＥＩＭ２０１５ 論文投稿に関するページ ｈｔｔｐ：／／ｄｂ−ｅｖｅｎｔ．ｊｐｎ．ｏｒｇ／ｄｅｉｍ２０１５／ｉｎｄｅｘ．ｈｔｍｌ 投稿日 平成２７年２月１３日 平成２７年４月９日時点におけるＤＥＩＭ２０１５ トップページ 展示日 平成２７年３月３日 平成２７年３月３日に展示したポスター ｈｔｔｐ：／／ｄｂ−ｅｖｅｎｔ．ｊｐｎ．ｏｒｇ／ｄｅｉｍ２０１５／ｉｎｄｅｘ．ｈｔｍｌ 展示日 平成２７年３月３日 平成２７年４月９日時点におけるＤＥＩＭ２０１５ トップページ ｈｔｔｐ：／／ｄｂ−ｅｖｅｎｔ．ｊｐｎ．ｏｒｇ／ｄｅｉｍ２０１５／ｐｒｅｓｅｎｔａｔｉｏｎ．ｈｔｍｌ展示日 平成２７年３月３日 平成２７年４月９日時点におけるＤＥＩＭ２０１５ ポスター発表を説明するページ 開催日 平成２７年３月３日 平成２７年３月３日に発表した論文 ｈｔｔｐ：／／ｄｂ−ｅｖｅｎｔ．ｊｐｎ．ｏｒｇ／ｄｅｉｍ２０１５／ｉｎｄｅｘ．ｈｔｍｌ 開催日 平成２７年３月３日 平成２７年４月９日時点におけるＤＥＩＭ２０１５ トップページ ｈｔｔｐ：／／ｄｂ−ｅｖｅｎｔ．ｊｐｎ．ｏｒｇ／ｄｅｉｍ２０１５／ｐｒｏｇｒａｍ．ｈｔｍｌ 開催日 平成２７年３月３日 平成２７年４月９日時点における発表スケジュールを説明するページ

【新規性喪失の例外の表示】特許法第３０条第２項適用 開催日 平成２７年３月１９日 平成２７年３月１９日の講演内容 ｈｔｔｐｓ：／／ｗｗｗ．ｇａｋｋａｉ−ｗｅｂ．ｎｅｔ／ｇａｋｋａｉ／ｉｐｓｊ／ｔｅｍｐｏｒａｒｙ＿ｐｒｏｇｒａｍ／ｈｔｍｌ／ｅｖｅｎｔ／Ａ−２２．ｈｔｍｌ 開催日 平成２７年３月１９日 平成２７年４月９日時点における情報処理学会の紹介ページ ｈｔｔｐ：／／ｒｅｓｅａｒｃｈ−ｌａｂ．ｙａｈｏｏ．ｃｏ．ｊｐ／ｔｏｐｉｃｓ／２０１５０３２５＿ｎｏｂｕｓｈｉｍ．ｈｔｍｌ 開催日 平成２７年３月１９日 平成２７年４月９日時点における講演報告のページ

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ヤフー株式会社

(73)【特許権者】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(74)【代理人】

【識別番号】100125612

【弁理士】

【氏名又は名称】中嶋 裕昭

(72)【発明者】

【氏名】清水 伸幸

(72)【発明者】

【氏名】森嶋 厚行

(72)【発明者】

【氏名】丹治 寛佳

【審査官】 樋口 龍弥

(56)【参考文献】

【文献】 国際公開第２０１２／１２４２１３（ＷＯ，Ａ１）

【文献】 特開２０１２−２５６２８２（ＪＰ，Ａ）

【文献】 特開２００３−１０８５６８（ＪＰ，Ａ）

【文献】 特開２００５−０２５４１８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

依頼業務に対する回答と当該回答の判断理由とを受注者から受け付ける受付部と、
判断理由と回答とに基づいた類型に前記受付部によって受け付けられた判断理由を分類する類型分類部と、
前記類型分類部によって分類された類型に基づいて、所定の類型に属する判断理由を抽出する類型抽出部と、
前記類型抽出部によって抽出された判断理由を提供する提供部と
を備えたことを特徴とする情報提供装置。

【請求項2】

前記類型抽出部は、
前記所定の類型として、判断理由が肯定表現であって回答が否定表現である類型および判断理由が否定表現であって回答が肯定表現である類型以外の類型に属する判断理由を抽出する
ことを特徴とする請求項１に記載の情報提供装置。

【請求項3】

前記類型分類部は、
機械学習を用いた文書分類手法によって前記判断理由を前記類型に分類する
ことを特徴とする請求項１または２に記載の情報提供装置。

【請求項4】

前記類型分類部は、
前記判断理由に含まれる同値関係を持つ部分文字列のうち長さが最大の極大部分文字列に基づいて前記判断理由を前記類型に分類する
ことを特徴とする請求項１〜３のいずれか一つに記載の情報提供装置。

【請求項5】

前記類型抽出部によって抽出された判断理由を、当該判断理由と判断基準が共通するクラスタに分類するクラスタ分類部と、
前記クラスタ分類部によって分類されたクラスタの中から代表的な判断理由を抽出するクラスタ抽出部と
をさらに備え、
前記提供部は、
前記クラスタ抽出部によって抽出された判断理由を提供する
ことを特徴とする請求項１〜４のいずれか一つに記載の情報提供装置。

【請求項6】

前記クラスタ分類部は、
前記類型抽出部によって抽出された判断理由の数が所定値より多い場合に、前記判断理由を前記クラスタに分類し、
前記クラスタ抽出部は、
前記クラスタ分類部によって分類されたクラスタの中から代表的な判断理由を抽出し、
前記提供部は、
前記類型抽出部によって抽出された判断理由の数が所定値より多い場合には、前記クラスタ抽出部によって抽出された判断理由を提供し、前記類型抽出部によって抽出された判断理由の数が所定値より少ない場合には、前記類型抽出部によって抽出された判断理由を提供する
ことを特徴とする請求項５に記載の情報提供装置。

【請求項7】

前記クラスタ分類部は、
前記類型抽出部によって抽出された各判断理由からそれぞれクラスタを生成し、クラスタ間の距離関数の結果が最も小さい二つのクラスタを順に併合することで、前記判断理由を前記クラスタに分類する
ことを特徴とする請求項５または６に記載の情報提供装置。

【請求項8】

前記クラスタ分類部は、
前記類型抽出部によって抽出された判断理由から一つのクラスタを生成し、生成したクラスタをクラスタ間の距離関数に基づいて順次分割することで、前記判断理由を前記クラスタに分類する
ことを特徴とする請求項５〜７のいずれか一つに記載の情報提供装置。

【請求項9】

前記クラスタ抽出部は、
前記代表的な判断理由を、判断理由が肯定表現であって回答が否定表現である類型および判断理由が否定表現であって回答が肯定表現である類型以外の類型に属する確率に基づいて抽出する
ことを特徴とする請求項５〜８のいずれか一つに記載の情報提供装置。

【請求項10】

前記クラスタ分類部は、
前記判断理由のうち下位概念の判断理由を上位概念の判断理由に変換した上で当該判断理由を前記クラスタに分類する
ことを特徴とする請求項５〜９のいずれか一つに記載の情報提供装置。

【請求項11】

前記クラスタ分類部は、
前記判断理由のうち肯定表現の回答にかかる判断理由を否定表現の回答にかかる判断理由より重みを持たせてクラスタの中心にする
ことを特徴とする請求項５〜１０のいずれか一つに記載の情報提供装置。

【請求項12】

前記クラスタ抽出部は、
前記代表的な判断理由を、前記クラスタ分類部によって分類されたクラスタのうち前記判断理由のｔｆ−ｉｄｆ値に基づいて選択されるクラスタの中から抽出する
ことを特徴とする請求項５〜１１のいずれか一つに記載の情報提供装置。

【請求項13】

依頼業務に対する回答と当該回答の判断理由とを受注者から受け付ける受付部と、
前記受付部によって受け付けられた判断理由を、当該判断理由と判断基準が共通するクラスタに分類するクラスタ分類部と、
前記クラスタ分類部によって分類されたクラスタの中から代表的な判断理由を抽出するクラスタ抽出部と、
前記クラスタ抽出部によって抽出された判断理由を提供する提供部と
を備えたことを特徴とする情報提供装置。

【請求項14】

前記クラスタ分類部は、
前記受付部によって受け付けられた各判断理由からそれぞれクラスタを生成し、クラスタ間の距離関数の結果が最も小さい二つのクラスタを順に併合することで、前記判断理由を前記クラスタに分類する
ことを特徴とする請求項１３に記載の情報提供装置。

【請求項15】

前記クラスタ分類部は、
前記受付部によって受け付けられた判断理由から一つのクラスタを生成し、生成したクラスタをクラスタ間の距離関数に基づいて順次分割することで、前記判断理由を前記クラスタに分類する
ことを特徴とする請求項１３または１４に記載の情報提供装置。

【請求項16】

前記クラスタ抽出部は、
前記代表的な判断理由を、判断理由が肯定表現であって回答が否定表現である類型および判断理由が否定表現であって回答が肯定表現である類型以外の類型に属する確率に基づいて抽出する
ことを特徴とする請求項１３〜１５のいずれか一つに記載の情報提供装置。

【請求項17】

前記クラスタ分類部は、
前記判断理由のうち下位概念の判断理由を上位概念の判断理由に変換した上で当該判断理由を前記クラスタに分類する
ことを特徴とする請求項１３〜１６のいずれか一つに記載の情報提供装置。

【請求項18】

前記クラスタ分類部は、
前記判断理由のうち肯定表現の回答にかかる判断理由を否定表現の回答にかかる判断理由より重みを持たせてクラスタの中心にする
ことを特徴とする請求項１３〜１７のいずれか一つに記載の情報提供装置。

【請求項19】

前記クラスタ抽出部は、
前記代表的な判断理由を、前記クラスタ分類部によって分類されたクラスタのうち前記判断理由のｔｆ−ｉｄｆ値に基づいて選択されるクラスタの中から抽出する
ことを特徴とする請求項１２〜１８のいずれか一つに記載の情報提供装置。

【請求項20】

情報提供装置が実行する情報提供方法であって、
依頼業務に対する回答と当該回答の判断理由とを受注者から受け付ける受付工程と、
判断理由と回答とに基づいた類型に前記受付工程によって受け付けられた判断理由を分類する類型分類工程と、
前記類型分類工程によって分類された類型に基づいて、所定の類型に属する判断理由を抽出する類型抽出工程と、
前記類型抽出工程によって抽出された判断理由を提供する提供工程と
を含んだことを特徴とする情報提供方法。

【請求項21】

依頼業務に対する回答と当該回答の判断理由とを受注者から受け付ける受付手順と、
判断理由と回答とに基づいた類型に前記受付手順によって受け付けられた判断理由を分類する類型分類手順と、
前記類型分類手順によって分類された類型に基づいて、所定の類型に属する判断理由を抽出する類型抽出手順と、
前記類型抽出手順によって抽出された判断理由を提供する提供手順と
をコンピュータに実行させることを特徴とする情報提供プログラム。

【請求項22】

情報提供装置が実行する情報提供方法であって、
依頼業務に対する回答と当該回答の判断理由とを受注者から受け付ける受付工程と、
前記受付工程によって受け付けられた判断理由を、当該判断理由と判断基準が共通するクラスタに分類するクラスタ分類工程と、
前記クラスタ分類工程によって分類されたクラスタの中から代表的な判断理由を抽出するクラスタ抽出工程と、
前記クラスタ抽出工程によって抽出された判断理由を提供する提供工程と
を含んだことを特徴とする情報提供方法。

【請求項23】

依頼業務に対する回答と当該回答の判断理由とを受注者から受け付ける受付手順と、
前記受付手順によって受け付けられた判断理由を、当該判断理由と判断基準が共通するクラスタに分類するクラスタ分類手順と、
前記クラスタ分類手順によって分類されたクラスタの中から代表的な判断理由を抽出するクラスタ抽出手順と、
前記クラスタ抽出手順によって抽出された判断理由を提供する提供手順と
をコンピュータに実行させることを特徴とする情報提供プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報提供装置、情報提供方法および情報提供プログラムに関する。

【背景技術】

【0002】

近年、業務委託形態の一態様として、不特定多数の人に業務を委託するクラウドソーシングが知られている。このようなクラウドソーシングに関する技術として、発注者（以下、リクエスタ）及び受注者（以下、ワーカ）の利益を保護する技術が知られている。例えば、このような技術では、リクエスタがワーカに委託する委託業務（以下、タスク）に対する成果物をチェックし、チェックに合格した場合のみ成果物をリクエスタに納品する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−６５８１号公報

【特許文献2】特開２００４−２９５６０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の従来技術では、適切なタスクを生成することができるとは限らなかった。例えば、上記の従来技術では、リクエスタがタスクの文面を作成する。ここで、タスクの文面は、ワーカによって異なる解釈をされる場合がある。このため、リクエスタは、所望する成果物をワーカから得るためのタスクの文面を作成することが困難である。このようなことから、上記の従来技術では、適切なタスクを生成することができるとは限らなかった。

【0005】

本願は、上記に鑑みてなされたものであって、適切なタスクの生成を支援することができる情報提供装置、情報提供方法および情報提供プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る情報提供装置は、依頼業務に対する回答と当該回答の判断理由とを受注者から受け付ける受付部と、判断理由と回答とに基づいた類型に前記受付部によって受け付けられた判断理由を分類する類型分類部と、前記類型分類部によって分類された類型に基づいて、所定の類型に属する判断理由を抽出する類型抽出部と、前記類型抽出部によって抽出された判断理由を提供する提供部とを備えたことを特徴とする。

【発明の効果】

【0007】

実施形態の一態様によれば、適切なタスクの生成を支援することができるという効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る提供システムによる提供処理の一例を示す説明図である。

【図2】図２は、タスクの一例を示す図である。

【図3】図３は、判断理由付きタスクの一例を示す図である。

【図4】図４は、実施形態に係る情報提供装置の構成例を示す図である。

【図5】図５は、実施形態に係るタスク情報記憶部の一例を示す図である。

【図6】図６は、実施形態に係る判断理由情報記憶部の一例を示す図である。

【図7】図７は、類型の一例を示す図である。

【図8】図８は、情報提供装置による処理の流れを説明するための説明図である。

【図9】図９は、提供システムによる提供処理手順を示すシーケンスである。

【図10】図１０は、情報提供装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る情報提供装置、情報提供方法および情報提供プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報提供装置、情報提供方法および情報提供プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

〔１．実施形態〕
〔１−１．実施形態に係る提供処理〕
まず、図１を用いて、実施形態に係る提供処理の一例について説明する。図１は、実施形態に係る提供システム１による提供処理の一例を示す説明図である。図１の例では、仲介業者が管理する情報提供装置１００によってリクエスタＲｅ（発注者の一例に相当）がワーカＷａ〜Ｗｃ（受注者の一例に相当）に依頼するタスク（依頼業務の一例に相当）の生成に役立つ情報を提供する提供処理が行われる。

【0011】

図１に示すように、提供システム１には、発注端末１０と、受注端末５０Ａ〜５０Ｃと、情報提供装置１００とが含まれる。発注端末１０、受注端末５０Ａ〜５０Ｃ、情報提供装置１００は、それぞれネットワークと有線または無線により通信可能に接続される。なお、以下では、受注端末５０Ａ〜５０Ｃの各装置を区別なく総称する場合には、「受注端末５０」と記載する場合がある。また、以下では、ワーカＷａ〜Ｗｃを区別なく総称する場合には、「ワーカＷ」と記載する場合がある。

【0012】

発注端末１０および受注端末５０は、例えば、ＰＣ（Personal Computer）や、タブレット型端末や、スマートフォンや、携帯電話機、ＰＤＡ（Personal Digital Assistant）等の情報処理装置である。情報提供装置１００は、発注端末１０と受注端末５０との間のタスクの委託を仲介するサーバ装置である。

【0013】

リクエスタＲｅは、タスクを作成する。具体的には、リクエスタＲｅは、タスクとして、質問文を作成する。ここで、例えば、リクエスタＲｅが作成した質問文があいまいな表現である場合には、リクエスタＲｅの依頼意図がワーカＷに伝わらないという課題がある。この場合、ワーカＷは、リクエスタＲｅの意図と異なる解釈をしてタスクの成果物を作成するので、リクエスタＲｅが所望する成果物と異なる成果物を作成してしまう可能性がある。そこで、情報提供装置１００は、リクエスタＲｅによって作成されたタスクの質問文の文面を改善するのに役立つ情報をリクエスタＲｅに提供する提供処理を実行する。

【0014】

まず、リクエスタＲｅは、質問文に対する回答を入力させるタスクを作成する。図２は、タスクの一例を示す図である。図２の例では、タスクＴ１の質問文Ｑ１は、「これはコーヒーですか？」である。また、図２の例では、タスクＴ１の質問文Ｑ１に関する対象物は、コーヒーが描出された画像Ｐ１である。また、タスクＴ１には、図２に示すように、質問文Ｑ１に対する回答が入力される回答入力欄ＡＦ１が設けられる。図２の例では、回答入力欄ＡＦ１には、「はい」、「いいえ」もしくは「わからない」が入力される。

【0015】

そして、リクエスタＲｅは、発注端末１０を操作して、生成したタスクＴ１を情報提供装置１００に送信する（ステップＳ１）。これにより、情報提供装置１００は、リクエスタＲｅによって生成されたタスクＴ１を発注端末１０から受信する。そして、情報提供装置１００は、受信したタスクＴ１を記憶する。

【0016】

続いて、情報提供装置１００は、質問文Ｑ１に対する回答の判断理由を問う欄をタスクＴ１に追加した判断理由付きタスクＴ１１を生成する。図３は、判断理由付きタスクの一例を示す図である。図３に示すように、判断理由付きタスクＴ１１には、質問文Ｑ１に対する回答の判断理由が入力される判断理由入力欄ＲｅＦ１〜ＲｅＦ２が設けられる。判断理由入力欄ＲｅＦ１には、質問文Ｑ１に対する回答が「はい」である場合に、回答を「はい」にした理由が入力される。一方、判断理由入力欄ＲｅＦ２には、質問文Ｑ１に対する回答が「いいえ」である場合に、回答を「いいえ」にした理由が入力される。なお、回答が「わからない」場合には、判断理由入力欄ＲｅＦ１及び判断理由入力欄ＲｅＦ２の両方に判断理由が入力される。例えば、判断理由入力欄ＲｅＦ１には、回答が「はい」になり得る理由が入力される。一方、判断理由入力欄ＲｅＦ２には、回答が「いいえ」になり得る理由が入力される。

【0017】

そして、情報提供装置１００は、判断理由付きタスクＴ１１をワーカＷａ〜Ｗｃに提示する（ステップＳ２）。例えば、情報提供装置１００は、クラウドソーシングの受注者として登録されているワーカＷａ〜Ｗｃの受注端末５０Ａ〜５０Ｃに判断理由付きタスクＴ１１を送信する。これにより、受注端末５０Ａ〜５０Ｃは、情報提供装置１００から判断理由付きタスクＴ１１を受信する。

【0018】

続いて、ワーカＷａ〜Ｗｃは、受注端末５０Ａ〜５０Ｃを操作して、タスクＴ１１の質問文Ｑ１に対する回答を回答入力欄ＡＦ１に入力する。また、ワーカＷａ〜Ｗｃは、回答入力欄ＡＦ１に入力した回答の判断理由を判断理由入力欄ＲｅＦ１〜ＲｅＦ２に入力する。そして、受注端末５０Ａ〜５０Ｃは、ワーカＷａ〜Ｗｃによって回答入力欄ＡＦ１に入力された回答と、判断理由入力欄ＲｅＦ１〜ＲｅＦ２に入力された判断理由とを情報提供装置１００に送信する。これにより、情報提供装置１００は、質問文Ｑ１に対する回答と回答の判断理由とをワーカＷａ〜Ｗｃから受け付ける（ステップＳ３）。

【0019】

そして、情報提供装置１００は、受け付けられた判断理由を類型に分類する（ステップＳ４）。具体的には、情報提供装置１００は、判断理由と回答とに基づいた類型に受け付けられた判断理由を分類する。例えば、情報提供装置１００は、判断理由及び回答の肯定表現と否定表現に基づいて、ＰＰ型、ＮＰ型、ＰＮＰ型、ＰＮ型、ＮＮ型、ＰＮＮ型の６つの類型に判断理由を分類する。このような類型に関して以下に詳細に説明する。

【0020】

まず、判断理由について説明する。判断理由は、例えば、「理由」と「帰結」とによって形成される場合がある。一例としては、「商品にコーヒーと書いてあるのでコーヒーである」という判断理由の場合、「商品にコーヒーと書いてある」は、理由に該当する。一方、「コーヒーである」は、帰結に該当する。すなわち、判断理由が「理由」と「帰結」によって形成されている場合、「理由」が判断理由に相当し、「帰結」が回答に相当する。また、「商品にコーヒーと書いてあるのでコーヒーである」という判断理由は、「商品にコーヒーと書いてあるか否か」が判断基準となる。なお、判断基準は、「理由」と「帰結」が同一である場合には、自明な判断基準となる。例えば、「コーヒーだからコーヒー」のような判断理由は、自明な判断基準となる。

【0021】

次に、各種の類型について説明する。ＰＰ（Positive Positive）型は、理由及び帰結が肯定表現となっている判断理由の型である。例えば、「商品にコーヒーと書いてあるのでコーヒーである。」という判断理由の場合、理由は、「商品にコーヒーと書いてある」という肯定表現である。また、帰結は、「コーヒーである」という肯定表現である。したがって、「商品にコーヒーと書いてあるのでコーヒーである。」という判断理由は、理由及び帰結がともに肯定表現なので、ＰＰ型に分類される。

【0022】

ＮＰ（Negative Positive）型は、理由が否定表現で帰結が肯定表現となっている判断理由の型である。例えば、「コーヒーでない証拠がないのでコーヒーである。」という判断理由の場合、理由は、「コーヒーでない証拠がない」という否定表現である。また、帰結は、「コーヒーである」という肯定表現である。したがって、「コーヒーでない証拠がないのでコーヒーである。」という判断理由は、理由が否定表現で帰結が肯定表現なので、ＮＰ型に分類される。

【0023】

ＰＮＰ（Positive Negative Positive）型は、２つの理由が記載されており、肯定表現の理由と、否定表現の理由と、肯定表現の帰結とによって形成されている判断理由の型である。例えば、「商品にコーヒーと書いており、コーヒーでない証拠がないのでコーヒーである。」という判断理由の場合、一方の理由は「商品にコーヒーと書いてある」という肯定表現であり、他方の理由は「コーヒーでない証拠がない」という否定表現である。また、帰結は、「コーヒーである」という肯定表現である。したがって、「商品にコーヒーと書いており、コーヒーでない証拠がないのでコーヒーである。」という判断理由は、肯定表現の理由と、否定表現の理由と、肯定表現の帰結とによって形成されているので、ＰＮＰ型に分類される。

【0024】

ＰＮ（Positive Negative）型は、理由が肯定表現で帰結が否定表現となっている判断理由の型である。例えば、「カレーなのでコーヒーではない。」という判断理由の場合、理由は、「カレーである」という肯定表現である。また、帰結は、「コーヒーではない」という否定表現である。したがって、「カレーなのでコーヒーではない。」という判断理由は、理由が肯定表現で帰結が否定表現なので、ＰＮ型に分類される。

【0025】

ＮＮ（Negative Negative）型は、理由及び帰結が否定表現となっている判断理由の型である。例えば、「コーヒー豆が入ってないのでコーヒーではない。」という判断理由の場合、理由は、「コーヒー豆が入ってない」という否定表現である。また、帰結は、「コーヒーではない」という否定表現である。したがって、「コーヒー豆が入ってないのでコーヒーではない。」という判断理由は、理由及び帰結が否定表現なので、ＮＮ型に分類される。

【0026】

ＰＮＮ（Positive Negative Negative）型は、２つの理由が記載されており、肯定表現の理由と、否定表現の理由と、否定表現の帰結とによって形成されている判断理由の型である。例えば、「黒い液体でなく、透明な液体であるので、コーヒーではない。」という判断理由の場合、一方の理由は「黒い液体でなく」という否定表現であり、他方の理由は「透明な液体である」という肯定表現である。また、帰結は、「コーヒーではない」という否定表現である。したがって、「黒い液体でなく、透明な液体であるので、コーヒーではない。」という判断理由は、肯定表現の理由と、否定表現の理由と、否定表現の帰結とによって形成されているので、ＰＮＮ型に分類される。

【0027】

なお、理由の文章が不適切な文章である判断理由は、ｗｒｏｎｇ型に分類される。例えば、回答入力欄ＡＦ１に入力された回答が「はい」にも関わらず「いいえ」の判断理由入力欄ＲｅＦ２に記載されている判断理由は、ｗｒｏｎｇ型に分類される。他の例では、質問文Ｑ１に対する回答と全く異なる判断理由は、ｗｒｏｎｇ型に分類される。例えば、「これはコーヒーですか？」という質問文に対して「いいえ」と回答したにも関わらず、「食品の味を変えるものは調味料なので、はい、になり得る。」という判断理由は、ｗｒｏｎｇ型に分類される。また、他の例では、単なる感想や質問文などといった理由ではない文章は、ｗｒｏｎｇ型に分類される。例えば、「ない」や「これはカレーですか？」といった判断理由は、ｗｒｏｎｇ型に分類される。

【0028】

続いて、情報提供装置１００は、分類された類型に基づいて、所定の類型に属する判断理由を抽出する（ステップＳ５）。例えば、情報提供装置１００は、ＰＮ型及びＮＰ型以外の類型に属する判断理由を抽出する。すなわち、情報提供装置１００は、ＰＰ型、ＮＮ型、ＰＮＰ型、ＰＮＮ型に属する判断理由を抽出する。肯定的な表現で判断基準が記載されている判断理由の方が、相対的に有益な判断基準が記載されている場合が多いので、有益な判断理由であると考えられるからである。なお、ＮＮ型は、対偶がＰＰ型となるので、ＮＮ型に属する判断理由も有益な判断理由であると考えられる。これにより、情報提供装置１００は、ワーカＷａ〜Ｗｃから受け付けた判断理由のうち有益な判断理由を抽出することができる。

【0029】

先の例では、情報提供装置１００は、有益な判断理由として、ＰＰ型の判断理由「商品にコーヒーと書いてあるのでコーヒーである。」と、ＮＮ型の判断理由「コーヒー豆が入ってないのでコーヒーではない。」と、ＰＮＰ型の判断理由「商品にコーヒーと書いており、コーヒーでない証拠がないのでコーヒーである。」と、ＰＮＮ型の判断理由「黒い液体でなく、透明な液体であるので、コーヒーではない。」とを抽出する。一方、情報提供装置１００は、ＮＰ型の判断理由「コーヒーでない証拠がないのでコーヒーである。」と、ＰＮ型の判断理由「カレーなのでコーヒーではない。」とは抽出しない。例えば、コーヒーであるか否かを判定するのに「カレーであるか否か」という判断基準は、コーヒーでない物が多数存在するので、適切ではないと考えられるからである。

【0030】

続いて、情報提供装置１００は、抽出された判断理由をクラスタに分類する（ステップＳ６）。具体的には、情報提供装置１００は、抽出された判断理由を、かかる判断理由と判断基準が共通するクラスタに分類する。例えば、情報提供装置１００は、抽出された判断理由の数が所定値より多い場合に、抽出された判断理由を階層型クラスタリング手法によって他の判断理由と判断基準が共通するクラスタに分類する。

【0031】

その後、情報提供装置１００は、少ない数の判断理由で多様な判断基準をカバーできるように有益な判断理由を抽出する。具体的には、情報提供装置１００は、分類された各クラスタの中から代表的な判断理由を抽出する（ステップＳ７）。例えば、情報提供装置１００は、距離関数に基づいて各クラスタの中から代表的な判断理由を抽出する。

【0032】

そして、情報提供装置１００は、抽出された判断理由をリクエスタに提供する（ステップＳ８）。これにより、情報提供装置１００は、ワーカＷａ〜Ｗｃから受け付けた判断理由のうち厳選された有益な判断理由をリクエスタＲｅに提供することができる。

【0033】

このように、実施形態に係る情報提供装置１００は、依頼業務に対する回答と回答の判断理由とをワーカから受け付ける。また、情報提供装置１００は、判断理由と回答とに基づいた類型に受け付けられた判断理由を分類する。また、情報提供装置１００は、分類された類型に基づいて、所定の類型に属する判断理由を抽出する。また、情報提供装置１００は、抽出された判断理由をリクエスタに提供する。

【0034】

また、実施形態に係る情報提供装置１００は、抽出された判断理由を、かかる判断理由と判断基準が共通するクラスタに分類する。また、情報提供装置１００は、分類されたクラスタの中から代表的な判断理由を抽出する。また、情報提供装置１００は、抽出された判断理由を提供する。

【0035】

これにより、情報提供装置１００は、タスクの文面を改善するのに役立つ情報を提供することができるので、適切なタスクの生成を支援することができる。例えば、情報提供装置１００は、タスクの質問文に対する回答の判断理由のうち有益な判断基準に基づいた判断理由を抽出してリクエスタに提供することができるので、誤解を生みにくい質問文の作成を支援することができる。このため、情報提供装置１００は、質の高いタスクをリクエスタに生成させることができるとともに、リクエスタが質問の記述を考える手間を減らすことができる。

【0036】

また、情報提供装置１００は、ワーカから受け付けた判断理由の中から適切な判断基準に基づく判断理由を抽出することができるので、質問文の改善に有益な判断理由をリクエスタに提供することができる。例えば、情報提供装置１００は、クラウドソーシングによってワーカから多数の多様な判断理由を収集した場合でも、質問文の改善に有益な判断理由を厳選してリクエスタに提供することができる。

【0037】

また、情報提供装置１００は、タスクの質問文に対する回答の判断理由の中から多様な判断基準をカバーした少ない数の判断理由を抽出することができるので、質問文の改善に有益な判断理由を厳選してリクエスタに提供することができる。このため、情報提供装置１００は、リクエスタにとって扱いやすい数の判断理由を参考に質問文を改善させることができるので、リクエスタが質問の記述を考える手間を減らすことができる。

【0038】

また、情報提供装置１００は、タスクの質を高めることができるので、ワーカにとって魅力的な業務委託形態を提供することができる。例えば、情報提供装置１００は、リクエスタの依頼意図が高い精度で記述された質問文の生成を支援することができるので、ワーカがリクエスタの意図と異なる解釈をして成果物を作成してしまい納品を拒絶されてしまうことを防ぐことができる。また、情報提供装置１００は、タスクの質問文の記述があいまいなことが原因で質の高いワーカがリクエスタの所望しない成果物を作成してしまいスパマーとして疑われる事態を防ぐことができる。

【0039】

なお、図１では、提供システム１に、１台の発注端末１０と、３台の受注端末５０Ａ〜５０Ｃと、１台の情報提供装置１００とが含まれる例を示したが、提供システム１には、複数台の発注端末１０や、３台に限らず複数台の受注端末５０Ａ〜５０Ｃや、複数台の情報提供装置１００が含まれてもよい。

【0040】

また、図１では、説明を簡単にするため３人のワーカＷａ〜Ｗｃから質問を受け付ける例を示したが、実際には３人のワーカＷａ〜Ｗｃに限らず、有益な判断理由を抽出するのに十分な人数のワーカから判断理由を受け付ける。

【0041】

〔１−２．実施形態に係る情報提供装置の構成〕
次に、図４を用いて、実施形態に係る情報提供装置１００の構成について説明する。図４は、実施形態に係る情報提供装置１００の構成例を示す図である。図４に示すように、情報提供装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報提供装置１００は、情報提供装置１００を利用する管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

【0042】

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ等によって実現される。通信部１１０は、ネットワークと有線または無線で接続され、ネットワークを介して、発注端末１０や受注端末５０との間で情報の送受信を行う。

【0043】

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、タスク情報記憶部１２１と、判断理由情報記憶部１２２とを有する。

【0044】

（タスク情報記憶部１２１について）
タスク情報記憶部１２１は、タスクに関する情報を記憶する。具体的には、タスク情報記憶部１２１は、タスク毎に、タスクの質問文や対象物に関する情報を記憶する。ここで、図５に、実施形態に係るタスク情報記憶部１２１の一例を示す。図５に示すように、タスク情報記憶部１２１は、「タスクＩＤ」、「質問文」および「対象物」といった項目を有する。

【0045】

「タスクＩＤ」は、タスクを識別するための識別情報を示す。「質問文」は、タスクの質問文を示す。例えば、「質問文」には、リクエスタによって作成された質問文の記述が記憶される。「対象物」は、タスクの質問文に関する対象物を示す。例えば、「対象物」には、タスクの質問文の対象が描出された画像が記憶される。

【0046】

すなわち、図５では、タスクＩＤ「Ｔ１」によって識別されるタスクＴ１の質問文は、「これはコーヒーですか？」である例を示している。また、タスクＴ１の対象物は、画像Ｐ１である例を示している。

【0047】

（判断理由情報記憶部１２２について）
判断理由情報記憶部１２２は、タスクの質問文に対する回答を判断した理由である判断理由に関する情報を記憶する。具体的には、判断理由情報記憶部１２２は、タスク毎に、タスクの質問文に対する回答と、回答の判断理由とを記憶する。ここで、図６に、実施形態に係る判断理由情報記憶部１２２の一例を示す。図６に示すように、判断理由情報記憶部１２２は、「タスクＩＤ」、「理由ＩＤ」、「回答」、「判断理由」、「類型」および「クラスタ」といった項目を有する。

【0048】

「タスクＩＤ」は、タスクを識別するための識別情報を示す。「理由ＩＤ」は、判断理由を識別するための識別情報を示す。「回答」は、タスクの質問文に対する回答を示す。具体的には、「回答」には、ワーカによってタスクの回答入力欄に入力された回答が記憶される。例えば、「回答」には、ワーカによって入力された「はい」、「いいえ」、「わからない」といった回答が記憶される。「判断理由」は、タスクの質問文に対する回答を判断した理由を示す。具体的には、「判断理由」には、ワーカによってタスクの判断理由入力欄に入力された理由が記憶される。例えば、「判断理由」には、回答が「はい」の場合には、「はい」と判断した理由が記憶される。一方、回答が「いいえ」の場合には、「判断理由」には、「いいえ」と判断した理由が記憶される。また、回答が「わからない」の場合には、「判断理由」には、回答が「はい」になり得る理由と、回答が「いいえ」になり得る理由とが記憶される。「類型」は、判断理由が属する所定の類型の型を示す。具体的には、「類型」には、判断理由と回答とに基づいた類型が記憶される。例えば、「類型」には、ＰＰ型、ＮＰ型、ＰＮＰ型、ＰＮ型、ＮＮ型、ＰＮＮ型といった６つの類型のうち判断理由が属する型が記憶される。なお、「類型」には、判断理由が不適切である場合などには、ｗｒｏｎｇ型が記憶される。「クラスタ」には、判断理由が属するクラスタが記憶される。例えば、「クラスタ」には、他の判断理由と判断基準が共通するクラスタが記憶される。

【0049】

すなわち、図６では、タスクＩＤ「Ｔ１」によって識別されるタスクＴ１の質問文に対する理由ＩＤ「Ｒｅ１１」の回答は、「はい」である例を示している。また、理由ＩＤ「Ｒｅ１１」の回答「はい」の判断理由は、「商品にコーヒーと書いてあるのでコーヒーである」である例を示している。また、理由ＩＤ「Ｒｅ１１」の判断理由は、類型「ＰＰ型」に属する例を示している。また、理由ＩＤ「Ｒｅ１１」の判断理由は、「クラスタＡ」に分類される例を示している。

【0050】

（制御部１３０について）
制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報提供装置１００内部の記憶装置に記憶されている各種プログラム（情報提供プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0051】

制御部１３０は、図４に示すように、受信部１３１と、送信部１３２と、受付部１３３と、類型分類部１３４と、類型抽出部１３５と、クラスタ分類部１３６と、クラスタ抽出部１３７と、提供部１３８とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する提供処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図４に示した接続関係に限られず、他の接続関係であってもよい。

【0052】

（受信部１３１について）
受信部１３１は、発注端末１０からタスクに関する情報を受信する。具体的には、受信部１３１は、タスクの質問文や質問文に関連する対象物などを発注端末１０から受信する。ここで、タスクの質問文は、例えば、リクエスタによって作成される。また、タスクの質問文に関連する対象物は、例えば、質問文に関連する画像である。一例としては、受信部１３１は、「これはコーヒーですか？」という質問文と、質問文に関連する対象物であるコーヒーが描出された画像とを発注端末１０から受信する。また、受信部１３１は、発注端末１０からタスクに関する情報を受信した場合に、受信したタスクに関する情報をタスク情報記憶部１２１に格納する。例えば、受信部１３１は、タスクを識別するタスクＩＤを付与し、質問文と対象物とをタスクＩＤに対応付けてタスク情報記憶部１２１に格納する。

【0053】

（送信部１３２について）
送信部１３２は、タスクに関する情報を受注者に送信する。具体的には、送信部１３２は、まず、受信部１３１によって受信されたタスクに、質問文に対する回答の判断理由を問う欄を追加して判断理由付きタスクを生成する。例えば、送信部１３２は、判断理由付きタスクとして、リクエスタによって作成されたタスクに、回答を「はい」にした理由が入力される判断理由入力欄と回答を「いいえ」にした理由が入力される判断理由入力欄とを追加したタスクを生成する。そして、送信部１３２は、生成した判断理由付きタスクをワーカに送信する。例えば、送信部１３２は、クラウドソーシングの受注者として登録されているワーカに判断理由付きタスクを送信する。

【0054】

（受付部１３３について）
受付部１３３は、受注端末５０から納品物を受け付ける。具体的には、受付部１３３は、依頼業務に対する回答と回答の判断理由とをワーカから受け付ける。例えば、受付部１３３は、送信部１３２によって送信された判断理由付きタスクの回答入力欄に入力された回答と、判断理由入力欄に入力された回答の判断理由とを受け付ける。

【0055】

（類型分類部１３４について）
類型分類部１３４は、判断理由と回答とに基づいた類型に受付部１３３によって受け付けられた判断理由を分類する。そして、類型分類部１３４は、判断理由情報記憶部１２２の「類型」項目のうち判断理由に対応する「類型」項目に分類した類型を格納する。例えば、類型分類部１３４は、判断理由及び回答の肯定表現と否定表現に基づいて、ＰＰ型、ＮＰ型、ＰＮＰ型、ＰＮ型、ＮＮ型、ＰＮＮ型の６つの類型に判断理由を分類する。この点について、図７を用いて説明する。

【0056】

図７は、判断理由が属する分類について説明するための説明図である。図７に示す例１の質問文「これはお茶ですか？」に対する回答「はい」の判断理由は、「粉末緑茶と書いてある。故にこれはお茶である。」である。この判断理由は、「粉末緑茶と書いてある」が理由に該当し、「お茶」が帰結に該当するので、ＰＰ型に属する。例２の質問文「これは炭酸飲料ですか？」に対する回答「はい」の判断理由は、「サイダーと記載してあるため」である。この判断理由は、「サイダーと記載してある」が理由に該当し、回答の「はい」（＝炭酸飲料である）が帰結に該当するので、ＰＰ型に属する。

【0057】

例３の質問文「これはインスタント食品ですか？」に対する回答「はい」の判断理由は、「茶葉をポットに入れて作る、といった本格的な作り方の食品ではないので、はい、となりうる。」である。この判断理由は、「茶葉をポットに入れて作る、といった本格的な作り方の食品ではない」が理由に該当し、回答の「はい」（＝インスタント食品である）が帰結に該当するので、ＮＰ型に属する。

【0058】

例４の質問文「これはコーヒーですか？」に対する回答「いいえ」の判断理由は、「ドレッシングはコーヒーでないので」である。この判断理由は、一見ＮＮ型に見えるが、ＮＮ型ではない。この判断理由は、「ドレッシングである」が理由に該当し、「コーヒーでない」が帰結に該当するので、ＰＮ型に属する。例５の質問文「これは紅茶ですか？」に対する回答「いいえ」の判断理由は、「コーヒー」である。この判断理由は、「コーヒーである」が理由に該当し、「紅茶ではない」が帰結に該当するので、ＰＮ型に属する。

【0059】

例６の質問文「これは緑茶ですか？」に対する回答「いいえ」の判断理由は、「ミルクティーに緑茶の成分は入っていないから。」である。この判断理由は、「ミルクティーに緑茶の成分は入っていない」が理由に該当し、回答の「いいえ」（＝緑茶ではない）が帰結に該当するので、ＮＮ型に属する。例７の質問文「これは調味料ですか？」に対する回答「いいえ」の判断理由は、「調味料は、料理に味をつけるもの。」である。この判断理由は、否定表現はないがＮＮ型となる。この例の場合、質問文が「これは調味料ですか？」であるため、帰結は、回答の「いいえ」（＝調味料ではない）である。また、理由の「調味料は、料理に味をつけるもの。」を論理式で表現すると、「調味料」→「料理に味をつけるもの」となる。この対偶は、「料理に味をつけるもの」→「調味料」となるため、「料理に味をつけるもの」を判断基準とすれば、ＮＮ型となる。このように、質問文の「これはｔａｒｇｅｔですか？」のｔａｒｇｅｔに関する必要条件が理由の文章に入っている場合は、ＮＮ型とする。

【0060】

例８の質問文「これはコーヒーですか？」に対する回答「いいえ」の判断理由は、「これはハーブ茶であり、コーヒーは原料に含まれないので、コーヒーではない。」である。この判断理由には、「これはハーブ茶であり」、「コーヒーは原料に含まれない」、「コーヒーではない」と３つの事実が含まれている。このため、「これはハーブ茶であり」が１つ目の理由、「コーヒーは原料に含まれない」が２つ目の理由、「コーヒーではない」が帰結となる。ここで、１つ目の理由は肯定表現であり、２つ目の理由および帰結は否定表現であるので、ＰＮＮ型となる。例９の質問文「これはインスタント食品ですか？」に対する回答「いいえ」の判断理由は、「インスタント食品とは手軽に簡単に利用できるものだがこれは豆を煎ってから使用するものなので、いいえ、になりうる。」である。この判断理由は、「インスタント食品とは手軽に簡単に利用できるもの」と、「これは豆を煎ってから使用するものなので、いいえ、になりうる。」との２つ文章に大まかに分けることができる。前者の文章は、例７の場合と同様であるので、ＮＮ型である。後者の文章は、典型的なＰＮ型である。判断理由の文章は、これらの２つの文章を合わせたものであるので、ＰＮＮ型となる。このように、理由の文章が複数に分けられる場合、分けた後の文章の型を判断し、それらを合わせたものを理由の型とする。

【0061】

ここで、類型分類部１３４は、機械学習を用いた文書分類手法によって判断理由を類型に分類する。例えば、類型分類部１３４は、機械学習を用いた文書分類手法として、ＢｏＷ（Bag of Words）を用いて判断理由を分類することが考えられる。しかし、ＢｏＷを用いた分類手法は、判断理由が相対的に長い部分文字列情報である場合には、単語ベースのＢｏＷ表現では利用できず、どのような単位で素性を定義すべきか自明ではない。そこで、類型分類部１３４は、素性の取りこぼしを防ぐため、全ての部分文字列を素性として明示的に利用する線形識別モデルを考え、極大部分文字列を用いた分類手法によって判断理由を分類する。

【0062】

具体的には、類型分類部１３４は、判断理由に含まれる同値関係を持つ部分文字列のうち長さが最大の極大部分文字列に基づいて判断理由を類型に分類する。ここで、同値関係を持つ部分文字列について説明する。例えば、判断理由の文書集合ｄ_１、ｄ_２、・・・ｄ_ｎがあったとき、文書内に存在しない特殊記号＄を文書間に入れて繋ぎＴとする。そして、Ｔ中の部分文字列ｑの出現回数をｏｃｃ（ｑ）と定義する。また、Ｔ中の部分文字列ｑの出現場所をＰ（ｑ）＝ｐ_１、ｐ_２、・・・ｐ_{ｏｃｃ（ｑ）}］と定義する。さらに、Ｐ（ｑ）−ｃ＝［ｐ_１−ｃ、ｐ_２−ｃ、・・・ｐ_{ｏｃｃ（ｑ）}−ｃ］と定義する。ここで、α、βが空文字を含む部分文字列であるとき、２つの部分文字列ｑ_１、ｑ_２が、ｑ_１＝αｑ_２βであり、かつ、Ｐ（ｑ_１）−|α|＝Ｐ（ｑ_２）を満たすとき、ｑ_１とｑ_２は、同値関係を持つと定義する。このような同値関係を持つ部分文字列ｑのうち、最大の長さ|ｑ|を持つものが極大部分文字列となる。そして、類型分類部１３４は、例えば、極大部分文字列を素性として用いて判断理由を分類する。これにより、類型分類部１３４は、判断理由を類型により高い精度で分類する。

【0063】

（類型抽出部１３５について）
類型抽出部１３５は、ワーカから受け付けた判断理由のうち有益な判断理由を抽出する。具体的には、類型抽出部１３５は、類型分類部１３４によって分類された類型に基づいて、所定の類型に属する判断理由を抽出する。例えば、類型分類部１３５は、所定の類型として、判断理由が肯定表現であって回答が否定表現である類型および判断理由が否定表現であって回答が肯定表現である類型以外の類型に属する判断理由を抽出する。すなわち、類型分類部１３５は、ＰＮ型およびＮＰ型以外の類型であるＰＰ型、ＮＮ型、ＰＮＰ型、ＰＮＮ型に属する判断理由を抽出する。ＰＰ型、ＮＮ型、ＰＮＰ型またはＰＮＮ型に属する判断理由は、肯定的な表現で判断基準が記載されているので、相対的に有益な判断基準が記載されている場合が多く、有益な判断理由であると考えられるからである。一方、ＮＰ型またはＰＮ型に属する判断理由は、相対的に有益な判断基準が記載されている場合が少ないので抽出対象としない。一例としては、類型抽出部１３５は、判断理由情報記憶部１２２に記憶された「類型」を参照し、ＰＰ型、ＮＮ型、ＰＮＰ型、ＰＮＮ型に属する判断理由を抽出する。

【0064】

（クラスタ分類部１３６について）
クラスタ分類部１３６は、類型抽出部１３５によって抽出された判断理由を、かかる判断理由と判断基準が共通するクラスタに分類する。例えば、クラスタ分類部１３６は、類型抽出部１３５によって抽出された判断理由の数が所定値より多い場合に、判断理由をクラスタに分類する。

【0065】

一態様としては、クラスタ分類部１３６は、類型抽出部１３５によって抽出された判断理由の一般化が困難または不適切な場合に、階層型クラスタリング手法を反復することで、他の判断理由と判断基準が共通するクラスタに判断理由を分類する。すなわち、同じクラスタには、同じ判断基準に基づく判断理由が分類される。図６の例では、クラスタ分類部１３６は、理由ＩＤ「Ｒｅ１１」の判断理由「商品にコーヒーと書いてあるのでコーヒーである。」の判断基準と、理由ＩＤ「Ｒｅ１３」の判断理由「商品にコーヒーと書いており、コーヒーでない証拠がないのでコーヒーである。」の判断基準とが「商品にコーヒーと書いてある」で共通するので、「クラスタＡ」に分類する。

【0066】

例えば、クラスタ分類部１３６は、階層型クラスタリング手法として、凝縮型クラスタリングによって判断理由を分類する。一例としては、クラスタ分類部１３６は、類型抽出部１３５によって抽出された各判断理由からそれぞれクラスタを生成し、クラスタ間の距離関数の結果が最も小さい二つのクラスタを順に併合することで、判断理由をクラスタに分類する。

【0067】

他の例では、クラスタ分類部１３６は、階層型クラスタリング手法として、分枝型クラスタリングによって判断理由を分類する。一例としては、クラスタ分類部１３６は、類型抽出部１３５によって抽出された判断理由から一つのクラスタを生成し、生成したクラスタをクラスタ間の距離関数に基づいて順次分割することで、判断理由をクラスタに分類する。

【0068】

ここで、クラスタ分類部１３６は、距離関数として、例えばｔｆ−ｉｄｆやコサイン類似度を用いて、凝縮型クラスタリングまたは分枝型クラスタリングを実行する。一例としては、クラスタ分類部１３６は、トップｋ件だけで算出したコサイン類似度を用いてクラスタリングを行う。なお、「ｋ」には、実験等によって得られた、クラスタの理由のまとまりが良い値が採用される。

【0069】

（クラスタ抽出部１３７について）
クラスタ抽出部１３７は、類型抽出部１３５によって抽出された判断理由のうち有益な判断理由を抽出する。具体的には、クラスタ抽出部１３７は、クラスタ分類部１３６によって分類されたクラスタの中から代表的な判断理由を抽出する。例えば、クラスタ抽出部１３７は、代表的な判断理由を、判断理由が肯定表現であって回答が否定表現である類型および判断理由が否定表現であって回答が肯定表現である類型以外の類型に属する確率に基づいて抽出する。すなわち、クラスタ抽出部１３７は、判断理由がＰＮ型およびＮＰ型以外の類型であるＰＰ型、ＮＮ型、ＰＮＰ型、ＰＮＮ型に属する確率に基づいて抽出する。一例としては、クラスタ抽出部１３７は、ＰＰ型、ＮＮ型、ＰＮＰ型、ＰＮＮ型に属する確率が最も高い判断理由を抽出する。これにより、クラスタ抽出部１３７は、ランダムに判断理由を抽出する場合と比較して、有益な判断理由をより高い精度で抽出することができる。

【0070】

（提供部１３８について）
提供部１３８は、リクエスタによって作成されたタスクの質問文の文面を改善するのに役立つ情報を提供する。具体的には、提供部１３８は、クラスタ抽出部１３７によって抽出された判断理由をタスクの発注者であるリクエスタに提供する。例えば、提供部１３８は、類型抽出部１３５によって抽出された判断理由の数が所定値より多い場合には、クラスタ抽出部１３７によって抽出された判断理由を提供し、類型抽出部１３５によって抽出された判断理由の数が所定値より少ない場合には、類型抽出部１３５によって抽出された判断理由を提供する。一例としては、提供部１３８は、ＰＰ型、ＮＮ型、ＰＮＰ型、ＰＮＮ型に属する確率が高い順に並べた判断理由のリストをリクエスタに提供する。

【0071】

ここで、図８を用いて、受付処理、類型分類処理、クラスタ分類処理の全体の流れについて説明する。図８は、情報提供装置１００による処理の流れを説明するための説明図である。図８に示すように、情報提供装置１００は、まず、ステップ１として、判断理由の入力が行われる。具体的には、情報提供装置１００は、依頼業務に対する回答と回答の判断理由とをワーカから受け付ける。

【0072】

次に、情報提供装置１００は、ステップ２として、適切な判断理由の抽出を行う。具体的には、情報提供装置１００は、まず、判断理由と回答とに基づいた類型に、受け付けられた判断理由を分類する。続いて、情報提供装置１００は、分類された類型に基づいて、所定の類型に属する判断理由を抽出する。

【0073】

最後に、情報提供装置１００は、ステップ３として、判断理由の列挙を行う。具体的には、情報提供装置１００は、まず、抽出された判断理由をクラスタに分類する。続いて、情報提供装置１００は、分類されたクラスタの中から代表的な判断理由を抽出する。そして、情報提供装置１００は、抽出された判断理由を列挙してリクエスタに提供する。

【0074】

〔１−３．実施形態に係る提供処理手順〕
次に、図９を用いて、実施形態に係る提供システム１による処理の手順について説明する。図９は、実施形態に係る提供システム１による提供処理手順を示すシーケンスである。

【0075】

図９に示すように、発注端末１０は、タスクを情報提供装置１００に送信する（ステップＳ１０１）。例えば、発注端末１０は、質問文と質問文に関連する画像とを情報提供装置１００に送信する。これにより、情報提供装置１００は、タスクを発注端末１０から受信する。そして、情報提供装置１００は、受信したタスクの質問文と画像とを対応付けてタスク情報記憶部１２１に記憶する。

【0076】

続いて、情報提供装置１００は、判断理由付きタスクを提示する（ステップＳ１０２）。例えば、情報提供装置１００は、発注端末１０から受信したタスクに回答の判断理由入力欄を追加した判断理由付きタスクを受注端末５０Ａや受注端末５０Ｂ（以下、受注端末５０）に送信する。

【0077】

その後、情報提供装置１００は、タスクの質問文に対する回答と回答の判断理由とを受注端末５０から受け付ける（ステップＳ１０３）。例えば、ワーカは、受注端末５０を操作して、回答入力欄に回答を入力し、判断理由入力欄に判断理由を入力する。そして、受注端末５０は、ワーカによって回答入力欄に入力された回答と、判断理由入力欄に入力された判断理由とを情報提供装置１００に送信する。これにより、情報提供装置１００は、リクエスタによって回答入力欄に入力された回答と、判断理由入力欄に入力された判断理由とを受注端末５０から受け付ける。

【0078】

そして、情報提供装置１００は、判断理由を類型に分類する（ステップＳ１０４）。例えば、情報提供装置１００は、判断理由と回答とに基づいた類型に、受け付けられた判断理由を分類する。

【0079】

続いて、情報提供装置１００は、分類された類型に基づいて、所定の類型に属する判断理由を抽出する（ステップＳ１０５）。例えば、情報提供装置１００は、所定の類型として、判断理由が肯定表現であって回答が否定表現である類型および判断理由が否定表現であって回答が肯定表現である類型以外の類型に属する判断理由を抽出する。

【0080】

その後、情報提供装置１００は、抽出された判断理由をクラスタに分類する（ステップＳ１０６）。例えば、情報提供装置１００は、抽出された判断理由を、階層型クラスタリング手法によって他の判断理由と判断基準が共通するクラスタに分類する。

【0081】

続いて、情報提供装置１００は、分類された各クラスタの中から代表的な判断理由を抽出する（ステップＳ１０７）。例えば、情報提供装置１００は、代表的な判断理由を、判断理由がＰＮ型およびＮＰ型以外の類型であるＰＰ型、ＮＮ型、ＰＮＰ型、ＰＮＮ型に属する確率に基づいて抽出する。

【0082】

そして、情報提供装置１００は、抽出された判断理由を列挙してリクエスタに提供する
（ステップＳ１０８）。例えば、情報提供装置１００は、類型抽出部１３５によって抽出された判断理由の数が所定値より多い場合には、クラスタ抽出部１３７によって抽出された判断理由を提供し、類型抽出部１３５によって抽出された判断理由の数が所定値より少ない場合には、類型抽出部１３５によって抽出された判断理由を提供する。

【0083】

〔１−４．実施形態の効果〕
上述してきたように、実施形態に係る情報提供装置１００は、受付部１３３と、類型分類部１３４と、類型抽出部１３５と、提供部１３８とを有する。受付部１３３は、依頼業務に対する回答と回答の判断理由とを受注者から受け付ける。類型分類部１３４は、判断理由と回答とに基づいた類型に受付部１３３によって受け付けられた判断理由を分類する。類型抽出部１３５は、類型分類部１３４によって分類された類型に基づいて、所定の類型に属する判断理由を抽出する。提供部１３８は、類型抽出部１３５によって抽出された判断理由を提供する。

【0084】

また、実施形態に係る情報提供装置１００において、類型抽出部１３５は、所定の類型として、判断理由が肯定表現であって回答が否定表現である類型および判断理由が否定表現であって回答が肯定表現である類型以外の類型に属する判断理由を抽出する。

【0085】

また、実施形態に係る情報提供装置１００において、類型分類部１３４は、機械学習を用いた文書分類手法によって判断理由を類型に分類する。

【0086】

また、実施形態に係る情報提供装置１００において、類型分類部１３４は、判断理由に含まれる同値関係を持つ部分文字列のうち長さが最大の極大部分文字列に基づいて判断理由を類型に分類する。

【0087】

また、実施形態に係る情報提供装置１００は、クラスタ分類部１３６とクラスタ抽出部１３７とをさらに有する。クラスタ分類部１３６は、類型抽出部１３５によって抽出された判断理由を、かかる判断理由と判断基準が共通するクラスタに分類する。クラスタ抽出部１３７は、クラスタ分類部１３６によって分類されたクラスタの中から代表的な判断理由を抽出する。提供部１３８は、クラスタ抽出部１３７によって抽出された判断理由を提供する。

【0088】

また、実施形態に係る情報提供装置１００において、クラスタ分類部１３６は、類型抽出部１３５によって抽出された判断理由の数が所定値より多い場合に、判断理由をクラスタに分類する。クラスタ抽出部１３７は、クラスタ分類部１３６によって分類されたクラスタの中から代表的な判断理由を抽出する。提供部１３８は、類型抽出部１３５によって抽出された判断理由の数が所定値より多い場合には、クラスタ抽出部１３７によって抽出された判断理由を提供し、類型抽出部１３５によって抽出された判断理由の数が所定値より少ない場合には、類型抽出部１３５によって抽出された判断理由を提供する。

【0089】

また、実施形態に係る情報提供装置１００において、クラスタ分類部１３６は、類型抽出部１３５によって抽出された各判断理由からそれぞれクラスタを生成し、クラスタ間の距離関数の結果が最も小さい二つのクラスタを順に併合することで、判断理由をクラスタに分類する。

【0090】

また、実施形態に係る情報提供装置１００において、クラスタ分類部１３６は、類型抽出部１３５によって抽出された判断理由から一つのクラスタを生成し、生成したクラスタをクラスタ間の距離関数に基づいて順次分割することで、判断理由をクラスタに分類する。

【0091】

また、実施形態に係る情報提供装置１００において、クラスタ抽出部１３７は、代表的な判断理由を、判断理由が肯定表現であって回答が否定表現である類型および判断理由が否定表現であって回答が肯定表現である類型以外の類型に属する確率に基づいて抽出する。

【0092】

これにより、情報提供装置１００は、タスクの文面を改善するのに役立つ情報を提供することができるので、適切なタスクの生成を支援することができる。例えば、情報提供装置１００は、タスクの質問文に対する回答の判断理由のうち有益な判断基準に基づいた判断理由を抽出してリクエスタに提供することができるので、誤解を生みにくい質問文の作成を支援することができる。このため、情報提供装置１００は、質の高いタスクをリクエスタに生成させることができるとともに、リクエスタが質問の記述を考える手間を減らすことができる。

【0093】

また、情報提供装置１００は、ワーカから受け付けた判断理由の中から適切な判断基準に基づく判断理由を抽出することができるので、質問文の改善に有益な判断理由をリクエスタに提供することができる。例えば、情報提供装置１００は、クラウドソーシングによってワーカから多数の多様な判断理由を収集した場合でも、質問文の改善に有益な判断理由を厳選してリクエスタに提供することができる。

【0094】

また、情報提供装置１００は、タスクの質問文に対する回答の判断理由の中から多様な判断基準をカバーした少ない数の判断理由を抽出することができるので、質問文の改善に有益な判断理由を厳選してリクエスタに提供することができる。このため、情報提供装置１００は、リクエスタにとって扱いやすい数の判断理由を参考に質問文を改善させることができるので、リクエスタが質問の記述を考える手間を減らすことができる。

【0095】

また、情報提供装置１００は、タスクの質を高めることができるので、ワーカにとって魅力的な業務委託形態を提供することができる。例えば、情報提供装置１００は、リクエスタの依頼意図が高い精度で記述された質問文の生成を支援することができるので、ワーカがリクエスタの意図と異なる解釈をして成果物を作成してしまい納品を拒絶されてしまうことを防ぐことができる。また、情報提供装置１００は、タスクの質問文の記述があいまいなことが原因で質の高いワーカがリクエスタの所望しない成果物を作成してしまいスパマーとして疑われる事態を防ぐことができる。

【0096】

〔２．変形例〕
上述した実施形態に係る情報提供装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、上記の情報提供装置１００の他の実施形態について説明する。

【0097】

〔２−１．クラスタ分類〕
上記の実施形態では、情報提供装置１００が類型抽出部１３５によって抽出された判断理由をクラスタに分類する例を挙げて説明した。ここで、情報提供装置１００は、類型抽出部１３５によって抽出された判断理由に限らず、受付部１３３によって受け付けられた判断理由をクラスタに分類してもよい。

【0098】

具体的には、まず、情報提供装置１００の受付部１３３は、依頼業務に対する回答と回答の判断理由とをワーカから受け付ける。続いて、クラスタ分類部１３６は、受付部１３３によって受け付けられた判断理由をクラスタに分類する。その後、クラスタ抽出部１３７は、クラスタ分類部１３６によって分類されたクラスタの中から代表的な判断理由を抽出する。そして、提供部１３８は、クラスタ抽出部１３７によって抽出された判断理由を提供する。

【0099】

これにより、情報提供装置１００は、類型抽出部１３５によって抽出された判断理由に限らず、受付部１３３によって受け付けられた判断理由をクラスタに分類することができるので、類型抽出部１３５によって抽出された判断理由の数が少な過ぎる場合でもクラスタの中から代表的な判断理由を抽出してリクエスタに提供することができる。なお、この場合、例えば、情報提供装置１００は、類型分類部１３４と、類型抽出部１３５とを有さなくてもよい。

【0100】

〔２−２．類型分類〕
上記の実施形態では、情報提供装置１００がクラスタ抽出部１３７によって抽出された判断理由を提供する例を挙げて説明した。ここで、情報提供装置１００は、クラスタ抽出部１３７によって抽出された判断理由に限らず、類型抽出部１３５によって抽出された判断理由を提供してもよい。

【0101】

具体的には、まず、情報提供装置１００の受付部１３３は、依頼業務に対する回答と回答の判断理由とをワーカから受け付ける。続いて、情報提供装置１００の類型分類部１３４は、判断理由と回答とに基づいた類型に受付部１３３によって受け付けられた判断理由を分類する。その後、類型抽出部１３５は、類型分類部１３４によって分類された類型に基づいて、所定の類型に属する判断理由を抽出する。そして、提供部１３８は、類型抽出部１３５によって抽出された判断理由を提供する。

【0102】

これにより、情報提供装置１００は、クラスタ抽出部１３７によって抽出された判断理由に限らず、類型抽出部１３５によって抽出された判断理由を提供することができるので、クラスタ抽出部１３７によって抽出された判断理由の数が少な過ぎる場合でも、有益な判断理由をリクエスタに提供することができる。なお、この場合、例えば、情報提供装置１００は、クラスタ分類部１３６と、クラスタ抽出部１３７とを有さなくてもよい。

【0103】

〔２−３．マッピング〕
上記の実施形態では、情報提供装置１００が類型抽出部１３５によって抽出された判断理由をクラスタに分類する例を挙げて説明した。ここで、情報提供装置１００は、下層要素の判断理由（インスタンス）を上位要素の判断理由（クラス）にマッピングした上で判断理由をクラスタに分類してもよい。

【0104】

具体的には、情報提供装置１００のクラスタ分類部１３６は、判断理由のうち下位概念の判断理由を上位概念の判断理由に変換した上で判断理由をクラスタに分類する。例えば、質問文「これはコーヒーですか？」に対する回答「はい」の判断理由「コーヒーと書いてあるからコーヒー」は、「コーヒー」が上位概念に該当するので、上位概念の判断理由となる。また、質問文「これはコーヒーですか？」に対する回答「はい」の判断理由「コーヒー缶だからコーヒー」は、「コーヒー」が上位概念に該当するので、上位概念の判断理由となる。一方、質問文「これはコーヒーですか？」に対する回答「はい」の判断理由「ジョージア（登録商標）だからコーヒー」は、「ジョージア（登録商標）」がコーヒーのブランド名であり「コーヒー」の下位概念に該当するので、下位概念の判断理由となる。ここで、コーヒーを特定するプロパティは相対的に多くはないが、下位概念であるインスタンスまで含めると多くなってしまい、クラスタの数が多くなってしまう。そこで、この場合、クラスタ分類部１３６は、判断理由「ジョージア（登録商標）だからコーヒー」の「ジョージア（登録商標）」を上位概念の「コーヒー」に変換した上でクラスタに分類する。これにより、クラスタ分類部１３６は、クラスタの数を抑制することができる。

【0105】

他の例では、質問文「これはコーヒーですか？」に対する回答「いいえ」の判断理由「食べ物だからコーヒーではない」は、「食べ物」が上位概念に該当するので、上位概念の判断理由となる。一方、質問文「これはコーヒーですか？」に対する回答「いいえ」の判断理由「カレーだからコーヒーではない」は、「カレー」が「食べ物」の下位概念に該当するので、下位概念の判断理由となる。この場合、クラスタ分類部１３６は、判断理由「カレーだからコーヒーではない」の「カレー」を上位概念の「食べ物」に変換した上でクラスタに分類する。ここで、回答が「いいえ」の判断理由は、コーヒーが持たないプロパティへの言及になるので、多数存在するため、クラスタの数が多くなってしまう。そこで、この場合、クラスタ分類部１３６は、判断理由「カレーだからコーヒーではない」の「カレー」を上位概念の「食べ物」に変換した上でクラスタに分類する。これにより、クラスタ分類部１３６は、クラスタの数を抑制することができる。

【0106】

このように、情報提供装置１００は、判断理由のうち下位概念の判断理由を上位概念の判断理由に変換した上で判断理由をクラスタに分類する。これにより、情報提供装置１００は、下位概念の判断理由を上位概念の判断理由に統一することができるので、クラスタの数を抑制することができる。このため、情報提供装置１００は、抑制された数のクラスタの中から代表的な判断理由を抽出するので、リクエスタにとって扱いやすい数の判断理由をリクエスタに提供することができる。

【0107】

〔２−４．肯定回答の判断理由に重みを付ける〕
上記の実施形態では、情報提供装置１００が類型抽出部１３５によって抽出された判断理由をクラスタに分類する例を挙げて説明した。ここで、情報提供装置１００は、否定表現の回答にかかる判断理由より肯定表現の回答にかかる判断理由に重みをつけてクラスタリングを行ってもよい。

【0108】

具体的には、情報提供装置１００のクラスタ分類部１３６は、判断理由のうち肯定表現の回答にかかる判断理由を否定表現の回答にかかる判断理由より重みを持たせてクラスタの中心にする。肯定表現の回答にかかる判断理由は、否定表現の回答にかかる判断理由と比較して、判断理由として直接的な理由を書かれることが多く有益な判断理由である場合が多いからである。このため、クラスタ分類部１３６は、肯定表現の回答にかかる判断理由を否定表現の回答にかかる判断理由より重みを持たせてクラスタの中心にすることで、有益な判断理由を提供する。

【0109】

このように、情報提供装置１００は、判断理由のうち肯定表現の回答にかかる判断理由を否定表現の回答にかかる判断理由より重みを持たせてクラスタの中心にする。これにより、情報提供装置１００は、有益な判断理由である肯定表現の回答にかかる判断理由を重視することができるので、有益な判断理由を高い精度でリクエスタに提供することができる。

【0110】

〔２−５．ｔｆ−ｉｄｆ値に基づいて判断理由を抽出〕
上記の実施形態では、情報提供装置１００がクラスタの中から代表的な判断理由を抽出する例を挙げて説明した。ここで、情報提供装置１００は、判断理由のｔｆ−ｉｄｆ値に基づいて代表的な判断理由を抽出してもよい。

【0111】

具体的には、情報提供装置１００のクラスタ抽出部１３７は、代表的な判断理由を、クラスタ分類部１３６によって分類されたクラスタのうち判断理由のｔｆ−ｉｄｆ値に基づいて選択されるクラスタの中から抽出する。例えば、クラスタ抽出部１３７は、クラスタ分類部１３６によって分類されたクラスタのうち判断理由のｔｆ−ｉｄｆ値が高いクラスタを優先して選択し、選択したクラスタの中から代表的な判断理由を抽出する。ｔｆ−ｉｄｆ値が高く数の少ない２、３語が強く影響しているクラスタほど同じ意味でよくまとまっており有益な判断理由と考えられるからである。

【0112】

ｔｆ−ｉｄｆ値は、単語の出現頻度を示すｔｆ（Term Frequency）と逆文書頻度を示すｉｄｆ（Inverse Document Frequency）との二つの指標の積に基づいて計算される。ここで、ｉｄｆは、一種の一般語フィルタとして働く。具体的には、ｉｄｆは、多くのドキュメントに出現する一般的な語の重要度を下げて、特定のドキュメントにしか出現しない単語の重要度を上げる役割を果たす。このため、ｔｆ−ｉｄｆ値が高いほど有益な判断理由である可能性が高くなる。したがって、クラスタ抽出部１３７は、クラスタ分類部１３６によって分類されたクラスタのうち判断理由のｔｆ−ｉｄｆ値が高いクラスタを優先して選択し、選択したクラスタの中から代表的な判断理由を抽出することで、有益な判断理由を高い精度で抽出することができる。

【0113】

このように、情報提供装置１００は、代表的な判断理由を、クラスタ分類部１３６によって分類されたクラスタのうち判断理由のｔｆ−ｉｄｆ値に基づいて選択されるクラスタの中から抽出する。これにより、情報提供装置１００は、リクエスタにとって有益な判断理由を高い精度で抽出することができるので、有益な判断理由を高い精度でリクエスタに提供することができる。

【0114】

〔２−６．Ｂａｙｏｎクラスタリング〕
上記の実施形態では、情報提供装置１００がクラスタ分類部１３６によって分類されたクラスタの中から代表的な判断理由を抽出する例を挙げて説明した。ここで、情報提供装置１００は、Ｂａｙｏｎクラスタリングを用いて代表的な判断理由を抽出してもよい。

【0115】

例えば、情報提供装置１００は、Ｂａｙｏｎクラスタリングでは、まず、全てのデータを１つのクラスタに格納する。その後、情報提供装置１００は、データ集合を繰り返し２分割することでクラスタリングを行う。一例としては、情報提供装置１００は、まず、複数のクラスタの中から分割するクラスタを１つ選択する。ここで、情報提供装置１００は、例えば、分割するクラスタとして、クラスタ内のまとまりが最も悪いクラスタを選択する。続いて、情報提供装置１００は、クラスタの中からランダムに２つの要素を選択し、それぞれの要素を格納したクラスタを２つ生成する。その後、情報提供装置１００は、元のクラスタ中の全ての要素に対して、ランダムに選択した要素との間の類似度を算出する。続いて、情報提供装置１００は、算出した類似度が高い方のクラスタに要素を追加する。ここで、情報提供装置１００は、移動できる要素がなくなるまでクラスタ間で要素の移動を行い、分割結果を洗練する。

【0116】

そして、情報提供装置１００は、Ｂａｙｏｎクラスタリングの重みの偏りを利用する。例えば、情報提供装置１００のクラスタ抽出部１３７は、Ｂａｙｏｎクラスタリングのセントロイドで最も重い次元２つの重みを合計してランキングを生成する。そして、クラスタ抽出部１３７は、生成したランキングの順位が高い判断理由を優先して抽出する。

【0117】

このように、情報提供装置１００は、Ｂａｙｏｎクラスタリングのセントロイドで最も重い次元２つの重みを合計してランキングに基づいて代表的な判断理由を抽出する。これにより、情報提供装置１００は、リクエスタにとって有益な判断理由を高い精度で抽出することができるので、有益な判断理由を高い精度でリクエスタに提供することができる。

【0118】

〔２−７．動詞に重みを付ける〕
上記の実施形態では、情報提供装置１００が類型抽出部１３５によって抽出された判断理由をクラスタに分類する例を挙げて説明した。ここで、情報提供装置１００は、判断理由をベクトル化する際に動詞に重みを付けてもよい。

【0119】

例えば、情報提供装置１００の類型分類部１３４は、判断理由の素性のうち動詞の素性を他の品詞の素性より重みを付けてベクトル化する。動詞の方が他の品詞より有益な判断基準である場合が多いからである。これにより、情報提供装置１００は、クラスタリングの質を高めることができるので、有益な判断理由をより高い精度で抽出することができる。

【0120】

〔２−８．クラスタの重心からの距離に基づいて判断理由を抽出〕
上記の実施形態では、情報提供装置１００が代表的な判断理由を、判断理由が肯定表現であって回答が否定表現である類型および判断理由が否定表現であって回答が肯定表現である類型以外の類型に属する確率に基づいて抽出する例を挙げて説明した。ここで、情報提供装置１００は、クラスタの重心からの距離に基づいて代表的な判断理由を抽出してもよい。

【0121】

具体的には、情報提供装置１００のクラスタ抽出部１３７は、クラスタ分類部１３６によって分類されたクラスタの中から代表的な判断理由を抽出する際に、クラスタの重心からの距離に基づいて代表的な判断理由を抽出する。例えば、クラスタ抽出部１３７は、クラスタに含まれる要素である判断理由のうちクラスタの中心に近い判断理由を優先して抽出する。

【0122】

このように、情報提供装置１００は、クラスタの重心からの距離に基づいて代表的な判断理由を抽出する。これにより、情報提供装置１００は、ランダムに判断理由を抽出する場合と比較して、有益な判断理由を高い精度で抽出することができる。

【0123】

〔２−９．ストップワード〕
上記の実施形態では、情報提供装置１００が類型抽出部１３５によって抽出された判断理由をクラスタに分類する例を挙げて説明した。ここで、情報提供装置１００は、ストップワード等を考慮してクラスタリングを行ってもよい。

【0124】

具体的には、情報提供装置１００のクラスタ分類部１３６は、一般的な単語（例えば、助詞や助動詞などの機能語である「は」、「の」、「です」、「ます」など）を除いて、判断理由のクラスタリングを行う。これにより、情報提供装置１００は、一般的でない単語が判断基準として共通する判断理由を同じクラスタに分類することができるので、有益な判断理由を高い精度で抽出することができる。

【0125】

〔２−１０．適用対象〕
上記の実施形態では、情報提供装置１００がクラウドソーシングにおけるタスクの質問文を改善するのに有益な判断理由を抽出して提供する例を挙げて説明した。ここで、情報提供装置１００は、タスクの質問文を改善するのに有益な判断理由に限らず、各種の用途において有益な情報を抽出して提供してもよい。例えば、情報提供装置１００は、コールセンタなどにおいて収集された問い合わせや苦情などの情報から業務改善に役立つ情報を抽出して提供してもよい。これにより、情報提供装置１００は、多様な分野で得られる情報から有益な情報を抽出して提供することができるので、多様な分野における業務等の改善を図ることができる。

【0126】

〔２−１１．抽出した判断理由を精査〕
上記の実施形態では、情報提供装置１００が類型抽出部１３５又はクラスタ抽出部１３６によって抽出された判断理由を提供する例を挙げて説明した。ここで、情報提供装置１００は、類型抽出部１３５又はクラスタ抽出部１３６によって抽出された判断理由を精査した上で提供してもよい。

【0127】

具体的には、情報提供装置１００は、類型抽出部１３５又はクラスタ抽出部１３６によって抽出された判断理由をワーカＷに再び提示する。例えば、情報提供装置１００は、類型抽出部１３５又はクラスタ抽出部１３６によって抽出された判断理由が、質問文に対する回答の理由として妥当であるか否かを尋ねる質問文をワーカＷに提示する。一例としては、情報提供装置１００は、このような質問文を、判断理由を提供したワーカとは異なる他のワーカに対して提示する。

【0128】

そして、ワーカＷは、受注端末５０を操作して、判断理由が質問文に対する回答の理由として妥当であるか否かの回答を情報提供装置１００に送信する。これにより、情報提供装置１００は、判断理由が質問文に対する回答の理由として妥当であるか否かの回答を受注端末５０から受信する。そして、情報提供装置１００は、質問文に対する回答の理由として妥当であると回答された判断理由をリクエスタＲｅに提供する。

【0129】

このように、情報提供装置１００は、情報提供装置１００は、類型抽出部１３５又はクラスタ抽出部１３６によって抽出された判断理由を精査した上で提供する。これにより、情報提供装置１００は、提供する判断理由やシステムを改善することができるので、より質の高い判断理由を提供することができる。

【0130】

なお、情報提供装置１００は、質問文に対する回答の理由として妥当であると回答された判断理由が適切であるか否かを尋ねる質問文をさらに他のワーカに提示して繰り返し精査を行った上でリクエスタＲｅに提供してもよい。また、情報提供装置１００は、クラスタ分類部１３６によって分類されたクラスタのまとまりが良いか否かを尋ねる質問文をワーカＷに提示してクラスタの精査を行ってもよい。

【0131】

〔２−１２．変形例の効果〕
上述してきたように、変形例に係る情報提供装置１００は、受付部１３３と、クラスタ分類部１３６と、クラスタ抽出部１３７と、提供部１３８とを有する。受付部１３３は、依頼業務に対する回答と当該回答の判断理由とを受注者から受け付ける。クラスタ分類部１３６は、受付部１３３によって受け付けられた判断理由を、かかる判断理由と判断基準が共通するクラスタに分類する。クラスタ抽出部１３７は、クラスタ分類部１３６によって分類されたクラスタの中から代表的な判断理由を抽出する。提供部１３８は、クラスタ抽出部１３７によって抽出された判断理由を提供する。

【0132】

これにより、変形例に係る情報提供装置１００は、類型抽出部１３５によって抽出された判断理由に限らず、受付部１３３によって受け付けられた判断理由をクラスタに分類することができるので、類型抽出部１３５によって抽出された判断理由の数が少な過ぎる場合でもクラスタの中から代表的な判断理由を抽出してリクエスタに提供することができる。

【0133】

また、変形例に係る情報提供装置１００において、クラスタ分類部１３６は、判断理由のうち下位概念の判断理由を上位概念の判断理由に変換した上でかかる判断理由をクラスタに分類する。

【0134】

これにより、変形例に係る情報提供装置１００は、下位概念の判断理由を上位概念の判断理由に統一することができるので、クラスタの数を抑制することができる。このため、情報提供装置１００は、抑制された数のクラスタの中から代表的な判断理由を抽出するので、リクエスタにとって扱いやすい数の判断理由をリクエスタに提供することができる。

【0135】

また、変形例に係る情報提供装置１００において、クラスタ分類部１３６は、判断理由のうち肯定表現の回答にかかる判断理由を否定表現の回答にかかる判断理由より重みを持たせてクラスタの中心にする。

【0136】

これにより、変形例に係る情報提供装置１００は、有益な判断理由である肯定表現の回答にかかる判断理由を重視することができるので、有益な判断理由を高い精度でリクエスタに提供することができる。

【0137】

また、変形例に係る情報提供装置１００において、クラスタ抽出部１３７は、代表的な判断理由を、クラスタ分類部１３６によって分類されたクラスタのうち判断理由のｔｆ−ｉｄｆ値に基づいて選択されるクラスタの中から抽出する。

【0138】

これにより、変形例に係る情報提供装置１００は、リクエスタにとって有益な判断理由を高い精度で抽出することができるので、有益な判断理由を高い精度でリクエスタに提供することができる。

【0139】

〔３．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0140】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0141】

例えば、図４に示したタスク情報記憶部１２１は、情報提供装置１００が保持せずに、ストレージサーバ等に保持されてもよい。この場合、情報提供装置１００は、ストレージサーバにアクセスすることで、タスクに関する情報を取得する。

【0142】

また、情報提供装置１００は、類型抽出処理とクラスタ抽出処理と提供処理とは行わず、類型分類部１３４による類型分類処理とクラスタ分類部１３６によるクラスタ分類処理とのみを行う分類装置であってもよい。この場合、分類装置は、類型抽出部１３５と、クラスタ抽出部１３７と、提供部１３８とを有しない。そして、類型抽出部１３５とクラスタ抽出部１３７と提供部１３８とを有する抽出装置が判断理由の抽出を行い、抽出した判断理由を提供する。

【0143】

また、上述してきた実施形態に係る情報提供装置１００は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。以下、情報提供装置１００を例に挙げて説明する。図１０は、情報提供装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、およびメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0144】

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0145】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、通信網５０を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、通信網５０を介して他の機器へ送信する。

【0146】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを、入出力インターフェイス１６００を介して出力装置へ出力する。

【0147】

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0148】

例えば、コンピュータ１０００が実施形態に係る情報提供装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内のデータが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から通信網５０を介してこれらのプログラムを取得してもよい。

【0149】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0150】

また、上述した情報提供装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

【0151】

また、特許請求の範囲に記載した「手段」は、「部（section、module、unit）」や「回路」などに読み替えることができる。例えば、受信部は、受信手段や受信回路に読み替えることができる。

【符号の説明】

【0152】

１ 提供システム
１０ 発注端末
５０ 受注端末
１００ 情報提供装置
１２１ タスク情報記憶部
１３１ 受信部
１３２ 送信部
１３３ 受付部
１３４ 類型分類部
１３５ 類型抽出部
１３６ クラスタ分類部
１３７ クラスタ抽出部
１３８ 提供部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】