特許 6683790 コンピュータ、コンピュータの制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6683790

(24)【登録日】2020年3月30日

(45)【発行日】2020年4月22日

(54)【発明の名称】コンピュータ、コンピュータの制御方法、及びプログラム

(51)【国際特許分類】

   G06Q 10/06 20120101AFI20200413BHJP

【ＦＩ】

   G06Q10/06 332

【請求項の数】11

【全頁数】24

(21)【出願番号】特願2018-203079(P2018-203079)

(22)【出願日】2018年10月29日

【審査請求日】2018年10月29日

(73)【特許権者】

【識別番号】316014906

【氏名又は名称】株式会社ＦＲＯＮＴＥＯ

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】西野 清夏

(72)【発明者】

【氏名】田村 陵大

(72)【発明者】

【氏名】井口 慎也

【審査官】 松田 岳士

(56)【参考文献】

【文献】 特開２０１１−１４５９９６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１７／０１４００４３（ＵＳ，Ａ１）

【文献】 加藤 武文，レビュア特性の見える化によるドキュメントレビュー支援システムの開発，情報処理学会 研究報告 ソフトウェア工学（ＳＥ） ２０１５−ＳＥ−１９０，日本，情報処理学会，２０１５年１２月 ９日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ３／００− ３／１２

Ｇ０６Ｎ ７／０８−９９／００

Ｇ０６Ｑ １０／００−９９／００

(57)【特許請求の範囲】

【請求項1】

電子データの予測レビュー時間と、査定対象レビューアが前記電子データを実際にレビューするために要した実レビュー時間とに応じて、前記査定対象レビューアのレビュー効率を評価する効率評価処理と、
前記査定対象レビューアがレビューすることにより得たレビュー結果を検証することによって、前記査定対象レビューアのレビュー精度を評価する精度評価処理と、
前記レビュー効率と前記レビュー精度とに応じて、前記査定対象レビューアのレビュー能力を査定する査定処理とを実行するコンピュータ。

【請求項2】

前記効率評価処理は、前記予測レビュー時間を基準として、前記実レビュー時間から前記査定対象レビューアの前記レビュー効率を評価する請求項１に記載のコンピュータ。

【請求項3】

レビュー済みのデータセットを用いて予め構築された予測モデルに従って、前記予測レビュー時間を算出する予測処理を更に実行する請求項１または２に記載のコンピュータ。

【請求項4】

前記予測処理は、前記電子データのコンテンツの特徴量を入力とするモデルを前記予測モデルとし、前記予測レビュー時間を算出する請求項３に記載のコンピュータ。

【請求項5】

前記精度評価処理は、前記査定対象レビューアによる前記レビュー結果と、前記査定対象レビューア以外のレビューアがレビューすることにより得たレビュー結果とを比較することによって、前記査定対象レビューアの前記レビュー精度を評価する請求項１〜４の何れか１項に記載のコンピュータ。

【請求項6】

前記査定処理は、前記査定対象レビューアの前記レビュー効率及び前記レビュー精度を入力とし、前記査定対象レビューアの前記レビュー能力を出力とする予め定められたアルゴリズムを用いて、前記査定対象レビューアの前記レビュー能力を査定する請求項１〜５の何れか１項に記載のコンピュータ。

【請求項7】

前記レビュー効率または前記レビュー能力を可視化して出力する出力処理を更に実行する請求項１〜６の何れか１項に記載のコンピュータ。

【請求項8】

前記コンピュータによって査定される第１のレビューアのレビュー能力が、前記コンピュータによって査定される第２のレビューアのレビュー能力よりも高いとき、前記第１のレビューアに支払う報酬を、前記第２のレビューアに支払う報酬より多く算定する算定処理をさらに実行する請求項１〜７の何れか一項に記載のコンピュータ。

【請求項9】

前記算定処理は、予め定められた前記報酬の下限値と、予め定められた前記報酬の上限値との間の金額を、前記報酬として算定する請求項８に記載のコンピュータ。

【請求項10】

電子データの予測レビュー時間と、査定対象レビューアが前記電子データを実際にレビューするために要した実レビュー時間とに応じて、前記査定対象レビューアのレビュー効率を評価する効率評価ステップと、
前記査定対象レビューアがレビューすることにより得たレビュー結果を検証することによって、前記査定対象レビューアのレビュー精度を評価する精度評価ステップと、
前記レビュー効率と前記レビュー精度とに応じて、前記査定対象レビューアのレビュー能力を査定する査定ステップとを含むコンピュータの制御方法。

【請求項11】

請求項１〜９の何れか１項に記載のコンピュータを動作させるためのプログラムであって、前記各処理を前記コンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データセットをレビューするレビューアの能力を査定する査定方法等、及び、データセットをレビューするレビューアの報酬を設定する報酬設定方法等に関する。

【背景技術】

【0002】

企業においては、少なくとも１つの電子データを含むデータセットをレビューする作業（以下、「レビュー作業」と記載する）を行う必要が生じることがある。例えば、ディスカバリのためのレビュー作業では、企業に蓄積された膨大な数の電子データの中から、米国裁判所に提出するべき電子データ（例えば、弁護士により指定された所定の抽出条件を満たす電子データ）をピックアップする必要がある。レビュー作業を行う企業、あるいは、レビュー作業を請け負う企業においては、報酬を払ってレビューアにレビュー作業を依頼する。この際、レビューアに支払う報酬は、従来、レビュー作業に要した時間（以下、「レビュー時間」と記載する）に応じて設定されていた。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１７／０６８７５０号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、レビューアに支払う報酬を、レビュー時間に応じて設定する従来の報酬設定方法においては、以下のような問題があった。すなわち、レビューアは、レビュー作業に時間を掛けるほど、多くの報酬を受け取ることになる。このため、不当に多くの時間を掛けてレビュー作業を行い、不当に多くの報酬を得るレビューアが発生する可能性がある。また、レビュー能力の低いレビューアに対しても、レビュー能力の高いレビューアに対しても、レビュー作業に掛かった時間が同じであれば、同額の報酬が支払われることになる。このため、レビュー能力を向上させようとするモチベーションンをレビューアに与えることができず、その結果、レビュー作業の品質低下を招来する可能性がある。

【0005】

これらの問題を解決するためには、レビューアに支払う報酬を、レビューアのレビュー能力に応じて設定することが求められる。しかしながら、レビューアのレビュー能力を適切に査定することが可能な査定方法は、存在していない。

【0006】

本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的は、レビューアのレビュー能力を適切に査定することが可能な査定方法、及び、レビューアに支払う報酬を適切に設定することが可能な報酬設定方法を実現することにある。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様に係る査定方法は、少なくとも１つの電子データを含むデータセットを格納したメモリとコントローラとを備えたコンピュータを用いて、該データセットをレビューする査定対象レビューアのレビュー能力を査定する査定方法であって、前記コントローラが、各電子データの予測レビュー時間、及び、前記査定対象レビューアが該電子データに対する実際のレビュー作業に要した実レビュー時間に応じて、前記査定対象レビューアのレビュー効率を評価する効率評価処理と、前記コントローラが、前記査定対象レビューアが前記データセットをレビューすることにより得たレビュー結果を検証することによって、前記査定対象レビューアのレビュー精度を評価する精度評価処理と、前記コントローラが、前記効率評価処理にて評価されたレビュー効率、及び、前記精度評価処理にて評価されたレビュー精度に応じて、前記査定対象レビューアのレビュー能力を査定する査定処理と、を含んでいる。

【0008】

上記の課題を解決するために、本発明の一態様に係るコンピュータは、少なくとも１つの電子データを含むデータセットを格納したメモリとコントローラとを備え、該データセットをレビューする査定対象レビューアのレビュー能力を査定するコンピュータであって、前記コントローラは、各電子データの予測レビュー時間、及び、前記査定対象レビューアが該電子データに対する実際のレビュー作業に要した実レビュー時間に応じて、前記査定対象レビューアのレビュー効率を評価する効率評価処理と、前記査定対象レビューアが前記データセットをレビューすることにより得たレビュー結果を検証することによって、前記査定対象レビューアのレビュー精度を評価する精度評価処理と、前記効率評価処理にて評価されたレビュー効率、及び、前記精度評価処理にて評価されたレビュー精度に応じて、前記査定対象レビューアのレビュー能力を査定する査定処理と、を実行する。

【発明の効果】

【0009】

本発明の一態様に係る査定方法によれば、査定対象レビューアのレビュー能力を適切に査定することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態１に係るコンピュータの構成を示すブロック図である。

【図2】図１に示すコンピュータを用いて実施される報酬設定方法の流れを示すフローチャートである。

【図3】図２に示す報酬設定方法に含まれる精度評価処理の一例を示す表である。

【図4】図２に示す報酬設定方法に含まれる精度評価処理の流れを示すフローチャートである。

【図5】図２に示す報酬設定方法に含まれる査定処理の一例を示すグラフである。

【図6】図２に示す報酬設定方法に含まれる算定処理の一例を示すグラフである。

【図7】図２に示す報酬設定方法の一部として実施可能な予測モデルの構築方法の流れを示すフローチャートである。

【図8】図２に示す構築方法に含まれる設定処理の第１の具体例を示すフローチャートである。

【図9】図２に示す構築方法に含まれる設定処理の第２の具体例を示すフローチャートである。

【図10】図２に示す構築方法に含まれる設定処理の第３の具体例を示すフローチャートである。

【図11】出力装置を用いて出力された出力画像の一例である。

【図12】出力装置を用いて出力された出力画像の一例である。

【発明を実施するための形態】

【0011】

〔コンピュータの構成〕
本発明の一実施形態に係るコンピュータ１の構成について、図１を参照して説明する。図１は、コンピュータ１の構成を示すブロック図である。

【0012】

コンピュータ１は、図１に示したように、バス１０と、主メモリ１１と、コントローラ１２と、補助メモリ１３と、入出力インターフェース１４と、を備えている。コントローラ１２、補助メモリ１３、及び入出力インターフェース１４は、バス１０を介して互いに接続されている。主メモリ１１としては、例えば、１又は複数の半導体ＲＡＭ（random access memory）が用いられる。コントローラ１２としては、例えば、１又は複数のＣＰＵ（Central Processing Unit）が用いられる。補助メモリ１３としては、例えば、ＨＤＤ（Hard Disk Drive）が用いられる。入出力インターフェース１４としては、例えば、ＵＳＢ（Universal Serial Bus）インターフェースが用いられる。

【0013】

入出力インターフェース１４には、例えば、入力装置２及び出力装置３が接続される。入力装置２としては、例えば、キーボード及びマウスが用いられる。出力装置３としては、例えば、ディスプレイ及びプリンタが用いられる。なお、コンピュータ１は、ラップトップ型コンピュータのように、入力装置２として機能するキーボート及び出力装置３として機能するディスプレイを内蔵していてもよい。また、コンピュータ１は、スマートフォン又はタブレット型コンピュータのように、入力装置２及び出力装置３として機能するタッチパネルを内蔵していてもよい。

【0014】

補助メモリ１３には、後述する査定方法Ｓ０および報酬設定方法Ｓ１をコンピュータ１に実施させるためのプログラムＰが格納されている。コントローラ１２は、補助メモリ１３に格納されたプログラムＰを主メモリ１１上に展開し、主メモリ１１上に展開されたプログラムＰに含まれる各命令を実行することによって、後述する報酬設定方法Ｓ１に含まれる各ステップを実行する。また、補助メモリ１３には、後述する報酬設定方法Ｓ１においてコンピュータ１が参照するデータセットＤＳが格納されている。データセットＤＳは、少なくとも１つの電子データＤ１，Ｄ２，…，Ｄｎ（ｎは１以上の任意の自然数）の集合である。各電子データＤｉは、テキストＴｉをコンテンツとして含む。このような電子データとしては、例えば、ＴＸＴデータ（プレインテキストデータ）、ＲＴＦデータ（リッチテキストデータ）、ＨＴＭＬデータ、ＸＭＬデータ、ＰＤＦデータ、ＤＯＣデータ、又はＥＭＬデータが挙げられる。コントローラ１２は、補助メモリ１３に格納された各電子データＤｉ（ｉ＝１，２，…，ｎ）を主メモリ１１上に展開し、これを後述する報酬設定方法Ｓ１に含まれる各ステップにおいて参照する。

【0015】

なお、コンピュータ１が内部記憶媒体である補助メモリ１３に格納されているプログラムＰを用いて後述する報酬設定方法Ｓ１を実施する形態について説明したが、これに限定されない。すなわち、コンピュータ１が外部記録媒体に格納されているプログラムＰを用いて後述する報酬設定方法Ｓ１を実施する形態を採用してもよい。この場合、外部記録媒体としては、コンピュータ１が読み取り可能な「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブル論理回路などを用いることができる。あるいは、コンピュータ１が通信ネットワークを介して取得したプログラムＰを用いて後述する報酬設定方法Ｓ１を実施する形態を採用してもよい。この場合、通信ネットワークとしては、例えば、インターネット、又はＬＡＮなどを用いることができる。

【0016】

〔報酬設定方法〕
本発明の一実施形態に係る査定対象レビューアの報酬設定方法Ｓ１について、図２を参照して説明する。図２は、査定対象レビューアの報酬設定方法Ｓ１の流れを示すフローチャートである。

【0017】

報酬設定方法Ｓ１は、コンピュータ１を用いて、データセットＤＳをレビューする査定対象レビューアに対する報酬を設定する方法である。報酬設定方法Ｓ１は、図２に示すように、計測処理Ｓ１１と、抽出処理Ｓ１２と、予測処理Ｓ１３と、効率評価処理Ｓ１４と、精度評価処理Ｓ１５と、査定処理Ｓ１６と、算定処理Ｓ１７と、を含んでいる。計測処理Ｓ１１は、例えば、査定対象レビューアがレビュー作業を行っているときに実施される処理である。抽出処理Ｓ１２、予測処理Ｓ１３、効率評価処理Ｓ１４、精度評価処理Ｓ１５、査定処理Ｓ１６、及び算定処理Ｓ１７は、査定対象レビューアがレビュー作業を行った後に実施される一連の処理である。なお、査定対象レビューアに課されるレビュー作業として、ここでは、データセットＤＳに含まれる各電子データＤｉが予め定められた抽出条件を満たすか否かを判断する（例えば、特定の事案に関係するか否か）作業を想定する。

【0018】

なお、上記特定の事案は、各電子データＤｉに対して上記判断を要する対象を全て含む。当該特定の事案は、例えば「訴訟」であってよい。このとき、上記レビュー作業は、例えば、米国の民事訴訟におけるディスカバリに伴って生じる証拠の選別・収集作業である。すなわち、当該レビュー作業は、訴訟関係者（カストディアン）が保有する各電子データＤｉをレビューアが確認し、各電子データＤｉと訴訟（特定の事案）との関連性を評価し、法廷に提出する証拠として採用するか否かを判断する作業である。あるいは、当該特定の事案は、例えば「病気」であってよい。このとき、上記レビュー作業は、例えば、医師がレントゲン画像（各電子データＤｉ）を確認し、各電子データＤｉと病気（特定の事案）との関連性（例えば、病気の有無）を判断する作業である。すなわち、当該特定の事案は、各電子データＤｉとの関連性を評価する対象でありさえすれば何でもよく、その範囲は限定されない。

【0019】

計測処理Ｓ１１は、査定対象レビューアが各電子データＤｉを実際にレビューするのに要した時間（以下、「実レビュー時間」と記載する）τｉを計測する処理である。計測処理Ｓ１１は、コンピュータ１のコントローラ１２によって実行される。

【0020】

抽出処理Ｓ１２は、データセットＤＳに含まれる各電子データＤｉについて、電子データＤｉに含まれるテキストＴｉの予め選択された属性（例えば、文字数）の属性値（例えば、１００文字）を、メモリ（主メモリ１１又は補助メモリ１３）に記憶された電子データＤｉから抽出する処理である。抽出処理Ｓ１２は、コンピュータ１のコントローラ１２によって実行される。

【0021】

以下、抽出処理Ｓ１２にて抽出される属性値を、特徴量と呼び、抽出処理Ｓ１２にて抽出される属性値の集合を、特徴量群ＧＣと呼ぶ。この特徴量群ＧＣには、（１）テキストＴの複雑さを表す第１の特徴量Ｃ１と、（２）テキストＴのサイズを表す第２の特徴量Ｃ２と、（３）テキストＴの感情傾向を表す第３の特徴量Ｃ３と、が含まれ得る。

【0022】

第１の特徴量Ｃ１として利用可能なテキストＴの属性値としては、例えば、異語数、品詞数、ＴＴＲ（Type Token Ratio）、ＣＴＴＲ（Corrected Type Token Ratio）、ユールＫ特性値、係り受け回数、数値比率などが挙げられる。テキストＴの複雑さを表すこれらの属性値の一部又は全部の組み合わせを、第１の特徴量Ｃ１として利用することもできる。なお、これらの属性値の定義については、後述する。

【0023】

第２の特徴量Ｃ２として利用可能なテキストＴの属性値としては、例えば、文字数、語数、文数、段落数などが挙げられる。テキストＴのサイズを表すこれらの属性値の一部又は全部の組み合わせを、第２の特徴量Ｃ２として利用することもできる。なお、これらの属性値の定義については、後述する。

【0024】

第３の特徴量Ｃ３として利用可能なテキストＴの属性値としては、例えば、ポジティブ数、ネガティブ数などが挙げられる。ここで、ポジティブ数は、テキストＴのポジティブさを表し、例えば、ポジティブ語として予め定め定められた語のテキストＴにおける出現回数によって定義される。また、ネガティブ数は、テキストＴのネガティブさを表し、例えば、ネガティブ語として予め定められた語のテキストＴにおける出現回数によって定義される。

【0025】

なお、特徴量群ＧＣには、各品詞のテキストＴにおける出現回数を含めてもよい。例えば、テキストＴに含まれる各語を、英文字、未知語、名詞、動詞、形容詞、副詞、感動詞、接頭辞、助動詞、接続詞、フィラー、連体詞、助詞、記号、数字、その他に分類し、各品詞のテキストＴにおける出現回数を特徴量群ＧＣに含めてもよい。

【0026】

予測処理Ｓ１３は、データセットＤＳに含まれる各電子データＤｉについて、抽出処理Ｓ１２にて抽出された特徴量群ＧＣに基づいて、電子データＤｉの予測レビュー時間ｔｉを予測する処理である。予測処理Ｓ１３は、抽出処理Ｓ１２を実行した後に、コンピュータ１のコントローラ１２によって実行される。

【0027】

予測処理Ｓ１３を実行するために、コントローラ１２は、例えば、予め構築された予測モデルに従って、抽出処理Ｓ１２にて抽出された特徴量群ＧＣから電子データＤｉの予測レビュー時間ｔｉを算出する。予測処理Ｓ１３に利用する予測モデルは、電子データＤｉに含まれるテキストＴｉの特徴量群ＧＣを入力とし、予測レビュー時間ｔｉを出力とする、機械学習により構築された予測モデルであり、例えば、ＥＬＭ（Extreme Learning Machine）、ＳＶＲ（Support Vector Machine）、回帰木、ＸＧＢｏｏｓｔ、ランダムフォレスト、ＤＮＮ（Deep Neural Network）などである。なお、予測処理Ｓ１３にて利用される予測モデルの構築方法Ｓ２については、参照する図面を代えて後述する。

【0028】

効率評価処理Ｓ１４は、計測処理Ｓ１１にて計測された実レビュー時間τ１，τ２，…，τｎ、及び、予測処理Ｓ１３にて予測された予測レビュー時間ｔ１，ｔ２，…，ｔｎに応じて、査定対象レビューアのレビュー効率ａを評価する処理である。効率評価処理Ｓ１４は、予測処理Ｓ１３を実行した後に、コンピュータ１のコントローラ１２によって実行される。

【0029】

効率評価処理Ｓ１４を実行するために、コントローラ１２は、例えば、（１）各電子データＤｉについて、予測レビュー時間ｔｉを基準として、実レビュー時間τｉからレビュー効率ａｉを算出し、（２）算出した各電子データＤｉについてのレビュー効率ａｉを代表するレビュー効率ａを算出する。ここで、各電子データＤｉについてのレビュー効率ａｉは、例えば、実レビュー時間τｉと予測レビュー時間ｔｉとの差τｉ−ｔｉであってもよいし、実レビュー時間τｉと予測レビュー時間ｔｉとの比τｉ／ｔｉであってもよい。また、レビュー効率ａは、例えば、レビュー効率ａ１，ａ２，…，ａｎの最大値であってもよいし、最小値であってもよいし、平均値であってもよいし、中央値であってもよいし、最頻値であってもよい。

【0030】

精度評価処理Ｓ１５は、査定対象レビューアがデータセットＤＳをレビューすることにより得たレビュー結果を検証することによって、査定対象レビューアのレビュー精度ｂを評価する処理である。精度評価処理Ｓ１５は、コンピュータ１のコントローラ１２によって実行される。精度評価処理Ｓ１５は、抽出処理Ｓ１２、予測処理Ｓ１３、及び効率評価処理Ｓ１４を実行した後に実行されてもよいし、抽出処理Ｓ１２、予測処理Ｓ１３、及び効率評価処理Ｓ１４を実行する前に実行されてもよい。

【0031】

精度評価処理Ｓ１５を実行するために、コントローラ１２は、例えば、査定対象レビューアによるレビュー作業における判断結果を、査定対象レビューア以外のレビューアによるレビュー作業における判断結果と比較する。精度評価処理Ｓ１５の具体例については、参照する図面を代えて後述する。

【0032】

査定処理Ｓ１６は、効率評価処理Ｓ１４にて評価されたレビュー効率ａ、及び、精度評価処理Ｓ１５にて評価されたレビュー精度ｂに応じて、査定対象レビューアのレビュー能力ｃを査定する処理である。査定処理Ｓ１６は、効率評価処理Ｓ１４及び精度評価処理Ｓ１５を実行した後に、コンピュータ１のコントローラ１２によって実行される。コントローラ１２は、例えば、レビュー効率ａが高いほどレビュー能力ｃが高くなるように、かつ、レビュー精度ｂが高いほどレビュー能力ｃが高くなるように、レビュー能力ｃを査定する。査定処理Ｓ１６の具体例については、参照する図面を代えて後述する。

【0033】

算定処理Ｓ１７は、査定処理Ｓ１６にて査定されたレビュー能力ｃに応じて、査定対象レビューアに対する報酬ｄを設定する処理である。算定処理Ｓ１７は、査定処理Ｓ１６を実行した後に、コンピュータ１のコントローラ１２によって実行される。コントローラ１２は、例えば、第１のレビューアのレビュー能力ｃ１が第２のレビューアのレビュー能力ｃ２よりも高いとき、第１のレビューアに支払う報酬ｄ１が第２のレビューアに支払う報酬ｄ２より多くなる（すなわち、ｄ１＞ｄ２になる）ように、報酬ｄを設定する。算定処理Ｓ１７の具体例については、参照する図面を代えて後述する。

【0034】

以上のように、本実施形態に係る報酬設定方法Ｓ１は、査定対象レビューアのレビュー効率ａ及びレビュー精度ｂに基づいて、査定対象レビューアのレビュー能力ｃを査定する査定処理Ｓ１６と、査定処理Ｓ１６にて査定された査定対象レビューアのレビュー能力ｃに応じて、査定対象レビューアに対する報酬ｄを設定する算定処理Ｓ１７と、を含んでいる。したがって、本実施形態に係る報酬設定方法Ｓ１によれば、査定対象レビューアのレビュー能力ｃを適切に評価すると共に、そのレビュー能力ｃに応じて適切に設定された報酬ｄを査定対象レビューアに支払うことが可能になる。

【0035】

なお、本実施形態に係る報酬設定方法Ｓ１には、計測処理Ｓ１１、抽出処理Ｓ１２、予測処理Ｓ１３、効率評価処理Ｓ１４、精度評価処理Ｓ１５、及び査定処理Ｓ１６により構成される査定方法Ｓ０が含まれている。この査定方法Ｓ０は、査定対象レビューアの能力を査定する査定方法として、算定処理Ｓ１７とは独立に（算定処理Ｓ１７を実施するか否かに依らず）実施することが可能である。

【0036】

この査定方法Ｓ０は、各電子データＤｉの予測レビュー時間ｔｉ及び実レビュー時間τｉに基づいて、査定対象レビューアのレビュー効率ａを評価する効率評価処理Ｓ１４と、査定対象レビューアがデータセットＤＳをレビューすることにより得たレビュー結果に基づいて、査定対象レビューアのレビュー精度ｂを評価する精度評価処理Ｓ１５と、効率評価処理Ｓ１４にて評価されたレビュー効率ａ、及び、精度評価処理Ｓ１５にて評価されたレビュー精度ｂに基づいて、査定対象レビューアのレビュー能力ｃを査定する査定処理Ｓ１６と、を含んでいる。したがって、この査定方法Ｓ０によれば、査定対象レビューアのレビュー能力ｃを、その査定対象レビューアのレビュー効率ａ及びレビュー精度ｂに応じて適切に査定することができる。

【0037】

〔精度評価処理の具体例１〕
図２に示す報酬設定方法Ｓ１に含まれる精度評価処理Ｓ１５の第１の具体例について説明する。

【0038】

本具体例に係る精度評価処理Ｓ１５において、コンピュータ１のコントローラ１２は、データセットＤＳから抜き取られた電子データからなる部分データセットＤＳ’において、査定対象レビューア（例えば、１次レビューア）が抽出条件を満たすと判断した電子データとチェッカ（例えば、弁護士等の二次レビューア）が抽出条件を満たすと判断した電子データとを比較することによって、査定対象レビューアのレビュー精度ｂを評価する。本具体例に係る精度評価処理Ｓ１５にて評価されるレビュー精度ｂは、例えば、部分データセットＤＳ’において、査定対象レビューアが抽出条件を満たすと判断した電子データとチェッカが抽出条件を満たすと判断した電子データとの一致率であり得る。

【0039】

以下、データセットＤＳが１０個の電子データＤ１〜Ｄ１０からなり、部分データセットＤＳ’が５個の電子データＤ１〜Ｄ５からなる場合を例に、本具体例に係る精度評価処理Ｓ１５の一実施例について、図３を参照して説明する。図３は、本具体例に係る精度評価処理Ｓ１５の一実施例を示す表である。

【0040】

図３に示す実施例において、査定対象レビューアは、データセットＤＳに含まれる１０個の電子データＤ１〜Ｄ１０の各々について抽出条件を満たすか否かを判断し、満たすと判断した６個の電子データＤ１、Ｄ２、Ｄ４、Ｄ７、Ｄ９、Ｄ１０にタグを付けている。同様に、チェッカは、部分データセットＤＳ’に含まれる５個の電子データＤ１〜Ｄ５の各々について抽出条件を満たすか否かを判断し、満たすと判断した４個の電子データＤ１，Ｄ２，Ｄ３，Ｄ４にタグを付けている。４つの電子データＤ１、Ｄ２、Ｄ４、Ｄ５については、査定対象レビューアのレビュー結果とチェッカのレビュー結果とが一致している。しかしながら、電子データＤ３については、査定対象レビューアが抽出条件を満たさないと判断しているのに対して、チェッカが抽出条件を満たしていないと判断しているため、レビュー結果が一致していない。それゆえ、査定対象レビューアのレビュー精度ｂを算出すると、ｃ＝４／５となる。

【0041】

〔精度評価処理の具体例２〕
図２に示す報酬設定方法Ｓ１に含まれる精度評価処理Ｓ１５の第２の具体例について、図４の（ａ）を参照して説明する。図４の（ａ）は、本具体例に係る精度評価処理Ｓ１５の流れを示すフローチャートである。

【0042】

本具体例に係る精度評価処理Ｓ１５において、コンピュータ１のコントローラ１２は、図４の（ａ）に示すように、スコア付与ステップＳ１５１と、精度評価ステップ１５２と、を実行する。

【0043】

スコア付与ステップＳ１５１は、データセットＤＳを包含する全体データセットＤＳ”に含まれる各電子データＤｉについて、その電子データＤｉが抽出条件を満たす割合（度合い）を表すスコアを付与するステップである。なお、スコア付与ステップＳ１５１においてスコアを付与するアルゴリズムは、特に限定されず、公知のアルゴリズムを用いることができる。一例として、ＫＩＢＩＴ（登録商標）において用いられているアルゴリズム、すなわち、抽出条件を満たすことが確認された電子データとの語彙の共通性に応じたスコアを付与するアルゴリズムを用いることができる。

【0044】

精度評価ステップＳ１５２は、（１）全体データセットＤＳ”に含まれる電子データについて、電子データが抽出条件を満たすとレビューア（査定対象レビューアかそれ以外のレビューアかを問わず）が判断する割合のスコアに対する分布（以下、「第１のスコア分布」とも記載）と、（２）データセットＤＳに含まれる電子データについて、電子データが抽出条件を満たすと査定対象レビューアが判断する割合のスコアに対する分布（以下、「第２のスコア分布」とも記載）と、を比較することによって、査定対象レビューアのレビュー精度ｂを評価するステップである。本精度評価ステップＳ１５２にて評価されるレビュー精度ｂは、例えば、第１のスコア分布と第２のスコア分布との類似度であり得る。第１のスコア分布と第２のスコア分布との類似度は、例えば、第１のスコア分布と第２のスコア分布との間の相関として、或いは、第１のスコア分布と第２のスコア分布との間の内積として、算出することが可能である。

【0045】

以下、５人のレビューアによってレビューされる全体データセットＤＳ”が５００個の電子データからなり、査定対象レビューアによってレビューされるデータセットＤＳが１００個の電子データからなる場合を例に、本具体例に係る精度評価処理Ｓ１５の一実施例について、図４の（ｂ）及び（ｃ）を参照して説明する。図４の（ｂ）及び（ｃ）は、本具体例に係る精度評価処理Ｓ１５の一実施例を示す表である。

【0046】

まず、コントローラ１２は、図４の（ｂ）に示すように、全体データセットＤＳ”に含まれる５００個の電子データを、スコアの階級に応じて分類する。ここでは、（１）スコアが０以上２０以下の階級に属する電子データと、（２）スコアが２１以上４０以下の階級に属する電子データと、（３）スコアが４１以上６０以下の階級に属する電子データと、（４）スコアが６１以上８０以下の階級に属する電子データと、（５）スコアが８１以上１００以下の階級に属する電子データとに分類している。次に、コントローラ１２は、各階級に属する電子データについて、レビューアにより抽出条件を満たすと判断される割合（図４の（ｂ）における「タグ付与率」）を算出する。その結果、コントローラ１２は、上述した第１のスコア分布として、（０．０８，０．１２，０．２５，０．６８，０．９５）というスコア分布を得る。

【0047】

次に、コントローラ１２は、図４の（ｃ）に示すように、データセットＤＳに含まれる１００個の電子データを、全体データセットＤＳ”に含まれる５００個の電子データと同様に分類する。次に、コントローラ１２は、各階級に属する電子データについて、査定対象レビューアにより抽出条件を満たすと判断される割合（図４の（ｃ）における「タグ付与率」）を算出する。その結果、コントローラ１２は、上述した第２のスコア分布として、（０．１２，０．１３，０．２７，０．５０，１．００）というスコア分布を得る。

【0048】

最後に、コントローラ１２は、レビュー精度ｂとして、第１のスコア分布（０．０８，０．１２，０．２５，０．６８，０．９５）と第２のスコア分布（０．１２，０．１３，０．２７，０．５０，１．００）との類似度を算出する。例えば、類似度を内積として評価する場合、レビュー精度ｂは、ｃ＝０．０８×０．１２＋０．１２×０．１３＋０．２５×０．２７＋０．６８×０．５＋０．９５×１．０となる。

【0049】

〔査定処理の具体例〕
図２に示す報酬設定方法Ｓ１に含まれる査定処理Ｓ１６の具体例について、図５を参照して説明する。

【0050】

本具体例に係る査定処理Ｓ１６において、コンピュータ１のコントローラ１２は、レビュー効率ａ及びレビュー精度ｂを入力とし、レビュー能力ｃを出力とする予め定められた関数ｆ（ａ，ｂ）を用いて、レビュー能力ｃ＝ｆ（ａ，ｃ）を算出する。

【0051】

関数ｆ（ａ，ｂ）としては、例えば、図５の（ａ）に示すような線形関数ｆ（ａ，ｂ）＝ａ＋ｂを用いてもよいし、図５の（ｂ）に示すような非線形関数ｆ（ａ，ｂ）＝｛ａ^２＋ｂ^２｝^１／２を用いてもよい。レビュー効率ａが高く、レビュー精度ｂが高いほど、レビュー能力ｃが高くなり、レビュー効率ａが低く、レビュー精度ｂが低いほど、レビュー能力ｃが低くなる関数であれば、特に限定されない。

【0052】

〔算定処理の具体例〕
図２に示す報酬設定方法Ｓ１に含まれる算定処理Ｓ１７の具体例について、図６を参照して説明する。

【0053】

本具体例に関する算定処理Ｓ１７において、コンピュータ１のコントローラ１２は、レビュー能力ｃを入力とし、報酬ｄを出力とする予め定められた関数ｇ（ｃ）を用いて、報酬ｄ＝ｇ（ｃ）を算出する。

【0054】

関数ｇ（ｃ）としては、例えば、図６に示すような上限値ｄｍａｘと下限値ｄｍｉｎを有する線形関数ｇ（ｃ）＝αｃ＋β（ただし、ｃ＜ｃｍｉｎのときは、ｇ（ｃ）＝ｄｍｉｎ、ｃ＞ｃｍａｘのときは、ｇ（ｃ）＝ｇｍａｘ）を用いることができる。これにより、予め定められた範囲（ｄｍｉｎ以上ｄｍａｘ以下）内の報酬を、レビュー能力ｃに応じて設定することが可能になる。

【0055】

なお、報酬ｄの下限値ｄｍｉｎ及び上限値ｄｍａｘは、以下のように設定することが好ましい。（１）全体データセットＤＳ”のレビューに要する総工数を推定し、推定した総工数に応じた総費用を見積もる。（２）推定した総工数に基づいて必要なレビューアの人数を算出すると共に、見積もった総費用に基づいてレビューアに支払う総報酬を算出する。（３）算出した総報酬を算出した人数で除算することによって、レビューア一人あたりの標準報酬を算出する。（４）標準報酬に予め定められた金額（例えば、１０万円）を加算した額を報酬ｄの上限値ｄｍａｘとし、標準報酬から当該金額を減算した額を報酬ｄの下限値ｄｍｉｎに設定する。

【0056】

〔応用例〕
レビューアが、電子データＤｉが予め定められた抽出条件を満たす（例えば、特定の事案との関連性がある）と判断して電子データＤｉに対して第１のタグを付与した場合、レビューアは、電子データＤｉのジャンルを示す第２のタグを更に付与してもよい。第２のタグを付与する基準は、適宜設定することが可能である。査定処理Ｓ１６において、コンピュータ１のコントローラ１２は、レビューアのレビュー能力を、ジャンル毎に査定してもよい。これにより、各レビューアの得意なジャンル及び不得意なジャンルを評価することができる。それゆえ、レビュー作業を請け負った請負人（事業者）又は弁護士等のチェック作業者が、各レビューアに対して、そのレビューアが得意とするジャンルに属する電子データＤｉのレビュー作業を割り当てることができるため、全体のレビュー作業の効率を更に高めることができる。

【0057】

また、レビューアは、レビュー作業において疑義が生じた場合、チェッカにチャット等を用いて質問をすることができる。査定処理Ｓ１６において、コンピュータ１のコントローラ１２は、査定対象レビューアのレビュー作業に関する質問履歴をテキスト解析することにより、査定対象レビューアがレビュー精度の向上に努力しているか否かを判定し、判定の結果に応じて査定してもよい。これにより、コントローラ１２は、査定対象レビューアを査定する精度を高めることができる。

【0058】

コンピュータ１のコントローラ１２は、各レビューアのレビュー能力に応じて、各レビューアに割り当てる電子データＤｉを決定してもよい。例えば、「レビュー効率は低いが、レビュー精度は高いレビューア」に対しては、抽出条件を満たす可能性の高い（例えば、上述したスコアの高い）電子データＤｉを割り当て、「レビュー効率は高いが、レビュー精度は低いレビューア」に対しては、抽出条件を満たす可能性の低い（例えば、上述したスコアの低い）電子データＤｉを割り当てることができる。これにより、全体のレビュー作業のレビュー精度を高めつつ、全体のレビュー作業のレビュー効率を高めることができる。

【0059】

〔各特徴量の定義〕
テキストＴの属性値のうち、第１の特徴量Ｃ１として利用可能な属性値には、例えば、異語数、品詞数、ＴＴＲ、ＣＴＴＲ、ユールＫ特性値、係り受け回数、数値比率などがある。これらの属性値は、例えば、以下のように定義することができる。

【0060】

テキストＴの異語数（語彙数）は、例えば、テキストＴに出現する異語の個数として定義することができる。例えば、テキストＴが”すもももももももものうち”である場合、テキストＴは”すもも／も／もも／も／もも／の／うち”と形態素分析でき、テキストＴに出現する異語は”すもも”、”も”、”もも”、”の”、”うち”の５つなので、テキストＴの異語数は５となる。ここでは、２回出現する語”もも”を個別にカウントしていない（２回出現する形態素”も”についても同様）点に留意されたい。

【0061】

テキストＴの品詞数は、例えば、テキストＴに出現する品詞の個数として定義することができる。例えば、テキストＴが”すもももももももものうち”である場合、テキストＴは”すもも（名詞）／も（助詞）／もも（名詞）／も（助詞）／もも（名詞）／の（助詞）／うち（名詞）”と形態素分析でき、テキストＴに出現する品詞は名詞、助詞の２つなので、テキストＴの品詞数は２となる。

【0062】

テキストＴのＴＴＲは、例えば、テキストＴの語数をＮ、テキストＴの異語数をＶとして、下記の式（１）により定義することができる。例えば、テキストＴが”すもももももももものうち”である場合、テキストＴは”すもも／も／もも／も／もも／の／うち”と形態素分析でき、語数は７であり、異語数は５であるので、テキストＴのＴＴＲは５／７≒０．７１４となる。

【0063】

【数1】

【0064】

テキストＴのＣＴＴＲは、例えば、テキストＴの語数をＮ、テキストＴの異語数をＶとして、下記の式（２）により定義することができる。例えば、テキストＴが”すもももももももものうち”である場合、テキストＴは”すもも／も／もも／も／もも／の／うち”と形態素分析でき、語数は７であり、異語数は５であるので、テキストＴのＣＴＴＲは５／（２×７）^１／２≒１．３４となる。

【0065】

【数2】

【0066】

テキストＴのユールＫ特性値は、例えば、テキストＴの語数をＮ、テキストＴにｍ回出現する語の個数をＶ（ｍ）として、下記の式（３）により定義することができる。例えば、テキストＴが”すもももももももものうち”である場合、テキストＴは”すもも／も／もも／も／もも／の／うち”と形態素分析でき、語数は７であり、テキストＴに１回出現する語は”すもも”、”の”、”うち”の３つであり、テキストＴに２回出現する語は”もも”、”も”の２つであるので、テキストＴのユールＫ値特性は、１０^４×（３×１^２＋２×２^２−７）／７^２≒８１６となる。

【0067】

【数3】

【0068】

テキストＴの係り受け回数は、例えば、テキストＴに含まれる各文の意味係り受けグラフが有するエッジ（アーク）の個数の合計として定義することができる。例えば、テキストＴが”私は東京にラーメンを食べに行く。東京のラーメンは美味しい。”である場合、第１文の意味係受けグラフが有するエッジは”私は⇒行く”、”東京に⇒行く”、”ラーメンを⇒食べに”、”食べに⇒行く”の４つ、第２文の意味係り受けグラフが有するエッジは”東京の⇒ラーメン”、”ラーメンは⇒美味しい”の２つなので、テキストＴの係り受け回数は６となる。

【0069】

テキストＴの数値比率は、例えば、テキストＴの文字数に対するテキストＴの数字数（テキストＴに含まれる数字の個数）の比の値、又は、テキストＴの語数に対するテキストＴの数値数（テキストＴに含まれる数値の個数。連続する数字は１つの数値とカウント）の比の値として定義することができる。例えば、テキストＴが”ラーメンは６５０円です”の場合、テキストＴの数値比率は３／１１≒０．２７２（前者の定義）、又は、１／５＝０．２（後者の定義）となる。

【0070】

テキストＴの属性のうち、第２の特徴量Ｃ２として利用可能な属性には、例えば、文字数、語数、文数、段落数などがある。これらの属性の定義は、例えば、以下のように定義することができる。

【0071】

テキストＴの文字数は、例えば、テキストＴに含まれている文字の個数として定義することができる。例えば、テキストＴが”すもももももももものうち”である場合、テキストＴの文字数は１２となる。ここでは、６回出現する文字”も”を個別にカウントしている点に留意されたい。

【0072】

テキストＴの語数は、例えば、テキストＴに含まれている語（形態素）の個数として定義することができる。例えば、テキストＴが”すもももももももものうち”である場合、テキストＴは”すもも／も／もも／も／もも／の／うち”と形態素分析できるので、テキストＴの語数は７となる。ここでは、２回出現する語”もも”を個別にカウントしている（２回出現する語”も”についても同様）点に留意されたい。

【0073】

テキストＴの文数は、例えば、テキストＴに含まれている文（センテンス）の個数として定義することができる。テキストＴの文数は、例えば、テキストＴに含まれる文のセパレータ（例えば、句点）の個数をカウントすることによって特定できる。

【0074】

テキストＴの段落数は、例えば、テキストＴに含まれている段落の個数として定義することができる。テキストＴの段落数は、例えば、テキストＴに含まれる段落のセパレータ（例えば、改行コード）の個数をカウントすることによって特定できる。

【0075】

なお、テキストのＴの各属性値（特徴量）の上述した定義は、報酬設定方法Ｓ１の一実装例を与える一具体例に過ぎず、適宜変更することが可能である。すなわち、テキストＴの各属性値は、その概念と矛盾しない範囲で、上述した定義とは異なる定義により規定することができる。例えば、テキストＴのＴＴＲは、「語彙の豊富さ」という概念を定量的に表現したものであり、上述した定義（ＴＴＲ＝Ｖ／Ｎ）により規定してもよいし、上述した定義とは異なる定義（例えば、ＴＴＲ＝Ｌｏｇ（Ｖ）／Ｌｏｇ（Ｎ）など）により規定してもよい。

【0076】

〔予測モデルの構築方法〕
予測モデルの構築方法Ｓ２について、図７を参照して説明する。図７は、予測モデルの構築方法Ｓ２の流れを示すフローチャートである。

【0077】

構築方法Ｓ２は、コンピュータ１を用いて前述した予測処理Ｓ１３にて利用する予測モデルを構築する方法であり、前述した報酬設定方法Ｓ１の一部として前述した抽出処理Ｓ１２に先行して実施される。構築方法Ｓ２は、図７に示すように、設定処理Ｓ２１と、選択処理Ｓ２２と、学習処理Ｓ２３と、評価処理Ｓ２４と、を含んでいる。

【0078】

設定処理Ｓ２１は、サンプルデータ群の一部又は全部を参照して、予め定められた属性群ＧＡに含まれる各属性の重要度を設定する処理である。設定処理Ｓ２１においては、レビュー時間に対する影響が大きい属性の重要度が高く設定され、レビュー時間に対する影響が小さい属性の重要度が低く設定される。設定処理Ｓ２１は、コンピュータ１のコントローラ１２によって実行される。

【0079】

ここで、サンプルデータ群とは、予めレビュー時間が実測されたテキストを含むサンプルデータの集合のことを指す。サンプルデータ群は、例えば、コンピュータ１に内蔵された補助メモリ１３、又は、コンピュータ１に接続された外部ストレージ（図１において不図示）に格納されている。また、属性群ＧＡとは、予め定められたテキストの属性の集合である。属性群ＧＡの要素とし得るテキストの属性としては、異語数、品詞数、ＴＴＲ、ＣＴＴＲ、ユールＫ特性値、係り受け回数、数値比率（以上、属性値が第１の特徴量Ｃ１となり得る属性）、文字数、語数、文数、段落数（以上、属性値が第２の特徴量Ｃ２となり得る属性）、ポジティブ数、ネガティブ数（以上、属性値が第３の特徴量Ｃ３となり得る属性）などが挙げられる。なお、設定処理Ｓ２１の具体例については、参照する図面を代えて後述する。

【0080】

選択処理Ｓ２２は、属性値を特徴量群ＧＣに含める属性を属性群ＧＡから選択する処理である。選択処理Ｓ２２においては、設定処理Ｓ２１にてより高い重要度が設定された属性がより優先的に選択される。例えば、設定処理Ｓ２１にて設定された重要度の降順に予め定められた個数の属性が選択される。選択処理Ｓ２２は、設定処理Ｓ２１を実行した後、コンピュータ１のコントローラ１２によって実行される。

【0081】

学習処理Ｓ２３は、サンプルデータ群に含まれる一部又は全部のサンプルデータを参照して、選択処理Ｓ２２にて選択された属性を入力（説明変数）とし、レビュー時間を出力（目的変数）とする予測モデルに、その予測精度が向上するように機械学習をさせる処理である。学習処理Ｓ２３は、選択処理Ｓ２２を実行した後、コンピュータ１のコントローラ１２によって実行される。なお、学習処理Ｓ２３は、参照可能なサンプルデータの全てを参照して実施されてもよいし、参照可能なサンプルデータの一部を参照して実施されてもよい。また、学習処理Ｓ２３は、設定処理Ｓ２１にて参照されたものと同じサンプルデータを参照して実施されてもよいし、設定処理Ｓ２１にて参照されたものと異なるサンプルデータを参照して実施されてもよい。

【0082】

なお、学習処理Ｓ２３を効率化するために、学習処理Ｓ２３を実行する前にチューニング処理を実行してもよい。ここで、チューニング処理とは、予測モデルが持つハイパーパラメータをチューニングする処理のことを指す。パラメータチューニング（パラメータ探索）の方法としては、例えば、グリッドサーチ、ランダムサーチ、ベイズ最適化、メタヒューリスティックサーチなどが挙げられる。何れの方法を利用するかは、ベンチマークテストを行い、モデルの学習速度を考慮したうえで決定すればよい。

【0083】

また、予め定められた精度の予測モデルを得るために、学習処理Ｓ２３を実行した後に評価処理を実行してもよい。ここで、評価処理とは、サンプルデータ群に含まれるサンプルデータのうち、学習処理Ｓ２３で利用しなかったサンプルデータを用いて、予測モデルの予測精度（例えば、予測モデルが予測したレビュー時間と実測したレビュー時間との差）を評価する処理のことを指す。また、学習処理Ｓ２３と評価処理とを効率的に実施するために、公知のＫ−Ｆｏｌｄ Ｃｒｏｓｓ Ｖａｌｉｄａｔｉｏｎ法を用いてもよい。

【0084】

構築方法Ｓ２によれば、選択処理Ｓ２２にて選択された、レビュー時間に対する影響が大きい属性を入力とする予測モデルを構築することができる。このため、全ての属性を入力とする予測モデルと比べて計算コストが低く、かつ、無作為に選択された属性を入力とする予測モデルと比べて予測精度が高い予測モデルを構築することができる。

【0085】

〔設定処理の第１の具体例〕
設定処理Ｓ２１の第１の具体例（以下、「設定処理Ｓ２１Ａ」と記載）について、図８を参照して説明する。図８の（ａ）は、設定処理Ｓ２１Ａの流れを示すフローチャートである。

【0086】

設定処理Ｓ２１Ａは、図８の（ａ）に示すように、算出ステップＳ２１Ａ１と、設定ステップＳ２１Ａ２と、を含んでいる。

【0087】

算出ステップＳ２１Ａ１は、サンプルデータ群の一部又は全部を参照して、属性群ＧＡに含まれる各属性と実測されたレビュー時間との相関係数を算出するステップである。算出ステップＳ２１Ａ１は、コンピュータ１のコントローラ１２によって実行される。

【0088】

設定ステップＳ２１Ａ２は、属性群ＧＡに含まれる各属性の重要度を、算出ステップＳ２１Ａ１にて算出された、その属性に対応する相関係数に応じた値に設定するステップである。なお、設定ステップＳ２１Ａ２は、算出ステップＳ２１Ａ１を実行した後、コンピュータ１のコントローラ１２によって実行される。

【0089】

なお、設定ステップＳ２１Ａ２において設定される各属性の重要度は、例えば、その属性に対応する相関係数そのものであってもよいし、その属性に対応する相関係数から算出された別の数値であってもよい。ただし、設定ステップＳ２１Ａ２において設定される各属性の重要度は、その属性に対応する相関係数が大きくなるほど高くなり、その属性に対応する相関係数が小さくなるほど低くなるものであることが好ましい。

【0090】

また、設定ステップＳ２１Ａ２において設定される各属性の重要度は、その属性とレビュー時間との相関係数のみならず、その属性と他の属性との相関係数を考慮して設定してもよい。この場合、図８の（ｂ）に示すような相関行列を作成する。そして、２つの属性の間の相関係数が予め定められた閾値よりも大きい場合、選択処理Ｓ２２にて一方の属性が選択されないように、その属性の重要度を低く設定する。これにより、予測モデルの多重共線性を低下させることができる。

【0091】

〔設定処理の第２の具体例〕
設定処理Ｓ２１の第２の具体例（以下、「設定処理Ｓ２１Ｂ」と記載）について、図９を参照して説明する。図９の（ａ）は、設定処理Ｓ２１Ｂの流れを示すフローチャートである。

【0092】

設定処理Ｓ２１Ｂは、図９の（ａ）に示すように、作成ステップＳ２１Ｂ１と、設定ステップＳ２１Ｂ２と、を含んでいる。

【0093】

作成ステップＳ２１Ｂ１は、サンプルデータ群を参照して、属性群ＧＡに含まれる各属性を説明変数とし、レビュー時間を目的変数とする重回帰式を作成するステップである。作成ステップＳ２１Ｂ１にて作成される重回帰式の例を、図９の（ｂ）に示す。図９の（ｂ）に示す重回帰式は、属性群ＧＡに含まれる属性ｘ_１，ｘ_２，…，ｘ_ｋを説明変数、レビュー時間ｙを目的変数とする重回帰式である。図９の（ｂ）に示す重回帰式において、ｂ_１，ｂ_２，…，ｂ_ｋは偏回帰変数であり、ｅは誤差である。作成ステップＳ２１Ｂ１は、コンピュータ１のコントローラ１２によって実行される。

【0094】

設定ステップＳ２１Ｂ２は、属性群ＧＡに含まれる各属性の重要度を、作成ステップＳ２１Ｂ１にて作成された重回帰式において、その属性に対応する偏回帰係数の大きさに応じた値に設定するステップである。設定ステップＳ２１Ｂ２は、作成ステップＳ２１Ｂ１を実行した後、コンピュータ１のコントローラ１２によって実行される。

【0095】

なお、設定ステップＳ２１Ｂ２において設定される各属性の重要度は、例えば、その属性に対応する偏回帰係数の大きさそのものであってもよいし、その属性に対応する偏回帰係数の大きさから算出された別の数値であってもよい。ただし、設定ステップＳ２１Ｂ２において設定される各属性の重要度は、その属性に対応する偏回帰係数の大きさが大きくなるほど高くなり、その属性に対応する偏回帰係数の大きさが小さくなるほど低くなるものであることが好ましい。

【0096】

本具体例によれば、作成ステップＳ２１Ｂ１にて作成された重回帰式から、選択処理Ｓ２２にて選択された属性に対応する項を除いた重回帰式を、予測処理Ｓ１３に用いる予測モデルとして利用することができる。したがって、構築方法Ｓ２の実施に際して、学習処理Ｓ２３を省略することができる。このため、構築方法Ｓ２の実施に要する計算コストを低く抑えることができる。

【0097】

〔設定処理の第３の具体例〕
設定処理Ｓ２１の第３の具体例（以下、「設定処理Ｓ２１Ｃ」と記載）について、図１０を参照して説明する。図１０の（ａ）は、設定処理Ｓ２１Ｃの流れを示すフローチャートである。

【0098】

設定処理Ｓ２１Ｃは、図１０の（ａ）に示すように、作成ステップＳ２１Ｃ１と、設定ステップＳ２１Ｃ２と、を含んでいる。

【0099】

作成ステップＳ２１Ｃ１は、前述したサンプルデータを参照して、属性群ＧＡに含まれる各属性を説明変数とし、レビュー時間を目的変数とする回帰木を作成するステップである。作成ステップＳ２１Ｃ１にて作成される回帰木の例を図１０の（ｂ）に示す。作成ステップＳ２１Ｃ１は、コンピュータ１のコントローラ１２によって実行される。なお、回帰木を作成する方法としては、例えば、ＸＧＢｏｏｓｔを用いることができる。

【0100】

設定ステップＳ２１Ｃ２は、属性群ＧＡに含まれる各属性の重要度を、作成ステップＳ２１Ｃ１にて作成された回帰木において、その属性に対応する分岐条件を変化させたことにより生じる回帰木の出力の変化の大きさに応じた値に設定するステップである。設定ステップＳ２１Ｃ２は、作成ステップＳ２１Ｃ１を実行した後、コンピュータ１のコントローラ１２によって実行される。

【0101】

なお、設定ステップＳ２１Ｃ２において設定される各属性の重要度は、例えば、その属性に対応する出力の変化の大きさそのものであってもよいし、その属性に対応する出力の変化の大きさから算出された別の数値であってもよい。ただし、設定ステップＳ２１Ｃ２において設定される各属性の重要度は、その属性に対応する出力の変化の大きさが大きくなるほど高くなり、その属性に対応する出力の変化の大きさが小さくなるほど低くなるものであることが好ましい。

【0102】

本具体例によれば、作成ステップＳ２１Ｃ１にて作成された回帰木から、選択処理Ｓ２２にて選択された属性に対応する分岐条件を除いた回帰木を、予測処理Ｓ１３に用いる予測モデルとして利用することができる。したがって、構築方法Ｓ２の実施に際して、学習処理Ｓ２３を省略することができる。このため、構築方法Ｓ２の実施に要する計算コストを低く抑えることができる。

【0103】

〔レビュー効率の可視化〕
コンピュータ１は、効率評価処理Ｓ１４にて評価された査定対象レビューアのレビュー効率を可視化して、出力装置３（例えば、ディスプレイ、或いは、プリンタ）を用いて出力する（例えば、表示する、或いは、印刷する）処理を更に実行してもよい。

【0104】

図１１は、出力装置３を用いて出力された出力画像の一例である。この出力画像には、複数の査定対象レビューアのレビュー効率を一覧表示するテーブルが含まれている。このテーブルは、複数の査定対象レビューアの各々について、（１）当該レビューアの氏名、（２）当該レビューアの平均レビュー効率（単位時間あたりにレビューした電子データ数の平均）、（３）当該レビューアがレビューに費やした総時間、（４）当該テーブルの表示日において当該レビューアがレビューした電子データ数、（５）当該レビューアがレビューした総電子データ数、（６）当該レビューアの直近５日のレビュー効率（各日において当該レビューアが単位時間あたりにレビューした電子データ数）を示している。

【0105】

なお、図１１に示されたテーブルはあくまで一例に過ぎず、表示されるテーブルは、レビューアのレビュー効率に関連する他の指標を含んでいてもよい。また、図１１に例示されたテーブルにおいて、レビュー効率は、「単位時間あたりにレビューした電子データ数」として数値で示されているが、他の態様（例えば、Ａ〜Ｅのランク付けや優・良・可の成績評価）で示されてもよい。

【0106】

コンピュータ１は、任意の出力装置３（例えば、ディスプレイやプリンタなど）を用いて上記テーブルを出力することができる。このとき、コンピュータ１は、例えば、レビュー効率に応じたグラデーション（色彩の連続的な変化）を用いて、当該レビュー効率を示すセル（当該表の要素）を着色することができる。例えば、コンピュータ１は、色が薄くなるほどレビュー効率が高いことを示し、色が濃くなるほどレビュー効率が低いことを示すように、各セルを着色することができる。これにより、コンピュータ１は、各レビューアのレビュー効率を視認容易とすることができる。

【0107】

なお、グラデーションにより当該レビュー効率を視認容易とする方法は一例に過ぎず、コンピュータ１は、レビュー効率の視認性を向上させる他の方法を採ることもできる。例えば、レビュー効率に応じて当該レビュー効率を示す数字のフォントの態様を変化させる（例えば、レビュー効率が高くなるほど、フォントを大きくする、又は、太くするなど）ことによって当該視認性を向上させることもできる。

【0108】

〔レビューアの能力変化の可視化〕
コンピュータ１は、査定処理Ｓ１６にて査定された査定対象レビューアのレビュー能力の変化を可視化して、出力装置３（例えば、ディスプレイ、或いは、プリンタ）を用いて出力する（例えば、表示する、或いは、印刷する）処理を更に実行してもよい。

【0109】

図１２は、出力装置３を用いて出力された出力画像の一例である。この出力画像には、
レビューア１のレビュー効率を横軸、レビューア１のレビュー精度を縦軸として、レビューア１の能力変化を可視化したグラフが含まれている。このグラフは、査定対象レビューア（図１２において「レビューア１」と記載）のレビュー能力を示す楕円が、時間の経過とともにグラフの左下から右上に移動していることを示している。これにより、査定対象レビューアが３日間でレビュー能力を向上させていることが容易に把握できる。

【0110】

逆に、レビュー能力を示す楕円が右上から左下に移動している場合は、査定対象レビューアがレビュー能力を低下させていることが容易に把握できる。したがって、レビューアのレビュー作業を監督するレビュー監督者は、当該把握に基づいて相応の措置を採ることができる（例えば、レビューアを交代させる、当該レビューアに割り当てるドキュメントの種類を変更するなど）。

【0111】

なお、レビュー効率軸と直交する直線（点線で示されている）は、レビュー効率に対する損益分岐点を示す。すなわち、当該直線よりも左側に位置するレビューア（所定のレビュー効率を下回るレビュー効率でしかレビューできないレビューア）に対して１人あたりの人件費（レビュー作業に予定される人件費の総額をレビューアの人数で割った額）を報酬として支払った場合、採算割れを起こすおそれがある基準を、当該直線は示している。また、レビュー精度軸に直交する直線（点線で示されている）は、レビューアに期待されるレビュー精度の基準を示している。すなわち、当該直線よりも下側に位置するレビューア（期待されるレビュー精度を下回るレビュー精度でしかレビューできないレビューア）にレビューさせた場合、当該レビューが完了した後の検証作業の負荷が高まるであろう基準を、当該直線は示している。

【0112】

また、出力画像に含まれる円弧状の曲線は、レビューアに期待されているレビュー能力に対する閾値を示している。すなわち、レビューアの能力がこの曲線より右上に位置することが、各レビューアに期待されている。このように、レビューアに期待されるレビュー能力と実際のレビュー能力とを可視化することにより、レビューアの管理を容易にするとともに、レビュー作業全体の効率を向上させることができる。

【0113】

〔データの種類〕
本実施形態においては、電子データを主に「テキストデータ」として説明したが、「電子データ」は、上記コンピュータ１によって処理可能となる形式で表現された任意の電子データを全て含んでよい。上記データは、例えば、少なくとも一部において構造定義が不完全な非構造化データであってよく、自然言語によって記述された文章を少なくとも一部に含む文書データ（例えば、電子メール（添付ファイル・ヘッダ情報を含む）、技術文書（例えば、学術論文、特許公報、製品仕様書、設計図など、技術的事項を説明する文書を広く含む）、プレゼンテーション資料、表計算資料、決算報告書、打ち合わせ資料、報告書、営業資料、契約書、組織図、事業計画書、企業分析情報、電子カルテ、ウェブページ、ブログ、ソーシャルネットワークサービスに投稿されたコメントなど）、音声データ（例えば、会話・音楽などを録音したデータ）、画像データ（例えば、複数の画素またはベクター情報から構成されるデータ）、映像データ（例えば、複数のフレーム画像から構成されるデータ）などを広く含む。

【0114】

〔まとめ〕
本発明の第１の態様に係る査定方法は、少なくとも１つの電子データを含むデータセットを格納したメモリとコントローラとを備えたコンピュータを用いて、該データセットをレビューする査定対象レビューアのレビュー能力を査定する査定方法であって、前記コントローラが、各電子データの予測レビュー時間、及び、前記査定対象レビューアが該電子データに対する実際のレビュー作業に要した実レビュー時間に応じて、前記査定対象レビューアのレビュー効率を評価する効率評価処理と、前記コントローラが、前記査定対象レビューアが前記データセットをレビューすることにより得たレビュー結果を検証することによって、前記査定対象レビューアのレビュー精度を評価する精度評価処理と、前記コントローラが、前記効率評価処理にて評価されたレビュー効率、及び、前記精度評価処理にて評価されたレビュー精度に応じて、前記査定対象レビューアのレビュー能力を査定する査定処理と、を含んでいる、方法である。

【0115】

本発明の第２の態様に係る査定方法は、本発明の第１の態様に係る査定方法において、前記査定方法は、前記コントローラが、レビュー済みのデータセットを用いて予め構築された予測モデルに従って、前記予測レビュー時間を算出する予測処理と、前記コントローラが、前記実レビュー時間を計測する計測処理と、を更に含んでおり、前記効率評価処理は、前記予測処理にて得られた予測レビュー時間を基準として、前記計測処理にて得られた実レビュー時間から前記査定対象レビューアのレビュー効率を評価する処理である、方法としてもよい。

【0116】

本発明の第３の態様に係る査定方法は、本発明の第１又は第２の態様に係る査定方法において、前記予測モデルは、各電子データのコンテンツの特徴量を入力とし、該電子データの予測レビュー時間を出力とする予測モデルであって、レビュー済みのデータセットを学習データとする機械学習によって構築された予測モデルである、方法としてもよい。

【0117】

本発明の第４の態様に係る査定方法は、本発明の第１〜第３の態様に係る査定方法において、前記レビュー作業は、電子データが予め定められた抽出条件を満たすか否かを判断する作業であり、前記精度評価処理は、前記査定対象レビューアによる前記レビュー作業における判断結果を、前記査定対象レビューア以外のレビューアによる前記レビュー作業における判断結果と比較することによって、前記査定対象レビューアのレビュー精度を評価する処理である、方法としてもよい。

【0118】

本発明の第４−１の態様に係る査定方法は、本発明の第１〜第４の態様に係る査定方法において、前記精度評価処理は、前記データセットから抜き出された電子データからなる部分データセットにおいて、前記査定対象レビューアが予め定められた抽出条件を満たすと判断した電子データとチェッカが当該抽出条件を満たすと判断した電子データとを比較することによって、前記査定対象レビューアのレビュー精度を評価する処理である、方法としてもよい。

【0119】

本発明の第４−２の態様に係る査定方法は、本発明の第１〜第４の態様に係る査定方法おいて、前記精度評価処理は、前記データセットを包含する全体データセットに含まれる各電子データについて、該電子データが予め定められた抽出条件を満たす割合を表すスコアを付与するスコア付与ステップと、前記全体データセットに含まれる電子データについて、前記抽出条件を満たすと前記査定対象レビューアを含むレビューア群が判断する割合の前記スコアに対する分布と、前記データセットに含まれる電子データについて、前記抽出条件を満たすと前記査定対象レビューアが判断する割合の前記スコアに対する分布と、を比較することによって、前記レビュー精度を評価する精度評価ステップと、を含んでいる、方法としてもよい。

【0120】

本発明の第５の態様に係る査定方法は、本発明の第１〜第４の態様に係る査定方法において、前記査定対象レビューアのレビュー効率及びレビュー精度を入力とし、前記査定対象レビューアのレビュー能力を出力とする予め定められたアルゴリズムを用いて、前記査定対象レビューアのレビュー能力を査定する処理である、方法としてもよい。

【0121】

本発明の第６の態様に係る査定方法は、本発明の第１〜第５の態様に係る査定方法において、前記コントローラが、前記レビュー効率を可視化して出力する効率出力処理を更に含んでいる、方法としてもよい。

【0122】

本発明の第６−１の態様に係る査定方法は、本発明の第１〜第６の態様に係る査定方法において、前記効率出力処理は、前記レビュー効率に応じた、前記レビュー効率を示す色彩の連続的な変化、又は、前記レビュー効率を示すフォントの態様の変化によって、前記レビュー効率を可視化して出力する処理である、方法としてもよい。

【0123】

本発明の第７の態様に係る査定方法は、本発明の第１〜第６の態様に係る査定方法において、前記コントローラが、前記レビュー能力を可視化して出力する能力出力処理を更に含んでいる、方法としてもよい。

【0124】

本発明の第７−１の態様に係る査定方法は、本発明の第１〜第７の態様に係る査定方法において、前記能力出力処理は、所定の期間における、前記レビュー効率と、前記レビュー精度との関係を示すグラフを作成することによって、前記レビュー能力を可視化して出力する処理である、方法としてもよい。

【0125】

本発明の第８の態様に係る報酬設定方法は、本発明の第１〜第７の態様に係る査定方法によって査定されたレビューアの能力に応じて該レビューアに支払う報酬を設定する報酬設定方法であって、前記査定方法によって査定される第１のレビューアのレビュー能力が、前記査定方法によって査定される第２のレビューアのレビュー能力よりも高いとき、第１のレビューアに支払う報酬が、第２のレビューアに支払う報酬より多くなるように、前記報酬を算定する算定処理を含んでいる、方法としてもよい。

【0126】

本発明の第９の態様に係る報酬設定方法は、本発明の第８の態様に係る報酬設定方法において、前記算定処理は、予め定められた前記報酬の下限値を下回らないように、かつ、予め定められた前記報酬の上限値を上回らないように、前記報酬を算定する処理である、方法としてもよい。

【0127】

本発明の第１０の態様に係るコンピュータは、少なくとも１つの電子データを含むデータセットを格納したメモリとコントローラとを備え、該データセットをレビューする査定対象レビューアのレビュー能力を査定するコンピュータであって、前記コントローラは、各電子データの予測レビュー時間、及び、前記査定対象レビューアが該電子データに対する実際のレビュー作業に要した実レビュー時間に応じて、前記査定対象レビューアのレビュー効率を評価する効率評価処理と、前記査定対象レビューアが前記データセットをレビューすることにより得たレビュー結果を検証することによって、前記査定対象レビューアのレビュー精度を評価する精度評価処理と、前記効率評価処理にて評価されたレビュー効率、及び、前記精度評価処理にて評価されたレビュー精度に応じて、前記査定対象レビューアのレビュー能力を査定する査定処理と、を実行する、構成である。

【0128】

本発明の第１１の態様に係るプログラムは、本発明の第１〜第７の態様に係る査定方法を前記コンピュータに実施させるためのプログラムであって、前記各処理を前記コンピュータに実行させるためのプログラムである。

【0129】

本発明の第１２の態様に係るプログラムは、本発明の第８又は第９の態様に係る報酬設定方法を前記コンピュータに実施させるためのプログラムであって、前記各処理を前記コンピュータに実行させるためのプログラムである。

【0130】

なお、本発明の各態様は、例えば、ディスカバリにおいて米国裁判所に提出するデータを選択するためのレビュー作業に好適に適用することができる。ただし、本発明の各態様が適用可能なレビュー作業は、ディスカバリのためのレビュー作業に限定されない。大量の電子データから所望の電子データを抽出するために、人手によるレビュー作業を要する任意の状況において広く適用可能である。

【0131】

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

【符号の説明】

【0132】

１：コンピュータ、１１：主メモリ、１２：コントローラ、Ｓ０：査定方法、Ｓ１：報酬設定方法、Ｓ１１：計測処理、Ｓ１２：抽出処理、Ｓ１３：予測処理、Ｓ１４：効率評価処理、Ｓ１５：精度評価処理、Ｓ１６：査定処理、Ｓ１７：算定処理、Ｓ２：構築方法、Ｓ２１：設定処理、Ｓ２２：選択処理、Ｓ２３：学習処理、Ｓ２４：評価処理

【要約】

【課題】レビューアのレビュー能力を適切に査定することが可能な査定方法、及び、レビューアに支払う報酬を適切に設定することが可能な報酬設定方法を実現する。
【解決手段】コンピュータ（１）は、メモリ（１１、１３）とコントローラ（１２）とを備え、コントローラ（１２）は、各電子データ（Ｄｉ）の予測レビュー時間及び実レビュー時間に応じて、査定対象レビューアのレビュー効率を評価する効率評価処理と、査定対象レビューアによるレビュー結果を検証することによって、査定対象レビューアのレビュー精度を評価する精度評価処理と、効率評価処理にて評価されたレビュー効率、及び、精度評価処理にて評価されたレビュー精度に応じて、査定対象レビューアのレビュー能力を査定する査定処理と、を実行する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】