ホーム > 特許ランキング > アイ・ピー・ファイン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-10
(45)【発行日】2023-11-20
(54)【発明の名称】評価済文献診断システム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20231113BHJP
【ＦＩ】
G06Q50/10
【請求項の数】
11
(21)【出願番号】P 2022032546
(22)【出願日】2022-03-03
(65)【公開番号】P2023107712
(43)【公開日】2023-08-03
【審査請求日】2022-04-18
(31)【優先権主張番号】P 2022008867
(32)【優先日】2022-01-24
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】303053839
【氏名又は名称】アイ・ピー・ファイン株式会社
(74)【代理人】
【識別番号】100098545
【弁理士】
【氏名又は名称】阿部 伸一
(74)【代理人】
【識別番号】100189717
【弁理士】
【氏名又は名称】太田 貴章
(72)【発明者】
【氏名】平尾 啓
(72)【発明者】
【氏名】古川 智昭
(72)【発明者】
【氏名】中西 昌弘
【審査官】速水 雄太
(56)【参考文献】
【文献】特許第６４５３５０２（ＪＰ，Ｂ１）
【文献】安藤 俊幸，特許調査におけるAIクラス分類の精度評価，第１８回情報プロフェッショナルシンポジウム予稿集 [オンライン]，一般社団法人 情報科学技術協会，2021年07月01日，第１３－１８頁，［２０２３年６月１５日検索］，インターネット：<URL: https://www.jstage.jst.go.jp/article/infopro/2021/0/2021_13/_article/-char/j>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とからなる評価済文献についての評価の妥当性をＡＩ判定を用いてコンピュータが診断する評価済文献診断システムであって、前記コンピュータが、
複数の前記評価済サーチ文献と複数の前記評価済ノイズ文献とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分割する分割ステップを実行し、
前記分割ステップでは、前記第１群に分割された複数の前記評価済サーチ文献からなる評価済サーチ文献群と前記第１群に分割された複数の前記評価済ノイズ文献からなる評価済ノイズ文献群とを第１教師文献とし、前記第１群に分割されなかった前記評価済サーチ文献群と前記第１群に分割されなかった前記評価済ノイズ文献群とを第１判定文献とし、前記第Ｎ群に分割された前記評価済サーチ文献群と前記第Ｎ群に分割された前記評価済ノイズ文献群とを第Ｎ教師文献とし、前記第Ｎ群に分割されなかった前記評価済サーチ文献群と前記第Ｎ群に分割されなかった前記評価済ノイズ文献群とを第Ｎ判定文献とし、
前記分割ステップを実行した後に、前記第１教師文献と前記第１判定文献とを前記第１群とし、前記第Ｎ教師文献と前記第Ｎ判定文献とを前記第Ｎ群として、前記ＡＩ判定を行うＡＩ判定コンピュータに判定用データを送信するデータ送信ステップを実行し、
前記第１判定文献から前記第Ｎ判定文献について判定結果データを前記ＡＩ判定コンピュータから受信すると、受信した前記判定結果データを用いて、前記評価済文献をサーチ判別文献とノイズ判別文献とに判別する文献判別ステップを実行し、
前記サーチ対象として評価されていた前記評価済サーチ文献が、前記文献判別ステップで前記ノイズ判別文献に判別されると、前記評価済サーチ文献を偽陰性文献と判断する偽陰性文献判断ステップを実行し、
前記偽陰性文献判断ステップで判断された前記偽陰性文献について、偽陰性文献数又は偽陰性比率を表示する出力ステップを実行する
ことを特徴とする評価済文献診断システム。
【請求項2】
既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とからなる評価済文献についての評価の妥当性をＡＩ判定を用いてコンピュータが診断する評価済文献診断システムであって、前記コンピュータが、
前記評価済文献の一部を教師文献とし、その他を判定文献として抽出し、抽出した前記教師文献と前記判定文献とを判定用データとして前記ＡＩ判定を行うＡＩ判定コンピュータに送信するデータ送信ステップを実行し、
前記判定文献についてサーチ確率及びノイズ確率の少なくともいずれかの判定結果データを前記ＡＩ判定コンピュータから受信すると、受信した前記判定結果データを用いて、前記サーチ確率及び前記ノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を前記判定文献に付与し、任意に設定できる目標順位値を基準にして、前記順位値によって前記判定文献をサーチ判別文献とノイズ判別文献とに判別する文献判別ステップを実行し、
前記判定文献についてキーワード付与率を算出するキーワード付与率算出ステップを実行し、
前記判定文献に付与された前記順位値と前記キーワード付与率によりグラフを表示すると共に前記判定文献に付与している評価種別を前記グラフに表示する出力ステップを実行する
ことを特徴とする評価済文献診断システム。
【請求項3】
前記コンピュータが、前記ノイズ対象として評価されていた前記評価済ノイズ文献が、前記文献判別ステップで前記サーチ判別文献に判別されると、前記評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップを実行し、
前記出力ステップでは、前記偽陽性文献判断ステップで判断した前記偽陽性文献について、偽陽性文献数又は偽陽性比率を表示する
ことを特徴とする請求項１に記載の評価済文献診断システム。
【請求項4】
前記出力ステップでは、前記偽陰性文献について、前記評価済文献を識別する識別番号を表示することを特徴とする請求項１に記載の評価済文献診断システム。
【請求項5】
前記出力ステップでは、前記偽陽性文献について、前記評価済文献を識別する識別番号を表示することを特徴とする請求項３に記載の評価済文献診断システム。
【請求項6】
前記判定結果データが、サーチ確率及びノイズ確率であり、前記文献判別ステップでは、前記サーチ確率と前記ノイズ確率とから確率差を算出し、算出した前記確率差とあらかじめ設定した判定境界値とを比較して、前記評価済文献を前記サーチ判別文献と前記ノイズ判別文献とに判別する
ことを特徴とする請求項１から請求項５のいずれか１項に記載の評価済文献診断システム。
【請求項7】
前記出力ステップでは、前記偽陰性文献又は前記偽陽性文献について、確率差による判定順位を表示することを特徴とする請求項３に記載の評価済文献診断システム。
【請求項8】
前記評価済サーチ文献として、第１評価による第１評価済サーチ文献と、前記第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有し、前記偽陰性文献判断ステップでは、前記第１評価済サーチ文献については第１偽陰性文献として、前記第２評価済サーチ文献については第２偽陰性文献として判断し、
前記出力ステップでは、前記第１偽陰性文献及び前記第２偽陰性文献についての文献データを表示する
ことを特徴とする請求項１に記載の評価済文献診断システム。
【請求項9】
前記偽陰性文献判断ステップで判断される前記偽陰性文献が所定数以下である場合には、前記出力ステップでは、前記評価済サーチ文献群が適格であることを表示することを特徴とする請求項１に記載の評価済文献診断システム。
【請求項10】
前記評価済文献を評価済特許文献としたことを特徴とする請求項１から請求項９のいずれか１項に記載の評価済文献診断システム。
【請求項11】
前記グラフで表示された前記判定文献を指定することにより前記判定文献の情報を表示することを特徴とする請求項２に記載の評価済文献診断システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とについての評価の妥当性を診断する評価済文献診断システムに関する。
【背景技術】
【0002】
国内企業では、知的財産部門や研究開発部門において、その目的に応じて日常的に各種の特許調査業務が行われており多くの時間と労力が掛かっている。中でも技術開発や製品開発における第三者権利の侵害調査では調査漏れや誤評価は許されず、検索した特許公報全件を人手によりくまなく目を通し評価が行われている。しかしながら、検索データには多くのノイズ特許が含まれており、調査に要する大半の時間がノイズ除去に費やされているのが現状である。
そこで本出願人は、人工知能、アルゴリズム、又はあらかじめ設定された所定条件によって確率判定値が付与された未評価案件データの中から、評価対象案件データを選択する際の判断を容易とする特許調査支援方法を提案している（特許文献１）。
特許文献１によれば、第１の軸をサーチ確率、第２の軸をノイズ確率とする少なくとも２軸を有するグラフに表示されるプロットの散布状況を把握した上で評価対象案件データを選択できるため、サーチ対象確率判定値やノイズ対象確率判定値からでは判断しづらい境界を認識でき、評価対象案件データを的確に選択できる。
更に特許文献１によれば、抽出した評価対象案件データを評価し、評価した結果、テーマでは必要なサーチ対象案件であると評価されると第１群教師案件データに追加し、評価した結果、テーマでは不要なノイズ対象案件であると評価されると第２群教師案件データに追加することで、教師特許の件数を増やすことができ、更に的確なＡＩ（人工知能）判定を得ることができる。
このように近年、ＡＩ（人工知能）の活用により特許調査の効率アップを図る提案が多くなされるようになってきた。しかしながら、このような新しい方法を用いても特許調査の精度が保証されるわけではなく、人手による判断の過程においてはやはり評価漏れや誤評価のリスクは存在することになる。このため重要な特許調査では再度、見直しを行うことが望ましいが件数が膨大であり時間的にも到底無理なため一度の調査で結果を出さざるを得ないのが現状である。
そこで本出願人は、人工知能、アルゴリズム、又はあらかじめ設定された所定条件によって確率判定値が付与された未評価案件データの中から、評価対象案件データを選択する際の判断を容易とする特許調査支援方法を提案している（特許文献１）。
特許文献１によれば、第１の軸をサーチ確率、第２の軸をノイズ確率とする少なくとも２軸を有するグラフに表示されるプロットの散布状況を把握した上で評価対象案件データを選択できるため、サーチ対象確率判定値やノイズ対象確率判定値からでは判断しづらい境界を認識でき、評価対象案件データを的確に選択できる。
更に特許文献１によれば、抽出した評価対象案件データを評価し、評価した結果、テーマでは必要なサーチ対象案件であると評価されると第１群教師案件データに追加し、評価した結果、テーマでは不要なノイズ対象案件であると評価されると第２群教師案件データに追加することで、教師特許の件数を増やすことができ、更に的確なＡＩ（人工知能）判定を得ることができる。
このように近年、ＡＩ（人工知能）の活用により特許調査の効率アップを図る提案が多くなされるようになってきた。しかしながら、このような新しい方法を用いても特許調査の精度が保証されるわけではなく、人手による判断の過程においてはやはり評価漏れや誤評価のリスクは存在することになる。このため重要な特許調査では再度、見直しを行うことが望ましいが件数が膨大であり時間的にも到底無理なため一度の調査で結果を出さざるを得ないのが現状である。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６４５３５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特に権利侵害調査等においては、ＡＩを活用して評価漏れや誤評価リスクのある特許を選択し時間的にも労力的にも負担が掛からない方法で特許調査の見直しを行うことが必要である。
【0005】
本発明は、調査対象全件の評価済特許であるサーチ評価文献とノイズ評価文献を均等に複数の集合に分割し、一部を教師特許群とし残りを判定特許群としてＡＩ判定処理を行い、評価の見直し対象特許を自動で出力することにより特許調査の精度向上を図ることができる評価済文献診断システムを提供することを目的とする。
また、ＡＩを活用してサーチ判定文献とノイズ判定文献とに区分した判定結果並びに判定順位と、人手により設定した評価済特許のキーワード包含率を用いてグラフを表示し、評価済特許に評価付けされた評価記号もそれぞれグラフに表示することにより、評価の妥当性と、キーワード設定の妥当性を見える化して特許調査の効率アップを図ることを第二の目的とする。
また、ＡＩを活用してサーチ判定文献とノイズ判定文献とに区分した判定結果並びに判定順位と、人手により設定した評価済特許のキーワード包含率を用いてグラフを表示し、評価済特許に評価付けされた評価記号もそれぞれグラフに表示することにより、評価の妥当性と、キーワード設定の妥当性を見える化して特許調査の効率アップを図ることを第二の目的とする。
【課題を解決するための手段】
【0006】
請求項１記載の本発明の評価済文献診断システムは、既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とからなる評価済文献についての評価の妥当性をＡＩ判定を用いてコンピュータが診断する評価済文献診断システムであって、前記コンピュータが、複数の前記評価済サーチ文献と複数の前記評価済ノイズ文献とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分割する分割ステップを実行し、前記分割ステップでは、前記第１群に分割された複数の前記評価済サーチ文献からなる評価済サーチ文献群と前記第１群に分割された複数の前記評価済ノイズ文献からなる評価済ノイズ文献群とを第１教師文献とし、前記第１群に分割されなかった前記評価済サーチ文献群と前記第１群に分割されなかった前記評価済ノイズ文献群とを第１判定文献とし、前記第Ｎ群に分割された前記評価済サーチ文献群と前記第Ｎ群に分割された前記評価済ノイズ文献群とを第Ｎ教師文献とし、前記第Ｎ群に分割されなかった前記評価済サーチ文献群と前記第Ｎ群に分割されなかった前記評価済ノイズ文献群とを第Ｎ判定文献とし、前記分割ステップを実行した後に、前記第１教師文献と前記第１判定文献とを前記第１群とし、前記第Ｎ教師文献と前記第Ｎ判定文献とを前記第Ｎ群として、前記ＡＩ判定を行うＡＩ判定コンピュータに判定用データを送信するデータ送信ステップを実行し、前記第１判定文献から前記第Ｎ判定文献について判定結果データを前記ＡＩ判定コンピュータから受信すると、受信した前記判定結果データを用いて、前記評価済文献をサーチ判別文献とノイズ判別文献とに判別する文献判別ステップを実行し、前記サーチ対象として評価されていた前記評価済サーチ文献が、前記文献判別ステップで前記ノイズ判別文献に判別されると、前記評価済サーチ文献を偽陰性文献と判断する偽陰性文献判断ステップを実行し、前記偽陰性文献判断ステップで判断された前記偽陰性文献について、偽陰性文献数又は偽陰性比率を表示する出力ステップを実行することを特徴とする。
請求項２記載の本発明の評価済文献診断システムは、既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とからなる評価済文献についての評価の妥当性をＡＩ判定を用いてコンピュータが診断する評価済文献診断システムであって、前記コンピュータが、前記評価済文献の一部を教師文献とし、その他を判定文献として抽出し、抽出した前記教師文献と前記判定文献とを判定用データとして前記ＡＩ判定を行うＡＩ判定コンピュータに送信するデータ送信ステップを実行し、前記判定文献についてサーチ確率及びノイズ確率の少なくともいずれかの判定結果データを前記ＡＩ判定コンピュータから受信すると、受信した前記判定結果データを用いて、前記サーチ確率及び前記ノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を前記判定文献に付与し、任意に設定できる目標順位値を基準にして、前記順位値によって前記判定文献をサーチ判別文献とノイズ判別文献とに判別する文献判別ステップを実行し、前記判定文献についてキーワード付与率を算出するキーワード付与率算出ステップを実行し、前記判定文献に付与された前記順位値と前記キーワード付与率によりグラフを表示すると共に前記判定文献に付与している評価種別を前記グラフに表示する出力ステップを実行することを特徴とする。
請求項３記載の本発明は、請求項１に記載の評価済文献診断システムにおいて、前記コンピュータが、前記ノイズ対象として評価されていた前記評価済ノイズ文献が、前記文献判別ステップで前記サーチ判別文献に判別されると、前記評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップを実行し、前記出力ステップでは、前記偽陽性文献判断ステップで判断した前記偽陽性文献について、偽陽性文献数又は前記評価済ノイズ文献に対する前記偽陽性文献の偽陽性比率を表示することを特徴とする。
請求項４記載の本発明は、請求項１に記載の評価済文献診断システムにおいて、前記出力ステップでは、前記偽陰性文献について、前記評価済文献を識別する識別番号を表示することを特徴とする。
請求項５記載の本発明は、請求項３に記載の評価済文献診断システムにおいて、前記出力ステップでは、前記偽陽性文献について、前記評価済文献を識別する識別番号を表示することを特徴とする。
請求項６記載の本発明は、請求項１から請求項５のいずれか１項に記載の評価済文献診断システムにおいて、前記判定結果データが、サーチ確率及びノイズ確率であり、前記文献判別ステップでは、前記サーチ確率と前記ノイズ確率とから確率差を算出し、算出した前記確率差とあらかじめ設定した判定境界値とを比較して、前記評価済文献を前記サーチ判別文献と前記ノイズ判別文献とに判別することを特徴とする。
請求項７記載の本発明は、請求項３に記載の評価済文献診断システムにおいて、前記出力ステップでは、前記偽陰性文献又は前記偽陽性文献について、確率差による判定順位を表示することを特徴とする。
請求項８記載の本発明は、請求項１に記載の評価済文献診断システムにおいて、前記評価済サーチ文献として、第１評価による第１評価済サーチ文献と、前記第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有し、前記偽陰性文献判断ステップでは、前記第１評価済サーチ文献については第１偽陰性文献として、前記第２評価済サーチ文献については第２偽陰性文献として判断し、前記出力ステップでは、前記第１偽陰性文献及び前記第２偽陰性文献についての文献データを表示することを特徴とする。
請求項９記載の本発明は、請求項１に記載の評価済文献診断システムにおいて、前記偽陰性文献判断ステップで判断される前記偽陰性文献が所定数以下である場合には、前記出力ステップでは、前記評価済サーチ文献群が適格であることを表示することを特徴とする。
請求項１０記載の本発明は、請求項１から請求項９のいずれか１項に記載の評価済文献診断システムにおいて、前記評価済文献を評価済特許文献としたことを特徴とする。
請求項１１記載の本発明は、請求項２に記載の評価済文献診断システムにおいて、前記グラフで表示された前記判定文献を指定することにより前記判定文献の情報を表示することを特徴とする。
請求項２記載の本発明の評価済文献診断システムは、既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とからなる評価済文献についての評価の妥当性をＡＩ判定を用いてコンピュータが診断する評価済文献診断システムであって、前記コンピュータが、前記評価済文献の一部を教師文献とし、その他を判定文献として抽出し、抽出した前記教師文献と前記判定文献とを判定用データとして前記ＡＩ判定を行うＡＩ判定コンピュータに送信するデータ送信ステップを実行し、前記判定文献についてサーチ確率及びノイズ確率の少なくともいずれかの判定結果データを前記ＡＩ判定コンピュータから受信すると、受信した前記判定結果データを用いて、前記サーチ確率及び前記ノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を前記判定文献に付与し、任意に設定できる目標順位値を基準にして、前記順位値によって前記判定文献をサーチ判別文献とノイズ判別文献とに判別する文献判別ステップを実行し、前記判定文献についてキーワード付与率を算出するキーワード付与率算出ステップを実行し、前記判定文献に付与された前記順位値と前記キーワード付与率によりグラフを表示すると共に前記判定文献に付与している評価種別を前記グラフに表示する出力ステップを実行することを特徴とする。
請求項３記載の本発明は、請求項１に記載の評価済文献診断システムにおいて、前記コンピュータが、前記ノイズ対象として評価されていた前記評価済ノイズ文献が、前記文献判別ステップで前記サーチ判別文献に判別されると、前記評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップを実行し、前記出力ステップでは、前記偽陽性文献判断ステップで判断した前記偽陽性文献について、偽陽性文献数又は前記評価済ノイズ文献に対する前記偽陽性文献の偽陽性比率を表示することを特徴とする。
請求項４記載の本発明は、請求項１に記載の評価済文献診断システムにおいて、前記出力ステップでは、前記偽陰性文献について、前記評価済文献を識別する識別番号を表示することを特徴とする。
請求項５記載の本発明は、請求項３に記載の評価済文献診断システムにおいて、前記出力ステップでは、前記偽陽性文献について、前記評価済文献を識別する識別番号を表示することを特徴とする。
請求項６記載の本発明は、請求項１から請求項５のいずれか１項に記載の評価済文献診断システムにおいて、前記判定結果データが、サーチ確率及びノイズ確率であり、前記文献判別ステップでは、前記サーチ確率と前記ノイズ確率とから確率差を算出し、算出した前記確率差とあらかじめ設定した判定境界値とを比較して、前記評価済文献を前記サーチ判別文献と前記ノイズ判別文献とに判別することを特徴とする。
請求項７記載の本発明は、請求項３に記載の評価済文献診断システムにおいて、前記出力ステップでは、前記偽陰性文献又は前記偽陽性文献について、確率差による判定順位を表示することを特徴とする。
請求項８記載の本発明は、請求項１に記載の評価済文献診断システムにおいて、前記評価済サーチ文献として、第１評価による第１評価済サーチ文献と、前記第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有し、前記偽陰性文献判断ステップでは、前記第１評価済サーチ文献については第１偽陰性文献として、前記第２評価済サーチ文献については第２偽陰性文献として判断し、前記出力ステップでは、前記第１偽陰性文献及び前記第２偽陰性文献についての文献データを表示することを特徴とする。
請求項９記載の本発明は、請求項１に記載の評価済文献診断システムにおいて、前記偽陰性文献判断ステップで判断される前記偽陰性文献が所定数以下である場合には、前記出力ステップでは、前記評価済サーチ文献群が適格であることを表示することを特徴とする。
請求項１０記載の本発明は、請求項１から請求項９のいずれか１項に記載の評価済文献診断システムにおいて、前記評価済文献を評価済特許文献としたことを特徴とする。
請求項１１記載の本発明は、請求項２に記載の評価済文献診断システムにおいて、前記グラフで表示された前記判定文献を指定することにより前記判定文献の情報を表示することを特徴とする。
【発明の効果】
【0007】
本発明によれば、コンピュータが、分割ステップ、データ送信ステップ、偽陰性文献判断ステップ、及び出力ステップを実行することで、サーチ対象であると評価されていた評価済サーチ文献の評価の妥当性を診断でき、偽陰性文献についての文献データを出力することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献の再評価を促すことができる。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施例における評価済文献診断システムのフローチャート
【図2】同評価済文献診断システムでの分割ステップ（Ｓ１）とＡＩ判定ステップ（Ｓ２）との説明図
【図3】同評価済文献診断システムでのＡＩ判定結果から、偽陰性文献判断及び偽陽性文献判断までを説明するためのイメージ図
【図4】同評価済文献診断システムで出力される文献データのイメージ図
【図5】同評価済文献診断システムで出力される診断結果のイメージ図
【図6】同評価済文献診断システムで出力される診断結果の他のイメージ図
【図7】本発明の他の実施例における評価済文献診断システムのフローチャート
【図9】キーワードの設定と算出される付与率の他の利用形態を示す画面イメージ図
【図10】本実施例における評価済文献診断システムで出力される診断結果の他のイメージ図
【発明を実施するための形態】
【0009】
本発明の第１の実施の形態による評価済文献診断システムは、コンピュータが、複数の評価済サーチ文献と複数の評価済ノイズ文献とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分割する分割ステップを実行し、分割ステップでは、第１群に分割された複数の評価済サーチ文献からなる評価済サーチ文献群と第１群に分割された複数の評価済ノイズ文献からなる評価済ノイズ文献群とを第１教師文献とし、第１群に分割されなかった評価済サーチ文献群と第１群に分割されなかった評価済ノイズ文献群とを第１判定文献とし、第Ｎ群に分割された評価済サーチ文献群と第Ｎ群に分割された評価済ノイズ文献群とを第Ｎ教師文献とし、第Ｎ群に分割されなかった評価済サーチ文献群と第Ｎ群に分割されなかった評価済ノイズ文献群とを第Ｎ判定文献とし、分割ステップを実行した後に、第１教師文献と第１判定文献とを第１群とし、第Ｎ教師文献と第Ｎ判定文献とを第Ｎ群として、ＡＩ判定を行うＡＩ判定コンピュータに判定用データを送信するデータ送信ステップを実行し、第１判定文献から第Ｎ判定文献について判定結果データをＡＩ判定コンピュータから受信すると、受信した判定結果データを用いて、評価済文献をサーチ判別文献とノイズ判別文献とに判別する文献判別ステップを実行し、サーチ対象として評価されていた評価済サーチ文献が、文献判別ステップでノイズ判別文献に判別されると、評価済サーチ文献を偽陰性文献と判断する偽陰性文献判断ステップを実行し、偽陰性文献判断ステップで判断された偽陰性文献について、偽陰性文献数又は偽陰性比率を表示する出力ステップを実行するものである。本実施の形態によれば、コンピュータが、分割ステップ、データ送信ステップ、偽陰性文献判断ステップ、及び出力ステップを実行することで、サーチ対象であると評価されていた評価済サーチ文献の評価の妥当性を診断できる。
【0010】
本発明の第２の実施の形態による評価済文献診断システムは、コンピュータが、評価済文献の一部を教師文献とし、その他を判定文献として抽出し、抽出した前記教師文献と前記判定文献とを判定用データとしてＡＩ判定を行うＡＩ判定コンピュータに送信するデータ送信ステップを実行し、判定文献についてサーチ確率及びノイズ確率の少なくともいずれかの判定結果データをＡＩ判定コンピュータから受信すると、受信した判定結果データを用いて、サーチ確率及びノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を判定文献に付与し、任意に設定できる目標順位値を基準にして、順位値によって判定文献をサーチ判別文献とノイズ判別文献とに判別する文献判別ステップを実行し、判定文献についてキーワード付与率を算出するキーワード付与率算出ステップを実行し、判定文献に付与された順位値とキーワード付与率によりグラフを表示すると共に判定文献に付与している評価種別をグラフに表示する出力ステップを実行するものである。本実施の形態によれば、キーワード付与率と順位値との関係がグラフで表示され、表示されたグラフの中に評価種別が更に表示されるため、判定文献に対して付与した評価、キーワード付与率、及び順位順との関係を把握でき、判定文献に対して付与した評価の妥当性を診断できる。
【0011】
本発明の第３の実施の形態は、第１の実施の形態による評価済文献診断システムにおいて、コンピュータが、ノイズ対象として評価されていた評価済ノイズ文献が、文献判別ステップでサーチ判別文献に判別されると、評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップを実行し、出力ステップでは、偽陽性文献判断ステップで判断した偽陽性文献について、偽陽性文献数又は評価済ノイズ文献に対する偽陽性文献の偽陽性比率を表示するものである。本実施の形態によれば、ノイズ対象として評価されていた評価済ノイズ文献の評価の妥当性を診断できる。
【0012】
本発明の第４の実施の形態は、第１の実施の形態による評価済文献診断システムにおいて、出力ステップでは、偽陰性文献について、評価済文献を識別する識別番号を表示するものである。本実施の形態によれば、偽陰性文献についての識別番号を表示することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献の再評価を促すことができる。
【0013】
本発明の第５の実施の形態は、第３の実施の形態による評価済文献診断システムにおいて、出力ステップでは、偽陽性文献について、評価済文献を識別する識別番号を表示するものである。本実施の形態によれば、偽陽性文献についての識別番号を表示することで、再検討すべき評価済ノイズ文献を特定でき、この偽陽性文献を再検討することで、評価済ノイズ文献の誤評価リスクを回避することができる。
【0014】
本発明の第６の実施の形態は、第１から第５のいずれかの実施の形態による評価済文献診断システムにおいて、判定結果データが、サーチ確率及びノイズ確率であり、文献判別ステップでは、サーチ確率とノイズ確率とから確率差を算出し、算出した確率差とあらかじめ設定した判定境界値とを比較して、評価済文献をサーチ判別文献とノイズ判別文献とに判別するものである。本実施の形態によれば、サーチ確率及びノイズ確率を基にした確率差を用いることで、より精度の高い評価の妥当性を診断できる。
【0015】
本発明の第７の実施の形態は、第３の実施の形態による評価済文献診断システムにおいて、出力ステップでは、偽陰性文献又は偽陽性文献について、確率差による判定順位を表示するものである。本実施の形態によれば、判定順位を表示することで、再検討を行う際の目安にすることができる。
【0016】
本発明の第８の実施の形態は、第１の実施の形態による評価済文献診断システムにおいて、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有し、偽陰性文献判断ステップでは、第１評価済サーチ文献については第１偽陰性文献として、第２評価済サーチ文献については第２偽陰性文献として判断し、出力ステップでは、第１偽陰性文献及び第２偽陰性文献についての文献データを表示するものである。本実施の形態によれば、評価が複数であってもそれぞれの評価の妥当性を診断できる。
【0017】
本発明の第９の実施の形態は、第１の実施の形態による評価済文献診断システムにおいて、偽陰性文献判断ステップで判断される偽陰性文献が所定数以下である場合には、出力ステップでは、評価済サーチ文献群が適格であることを表示するものである。本実施の形態によれば、評価済サーチ文献を未評価文献に対する教師文献として用いることができることを示唆できる。
【0018】
本発明の第１０の実施の形態は、第１から第９のいずれかの実施の形態による評価済文献診断システムにおいて、評価済文献を評価済特許文献としたものである。本実施の形態によれば、例えば所定期間のＳＤＩ（Selective Dissemination of Information）機能により抽出した特許の評価結果の妥当性を診断でき、その後の評価にあたってはＡＩ判定を利用して目標順位値の件数を評価対象件数の目安にでき、評価対象案件を一部に絞ることができる。
【0019】
本発明の第１１の実施の形態は、第２の実施の形態による評価済文献診断システムにおいて、グラフで表示された判定文献を指定することにより判定文献の情報を表示するものである。本実施の形態によれば、判定文献の情報を表示することで、判定文献の再評価を促すことができる。
【実施例】
【0020】
以下に、本発明の評価済文献診断システムの一実施例について説明する。
図１は本発明の一実施例における評価済文献診断システムのフローチャートである。
本実施例における評価済文献診断システムは、既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とからなる評価済文献について、ＡＩ判定を用いてコンピュータが評価の妥当性を診断する。
データベースには、複数の評価済サーチ文献群と複数の評価済ノイズ文献とからなる評価済文献を蓄積している。
図１は本発明の一実施例における評価済文献診断システムのフローチャートである。
本実施例における評価済文献診断システムは、既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とからなる評価済文献について、ＡＩ判定を用いてコンピュータが評価の妥当性を診断する。
データベースには、複数の評価済サーチ文献群と複数の評価済ノイズ文献とからなる評価済文献を蓄積している。
【0021】
コンピュータは、分割ステップ（Ｓ１）、データ送信ステップ（Ｓ２）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行う。なお、ＡＩ判定は、分割ステップ（Ｓ１）、データ送信ステップ（Ｓ２）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行うコンピュータとは別のＡＩ判定コンピュータが行うが、分割ステップ（Ｓ１）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行うコンピュータで行ってもよい。
【0022】
分割ステップ（Ｓ１）では、評価済サーチ文献群と評価済ノイズ文献群とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分割する。
分割ステップ（Ｓ１）では、第１群に分割された複数の評価済サーチ文献からなる評価済サーチ文献群と第１群に分割された複数の評価済ノイズ文献からなる評価済ノイズ文献群とを第１教師文献とし、第１群に分割されなかった評価済サーチ文献群と第１群に分割されなかった評価済ノイズ文献群とを第１判定文献とし、第Ｎ群に分割された評価済サーチ文献群と第Ｎ群に分割された評価済ノイズ文献群とを第Ｎ教師文献とし、第Ｎ群に分割されなかった評価済サーチ文献群と第Ｎ群に分割されなかった評価済ノイズ文献群とを第Ｎ判定文献とする。
分割ステップ（Ｓ１）では、第１群に分割された複数の評価済サーチ文献からなる評価済サーチ文献群と第１群に分割された複数の評価済ノイズ文献からなる評価済ノイズ文献群とを第１教師文献とし、第１群に分割されなかった評価済サーチ文献群と第１群に分割されなかった評価済ノイズ文献群とを第１判定文献とし、第Ｎ群に分割された評価済サーチ文献群と第Ｎ群に分割された評価済ノイズ文献群とを第Ｎ教師文献とし、第Ｎ群に分割されなかった評価済サーチ文献群と第Ｎ群に分割されなかった評価済ノイズ文献群とを第Ｎ判定文献とする。
【0023】
コンピュータは、分割ステップ（Ｓ１）を実行した後に、ＡＩ判定コンピュータに判定用データを送信する（Ｓ２）。
データ送信ステップ（Ｓ２）では、第１教師文献と第１判定文献とを第１群とし、第Ｎ教師文献と第Ｎ判定文献とを第Ｎ群としてＡＩ判定を行うＡＩ判定コンピュータに判定用データを送信する。
ＡＩ判定では、第１群から第Ｎ群までについてそれぞれＡＩ判定を行う。例えば、第１群については、第１教師文献を用いて第１判定文献についてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、第２群については、第２教師文献を用いて第２判定文献についてサーチ確率及びノイズ確率の少なくともいずれかの判定を行う。なお、判定結果データは、サーチ確率及びノイズ確率であることが好ましい。
データ送信ステップ（Ｓ２）では、第１教師文献と第１判定文献とを第１群とし、第Ｎ教師文献と第Ｎ判定文献とを第Ｎ群としてＡＩ判定を行うＡＩ判定コンピュータに判定用データを送信する。
ＡＩ判定では、第１群から第Ｎ群までについてそれぞれＡＩ判定を行う。例えば、第１群については、第１教師文献を用いて第１判定文献についてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、第２群については、第２教師文献を用いて第２判定文献についてサーチ確率及びノイズ確率の少なくともいずれかの判定を行う。なお、判定結果データは、サーチ確率及びノイズ確率であることが好ましい。
【0024】
設定ステップ（Ｓ３）では、システムの利用者によって任意の件数を目標順位値として設定できる。なお、設定ステップ（Ｓ３）では、サーチ確率やノイズ確率を確率値として設定し、又はサーチ確率とノイズ確率との確率差を確率値として設定してもよい。また、設定ステップ（Ｓ３）では、分割ステップ（Ｓ１）における分割数を設定できるようにしてもよく、システムの利用者によって分割数を設定した場合には、分割ステップ（Ｓ１）では設定された分割数に分割する。すなわち、システムの利用者によってＮを３、４、又は５以上に設定することができる。
【0025】
文献判別ステップ（Ｓ４）では、第１判定文献から第Ｎ判定文献についての判定結果データをＡＩ判定コンピュータから受信すると、受信した判定結果データを用いて、評価済文献をサーチ判別文献とノイズ判別文献とに判別する。ＡＩ判定されたサーチ確率及びノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を文献に付与し、設定ステップ（Ｓ３）で設定された目標順位値を基準にして、順位値によって文献を、サーチ判別文献とノイズ判別文献とに判別する。なお、ＡＩ判定されたサーチ確率とノイズ確率とから算出された確率差を確率値とし、設定ステップ（Ｓ３）であらかじめ設定した判定境界値を基準にして、サーチ判別文献とノイズ判別文献とに判別することもできる。サーチ確率及びノイズ確率を基に算出した確率差とあらかじめ設定した判定境界値とを比較して、評価済文献をサーチ判別文献とノイズ判別文献とに判別することで、より精度の高い評価の妥当性を診断できる。
【0026】
偽陰性文献判断ステップ（Ｓ５）では、サーチ対象として評価されていた評価済サーチ文献が、文献判別ステップ（Ｓ４）でノイズ判別文献に判別されると、評価済サーチ文献を偽陰性文献と判断する。
偽陽性文献判断ステップ（Ｓ６）では、ノイズ対象として評価されていた評価済ノイズ文献が、文献判別ステップ（Ｓ４）でサーチ判別文献に判別されると、評価済ノイズ文献を偽陽性文献と判断する。
偽陽性文献判断ステップ（Ｓ６）では、ノイズ対象として評価されていた評価済ノイズ文献が、文献判別ステップ（Ｓ４）でサーチ判別文献に判別されると、評価済ノイズ文献を偽陽性文献と判断する。
【0027】
出力ステップ（Ｓ７）では、偽陰性文献判断ステップ（Ｓ５）で判断した偽陰性文献について、偽陰性文献数又は偽陰性比率を表示する。偽陰性比率は、評価済サーチ文献数に対する偽陰性文献数の比率である。また、出力ステップ（Ｓ７）では、偽陽性文献判断ステップ（Ｓ６）で判断した偽陽性文献について、偽陽性文献数又は偽陽性比率を表示する。偽陽性比率は、評価済ノイズ文献数に対する偽陽性文献数の比率である。また、出力ステップ（Ｓ７）では、偽陰性文献について、評価済文献を識別する識別番号や文献データを表示する。また、出力ステップ（Ｓ７）では、偽陽性文献について、評価済文献を識別する識別番号や文献データを表示する。なお、識別番号は、文献が特許文献である場合には、特許出願番号、公開番号、公表番号、又は特許番号である。また、出力ステップ（Ｓ７）では、偽陰性文献又は偽陽性文献について、確率差による判定順位を表示することが好ましい。また、出力ステップ（Ｓ７）では、偽陰性文献判断ステップ（Ｓ５）で判断される偽陰性文献が所定数以下である場合、及び偽陽性文献判断ステップ（Ｓ６）で判断される偽陽性文献が所定数以下である場合の少なくともいずれか、好ましくは、偽陰性文献及び偽陽性文献が所定数以下である場合には、評価済サーチ文献群が適格であることを表示する。
【0028】
再評価ステップ（Ｓ８）では、偽陰性文献判断ステップ（Ｓ５）で判断された偽陰性文献、及び偽陽性文献判断ステップ（Ｓ６）で判断された偽陽性文献について、利用者が再評価を行い、再評価の結果、評価済サーチ文献をノイズ文献に変更、又は評価済ノイズ文献をサーチ文献に変更する場合には、データベースに新たな評価済ノイズ文献又は評価済サーチ文献として登録する。
【0029】
このようにして再評価を行った後に、改めて分割ステップ（Ｓ１）、データ送信ステップ（Ｓ２）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行うことで、評価済サーチ文献及び評価済ノイズ文献の評価の精度を向上させることができ、その後の未評価文献を評価する際の適切な教師文献とすることができる。
【0030】
図２は本実施例における評価済文献診断システムでの分割ステップ（Ｓ１）の説明図である。
なお、図２（ａ）に示すように、本実施例では、評価済サーチ文献群と評価済ノイズ文献群とを、それぞれ第１群から第４群（Ｎ＝４）に分割している。また、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを有している。このように、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有していてもよい。なお、第１評価と第２評価については、例えば第１評価を関連文献、第２評価を参考文献とし、第１評価を重要性が高い文献、第２評価を重要性が高くない文献とし、又は、第１評価を「Ａ」技術に関する文献、第２評価を「Ｂ」技術に関する文献とすることができる。このように、第１評価と第２評価についてはシステムの利用者が自由に設定できるものである。
図２（ａ）では、第１評価済サーチ文献が４０件、第２評価済サーチ文献が８０件、評価済ノイズ文献が１２００件である場合を示している。
４０件の第１評価済サーチ文献を、第１群に１０件、第２群に１０件、第３群に１０件、第４群に１０件に分割し、８０件の第２評価済サーチ文献を、第１群に２０件、第２群に２０件、第３群に２０件、第４群に２０件に分割し、１２００件の評価済ノイズ文献を、第１群に３００件、第２群に３００件、第３群に３００件、第４群に３００件に分割している。
なお、本実施例では、評価済サーチ文献及び評価済ノイズ文献を第１群から第４群に均等に分割しているが、必ずしも均等に分割しなくてもよく、また、必ずしも全ての文献を用いて分割しなくてもよいが、全ての評価済サーチ文献及び全ての評価済ノイズ文献を各群に分割することが好ましい。
なお、図２（ａ）に示すように、本実施例では、評価済サーチ文献群と評価済ノイズ文献群とを、それぞれ第１群から第４群（Ｎ＝４）に分割している。また、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを有している。このように、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有していてもよい。なお、第１評価と第２評価については、例えば第１評価を関連文献、第２評価を参考文献とし、第１評価を重要性が高い文献、第２評価を重要性が高くない文献とし、又は、第１評価を「Ａ」技術に関する文献、第２評価を「Ｂ」技術に関する文献とすることができる。このように、第１評価と第２評価についてはシステムの利用者が自由に設定できるものである。
図２（ａ）では、第１評価済サーチ文献が４０件、第２評価済サーチ文献が８０件、評価済ノイズ文献が１２００件である場合を示している。
４０件の第１評価済サーチ文献を、第１群に１０件、第２群に１０件、第３群に１０件、第４群に１０件に分割し、８０件の第２評価済サーチ文献を、第１群に２０件、第２群に２０件、第３群に２０件、第４群に２０件に分割し、１２００件の評価済ノイズ文献を、第１群に３００件、第２群に３００件、第３群に３００件、第４群に３００件に分割している。
なお、本実施例では、評価済サーチ文献及び評価済ノイズ文献を第１群から第４群に均等に分割しているが、必ずしも均等に分割しなくてもよく、また、必ずしも全ての文献を用いて分割しなくてもよいが、全ての評価済サーチ文献及び全ての評価済ノイズ文献を各群に分割することが好ましい。
【0031】
図２（ｂ）から図２（ｅ）は、ＡＩ判定ステップ（Ｓ２）における教師文献と判定文献との関係を示している。
図２（ｂ）では、第１群に分割された評価済サーチ文献群（第１群１０件、第２群１０件）と第１群に分割された評価済ノイズ文献群（３００件）とを第１教師文献として、第２群、第３群、及び第４群に分割された評価済サーチ文献群（第１群３０件、第２群６０件）と、第２群、第３群、及び第４群に分割された評価済ノイズ文献群（９００件）とを第１判定文献にすることを示している。
同様に、図２（ｃ）では、第２群に分割された評価済サーチ文献群と第２群に分割された評価済ノイズ文献群とを第２教師文献として、第１群、第３群、及び第４群に分割された評価済サーチ文献群と、第１群、第３群、及び第４群に分割された評価済ノイズ文献群とを第２判定文献にすることを示している。
また、図２（ｄ）では、第３群に分割された評価済サーチ文献群と第３群に分割された評価済ノイズ文献群とを第３教師文献として、第１群、第２群、及び第４群に分割された評価済サーチ文献群と、第１群、第２群、及び第４群に分割された評価済ノイズ文献群とを第３判定文献にすることを示している。
また、図２（ｅ）では、第４群に分割された評価済サーチ文献群と第４群に分割された評価済ノイズ文献群とを第４教師文献として、第１群、第２群、及び第３群に分割された評価済サーチ文献群と、第１群、第２群、及び第３群に分割された評価済ノイズ文献群とを第４判定文献にすることを示している。
従って、ＡＩ判定コンピュータからは、第１判定文献から第Ｎ判定文献についての判定結果が送られてくる。すなわち、本実施例のように分割数を４分割とした場合には、１つの評価済文献については、３つの確率値が付与されることになり、サーチ判別文献とノイズ判別文献とに判別する際には、例えば３つの確率値の平均値を用いる。なお、平均値を用いる場合、異常値や外れ値が存在する際には、これらを除外して求めてもよく、代表値（中央値、最大値、最小値）を平均値として用いてもよい。
図２（ｂ）では、第１群に分割された評価済サーチ文献群（第１群１０件、第２群１０件）と第１群に分割された評価済ノイズ文献群（３００件）とを第１教師文献として、第２群、第３群、及び第４群に分割された評価済サーチ文献群（第１群３０件、第２群６０件）と、第２群、第３群、及び第４群に分割された評価済ノイズ文献群（９００件）とを第１判定文献にすることを示している。
同様に、図２（ｃ）では、第２群に分割された評価済サーチ文献群と第２群に分割された評価済ノイズ文献群とを第２教師文献として、第１群、第３群、及び第４群に分割された評価済サーチ文献群と、第１群、第３群、及び第４群に分割された評価済ノイズ文献群とを第２判定文献にすることを示している。
また、図２（ｄ）では、第３群に分割された評価済サーチ文献群と第３群に分割された評価済ノイズ文献群とを第３教師文献として、第１群、第２群、及び第４群に分割された評価済サーチ文献群と、第１群、第２群、及び第４群に分割された評価済ノイズ文献群とを第３判定文献にすることを示している。
また、図２（ｅ）では、第４群に分割された評価済サーチ文献群と第４群に分割された評価済ノイズ文献群とを第４教師文献として、第１群、第２群、及び第３群に分割された評価済サーチ文献群と、第１群、第２群、及び第３群に分割された評価済ノイズ文献群とを第４判定文献にすることを示している。
従って、ＡＩ判定コンピュータからは、第１判定文献から第Ｎ判定文献についての判定結果が送られてくる。すなわち、本実施例のように分割数を４分割とした場合には、１つの評価済文献については、３つの確率値が付与されることになり、サーチ判別文献とノイズ判別文献とに判別する際には、例えば３つの確率値の平均値を用いる。なお、平均値を用いる場合、異常値や外れ値が存在する際には、これらを除外して求めてもよく、代表値（中央値、最大値、最小値）を平均値として用いてもよい。
【0032】
図３は本実施例における評価済文献診断システムでのＡＩ判定結果から、偽陰性文献判断及び偽陽性文献判断までを説明するためのイメージ図である。
図３に示すように、本実施例のＡＩ判定では、文献ごとにサーチ確率とノイズ確率とが付与される。確率差は、サーチ確率からノイズ確率を減算したものである。
図３では、確率差を確率値とし、確率値が大きい順にソートしており、ソートされた順位値を文献に付与している。なお、サーチ確率又はノイズ確率を確率値としてもよい。
評価の「Ａ」は第１評価済サーチ文献、「Ｂ」は第２評価済サーチ文献であることを示し、評価の「Ｘ」は評価済ノイズ文献であることを示している。
仮に、図３に示すように、設定ステップ（Ｓ３）で目標順位値を「１０」に設定した場合には、順位値が「１」から「１０」までをサーチ判別文献、順位値が「１１」以降をノイズ判別文献と判別される。
順位値が「１１」以降で評価が「Ａ」又は「Ｂ」である評価済サーチ文献は、偽陰性文献と判断される。
また、順位値が「１」から「１０」までで評価が「Ｘ」の評価済ノイズ文献は、偽陽性文献と判断される。
図３に示すように、本実施例のＡＩ判定では、文献ごとにサーチ確率とノイズ確率とが付与される。確率差は、サーチ確率からノイズ確率を減算したものである。
図３では、確率差を確率値とし、確率値が大きい順にソートしており、ソートされた順位値を文献に付与している。なお、サーチ確率又はノイズ確率を確率値としてもよい。
評価の「Ａ」は第１評価済サーチ文献、「Ｂ」は第２評価済サーチ文献であることを示し、評価の「Ｘ」は評価済ノイズ文献であることを示している。
仮に、図３に示すように、設定ステップ（Ｓ３）で目標順位値を「１０」に設定した場合には、順位値が「１」から「１０」までをサーチ判別文献、順位値が「１１」以降をノイズ判別文献と判別される。
順位値が「１１」以降で評価が「Ａ」又は「Ｂ」である評価済サーチ文献は、偽陰性文献と判断される。
また、順位値が「１」から「１０」までで評価が「Ｘ」の評価済ノイズ文献は、偽陽性文献と判断される。
【0033】
図４は本実施例における評価済文献診断システムで出力される文献データのイメージ図である。
図４（ａ）は、偽陰性文献についての文献データのイメージ図であり、文献が特許文献である場合には、文献を特定する番号である「出願番号」、「発明の名称」「権利者・出願人」「筆頭ＩＰＣ」の他に、順位と評価を文献データとして表示する。なお、偽陽性文献についても同様に表示することができる。
図４（ｂ）は、目標順位値を「１００」に設定した場合に、特に偽陽性文献の順位を示している。図４（ｂ）では、評価が「Ａ」「Ｂ」「Ｃ」は評価済サーチ文献であることを示し、評価が「ゴミ」は評価済ノイズ文献であることを示している。
図４（ａ）は、偽陰性文献についての文献データのイメージ図であり、文献が特許文献である場合には、文献を特定する番号である「出願番号」、「発明の名称」「権利者・出願人」「筆頭ＩＰＣ」の他に、順位と評価を文献データとして表示する。なお、偽陽性文献についても同様に表示することができる。
図４（ｂ）は、目標順位値を「１００」に設定した場合に、特に偽陽性文献の順位を示している。図４（ｂ）では、評価が「Ａ」「Ｂ」「Ｃ」は評価済サーチ文献であることを示し、評価が「ゴミ」は評価済ノイズ文献であることを示している。
【0034】
図５は本実施例における評価済文献診断システムで出力される診断結果のイメージ図である。
図５（ａ）では、評価済サーチ文献数及び評価済ノイズ文献数を縦軸、目標順位値による文献判別を横軸として、それぞれの評価が一致する件数及び比率と、偽陰性文献及び偽陽性文献の件数及び比率を表示している。図５（ａ）において、評価が「Ａ」の評価済サーチ文献数は５８件であり、その内の偽陰性文献数は１１件で偽陰性比率は１９％であることを示しており、評価が「Ｂ」の評価済サーチ文献数は６７件であり、その内の偽陰性文献数は２２件で偽陰性比率は３３％であることを示しており、評価済ノイズ文献数は７１６件であり、その内の偽陽性文献数は４１件で偽陽性比率は６％であることを示している。
また図５（ｂ）では、評価済サーチ文献と評価済ノイズ文献とについて、横軸を順位値とし、目標順位値に対して偽陰性文献や偽陽性文献がどの位置に存在しているかをグラフで表示している。また、グラフ中に目標順位値を表示することで、目標順位値の変更によって、偽陰性文献や偽陽性文献がどの程度増減又は減少するかを予測することができる。
なお、図５では、偽陰性文献及び偽陽性文献が存在しているが、偽陰性文献が所定数以下である場合、又は偽陰性文献及び偽陽性文献がともに所定数以下である場合には、評価済サーチ文献群が適格であることを表示することで、評価済サーチ文献を、未評価文献に対する教師文献として用いることができることを示唆できる。
図５（ａ）では、評価済サーチ文献数及び評価済ノイズ文献数を縦軸、目標順位値による文献判別を横軸として、それぞれの評価が一致する件数及び比率と、偽陰性文献及び偽陽性文献の件数及び比率を表示している。図５（ａ）において、評価が「Ａ」の評価済サーチ文献数は５８件であり、その内の偽陰性文献数は１１件で偽陰性比率は１９％であることを示しており、評価が「Ｂ」の評価済サーチ文献数は６７件であり、その内の偽陰性文献数は２２件で偽陰性比率は３３％であることを示しており、評価済ノイズ文献数は７１６件であり、その内の偽陽性文献数は４１件で偽陽性比率は６％であることを示している。
また図５（ｂ）では、評価済サーチ文献と評価済ノイズ文献とについて、横軸を順位値とし、目標順位値に対して偽陰性文献や偽陽性文献がどの位置に存在しているかをグラフで表示している。また、グラフ中に目標順位値を表示することで、目標順位値の変更によって、偽陰性文献や偽陽性文献がどの程度増減又は減少するかを予測することができる。
なお、図５では、偽陰性文献及び偽陽性文献が存在しているが、偽陰性文献が所定数以下である場合、又は偽陰性文献及び偽陽性文献がともに所定数以下である場合には、評価済サーチ文献群が適格であることを表示することで、評価済サーチ文献を、未評価文献に対する教師文献として用いることができることを示唆できる。
【0035】
図６は本実施例における評価済文献診断システムで出力される診断結果の他のイメージ図である。
図６に示すように、評価結果として、偽陰性文献及び偽陽性文献の件数及び比率を表示するとともに確率差による判定順位を表示し、正解率（８２％）のように、ＡＩ判定との一致性を表示することが好ましい。
図６に示す「判定境界値」は、目標順位値が１１０件であることを示しており、１１０件は全体数に対して３５％であることを示している。
図６に示すように、評価結果として、偽陰性文献及び偽陽性文献の件数及び比率を表示するとともに確率差による判定順位を表示し、正解率（８２％）のように、ＡＩ判定との一致性を表示することが好ましい。
図６に示す「判定境界値」は、目標順位値が１１０件であることを示しており、１１０件は全体数に対して３５％であることを示している。
【0036】
以上のように本実施例によれば、既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の妥当性を診断できる。
また、本実施例によれば、偽陰性文献についての文献データを表示することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献の再評価を促すことができる。
また、本実施例によれば、任意に設定できる目標順位値を基準にサーチ判別文献とノイズ判別文献とに判別することで、評価済サーチ文献及び評価済ノイズ文献を教師文献として用いて未評価文献を評価する際に、この目標順位値の件数を評価対象件数の目安にすることができる。
また、本実施例によれば、偽陽性文献についての文献データを表示することで、再検討すべき評価済ノイズ文献を特定でき、この偽陽性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の妥当性を向上させることができる。
また、本実施例によれば、偽陰性文献判断ステップ（Ｓ５）では、第１評価済サーチ文献については第１偽陰性文献として、第２評価済サーチ文献については第２偽陰性文献として判断し、出力ステップ（Ｓ７）では、第１偽陰性文献及び第２偽陰性文献についての文献データを表示することで、評価が複数であってもそれぞれの評価の妥当性を診断できる。
このようにして、文献に対する評価結果の妥当性を診断できる上に評価精度を向上させることができ、その後の文献評価にあたってはＡＩ判定を利用して目標順位値の件数を評価対象件数の目安にでき、評価対象案件を一部に絞ることができる。
また、本実施例によれば、偽陰性文献についての文献データを表示することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献の再評価を促すことができる。
また、本実施例によれば、任意に設定できる目標順位値を基準にサーチ判別文献とノイズ判別文献とに判別することで、評価済サーチ文献及び評価済ノイズ文献を教師文献として用いて未評価文献を評価する際に、この目標順位値の件数を評価対象件数の目安にすることができる。
また、本実施例によれば、偽陽性文献についての文献データを表示することで、再検討すべき評価済ノイズ文献を特定でき、この偽陽性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の妥当性を向上させることができる。
また、本実施例によれば、偽陰性文献判断ステップ（Ｓ５）では、第１評価済サーチ文献については第１偽陰性文献として、第２評価済サーチ文献については第２偽陰性文献として判断し、出力ステップ（Ｓ７）では、第１偽陰性文献及び第２偽陰性文献についての文献データを表示することで、評価が複数であってもそれぞれの評価の妥当性を診断できる。
このようにして、文献に対する評価結果の妥当性を診断できる上に評価精度を向上させることができ、その後の文献評価にあたってはＡＩ判定を利用して目標順位値の件数を評価対象件数の目安にでき、評価対象案件を一部に絞ることができる。
【0037】
図７は本発明の他の実施例における評価済文献診断システムのフローチャートである。
図１と同一処理には同一符号を付している。
図７に示す評価済文献診断システムでは、コンピュータはキーワード付与率算出ステップ（Ｓ１０）を行う。
キーワード付与率算出ステップ（Ｓ１０）では、システムの利用者によって設定されたキーワードを基にキーワードの付与率を算出する。付与率の算出に用いられるキーワードは、キーワード設定ステップ（Ｓ９）によって設定される。
再評価ステップ（Ｓ１１）では、出力ステップ（Ｓ７）で表示されたグラフ（図１０参照）の中から判定文献を指定することにより判定文献の情報を表示でき、表示された判定文献について再評価を行うことができる。利用者が再評価を行い、再評価の結果、評価済サーチ文献をノイズ文献に変更、又は評価済ノイズ文献をサーチ文献に変更する場合、更には判定文献に付与している評価種別を変更する場合には、データベースに登録する。
なお、本実施例における評価済文献診断システムでは、分割ステップ（Ｓ１）を行うことなく、評価済文献の一部を教師文献とし、その他を判定文献として抽出し、抽出した教師文献と判定文献とを判定用データとしてＡＩ判定コンピュータに送信してもよい（Ｓ２）。
図１と同一処理には同一符号を付している。
図７に示す評価済文献診断システムでは、コンピュータはキーワード付与率算出ステップ（Ｓ１０）を行う。
キーワード付与率算出ステップ（Ｓ１０）では、システムの利用者によって設定されたキーワードを基にキーワードの付与率を算出する。付与率の算出に用いられるキーワードは、キーワード設定ステップ（Ｓ９）によって設定される。
再評価ステップ（Ｓ１１）では、出力ステップ（Ｓ７）で表示されたグラフ（図１０参照）の中から判定文献を指定することにより判定文献の情報を表示でき、表示された判定文献について再評価を行うことができる。利用者が再評価を行い、再評価の結果、評価済サーチ文献をノイズ文献に変更、又は評価済ノイズ文献をサーチ文献に変更する場合、更には判定文献に付与している評価種別を変更する場合には、データベースに登録する。
なお、本実施例における評価済文献診断システムでは、分割ステップ（Ｓ１）を行うことなく、評価済文献の一部を教師文献とし、その他を判定文献として抽出し、抽出した教師文献と判定文献とを判定用データとしてＡＩ判定コンピュータに送信してもよい（Ｓ２）。
【0038】
図８は図７におけるキーワードの設定と算出される付与率のイメージを説明する画面イメージ図である。
図８（ａ）はキーワードを設定できる入力画面を示している。
図８（ａ）に示すように、キーワードを入力できるサーチ条件設定欄５０とノイズ条件設定欄６０とが表示される。
図８（ａ）では、第１サーチ条件設定欄５１にキーワードとして「リチウム塩 有機溶媒電解液」が入力され、第２サーチ条件設定欄５２にキーワードとして「リチウムイオン」が入力され、第３サーチ条件設定欄５３にキーワードとして「リチウム遷移金属酸化物」が入力され、第４サーチ条件設定欄５４にキーワードとして「正極活物質」が入力されていることを示している。ここで、第１サーチ条件設定欄５１、第２サーチ条件設定欄５２、第３サーチ条件設定欄５３、及び第４サーチ条件設定欄５４はサーチ条件設定欄５０である。
また、図８（ａ）では、第１ノイズ条件設定欄６１にキーワードとして「コバルト」が入力され、第２ノイズ条件設定欄６２にキーワードとして「非結晶」が入力され、第３ノイズ条件設定欄６３にキーワードとして「誘電率」が入力され、第４ノイズ条件設定欄６４にキーワードとして「リン」が入力されていることを示している。ここで、第１ノイズ条件設定欄６１、第２ノイズ条件設定欄６２、第３ノイズ条件設定欄６３、及び第４ノイズ条件設定欄６４はノイズ条件設定欄６０である。
サーチ条件設定欄５０及びノイズ条件設定欄６０は、追加削除を行うことができる。
図８（ａ）はキーワードを設定できる入力画面を示している。
図８（ａ）に示すように、キーワードを入力できるサーチ条件設定欄５０とノイズ条件設定欄６０とが表示される。
図８（ａ）では、第１サーチ条件設定欄５１にキーワードとして「リチウム塩 有機溶媒電解液」が入力され、第２サーチ条件設定欄５２にキーワードとして「リチウムイオン」が入力され、第３サーチ条件設定欄５３にキーワードとして「リチウム遷移金属酸化物」が入力され、第４サーチ条件設定欄５４にキーワードとして「正極活物質」が入力されていることを示している。ここで、第１サーチ条件設定欄５１、第２サーチ条件設定欄５２、第３サーチ条件設定欄５３、及び第４サーチ条件設定欄５４はサーチ条件設定欄５０である。
また、図８（ａ）では、第１ノイズ条件設定欄６１にキーワードとして「コバルト」が入力され、第２ノイズ条件設定欄６２にキーワードとして「非結晶」が入力され、第３ノイズ条件設定欄６３にキーワードとして「誘電率」が入力され、第４ノイズ条件設定欄６４にキーワードとして「リン」が入力されていることを示している。ここで、第１ノイズ条件設定欄６１、第２ノイズ条件設定欄６２、第３ノイズ条件設定欄６３、及び第４ノイズ条件設定欄６４はノイズ条件設定欄６０である。
サーチ条件設定欄５０及びノイズ条件設定欄６０は、追加削除を行うことができる。
【0039】
本実施例では、第１サーチ条件設定欄５１が複数の異なるキーワードを択一的条件で入力している。
それぞれのキーワードに対しては、「部分一致」及び「完全一致」のいずれかを選択でき、指定項目を「請求の範囲」、「名称」、「要約」、「全文」、及び「詳細な説明」のいずれかを含む項目から選択できる。
それぞれのキーワードに対しては、「部分一致」及び「完全一致」のいずれかを選択でき、指定項目を「請求の範囲」、「名称」、「要約」、「全文」、及び「詳細な説明」のいずれかを含む項目から選択できる。
【0040】
利用者は、サーチ条件設定欄５０におけるサーチ最高キーワード付与率と、ノイズ条件設定欄６０におけるノイズ最高キーワード付与率とを設定できる。
図８（ａ）では、サーチ最高キーワード付与率として最高値設定欄５５に「１００」％を入力し、ノイズ最高キーワード付与率として最高値設定欄６５に「７０」％を入力した状態を示している。
図８（ａ）に示す入力状態でのキーワード付与率について以下に説明する。
図８（ａ）では、サーチ最高キーワード付与率を「１００」％とし、第１サーチ条件設定欄５１、第２サーチ条件設定欄５２、第３サーチ条件設定欄５３、及び第４サーチ条件設定欄５４の重み付けはすべて「１」である。
従って、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含まない案件データでは、キーワード付与率は１００％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含まない案件データでは、キーワード付与率は２５％となる。
図８（ａ）では、サーチ最高キーワード付与率として最高値設定欄５５に「１００」％を入力し、ノイズ最高キーワード付与率として最高値設定欄６５に「７０」％を入力した状態を示している。
図８（ａ）に示す入力状態でのキーワード付与率について以下に説明する。
図８（ａ）では、サーチ最高キーワード付与率を「１００」％とし、第１サーチ条件設定欄５１、第２サーチ条件設定欄５２、第３サーチ条件設定欄５３、及び第４サーチ条件設定欄５４の重み付けはすべて「１」である。
従って、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含まない案件データでは、キーワード付与率は１００％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含まない案件データでは、キーワード付与率は２５％となる。
【0041】
すなわち、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含まない場合には、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードの中でいずれか２つだけを含むとキーワード付与率は５０％、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードの中でいずれか３つだけを含むとキーワード付与率は７５％である。
【0042】
一方、図８（ａ）では、ノイズ最高キーワード付与率を「７５」％とし、第１ノイズ条件設定欄６１の重み付けを「１」、第２ノイズ条件設定欄６２の重み付けを「３」、第３ノイズ条件設定欄６３の重み付けを「２」、及び第４ノイズ条件設定欄６４の重み付けを「１」としている。
従って、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワードを含み、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率は９０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率は６０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率は４０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含む案件データでは、キーワード付与率は３０％となる。
従って、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワードを含み、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率は９０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率は６０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率は４０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含む案件データでは、キーワード付与率は３０％となる。
【0043】
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワードを含み、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率は１５％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス１５％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス３５％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含む案件データでは、キーワード付与率はマイナス４５％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス１５％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス３５％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含む案件データでは、キーワード付与率はマイナス４５％となる。
【0044】
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワードを含み、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス１０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス４０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス６０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含む案件データでは、キーワード付与率はマイナス７０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス４０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス６０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含む案件データでは、キーワード付与率はマイナス７０％となる。
【0045】
このように、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まない案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まない案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
【0046】
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
【0047】
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まず、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まず、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データよりも低いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まず、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まず、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データよりも低いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まず、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まず、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データよりも低いキーワード付与率を算出する。
【0048】
このように、サーチ条件設定欄５０とノイズ条件設定欄６０とを有し、特にノイズ条件設定欄６０を有することで、ノイズ条件設定欄６０に入力されたキーワードを案件データが含む場合には、キーワード付与率を低くでき、検索対象外とするノイズのキーワードを含む案件を、完全に除外することなく、マイナスの評価をキーワード付与率に反映することができ、検索条件をどの程度満たすかをキーワード付与率で評価することができる。
また、利用者は、サーチ条件設定欄５０におけるサーチ最高キーワード付与率と、ノイズ条件設定欄６０におけるノイズ最高キーワード付与率とを設定できるため、サーチ条件設定欄５０に入力されたキーワードを案件データが含む場合のキーワード付与率と、ノイズ条件設定欄６０に入力されたキーワードを案件データが含む場合のキーワード付与率との調整を設定でき、特に検索対象外とするノイズのキーワードを含む場合の影響を調整できる。
また、利用者は、サーチ条件設定欄５０におけるサーチ最高キーワード付与率と、ノイズ条件設定欄６０におけるノイズ最高キーワード付与率とを設定できるため、サーチ条件設定欄５０に入力されたキーワードを案件データが含む場合のキーワード付与率と、ノイズ条件設定欄６０に入力されたキーワードを案件データが含む場合のキーワード付与率との調整を設定でき、特に検索対象外とするノイズのキーワードを含む場合の影響を調整できる。
【0049】
以上説明したキーワード付与率の算出は、図８（ａ）に示すように「合算」をユーザが入力指示した場合である。
以下に、「合算」ではなく、「独立」をユーザが入力指示した場合のキーワード付与率の算出について説明する。
「独立」を指示した場合には、サーチ条件設定欄５０におけるキーワード付与率とノイズ条件設定欄６０におけるキーワード付与率を別々に算出する。
従って、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含む場合には、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３、及び第４ノイズ条件設定欄６４に入力されたキーワードを含むか否かにかかわらず案件データでは、キーワード付与率は１００％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含む場合には、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含むか否かにかかわらず案件データでは、キーワード付与率は２５％となる。
以下に、「合算」ではなく、「独立」をユーザが入力指示した場合のキーワード付与率の算出について説明する。
「独立」を指示した場合には、サーチ条件設定欄５０におけるキーワード付与率とノイズ条件設定欄６０におけるキーワード付与率を別々に算出する。
従って、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含む場合には、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３、及び第４ノイズ条件設定欄６４に入力されたキーワードを含むか否かにかかわらず案件データでは、キーワード付与率は１００％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含む場合には、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含むか否かにかかわらず案件データでは、キーワード付与率は２５％となる。
【0050】
すなわち、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含むか否かにかかわらず、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードの中でいずれか２つだけを含むとキーワード付与率は５０％、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードの中でいずれか３つだけを含むとキーワード付与率は７５％である。
【0051】
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを含むか否かにかかわらず、第１ノイズ条件設定欄６１に入力されたキーワードを含み、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス１０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを含むか否かにかかわらず、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス４０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを含むか否かにかかわらず、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス６０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを含むか否かにかかわらず、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含む案件データでは、キーワード付与率はマイナス７０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを含むか否かにかかわらず、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス４０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを含むか否かにかかわらず、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス６０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを含むか否かにかかわらず、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含む案件データでは、キーワード付与率はマイナス７０％となる。
【0052】
このように、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まない案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まない案件データよりも高いキーワード付与率を算出する。
【0053】
また、コンピュータは、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含む案件データに対しては、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データよりも低いキーワード付与率を算出する。
また、コンピュータは、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データよりも低いキーワード付与率を算出する。
また、コンピュータは、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データよりも低いキーワード付与率を算出する。
【0054】
このように、サーチ条件設定欄５０とノイズ条件設定欄６０とを有し、サーチ条件設定欄５０に入力されたキーワードから算出されるキーワード付与率と、ノイズ条件設定欄６０に入力されたキーワードから算出されるキーワード付与率とをそれぞれ算出して表示することで、サーチ対象案件かノイズ対象案件かの判定を行いやすい。
【0055】
【0056】
なお、図８（ａ）との相違点について以下に説明する。
図８（ｂ）に示す画面イメージ図では、サーチ条件設定欄５０とノイズ条件設定欄６０とを区別しないために、図８（ａ）に示すようなサーチ最高キーワード付与率やノイズ最高キーワード付与率の設定はなく、キーワード付与率は１００％からマイナス１００％になるように算出される。
すなわち、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワードを含み、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含まない案件データでは、キーワード付与率は１００％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワードを含み、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含む案件データでは、キーワード付与率はマイナス１００％となる。
図８（ｂ）に示す画面イメージ図では、サーチ条件設定欄５０とノイズ条件設定欄６０とを区別しないために、図８（ａ）に示すようなサーチ最高キーワード付与率やノイズ最高キーワード付与率の設定はなく、キーワード付与率は１００％からマイナス１００％になるように算出される。
すなわち、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワードを含み、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含まない案件データでは、キーワード付与率は１００％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワードを含み、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含む案件データでは、キーワード付与率はマイナス１００％となる。
【0057】
なお、キーワード付与率は重み付けには依存する。
図８（ｂ）では、第１サーチ条件設定欄５１、第２サーチ条件設定欄５２、第３サーチ条件設定欄５３、及び第４サーチ条件設定欄５４の重み付けはすべて「１」とし、第１ノイズ条件設定欄６１の重み付けを「１」、第２ノイズ条件設定欄６２の重み付けを「３」、第３ノイズ条件設定欄６３の重み付けを「２」、及び第４ノイズ条件設定欄６４の重み付けを「１」としている。
図８（ｂ）では、第１サーチ条件設定欄５１、第２サーチ条件設定欄５２、第３サーチ条件設定欄５３、及び第４サーチ条件設定欄５４の重み付けはすべて「１」とし、第１ノイズ条件設定欄６１の重み付けを「１」、第２ノイズ条件設定欄６２の重み付けを「３」、第３ノイズ条件設定欄６３の重み付けを「２」、及び第４ノイズ条件設定欄６４の重み付けを「１」としている。
【0058】
従って、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワードを含み、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率は８６％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率は４３％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率は１４％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含む案件データでは、キーワード付与率は０％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率は４３％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率は１４％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含む案件データでは、キーワード付与率は０％となる。
【0059】
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワードを含み、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率は１１％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス３２％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス６１％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含む案件データでは、キーワード付与率はマイナス７５％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス３２％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス６１％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードのいずれか１つだけを含み、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを全て含む案件データでは、キーワード付与率はマイナス７５％となる。
【0060】
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワードを含み、第２ノイズ条件設定欄６２に入力されたキーワード、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス１４％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス５７％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス８６％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワード、及び第２ノイズ条件設定欄６２に入力されたキーワードを含み、第３ノイズ条件設定欄６３に入力されたキーワード、及び第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス５７％となる。
また、第１サーチ条件設定欄５１に入力されたキーワード、第２サーチ条件設定欄５２に入力されたキーワード、第３サーチ条件設定欄５３に入力されたキーワード、及び第４サーチ条件設定欄５４に入力されたキーワードを全て含まず、第１ノイズ条件設定欄６１に入力されたキーワード、第２ノイズ条件設定欄６２に入力されたキーワード、及び第３ノイズ条件設定欄６３に入力されたキーワードを含み、第４ノイズ条件設定欄６４に入力されたキーワードを含まない案件データでは、キーワード付与率はマイナス８６％となる。
【0061】
このように、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
【0062】
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まない案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２のいずれか一方だけに入力されたキーワードを含み、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含む案件データよりも高いキーワード付与率を算出する。
【0063】
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まず、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まず、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データよりも低いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まず、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まず、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データよりも低いキーワード付与率を算出する。
また、コンピュータは、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まず、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２のいずれか一方だけに入力されたキーワードを含む案件データに対しては、第１サーチ条件設定欄５１及び第２サーチ条件設定欄５２の双方に入力されたキーワードを含まず、第１ノイズ条件設定欄６１及び第２ノイズ条件設定欄６２の双方に入力されたキーワードを含まない案件データよりも低いキーワード付与率を算出する。
【0064】
このように、サーチ条件設定欄５０とノイズ条件設定欄６０とを有し、特にノイズ条件設定欄６０を有することで、ノイズ条件設定欄６０に入力されたキーワードを案件データが含む場合には、キーワード付与率を低くでき、検索対象外とするノイズのキーワードを含む案件を、完全に除外することなく、マイナスの評価をキーワード付与率に反映することができ、検索条件をどの程度満たすかをキーワード付与率で評価することができる。
【0065】
図８（ｃ）は算出される付与率を示す出力画面イメージ図である。
図８（ｃ）に示すように、キーワード付与率別に件数を表示することができる。
例えば、キーワード付与率が１００～９１％である案件データは６件有り、キーワード付与率が２０～１１％である案件データは３８件有り、キーワード付与率がマイナス２０～マイナス１１％である案件データは１４２件有り、キーワード付与率がマイナス１００～マイナス９１％である案件データは２１件有ることを示している。
図８（ｃ）に示すように、キーワード付与率別に件数を表示することができる。
例えば、キーワード付与率が１００～９１％である案件データは６件有り、キーワード付与率が２０～１１％である案件データは３８件有り、キーワード付与率がマイナス２０～マイナス１１％である案件データは１４２件有り、キーワード付与率がマイナス１００～マイナス９１％である案件データは２１件有ることを示している。
【0066】
このように、表示手段３０において、キーワード付与率に応じて、サーチ対象案件又はノイズ対象案件の件数を表示し、キーワードによるキーワード付与率と機械学習を利用した判定とを併用することで、サーチ対象案件かノイズ対象案件かの判定が困難な案件データを特定することができる。
【0067】
図９はキーワードの設定と算出される付与率の他の利用形態を示す画面イメージ図である。
本利用形態では、サーチ条件設定欄５０を第１分類条件設定欄として使用し、ノイズ条件設定欄６０を第２分類条件設定欄として用いる他は、上記実施例と同一であるため説明を省略する。
本利用形態では、サーチ条件設定欄５０を第１分類条件設定欄として使用し、ノイズ条件設定欄６０を第２分類条件設定欄として用いる他は、上記実施例と同一であるため説明を省略する。
【0068】
図１０は本実施例における評価済文献診断システムで出力される診断結果の他のイメージ図である。
図１０に示すように、評価結果として、キーワード付与率別に、ＡＩ判定結果データを用いてサーチ確率及びノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を表示している。なお、図１０では、評価済サーチ文献を、第１評価による「Ａ」評価済サーチ文献と、第２評価による「Ｂ」評価済サーチ文献と、第３評価による「Ｃ」評価済サーチ文献としている。サーチ／ノイズ判定境界線は、基準とした目標順位値を示している。第１評価による「Ａ」、第２評価による「Ｂ」、及び第３評価による「Ｃ」は、判定文献に付与している評価種別である。評価種別は、例えば、重要、要注意、及び参考のようにユーザが独自に決めた評価内容であり、技術分類であってもよい。
図１０に示すように、評価結果として、キーワード付与率別に、ＡＩ判定結果データを用いてサーチ確率及びノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を表示している。なお、図１０では、評価済サーチ文献を、第１評価による「Ａ」評価済サーチ文献と、第２評価による「Ｂ」評価済サーチ文献と、第３評価による「Ｃ」評価済サーチ文献としている。サーチ／ノイズ判定境界線は、基準とした目標順位値を示している。第１評価による「Ａ」、第２評価による「Ｂ」、及び第３評価による「Ｃ」は、判定文献に付与している評価種別である。評価種別は、例えば、重要、要注意、及び参考のようにユーザが独自に決めた評価内容であり、技術分類であってもよい。
【0069】
このように、コンピュータが、判定結果データを用いて確率値でソートされた順位値を文献に付与し、任意に設定できる目標順位値を基準にして、順位値によって評価済文献をサーチ判別文献とノイズ判別文献とに判別する文献判別ステップ（Ｓ４）を実行し、評価済文献についてキーワード付与率を算出するキーワード付与率算出ステップ（Ｓ１０）を実行し、判定文献に付与された順位値とキーワード付与率によりグラフを表示すると共に判定文献に付与している評価種別をグラフに表示する出力ステップ（Ｓ７）を実行する。
また、キーワード付与率と順位値との関係がグラフで表示され、表示されたグラフの中に評価種別が更に表示されるため、判定文献に対して付与した評価、キーワード付与率、及び順位順との関係を把握でき、判定文献に対して付与した評価の妥当性を診断できる。
また、キーワード付与率と順位値との関係がグラフで表示され、表示されたグラフの中に評価種別が更に表示されるため、判定文献に対して付与した評価、キーワード付与率、及び順位順との関係を把握でき、判定文献に対して付与した評価の妥当性を診断できる。
【産業上の利用可能性】
【0070】
本発明は、国内における特許公報だけなく、中国や米国などの外国の特許公報などの特許文献や論文などの非特許文献にも適用できる。
【符号の説明】
【0071】
５０ サーチ条件設定欄
５１ 第１サーチ条件設定欄
５２ 第２サーチ条件設定欄
５３ 第３サーチ条件設定欄
５４ 第４サーチ条件設定欄
５５ 最高値設定欄
６０ ノイズ条件設定欄
６１ 第１ノイズ条件設定欄
６２ 第２ノイズ条件設定欄
６３ 第３ノイズ条件設定欄
６４ 第４ノイズ条件設定欄
６５ 最高値設定欄
５１ 第１サーチ条件設定欄
５２ 第２サーチ条件設定欄
５３ 第３サーチ条件設定欄
５４ 第４サーチ条件設定欄
５５ 最高値設定欄
６０ ノイズ条件設定欄
６１ 第１ノイズ条件設定欄
６２ 第２ノイズ条件設定欄
６３ 第３ノイズ条件設定欄
６４ 第４ノイズ条件設定欄
６５ 最高値設定欄
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
