ホーム > 特許ランキング > アイ・ピー・ファイン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-05-30
(45)【発行日】2022-06-07
(54)【発明の名称】評価済文献診断システム
(51)【国際特許分類】
G06Q 50/18 20120101AFI20220531BHJP
G06F 16/906 20190101ALI20220531BHJP
G06N 20/00 20190101ALI20220531BHJP
【ＦＩ】
G06Q50/18 310
G06F16/906
G06N20/00 130
【請求項の数】
5
(21)【出願番号】P 2021145845
(22)【出願日】2021-09-08
【審査請求日】2021-09-08
【早期審査対象出願】
(73)【特許権者】
【識別番号】303053839
【氏名又は名称】アイ・ピー・ファイン株式会社
(74)【代理人】
【識別番号】100098545
【弁理士】
【氏名又は名称】阿部 伸一
(74)【代理人】
【識別番号】100189717
【弁理士】
【氏名又は名称】太田 貴章
(72)【発明者】
【氏名】中西 昌弘
(72)【発明者】
【氏名】平尾 啓
(72)【発明者】
【氏名】古川 智昭
【審査官】安田 勇太
(56)【参考文献】
【文献】特開２０１４－１１２２８３（ＪＰ，Ａ）
【文献】特開２０２０－０８５５８３（ＪＰ，Ａ）
【文献】特開２０１９－０８７２５８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００ －９９／００
Ｇ０６Ｆ １６／９０６
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とについての評価の適格性を診断する評価済文献診断システムであって、コンピュータが、
複数の前記評価済サーチ文献からなる評価済サーチ文献群と複数の前記評価済ノイズ文献からなる評価済ノイズ文献群とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分類する分類ステップと、
前記第１群に分類された前記評価済サーチ文献群と前記第１群に分類された前記評価済ノイズ文献群とを第１教師文献として、前記第１群に分類されなかった前記評価済サーチ文献群と前記第１群に分類されなかった前記評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、前記第Ｎ群に分類された前記評価済サーチ文献群と前記第Ｎ群に分類された前記評価済ノイズ文献群とを第Ｎ教師文献として、前記第Ｎ群に分類されなかった前記評価済サーチ文献群と前記第Ｎ群に分類されなかった前記評価済ノイズ文献群とについて前記サーチ確率及び前記ノイズ確率の少なくともいずれかの判定を行うＡＩ判定ステップと、
前記ＡＩ判定ステップで判定された前記サーチ確率及び前記ノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を前記文献に付与し、任意に設定できる目標順位値を基準にして、前記順位値によって前記文献を、サーチ判別文献とノイズ判別文献とに判別する文献判別ステップと、
前記サーチ対象として評価されていた前記評価済サーチ文献が、前記ノイズ判別文献に判別されると、前記評価済サーチ文献を偽陰性文献と判断する偽陰性文献判断ステップと、
前記偽陰性文献判断ステップで判断した前記偽陰性文献についての文献データを出力する出力ステップと
を有する
ことを特徴とする評価済文献診断システム。
【請求項2】
前記コンピュータが、前記ノイズ対象として評価されていた評価済ノイズ文献が、前記サーチ判別文献に判別されると、前記評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップ
を有し、
前記出力ステップでは、前記偽陽性文献判断ステップで判断した前記偽陽性文献についての文献データを出力する
ことを特徴とする請求項１に記載の評価済文献診断システム。
【請求項3】
前記評価済サーチ文献として、第１評価による第１評価済サーチ文献と、前記第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有し、前記偽陰性文献判断ステップでは、前記第１評価済サーチ文献については第１偽陰性文献として、前記第２評価済サーチ文献については第２偽陰性文献として判断し、
前記出力ステップでは、前記第１偽陰性文献及び前記第２偽陰性文献についての前記文献データを出力する
ことを特徴とする請求項１又は請求項２に記載の評価済文献診断システム。
【請求項4】
前記偽陰性文献判断ステップで判断される前記偽陰性文献が所定数以下である場合には、前記出力ステップでは、前記評価済サーチ文献群が適格であることを出力することを特徴とする請求項１から請求項３のいずれか１項に記載の評価済文献診断システム。
【請求項5】
前記文献を特許文献としたことを特徴とする請求項１から請求項４のいずれか１項に記載の評価済文献診断システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とについての評価の適格性を診断する評価済文献診断システムに関する。
【背景技術】
【0002】
本出願人は、人工知能、アルゴリズム、又はあらかじめ設定された所定条件によって確率判定値が付与された未評価案件データの中から、評価対象案件データを選択する際の判断を容易とする特許調査支援方法を提案している（特許文献１）。
特許文献１によれば、第１の軸をサーチ確率、第２の軸をノイズ確率とする少なくとも２軸を有するグラフに表示されるプロットの散布状況を把握した上で評価対象案件データを選択できるため、サーチ対象確率判定値やノイズ対象確率判定値からでは判断しづらい境界を認識でき、評価対象案件データを的確に選択できる。
更に特許文献１によれば、抽出した評価対象案件データを評価し、評価した結果、テーマでは必要なサーチ対象案件であると評価されると第１群教師案件データに追加し、評価した結果、テーマでは不要なノイズ対象案件であると評価されると第２群教師案件データに追加することで、教師特許の件数を増やすことができ、更に的確なＡＩ（人工知能）判定を得ることができる。
特許文献１によれば、第１の軸をサーチ確率、第２の軸をノイズ確率とする少なくとも２軸を有するグラフに表示されるプロットの散布状況を把握した上で評価対象案件データを選択できるため、サーチ対象確率判定値やノイズ対象確率判定値からでは判断しづらい境界を認識でき、評価対象案件データを的確に選択できる。
更に特許文献１によれば、抽出した評価対象案件データを評価し、評価した結果、テーマでは必要なサーチ対象案件であると評価されると第１群教師案件データに追加し、評価した結果、テーマでは不要なノイズ対象案件であると評価されると第２群教師案件データに追加することで、教師特許の件数を増やすことができ、更に的確なＡＩ（人工知能）判定を得ることができる。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６４５３５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような人工知能による判定は、教師文献数を増やすことで精度を高めることができるが、教師文献自体の評価に揺れ幅があり、教師文献の揺れ幅が大きいと期待するＡＩ判定を得ることができない。
【0005】
本発明は、既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断でき、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる評価済文献診断システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項１記載の本発明の評価済文献診断システムは、既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とについての評価の適格性を診断する評価済文献診断システムであって、コンピュータが、複数の前記評価済サーチ文献からなる評価済サーチ文献群と複数の前記評価済ノイズ文献からなる評価済ノイズ文献群とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分類する分類ステップと、前記第１群に分類された前記評価済サーチ文献群と前記第１群に分類された前記評価済ノイズ文献群とを第１教師文献として、前記第１群に分類されなかった前記評価済サーチ文献群と前記第１群に分類されなかった前記評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、前記第Ｎ群に分類された前記評価済サーチ文献群と前記第Ｎ群に分類された前記評価済ノイズ文献群とを第Ｎ教師文献として、前記第Ｎ群に分類されなかった前記評価済サーチ文献群と前記第Ｎ群に分類されなかった前記評価済ノイズ文献群とについて前記サーチ確率及び前記ノイズ確率の少なくともいずれかの判定を行うＡＩ判定ステップと、前記ＡＩ判定ステップで判定された前記サーチ確率及び前記ノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を前記文献に付与し、任意に設定できる目標順位値を基準にして、前記順位値によって前記文献を、サーチ判別文献とノイズ判別文献とに判別する文献判別ステップと、前記サーチ対象として評価されていた前記評価済サーチ文献が、前記ノイズ判別文献に判別されると、前記評価済サーチ文献を偽陰性文献と判断する偽陰性文献判断ステップと、前記偽陰性文献判断ステップで判断した前記偽陰性文献についての文献データを出力する出力ステップとを有することを特徴とする。
請求項２記載の本発明は、請求項１に記載の評価済文献診断システムにおいて、前記コンピュータが、前記ノイズ対象として評価されていた評価済ノイズ文献が、前記サーチ判別文献に判別されると、前記評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップを有し、前記出力ステップでは、前記偽陽性文献判断ステップで判断した前記偽陽性文献についての文献データを出力することを特徴とする。
請求項３記載の本発明は、請求項１又は請求項２に記載の評価済文献診断システムにおいて、前記評価済サーチ文献として、第１評価による第１評価済サーチ文献と、前記第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有し、前記偽陰性文献判断ステップでは、前記第１評価済サーチ文献については第１偽陰性文献として、前記第２評価済サーチ文献については第２偽陰性文献として判断し、前記出力ステップでは、前記第１偽陰性文献及び前記第２偽陰性文献についての前記文献データを出力することを特徴とする。
請求項４記載の本発明は、請求項１から請求項３のいずれか１項に記載の評価済文献診断システムにおいて、前記偽陰性文献判断ステップで判断される前記偽陰性文献が所定数以下である場合には、前記出力ステップでは、前記評価済サーチ文献群が適格であることを出力することを特徴とする。
請求項５記載の本発明は、請求項１から請求項４のいずれか１項に記載の評価済文献診断システムにおいて、前記文献を特許文献としたことを特徴とする。
請求項２記載の本発明は、請求項１に記載の評価済文献診断システムにおいて、前記コンピュータが、前記ノイズ対象として評価されていた評価済ノイズ文献が、前記サーチ判別文献に判別されると、前記評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップを有し、前記出力ステップでは、前記偽陽性文献判断ステップで判断した前記偽陽性文献についての文献データを出力することを特徴とする。
請求項３記載の本発明は、請求項１又は請求項２に記載の評価済文献診断システムにおいて、前記評価済サーチ文献として、第１評価による第１評価済サーチ文献と、前記第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有し、前記偽陰性文献判断ステップでは、前記第１評価済サーチ文献については第１偽陰性文献として、前記第２評価済サーチ文献については第２偽陰性文献として判断し、前記出力ステップでは、前記第１偽陰性文献及び前記第２偽陰性文献についての前記文献データを出力することを特徴とする。
請求項４記載の本発明は、請求項１から請求項３のいずれか１項に記載の評価済文献診断システムにおいて、前記偽陰性文献判断ステップで判断される前記偽陰性文献が所定数以下である場合には、前記出力ステップでは、前記評価済サーチ文献群が適格であることを出力することを特徴とする。
請求項５記載の本発明は、請求項１から請求項４のいずれか１項に記載の評価済文献診断システムにおいて、前記文献を特許文献としたことを特徴とする。
【発明の効果】
【0007】
本発明によれば、既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断でき、偽陰性文献についての文献データを出力することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。また、本発明によれば、任意に設定できる目標順位値を基準にサーチ判別文献とノイズ判別文献とに判別することで、評価済サーチ文献及び評価済ノイズ文献を教師文献として用いて未評価文献を評価する際に、この目標順位値の件数を評価対象件数の目安にすることができる。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施例における評価済文献診断システムのフローチャート
【図2】同評価済文献診断システムでの分類ステップ（Ｓ１）とＡＩ判定ステップ（Ｓ２）との説明図
【図3】同評価済文献診断システムでのＡＩ判定結果から、偽陰性文献判断及び偽陽性文献判断までを説明するためのイメージ図
【図4】同評価済文献診断システムで出力される文献データのイメージ図
【図5】同評価済文献診断システムで出力される診断結果のイメージ図
【発明を実施するための形態】
【0009】
本発明の第１の実施の形態による評価済文献診断システムは、コンピュータが、複数の評価済サーチ文献からなる評価済サーチ文献群と複数の評価済ノイズ文献からなる評価済ノイズ文献群とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分類する分類ステップと、第１群に分類された評価済サーチ文献群と第１群に分類された評価済ノイズ文献群とを第１教師文献として、第１群に分類されなかった評価済サーチ文献群と第１群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、第Ｎ群に分類された評価済サーチ文献群と第Ｎ群に分類された評価済ノイズ文献群とを第Ｎ教師文献として、第Ｎ群に分類されなかった評価済サーチ文献群と第Ｎ群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行うＡＩ判定ステップと、ＡＩ判定ステップで判定されたサーチ確率及びノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を文献に付与し、任意に設定できる目標順位値を基準にして、順位値によって文献を、サーチ判別文献とノイズ判別文献とに判別する文献判別ステップと、サーチ対象として評価されていた評価済サーチ文献が、ノイズ判別文献に判別されると、評価済サーチ文献を偽陰性文献と判断する偽陰性文献判断ステップと、偽陰性文献判断ステップで判断した偽陰性文献についての文献データを出力する出力ステップとを有するものである。本実施の形態によれば、既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断できる。また、本実施の形態によれば、偽陰性文献についての文献データを出力することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。更に、本実施の形態によれば、任意に設定できる目標順位値を基準にサーチ判別文献とノイズ判別文献とに判別することで、評価済サーチ文献及び評価済ノイズ文献を教師文献として用いて未評価文献を評価する際に、この目標順位値の件数を評価対象件数の目安にすることができる。
【0010】
本発明の第２の実施の形態は、第１の実施の形態による評価済文献診断システムにおいて、コンピュータが、ノイズ対象として評価されていた評価済ノイズ文献が、サーチ判別文献に判別されると、評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップを有し、出力ステップでは、偽陽性文献判断ステップで判断した偽陽性文献についての文献データを出力するものである。本実施の形態によれば、偽陽性文献についての文献データを出力することで、再検討すべき評価済ノイズ文献を特定でき、この偽陽性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。
【0011】
本発明の第３の実施の形態は、第１又は第２の実施の形態による評価済文献診断システムにおいて、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有し、偽陰性文献判断ステップでは、第１評価済サーチ文献については第１偽陰性文献として、第２評価済サーチ文献については第２偽陰性文献として判断し、出力ステップでは、第１偽陰性文献及び第２偽陰性文献についての文献データを出力するものである。本実施の形態によれば、評価が複数であってもそれぞれの評価の適格性を診断できる。
【0012】
本発明の第４の実施の形態は、第１から第３のいずれかの実施の形態による評価済文献診断システムにおいて、偽陰性文献判断ステップで判断される偽陰性文献が所定数以下である場合には、出力ステップでは、評価済サーチ文献群が適格であることを出力するものである。本実施の形態によれば、評価済サーチ文献を未評価文献に対する教師文献として用いることができることを示唆できる。
【0013】
本発明の第５の実施の形態は、第１から第４のいずれかの実施の形態による評価済文献診断システムにおいて、文献を特許文献としたものである。本実施の形態によれば、例えば所定期間のＳＤＩ（Selective Dissemination of Information）機能により抽出した特許の評価結果の適格性を診断でき、その後の評価にあたってはＡＩ判定を利用して目標順位値の件数を評価対象件数の目安にでき、評価対象案件を一部に絞ることができる。
【実施例】
【0014】
以下に、本発明の評価済文献診断システムの一実施例について説明する。
図１は本発明の一実施例における評価済文献診断システムのフローチャートである。
本実施例における評価済文献診断システムは、既にサーチ対象であると評価された評価済サーチ文献群と、既にノイズ対象として評価された評価済ノイズ文献群との評価の適格性を診断する。
データベースには、複数の評価済サーチ文献からなる評価済サーチ文献群と複数の評価済ノイズ文献からなる評価済ノイズ文献群とを蓄積している。
コンピュータは、分類ステップ（Ｓ１）、ＡＩ判定ステップ（Ｓ２）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行う。なお、ＡＩ判定ステップ（Ｓ２）は、分類ステップ（Ｓ１）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行うコンピュータとは別のコンピュータが行ってもよい。
図１は本発明の一実施例における評価済文献診断システムのフローチャートである。
本実施例における評価済文献診断システムは、既にサーチ対象であると評価された評価済サーチ文献群と、既にノイズ対象として評価された評価済ノイズ文献群との評価の適格性を診断する。
データベースには、複数の評価済サーチ文献からなる評価済サーチ文献群と複数の評価済ノイズ文献からなる評価済ノイズ文献群とを蓄積している。
コンピュータは、分類ステップ（Ｓ１）、ＡＩ判定ステップ（Ｓ２）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行う。なお、ＡＩ判定ステップ（Ｓ２）は、分類ステップ（Ｓ１）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行うコンピュータとは別のコンピュータが行ってもよい。
【0015】
分類ステップ（Ｓ１）では、評価済サーチ文献群と評価済ノイズ文献群とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分類する。
ＡＩ判定ステップ（Ｓ２）では、第１群に分類された評価済サーチ文献群と第１群に分類された評価済ノイズ文献群とを第１教師文献として、第１群に分類されなかった評価済サーチ文献群と第１群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、第Ｎ群に分類された評価済サーチ文献群と第Ｎ群に分類された評価済ノイズ文献群とを第Ｎ教師文献として、第Ｎ群に分類されなかった評価済サーチ文献群と第Ｎ群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行う。
設定ステップ（Ｓ３）では、システムの利用者によって任意の件数を目標順位値として設定できる。
文献判別ステップ（Ｓ４）では、ＡＩ判定ステップ（Ｓ２）で判定されたサーチ確率及びノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を文献に付与し、設定ステップ（Ｓ３）で設定された目標順位値を基準にして、順位値によって文献を、サーチ判別文献とノイズ判別文献とに判別する。
偽陰性文献判断ステップ（Ｓ５）では、サーチ対象として評価されていた評価済サーチ文献が、ノイズ判別文献に判別されると、評価済サーチ文献を偽陰性文献と判断する。
偽陽性文献判断ステップ（Ｓ６）では、ノイズ対象として評価されていた評価済ノイズ文献が、サーチ判別文献に判別されると、評価済ノイズ文献を偽陽性文献と判断する。
出力ステップ（Ｓ７）では、偽陰性文献判断ステップ（Ｓ５）で判断した偽陰性文献についての文献データ、及び偽陽性文献判断ステップ（Ｓ６）で判断した偽陽性文献についての文献データを出力する。また、出力ステップ（Ｓ７）では、偽陰性文献判断ステップ（Ｓ５）で判断される偽陰性文献が所定数以下である場合、及び偽陽性文献判断ステップ（Ｓ６）で判断される偽陽性文献が所定数以下である場合の少なくともいずれか、好ましくは、偽陰性文献及び偽陽性文献が所定数以下である場合には、評価済サーチ文献群が適格であることを出力する。
再評価ステップ（Ｓ８）では、偽陰性文献判断ステップ（Ｓ５）で判断された偽陰性文献、及び偽陽性文献判断ステップ（Ｓ６）で判断された偽陽性文献について、利用者が再評価を行い、再評価の結果、評価済サーチ文献をノイズ文献に変更、又は評価済ノイズ文献をサーチ文献に変更する場合には、データベースに新たな評価済ノイズ文献又は評価済サーチ文献として登録する。
ＡＩ判定ステップ（Ｓ２）では、第１群に分類された評価済サーチ文献群と第１群に分類された評価済ノイズ文献群とを第１教師文献として、第１群に分類されなかった評価済サーチ文献群と第１群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、第Ｎ群に分類された評価済サーチ文献群と第Ｎ群に分類された評価済ノイズ文献群とを第Ｎ教師文献として、第Ｎ群に分類されなかった評価済サーチ文献群と第Ｎ群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行う。
設定ステップ（Ｓ３）では、システムの利用者によって任意の件数を目標順位値として設定できる。
文献判別ステップ（Ｓ４）では、ＡＩ判定ステップ（Ｓ２）で判定されたサーチ確率及びノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を文献に付与し、設定ステップ（Ｓ３）で設定された目標順位値を基準にして、順位値によって文献を、サーチ判別文献とノイズ判別文献とに判別する。
偽陰性文献判断ステップ（Ｓ５）では、サーチ対象として評価されていた評価済サーチ文献が、ノイズ判別文献に判別されると、評価済サーチ文献を偽陰性文献と判断する。
偽陽性文献判断ステップ（Ｓ６）では、ノイズ対象として評価されていた評価済ノイズ文献が、サーチ判別文献に判別されると、評価済ノイズ文献を偽陽性文献と判断する。
出力ステップ（Ｓ７）では、偽陰性文献判断ステップ（Ｓ５）で判断した偽陰性文献についての文献データ、及び偽陽性文献判断ステップ（Ｓ６）で判断した偽陽性文献についての文献データを出力する。また、出力ステップ（Ｓ７）では、偽陰性文献判断ステップ（Ｓ５）で判断される偽陰性文献が所定数以下である場合、及び偽陽性文献判断ステップ（Ｓ６）で判断される偽陽性文献が所定数以下である場合の少なくともいずれか、好ましくは、偽陰性文献及び偽陽性文献が所定数以下である場合には、評価済サーチ文献群が適格であることを出力する。
再評価ステップ（Ｓ８）では、偽陰性文献判断ステップ（Ｓ５）で判断された偽陰性文献、及び偽陽性文献判断ステップ（Ｓ６）で判断された偽陽性文献について、利用者が再評価を行い、再評価の結果、評価済サーチ文献をノイズ文献に変更、又は評価済ノイズ文献をサーチ文献に変更する場合には、データベースに新たな評価済ノイズ文献又は評価済サーチ文献として登録する。
【0016】
このようにして再評価を行った後に、改めて分類ステップ（Ｓ１）、ＡＩ判定ステップ（Ｓ２）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行うことで、評価済サーチ文献及び評価済ノイズ文献の評価の適格性を向上させることができ、その後の未評価文献を評価する際の適切な教師文献とすることができる。
【0017】
図２は本実施例における評価済文献診断システムでの分類ステップ（Ｓ１）とＡＩ判定ステップ（Ｓ２）との説明図である。
なお、図２（ａ）に示すように、本実施例では、評価済サーチ文献群と評価済ノイズ文献群とを、それぞれ第１群から第４群に分類している。また、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを有している。このように、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有していてもよい。
図２（ａ）では、第１評価済サーチ文献が４０件、第２評価済サーチ文献が８０件、評価済ノイズ文献が１２００件である場合を示している。
４０件の第１評価済サーチ文献を、第１群に１０件、第２群に１０件、第３群に１０件、第４群に１０件に分類し、８０件の第２評価済サーチ文献を、第１群に２０件、第２群に２０件、第３群に２０件、第４群に２０件に分類し、１２００件の評価済ノイズ文献を、第１群に３００件、第２群に３００件、第３群に３００件、第４群に３００件に分類している。
なお、本実施例では、評価済サーチ文献及び評価済ノイズ文献を第１群から第４群に均等に分類しているが、必ずしも均等に分類しなくてもよく、また、必ずしも全ての文献を用いて分類しなくてもよいが、全ての評価済サーチ文献及び全ての評価済ノイズ文献を各群に分類することが好ましい。
なお、図２（ａ）に示すように、本実施例では、評価済サーチ文献群と評価済ノイズ文献群とを、それぞれ第１群から第４群に分類している。また、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを有している。このように、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有していてもよい。
図２（ａ）では、第１評価済サーチ文献が４０件、第２評価済サーチ文献が８０件、評価済ノイズ文献が１２００件である場合を示している。
４０件の第１評価済サーチ文献を、第１群に１０件、第２群に１０件、第３群に１０件、第４群に１０件に分類し、８０件の第２評価済サーチ文献を、第１群に２０件、第２群に２０件、第３群に２０件、第４群に２０件に分類し、１２００件の評価済ノイズ文献を、第１群に３００件、第２群に３００件、第３群に３００件、第４群に３００件に分類している。
なお、本実施例では、評価済サーチ文献及び評価済ノイズ文献を第１群から第４群に均等に分類しているが、必ずしも均等に分類しなくてもよく、また、必ずしも全ての文献を用いて分類しなくてもよいが、全ての評価済サーチ文献及び全ての評価済ノイズ文献を各群に分類することが好ましい。
【0018】
図２（ｂ）から図２（ｅ）は、ＡＩ判定ステップ（Ｓ２）における教師文献と判定文献との関係を示している。
図２（ｂ）では、第１群に分類された評価済サーチ文献群と第１群に分類された評価済ノイズ文献群とを第１教師文献として、第２群、第３群、及び第４群に分類された評価済サーチ文献群と、第２群、第３群、及び第４群に分類された評価済ノイズ文献群とを第１判定文献にすることを示している。
同様に、図２（ｃ）では、第２群に分類された評価済サーチ文献群と第２群に分類された評価済ノイズ文献群とを第２教師文献として、第１群、第３群、及び第４群に分類された評価済サーチ文献群と、第１群、第３群、及び第４群に分類された評価済ノイズ文献群とを第２判定文献にすることを示している。
また、図２（ｄ）では、第３群に分類された評価済サーチ文献群と第３群に分類された評価済ノイズ文献群とを第３教師文献として、第１群、第２群、及び第４群に分類された評価済サーチ文献群と、第１群、第２群、及び第４群に分類された評価済ノイズ文献群とを第３判定文献にすることを示している。
また、図２（ｅ）では、第４群に分類された評価済サーチ文献群と第４群に分類された評価済ノイズ文献群とを第４教師文献として、第１群、第２群、及び第３群に分類された評価済サーチ文献群と、第１群、第２群、及び第３群に分類された評価済ノイズ文献群とを第４判定文献にすることを示している。
図２（ｂ）では、第１群に分類された評価済サーチ文献群と第１群に分類された評価済ノイズ文献群とを第１教師文献として、第２群、第３群、及び第４群に分類された評価済サーチ文献群と、第２群、第３群、及び第４群に分類された評価済ノイズ文献群とを第１判定文献にすることを示している。
同様に、図２（ｃ）では、第２群に分類された評価済サーチ文献群と第２群に分類された評価済ノイズ文献群とを第２教師文献として、第１群、第３群、及び第４群に分類された評価済サーチ文献群と、第１群、第３群、及び第４群に分類された評価済ノイズ文献群とを第２判定文献にすることを示している。
また、図２（ｄ）では、第３群に分類された評価済サーチ文献群と第３群に分類された評価済ノイズ文献群とを第３教師文献として、第１群、第２群、及び第４群に分類された評価済サーチ文献群と、第１群、第２群、及び第４群に分類された評価済ノイズ文献群とを第３判定文献にすることを示している。
また、図２（ｅ）では、第４群に分類された評価済サーチ文献群と第４群に分類された評価済ノイズ文献群とを第４教師文献として、第１群、第２群、及び第３群に分類された評価済サーチ文献群と、第１群、第２群、及び第３群に分類された評価済ノイズ文献群とを第４判定文献にすることを示している。
【0019】
図３は本実施例における評価済文献診断システムでのＡＩ判定結果から、偽陰性文献判断及び偽陽性文献判断までを説明するためのイメージ図である。
図３に示すように、本実施例のＡＩ判定では、文献ごとにサーチ確率とノイズ確率とが付与される。確率差は、サーチ確率からノイズ確率を減算したものである。
図３では、確率差を確率値とし、確率値が大きい順にソートしており、ソートされた順位値を文献に付与している。なお、サーチ確率又はノイズ確率を確率値としてもよい。
評価の「Ａ」は第１評価済サーチ文献、「Ｂ」は第２評価済サーチ文献であることを示し、評価の「Ｘ」は評価済ノイズ文献であることを示している。
仮に、図３に示すように、設定ステップ（Ｓ３）で目標順位値を「１０」に設定した場合には、順位値が「１」から「１０」までをサーチ判別文献、順位値が「１１」以降をノイズ判別文献と判別される。
順位値が「１１」以降で評価が「Ａ」又は「Ｂ」である評価済サーチ文献は、偽陰性文献と判断される。
また、順位値が「１」から「１０」までで評価が「Ｘ」の評価済ノイズ文献は、偽陽性文献と判断される。
図３に示すように、本実施例のＡＩ判定では、文献ごとにサーチ確率とノイズ確率とが付与される。確率差は、サーチ確率からノイズ確率を減算したものである。
図３では、確率差を確率値とし、確率値が大きい順にソートしており、ソートされた順位値を文献に付与している。なお、サーチ確率又はノイズ確率を確率値としてもよい。
評価の「Ａ」は第１評価済サーチ文献、「Ｂ」は第２評価済サーチ文献であることを示し、評価の「Ｘ」は評価済ノイズ文献であることを示している。
仮に、図３に示すように、設定ステップ（Ｓ３）で目標順位値を「１０」に設定した場合には、順位値が「１」から「１０」までをサーチ判別文献、順位値が「１１」以降をノイズ判別文献と判別される。
順位値が「１１」以降で評価が「Ａ」又は「Ｂ」である評価済サーチ文献は、偽陰性文献と判断される。
また、順位値が「１」から「１０」までで評価が「Ｘ」の評価済ノイズ文献は、偽陽性文献と判断される。
【0020】
図４は本実施例における評価済文献診断システムで出力される文献データのイメージ図である。
図４（ａ）は、偽陰性文献についての文献データのイメージ図であり、文献が特許文献である場合には、文献を特定する番号である「出願番号」、「発明の名称」「権利者・出願人」「筆頭ＩＰＣ」の他に、順位と評価を文献データとして出力する。なお、偽陽性文献についても同様に出力することができる。
図４（ｂ）は、目標順位値を「１００」に設定した場合に、特に偽陽性文献の順位を示している。図４（ｂ）では、評価が「Ａ」「Ｂ」「Ｃ」は評価済サーチ文献であることを示し、評価が「ゴミ」は評価済ノイズ文献であることを示している。
図４（ａ）は、偽陰性文献についての文献データのイメージ図であり、文献が特許文献である場合には、文献を特定する番号である「出願番号」、「発明の名称」「権利者・出願人」「筆頭ＩＰＣ」の他に、順位と評価を文献データとして出力する。なお、偽陽性文献についても同様に出力することができる。
図４（ｂ）は、目標順位値を「１００」に設定した場合に、特に偽陽性文献の順位を示している。図４（ｂ）では、評価が「Ａ」「Ｂ」「Ｃ」は評価済サーチ文献であることを示し、評価が「ゴミ」は評価済ノイズ文献であることを示している。
【0021】
図５は本実施例における評価済文献診断システムで出力される診断結果のイメージ図である。
図５（ａ）では、評価済サーチ文献数及び評価済ノイズ文献数を縦軸、目標順位値による文献判別を横軸として、それぞれの評価が一致する件数及び比率と、偽陰性文献及び偽陽性文献の件数及び比率を表示している。
また図５（ｂ）では、評価済サーチ文献と評価済ノイズ文献とについて、横軸を順位値とし、目標順位値に対して偽陰性文献や偽陽性文献がどの位置に存在しているかをグラフ表示している。また、グラフ中に目標順位値を表示することで、目標順位値の変更によって、偽陰性文献や偽陽性文献がどの程度増減又は減少するかを予測することができる。
なお、図５では、偽陰性文献及び偽陽性文献が存在しているが、偽陰性文献が所定数以下である場合、又は偽陰性文献及び偽陽性文献がともに所定数以下である場合には、評価済サーチ文献群が適格であることを出力することで、評価済サーチ文献を、未評価文献に対する教師文献として用いることができることを示唆できる。
図５（ａ）では、評価済サーチ文献数及び評価済ノイズ文献数を縦軸、目標順位値による文献判別を横軸として、それぞれの評価が一致する件数及び比率と、偽陰性文献及び偽陽性文献の件数及び比率を表示している。
また図５（ｂ）では、評価済サーチ文献と評価済ノイズ文献とについて、横軸を順位値とし、目標順位値に対して偽陰性文献や偽陽性文献がどの位置に存在しているかをグラフ表示している。また、グラフ中に目標順位値を表示することで、目標順位値の変更によって、偽陰性文献や偽陽性文献がどの程度増減又は減少するかを予測することができる。
なお、図５では、偽陰性文献及び偽陽性文献が存在しているが、偽陰性文献が所定数以下である場合、又は偽陰性文献及び偽陽性文献がともに所定数以下である場合には、評価済サーチ文献群が適格であることを出力することで、評価済サーチ文献を、未評価文献に対する教師文献として用いることができることを示唆できる。
【0022】
以上のように本実施例によれば、既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断できる。
また、本実施例によれば、偽陰性文献についての文献データを出力することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。
また、本実施例によれば、任意に設定できる目標順位値を基準にサーチ判別文献とノイズ判別文献とに判別することで、評価済サーチ文献及び評価済ノイズ文献を教師文献として用いて未評価文献を評価する際に、この目標順位値の件数を評価対象件数の目安にすることができる。
また、本実施例によれば、偽陽性文献についての文献データを出力することで、再検討すべき評価済ノイズ文献を特定でき、この偽陽性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。
また、本実施例によれば、偽陰性文献判断ステップでは、第１評価済サーチ文献については第１偽陰性文献として、第２評価済サーチ文献については第２偽陰性文献として判断し、出力ステップでは、第１偽陰性文献及び第２偽陰性文献についての文献データを出力することで、評価が複数であってもそれぞれの評価の適格性を診断できる。
このようにして、文献に対する評価結果の適格性を診断できる上に適格性を向上させることができ、その後の文献評価にあたってはＡＩ判定を利用して目標順位値の件数を評価対象件数の目安にでき、評価対象案件を一部に絞ることができる。
また、本実施例によれば、偽陰性文献についての文献データを出力することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。
また、本実施例によれば、任意に設定できる目標順位値を基準にサーチ判別文献とノイズ判別文献とに判別することで、評価済サーチ文献及び評価済ノイズ文献を教師文献として用いて未評価文献を評価する際に、この目標順位値の件数を評価対象件数の目安にすることができる。
また、本実施例によれば、偽陽性文献についての文献データを出力することで、再検討すべき評価済ノイズ文献を特定でき、この偽陽性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。
また、本実施例によれば、偽陰性文献判断ステップでは、第１評価済サーチ文献については第１偽陰性文献として、第２評価済サーチ文献については第２偽陰性文献として判断し、出力ステップでは、第１偽陰性文献及び第２偽陰性文献についての文献データを出力することで、評価が複数であってもそれぞれの評価の適格性を診断できる。
このようにして、文献に対する評価結果の適格性を診断できる上に適格性を向上させることができ、その後の文献評価にあたってはＡＩ判定を利用して目標順位値の件数を評価対象件数の目安にでき、評価対象案件を一部に絞ることができる。
【産業上の利用可能性】
【0023】
本発明は、国内における特許公報だけなく、中国や米国などの外国の特許公報などの特許文献や論文などの非特許文献にも適用できる。
【要約】
【課題】既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断でき、評価済サーチ文献及び評価済ノイズ文献の適格性を向上する評価済文献診断システムを提供すること。
【解決手段】評価済サーチ文献群と評価済ノイズ文献群を第１群から第Ｎ群に分類する分類ステップ、第１群に分類されない評価済サーチ文献群及び評価済ノイズ文献群にサーチ確率及びノイズ確率のいずれかの判定を行い、第Ｎ群に分類されない評価済サーチ文献群及び評価済ノイズ文献群にサーチ確率及びノイズ確率のいずれかの判定を行うＡＩ判定ステップ、順位値を文献に付与し、目標順位値を基準にして順位値によって、サーチ判別文献とノイズ判別文献に判別する文献判別ステップ、評価済サーチ文献がノイズ判別文献に判別されると、評価済サーチ文献を偽陰性文献とする偽陰性文献判断ステップ、偽陰性文献の文献データを出力する出力ステップを有する。
【選択図】 図１
【解決手段】評価済サーチ文献群と評価済ノイズ文献群を第１群から第Ｎ群に分類する分類ステップ、第１群に分類されない評価済サーチ文献群及び評価済ノイズ文献群にサーチ確率及びノイズ確率のいずれかの判定を行い、第Ｎ群に分類されない評価済サーチ文献群及び評価済ノイズ文献群にサーチ確率及びノイズ確率のいずれかの判定を行うＡＩ判定ステップ、順位値を文献に付与し、目標順位値を基準にして順位値によって、サーチ判別文献とノイズ判別文献に判別する文献判別ステップ、評価済サーチ文献がノイズ判別文献に判別されると、評価済サーチ文献を偽陰性文献とする偽陰性文献判断ステップ、偽陰性文献の文献データを出力する出力ステップを有する。
【選択図】 図１
【図1】
【図2】
【図3】
【図4】
【図5】
