特開 2023-154367 情報処理装置、情報処理システム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023154367

(43)【公開日】2023-10-19

(54)【発明の名称】情報処理装置、情報処理システム及び情報処理方法

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20231012BHJP

   G06N 20/00 20190101ALI20231012BHJP

【ＦＩ】

G06Q10/04

G06N20/00

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022063688

(22)【出願日】2022-04-06

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】棚橋 直哉

(72)【発明者】

【氏名】松葉 浩也

(72)【発明者】

【氏名】末光 一成

(72)【発明者】

【氏名】本間 健

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA02

5L049AA04

5L049DD01

(57)【要約】

【課題】情報処理装置において、予測に効く特徴量を自動で抽出することにより恣意的な判断を防止する。
【解決手段】複数の第１の非構造化データと第１の非構造化データのそれぞれについての前記結果情報に基づいて結果を予測する特徴量抽出モデルを構築する特徴量抽出モデル構築部と、特徴量抽出モデルに複数の第２の非構造化データを入力して結果の予測精度に寄与する特徴量を抽出する特徴量抽出部と、特徴量と複数の第２の非構造化データのそれぞれの付帯情報と第２の非構造化データのそれぞれの前記結果情報に基づいて結果を予測する結果予測モデルを構築する結果予測モデル構築部とを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

記憶部と演算部とを有する情報処理装置であって、
前記記憶部は、
予測対象に関する非構造化情報と、
前記予測対象に関する結果情報と、
前記予測対象に関する付帯情報と、を記憶し、
前記演算部は、
前記非構造化情報の一部分である複数の第１の非構造化データと、前記第１の非構造化データのそれぞれについての前記結果情報に基づいて、結果を予測する特徴量抽出モデルを構築する特徴量抽出モデル構築部と、
前記特徴量抽出モデルに前記非構造化情報の残りの部分である複数の第２の非構造化データを入力して、前記結果の予測精度に寄与する特徴量を抽出する特徴量抽出部と、
前記特徴量と、複数の前記第２の非構造化データのそれぞれの前記付帯情報と、前記第２の非構造化データのそれぞれの前記結果情報に基づいて、前記結果を予測する結果予測モデルを構築する結果予測モデル構築部と、
を有することを特徴とする情報処理装置。

【請求項2】

前記特徴量抽出モデル構築部は、
前記特徴量抽出モデルとして、中間層をもつ機械学習モデルを構築することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記特徴量抽出部は、
複数の前記第２の非構造化データを前記特徴量抽出モデルに入力して、前記中間層の値を特徴量ベクトルとして取得して前記特徴量を抽出することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記結果予測モデル構築部は、
所定の前記予測精度を満たす前記特徴量を選択し、選択した前記特徴量を用いて前記結果予測モデルを構築することを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記結果予測モデル構築部は、
前記予測精度として、前記結果の予測正当率を用いて前記特徴量を選択することを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記特徴量抽出モデルに基づいて、前記非構造化情報から前記予測精度に寄与する予測寄与情報を選択する予測寄与情報選択部を更に有することを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記非構造化情報は、
所定の活動に関する複数の文書データを含み、
前記結果情報は、
前記所定の活動における案件成約可否の結果を含み、
前記付帯情報は、
少なくとも前記予測対象に関する構造化データを含むことを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記予測寄与情報選択部は、
前記第２の非構造化データとして複数の前記文書データを前記特徴量抽出モデルに入力して前記案件成約可否の案件成約可否確率を算出し、
前記文書データ内に含まれている各単語をマスクして、前記各単語をマスクした際の予測確率をそれぞれ算出し、
前記案件成約可否確率と比べた前記予測確率の変化幅が所定のしきい値を超えた前記単語を前記案件成約可否の予測に寄与する単語として選択し、
前記予測に寄与する単語が含まれる前記文章データを前前記特徴量抽出モデルに入力することを特徴とする請求項７に記載の情報処理装置。

【請求項9】

前記非構造化情報は、
前記所定の活動として、営業活動に関する前記文書データを含み、
前記結果情報は、
前記所定の活動として、前記営業活動における前記案件成約可否の結果を含むことを特徴とする請求項８に記載の情報処理装置。

【請求項10】

情報処理装置とユーザー端末とがネットワークを介して接続された情報処理システムであって、
前記ユーザー端末は、
ユーザーが所定の情報を入力し、前記情報処理装置において演算された結果を出力し、
前記情報処理装置は、
記憶部と演算部と通信部を有し、
前記演算部は、
前記非構造化情報の一部分である複数の第１の非構造化データと、前記第１の非構造化データのそれぞれについての前記結果情報に基づいて、結果を予測する特徴量抽出モデルを構築する特徴量抽出モデル構築部と、
前記特徴量抽出モデルに前記非構造化情報の残りの部分である複数の第２の非構造化データを入力して、前記結果の予測精度に寄与する特徴量を抽出する特徴量抽出部と、
前記特徴量と、複数の前記第２の非構造化データのそれぞれの前記付帯情報と、前記第２の非構造化データのそれぞれの前記結果情報に基づいて、前記結果を予測する結果予測モデルを構築する結果予測モデル構築部と、を有し、
前記通信部は、
前記ネットワークを介して、前記情報処理装置と前記ユーザー端末との通信を行うことを特徴とする情報処理システム。

【請求項11】

前記情報処理装置の前記特徴量抽出モデル構築部は、
前記特徴量抽出モデルとして、中間層をもつ機械学習モデルを構築することを特徴とする請求項１０に記載の情報処理システム。

【請求項12】

前記情報処理装置の前記特徴量抽出部は、
複数の前記第２の非構造化データを前記特徴量抽出モデルに入力して、前記中間層の値を特徴量ベクトルとして取得して前記特徴量を抽出することを特徴とする請求項１１に記載の情報処理システム。

【請求項13】

予測対象に関する非構造化情報と、前記予測対象に関する結果情報と、前記予測対象に関する付帯情報と、を記憶する記憶ステップと、
前記非構造化情報の一部分である複数の第１の非構造化データと、前記第１の非構造化データのそれぞれについての前記結果情報に基づいて、結果を予測する特徴量抽出モデルを構築する特徴量抽出モデル構築ステップと、
前記特徴量抽出モデルに前記非構造化情報の残りの部分である複数の第２の非構造化データを入力して、前記結果の予測精度に寄与する特徴量を抽出する特徴量抽出ステップと、
前記特徴量と、複数の前記第２の非構造化データのそれぞれの前記付帯情報と、前記第２の非構造化データのそれぞれの前記結果情報に基づいて、前記結果を予測する結果予測モデルを構築する結果予測モデル構築ステップと、
を有することを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム及び情報処理方法に関する。

【背景技術】

【0002】

適切な予実管理は計画の立案や人員リソースの最適化を行うために必要な過程である。予実管理を適切に実施するには、現時点で獲得しようとしている案件が将来的に成約される確率や案件の進捗率などを正確に予測することが必要となる。

【0003】

しかし、案件の成約可否やその進捗度合いを正確に予測することは困難なため、適切な予実管理は様々な企業にとって課題となっており、売上の低下や機会損失を招いてしまっている。ここで、案件の成約可否や進捗度合いを予測するのが困難な理由は、対象顧客のその時の状況によってその成約率が変わってしまい、過去の類似案件のデータのみを参考にした予測アルゴリズムでは精度が悪くなってしまうことが主な理由である。

【0004】

ここでいう顧客状況とは、顧客が提案に前向きか否か、や競合他社の存在など、案件ごとに変化する顧客の状況を意味している。

【0005】

この顧客状況は日々、案件成約のために顧客と接している営業が最もよく把握している。したがって、日々の営業活動にて記録された営業の記録文書から顧客の状況情報を抽出することで、案件予測アルゴリズムの精度向上が見込める。

【0006】

特許文献１には、案件の成約可否等の結論を予測する場合に、案件のために作成された文書ファイル又はその案件に関して複数のユーザー間でやり取りされたメッセージ群を用いることができる情報処理装置を提供する方法について開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０２１－１４９８４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１では、案件のために作成された文書ファイル又はメッセージ群から複数のルールをもとに情報を抽出し、案件毎の文書ファイル又はメッセージ群内の情報に対応した案件の結論を予測することを学習した人工知能によって、案件についての結論を予測する。

【0009】

しかし、上記技術では、人手で特徴量のルールを決めるため恣意的な判断基準になってしまうため、作成した特徴量が必ずしも予測に効くとは限らない。また、対象顧客や案件が増えるにつれ新たにルールを増やしていく必要があるため、かなりの工数が必要になってしまう。

【0010】

本発明の目的は、情報処理装置において、予測に効く特徴量を自動で抽出することにより、恣意的な判断を防止することにある。

【課題を解決するための手段】

【0011】

本発明の一態様の情報処理装置は、記憶部と演算部とを有する情報処理装置であって、前記記憶部は、予測対象に関する非構造化情報と、前記予測対象に関する結果情報と、前記予測対象に関する付帯情報とを記憶し、前記演算部は、前記非構造化情報の一部分である複数の第１の非構造化データと、前記第１の非構造化データのそれぞれについての前記結果情報に基づいて、結果を予測する特徴量抽出モデルを構築する特徴量抽出モデル構築部と、前記特徴量抽出モデルに前記非構造化情報の残りの部分である複数の第２の非構造化データを入力して、前記結果の予測精度に寄与する特徴量を抽出する特徴量抽出部と、前記特徴量と、複数の前記第２の非構造化データのそれぞれの前記付帯情報と、前記第２の非構造化データのそれぞれの前記結果情報に基づいて、前記結果を予測する結果予測モデルを構築する結果予測モデル構築部とを有することを特徴とする。

【発明の効果】

【0012】

本発明に一態様によれば、情報処理装置において、予測に効く特徴量を自動で抽出することにより、恣意的な判断を防止することができる。

【図面の簡単な説明】

【0013】

【図1】実施例１に関する情報処理装置及び情報処理システムの構成の一例を示したブロック図である。

【図2】情報処理装置における特徴量抽出モデル構築部での処理の一例を示すフローチャートである。

【図3】非構造化情報のデータ構造の一例を示す図である。

【図4】結果情報のデータ構造の一例を示す図である。

【図5】各案件の文書データの一例を示す図である。

【図6】情報処理装置における特徴量抽出部と結果予測モデル構築部での処理の一例を示すフローチャートである。

【図7】その他付帯情報のデータ構造の一例を示す図である。

【図8】結果予測モデルの入力データ構造の一例を示す図である。

【図9】複数の特徴量セットをもとに算出された予測精度のデータ構造の一例を示す図である。

【図10】実施例２に関する情報処理装置及び情報処理システムの構成の一例を示したブロック図である。

【図11】情報処理装置における予測寄与情報選択部での処理の一例を示すフローチャートである。

【図12A】予測に寄与する情報を選択する文書データの一例を示す図である。

【図12B】予測寄与情報を選択するためのデータ構造の一例を示す図であるである。

【発明を実施するための形態】

【0014】

以下、本発明の実施例について図面を参照して説明する。

【実施例0015】

図１を参照して、実施例１に関する情報処理装置及び情報処理システムの構成について説明する。
情報処理システム１００は、ネットワーク１０２を介して通信可能に接続された情報処理装置１０１と、ユーザーが使用するユーザー端末１０３と、予測対象の情報が格納されたデータベース１０４とを有する。

【0016】

ネットワーク１０２は、ユーザー端末１０３と、データベース装置１０４と、情報処理装置１０１と、を互いに通信可能にする。

【0017】

ユーザー端末１０３は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理装置である。ユーザー端末１０３は、ユーザーが所定の情報を入力し、情報処理装置１０１において演算された結果を出力する。具体例として、営業活動における案件成約可否を予測する場合では、入力情報は予実管理を行いたい案件番号などであり、出力情報は案件の成約可否確率などである。ここで、情報処理装置１０１で処理する予実管理を行いたい案件に関するデータはデータベース装置１０４に格納されている。

【0018】

情報処理装置１０１は、非構造化データから結果予測の精度向上に寄与する特徴量を自動で抽出し、その特徴量をもとに結果を予測するモデルを構築する情報処理装置である。ここで、非構造化データとは、例えば、フリーフォーマットのデータである。

【0019】

情報処理装置１０１は、記憶部１１０と、演算部１２０と、通信部１３０とを有する。記憶部１１０は、予測対象に関する非構造化データである非構造化情報１１１と、予測対象に関する結果情報である結果情報１１２と、予測対象に関する少なくとも構造化データを含む情報であるその他付帯情報１１３とを記憶する。

【0020】

演算部１２０は、特徴量抽出モデル構築部１２１と、特徴量抽出部１２２と、結果予測モデル構築部１２３とを有する。

【0021】

特徴量抽出モデル構築部１２１は、第１の複数の非構造化データと、第１の非構造化データのそれぞれについての結果情報とから結果を予測する機械学習モデルを構築する。特徴量抽出部１２２は、機械学習モデルに第２の複数の非構造化データを入力し、中間層のデータを取得する。結果予測モデル構築部１２３は、中間層のデータと、第２の複数の非構造化データのそれぞれに関する少なくとも構造化データを含むデータと、第２の非構造化データのそれぞれについての結果情報とからその結果を予測する。ここで、第１の非構造化データとは、非構造化情報１１１の一部分であり、第２の非構造化データとは、非構造化情報１１１の残りの部分である。

【0022】

通信部１３０は、ネットワーク１０２を介して情報処理装置１０１と他の装置と通信を行う。
例えば、情報処理装置１０１は計算機で構成され、演算部１２０はプロセッサで構成され、記憶部１１０はメモリで構成されている。

【0023】

特徴量抽出モデル構築部１２１、特徴量抽出部１２２及び結果予測モデル構築部１２３はそれぞれプログラムで構成され、これらのプログラムをプロセッサが処理することにより、所定の機能を提供する機能部として稼働する。例えば、プロセッサは、特徴量抽出モデル構築プログラムに従って処理することで特徴量抽出モデル構築部１２１として機能する。他のプログラムについても同様である。

【0024】

本実施例１では、営業活動における案件成約可否を予測する場合を想定する。またそれに伴い、使用する非構造化データとして、営業担当者と顧客とのやりとりや営業担当者の所感などが記された文書データのみを使用する。

【0025】

ここで、非構造化データは文書データに限らず、画像や音声など他の形式のものを使用しても良い。また、これらの非構造化データを複数種類使用してもよい。その場合、特徴量抽出モデル構築部１２１で構築する機械学習モデルの数を非構造化データの分だけ増やすなど、適宜対応すればよい。

【0026】

図２に特徴量抽出モデル構築部１２１での処理フローを示す。以下実施例では本フローに従い、特徴量抽出モデル構築部１２１の機能を示す。
まず、ステップＳ２０２では、非構造化情報１１１に格納された過去案件の文書データを読み込む。その際、全データを読み込むのではなく、その一部の案件の文書データを読み込み、特徴量を抽出する機械学習モデルを構築するために使用する。また、残りの案件の文書データは、結果予測モデル構築部１２３において予測モデルを構築するために使用される。本実施例１ではこれらのデータをそれぞれ、第１の複数の文書データと第２の複数の文書データと呼ぶ。

【0027】

図３は、非構造化情報１１１に格納された、情報各案件における文書ファイルを格納したデータの例を示している。
各案件における文書ファイルを格納したデータ３０１は、案件番号欄３１１と、添付文書データ欄３１２と、から構成される。

【0028】

案件番号欄３１１には、案件を識別する案件番号に関する情報が格納される。添付文書ファイル欄３１２には、各案件に関する文書データが格納される。

【0029】

ここで、格納されている文書ファイルは、一種類でも複数種類でもよい。本実施例１では例として、営業担当者と顧客とのやりとりや営業担当者の所感などが記された一種類のデータでの処理方法を示す。複数種類を使用する場合は、複数の文書データを一つの文書データとなるように結合する方法や、複数の文書データをそれぞれ別のデータとみなして機械学習モデルを構築する方法など、適宜方法を選択すればよい。

【0030】

次に、ステップＳ２０３では、ステップＳ２０２で読み込んだ文書データと対応した案件の結果情報を結果情報１１２から読み込む。

【0031】

図４は、結果情報１１２に格納された、各案件の結果情報を格納したデータの例を示している。
各案件の結果情報を格納したデータ４０１は、案件番号欄４１１と、案件成約可否結果欄４１２と、から構成される。案件番号欄４１１には、案件を識別する案件番号に関する情報が格納される。案件成約可否結果４１２には、対象案件の成約可否の結果を示す情報が格納される。

【0032】

本実施例１では、営業活動に置ける案件成約可否を予測するため、対象の案件が成約したか否かの二値情報が格納されている。しかし、本情報処理装置で処理する結果情報の形式に制限はなく、例えば予測対象がプロジェクトの進捗率の場合などでは、実数や確率値のような連続値でもよい。

【0033】

次に、ステップＳ２０４では、ステップＳ２０２で読み込んだ文書データとステップＳ２０３で読み込んだ各案件の結果情報とから、案件成約可否結果を予測する機械学習モデルを構築する。

【0034】

本実施例１では、中間層をもつ機械学習モデルとして内部にニューラルネットワークを有した機械学習モデルを想定する。ニューラルネットワークとは、別名、マルチパーセプトロンとも呼ばれ、複数のパーセプトロンを多層的に重ねることで、線形分離不可能問題を解く能力をもたせた技術である。ここで、中間層は、予測結果を算出するために使用される複数のパーセプトロンの層のいずれであってもよい。

【0035】

図５に、本実施例１にて使用する各案件の文書データの例を示す。
各案件の文書データ５０１は案件番号欄５１１とデータ内容欄５１２によって構築されている。本実施例１では、非構造化データとして図５に示したような文書データをもとに機械学習モデルを構築する。

【0036】

そこでまず、機械学習モデルが構築できるよう文書データの前処理を行う。本実施例１では、前処理方法として、文書を構成する文章ごとに文書を構成する単語に分割し、文書に含まれる全ての単語について単語の種類、単語情報に分割する形態素解析と、文書データの数値化を行うワンホットベクトル化を使用する。

【0037】

ワンホットベクトルとは、ベクトルの全要素のうち、１個の要素が１であり、それ以外の要素が全て０であるベクトルである。文書データをワンホットベクトル化する場合、ベクトルの各要素は単語や文字の種類に対応する。ワンホットベクトルの次元数は各言語に対応した文字の種類をもとに予め決定しておく方法や、処理する文書データの単語の種類を数えた後に決定する方法などがあるが、その時の分析に応じて適宜定めれば良い。

【0038】

また、文書データを機械学習モデルへの入力データとする前処理方法は埋め込みベクトル化など他にも多数あり、本実施例の方式に限られるものではない。

【0039】

また、非構造化データとして画像データを使用した場合には、色補正や画像の大きさの変更など、音声データを使用した場合は、音声信号の標準化やスペクトログラム形式への変換など、の前処理が考えられる。

【0040】

特徴量抽出モデル構築部１２１では、上記のフローによって非構造化データとその結果情報をもとに、中間層をもつ機械学習モデルを構築し、入力された非構造化データに対する結果を予測する予測モデルを構築する。本実施例１では本モデルを特徴量抽出モデルと呼び、本モデルは主に文書データなどの非構造化データから結果の予測の精度に寄与する特徴量を抽出するために使用される。

【0041】

図６に特徴量抽出部１２２と予測モデル構築部１２３での処理フローを示す。ここで図６において、ステップＳ６０２とステップＳ６０３は特徴量抽出部１２２によって処理され、ステップＳ６０４とステップＳ６０５は予測モデル構築部１２３によって処理される。

【0042】

本実施例１では本フローに従い、特徴量抽出部１２２と予測モデル構築部１２３の機能を示す。

【0043】

まず、ステップＳ６０２では、非構造化情報１１１に格納された過去案件の文書データを読み込む。その際、特徴量抽出モデル構築部１２１での機械学習モデルの構築に使用しなかった第２の複数の文書データを読み込む。

【0044】

次に、ステップＳ６０３では、ステップＳ６０２にて読み込んだ文書データを特徴量抽出モデルに入力する。そして、そのモデルの中間層の値を特徴量ベクトルとして取得する。その際、読み込んだ文書データには特徴量抽出モデル構築時と同様の前処理を施す。

【0045】

取得した特徴量ベクトルは、特徴量抽出モデルにて結果を予測する際に使用されるベクトルであるため、その結果予測の精度に寄与する特徴量である。本発明の情報処理装置では、この方法により人手で特徴量のルールを決める必要なく、非構造化データから自動的に結果の予測精度の向上に寄与する特徴量を抽出することができる。

【0046】

次に、ステップＳ６０４では、ステップＳ６０２にて読み込んだ文書データと対応した案件の結果情報を結果情報１１２から、案件に関係したその他案件付帯情報をその他付帯情報１１３から読み込む。

【0047】

図７にその他付帯情報１１３に格納された、その他案件付帯情報が記録されたデータの例を示す。
その他案件付帯情報７０１は、案件番号欄７１１と、顧客業種欄７１２と、顧客本拠地欄７１３と、契約金額欄７１４と製品種別欄７１５と、から構成される。

【0048】

案件番号欄７１１には、案件を識別する案件番号の情報が格納される。顧客業種欄７１２には、顧客の業種に関する情報が格納される。業種は、「金融」、「自動車」、「医療」等、予め定められた区分を有する。顧客本拠地欄７１３には、顧客の拠点となる国に関する情報が格納される。本拠地は、「日本」、「アメリカ」、「中国」等、予め定められた区分を有する。

【0049】

契約金額欄７１４には、案件の契約金額に関する情報が格納される。製品種別欄７１５には、案件にて販売や提案した製品種別に関する情報が格納される。製品種別は、「Ｘ製品」、「Ｙ製品」、「Ｚ製品」等、予め定められた区分を有する。

【0050】

また、本データには非構造化データが含まれていても良い。その場合前述したワンホットベクトル化など、適宜非構造化データを数値データへと変換し、構造化データへと変換する処理を行えばよい。

【0051】

次に、ステップＳ６０５では、ステップＳ６０３にて取得した特徴量ベクトルとステップＳ６０４にて取得した案件の結果情報とその他案件付帯情報をもとに、案件の成約可否結果を予測する結果予測モデルを構築する。

【0052】

構築する予測モデルのアルゴリズムの種類として、例えば、決定木、ランダムフォレスト、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ニューラルネットワークなどがある。

【0053】

上記のような予測モデルを構築するため、本ステップではまず特徴量ベクトルとその他案件付帯情報を、案件番号欄に記載された案件番号をキーとして結合し、予測モデルの入力データを作成する。

【0054】

図８に予測モデルの入力データである、特徴量ベクトルとその他案件付帯情報を案件番号ごとに結合したデータの例を示す。
予測モデルの入力データ８０１は、案件番号欄８１１と、顧客業種欄８１２と、顧客本拠地欄８１３と、契約金額欄８１４と製品種別欄８１５と、文書特徴量８１６から構成される。文書特徴量８１６は、Ｓ６０３にて抽出した各案件の文書データごとの特徴量ベクトルであり、その特徴量数Ｎは構築した特徴量抽出モデルの中間層の大きさによって変化する。

【0055】

次に、使用する予測モデルに適した前処理方法によって作成した入力データの前処理を行う。例えば、予測モデルとしてニューラルネットワークなど数値データを処理するアルゴリズムを使用する場合、入力データ８０１では、顧客業種欄に文字データが含まれているため、予め定められた区分をもとにしたラベル化などを実行する。ここで、前処理方法に制限はなく、適宜前処理方法を変更してもよい。その後、入力データと、案件の結果情報をもとに結果予測モデルを構築する。

【0056】

本モデルをもとにある案件の成約確率を予測する際には、予測したい案件の文書データを特徴量抽出部に入力し、特徴量ベクトルを取得し、該特徴量ベクトルと結果予測モデル構築時と同様の前処理を施したその他案件付帯情報を結合し、予測モデルに入力することでその案件の成約確率を計算することができる。

【0057】

本実施例１の情報処理装置１０１では、この方法により非構造化データから自動的に抽出した結果の予測精度の向上に寄与する特徴量をもとに、結果予測モデルを構築することができる。

【0058】

また、本実施例１では、予測モデル構築部１２３において、予測モデル構築時に、その予測精度を用いて、入力データとして使用する情報を選択する機能を備えてもよい。以下、入力データとして使用する情報を選択した後、予測モデルを構築する方法の実施例を示す。

【0059】

まず、予測精度を計算するために、入力データ８０１と、ステップＳ６０４にて取得した案件の結果情報を、訓練に使用するためのデータ（訓練用データ）と精度を計算するためのデータ（検証用データ）に分割する。

【0060】

その後、入力データに含まれている特徴量のうち、いくつかの特徴量を選択した特徴量セットを複数作成し、各特徴量セットについて、訓練用データを用いて予測モデルを構築した後、検証用データによって、その予測精度を算出する。ここで、特徴量セットの作成方法に制限はなく、ランダムに決定する方法や、その他案件付帯情報は必ず使用するなど予めルールを定めておいてもよい。

【0061】

図９は作成された複数の特徴量セットをもとに算出された予測精度を示した例である。本実施例１では、予測精度として案件成約可否の予測正当率を使用している。
各特徴量セットによって算出された案件成約可否の正当率表９０１は、特徴量セット番号欄９１１と、使用した特徴量欄９１２と、正当率欄９１３と、から構成される。

【0062】

例えば、表９０１の１行目は、入力データ８０１に含まれている全特徴量「顧客業種、顧客本拠地、．．．、文書特徴量１、．．．、文書特徴量（Ｎ－１）、文書特徴量Ｎ」を使用した場合の予測モデルの正当率は、９０％であることを示している。

【0063】

また、表９０１の２行目は、入力データ８０１に含まれている特徴量のうち、文書特徴量Ｎを除いた、「顧客業種、顧客本拠地、．．．、文書特徴量１、．．．、文書特徴量（Ｎ－１）」を使用した場合の予測モデルの正当率は、９５％であることを示している。

【0064】

また、表９０１の３行目は、入力データ８０１に含まれている特徴量のうち、顧客本拠地を除いた、「顧客業種、契約金額、．．．、文書特徴量１、．．．、文書特徴量（Ｎ－１）」を使用した場合の予測モデルの正当率は、７５％であることを示している。

【0065】

したがって、本実施例１では、特徴量セットＢをもとに構築した予測モデルの精度が高いことから、特徴量セットＢを使用した結果予測モデルを構築し、使用する。

【0066】

このように、特徴量として使用する情報を選択することで、より精度の高く、高速な処理が可能な予測モデルの構築が可能となる。また、本実施例１では、精度計算方法として、単純に訓練用データと検証用データに分割し、予測精度を計算したが、精度計算方法に制限はなく、交差検証による精度計算などを行っても問題ない。

【実施例0067】

次に、結果予測モデルを構築する際に、非構造化データから予測に寄与する部分を選択する処理を実施例２の情報処理装置で行う方法について述べる。

【0068】

非構造化データには、結果の予測に寄与しないノイズのような情報が含まれることがありうる。このような情報を含んだまま結果予測モデルを構築してしまうと、結果予測モデル構築時間の長期化や予測精度の低下といった事象が発生してしまう。

【0069】

そのため、実施例２の情報処理装置では、結果の予測に寄与しないノイズのような情報が結果予測モデルの訓練用データとして使用されないよう、特徴量抽出部１２２にて非構造化データから特徴量ベクトルを抽出する前に、結果予測モデルの訓練に使用すべき、予測に寄与する情報を非構造化データから選択することができる。

【0070】

本処理では、結果予測モデルの訓練データからノイズのような情報が除去することできるため、結果予測モデルの訓練時間の削減や予測精度の向上などという効果がある。

【0071】

図１０を参照して、実施例２に関する情報処理装置及び情報処理システムの構成について説明する。
本実施例２の情報処理システム１０００は、ネットワーク１００２を介して通信可能に接続された情報処理装置１００１と、ユーザーが使用するユーザー端末１００３と、予測対象の情報が格納されたデータベース１００４とを有する。

【0072】

ネットワーク１００２は、ユーザー端末１００３と、データベース装置１００４と、情報処理装置１００１とを互いに通信可能にする。

【0073】

ユーザー端末１００３は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理装置である。ユーザー端末１００３は、ユーザーが所定の情報を入力し、情報処理装置１００１において演算された結果を出力する。具体例として、営業活動における案件成約可否を予測する場合では、入力情報は予実管理を行いたい案件番号などであり、出力情報は案件の成約可否確率などである。ここで、情報処理装置１００１で処理する予実管理を行いたい案件に関するデータはデータベース装置１００４に格納されている。

【0074】

情報処理装置１００１は、非構造化データから結果予測の精度向上に寄与する特徴量を自動で抽出し、その特徴量をもとに結果を予測するモデルを構築する情報処理装置である。情報処理装置１００１は、記憶部１０１０と、演算部１０２０と、通信部１０３０とを有する。

【0075】

記憶部１０１０は、予測対象に関する非構造化データである非構造化情報１０１１と、予測対象に関する結果情報である結果情報１０１２と、予測対象に関する少なくとも構造化データを含む情報であるその他付帯情報１０１３とを記憶する。

【0076】

演算部１０２０は、特徴量抽出モデル構築部１０２１と、特徴量抽出部１０２２と、結果予測モデル構築部１０２３と、予測寄与情報選択部１０２４とを有する。実施例２の特徴量抽出モデル構築部１０２１、特徴量抽出部１０２２及び結果予測モデル構築部１０２３は、図１の実施例１の特徴量抽出モデル構築部１２１、特徴量抽出部１２２及び結果予測モデル構築部１２３と機能は同じなのでその説明は省略する。

【0077】

新たに追加された予測寄与情報選択部１０２４は、特徴量抽出モデル構築部１０２１で構築した機械学習モデルをもとに非構造化データから予測精度に寄与する情報を選択する。

【0078】

例えば、情報処理装置１００１は計算機で構成され、演算部１０２０はプロセッサで構成され、記憶部１０１０はメモリで構成されている。

【0079】

特徴量抽出モデル構築部１０２１、特徴量抽出部１０２２、結果予測モデル構築部１０２３及び予測寄与情報選択部１０２４はそれぞれプログラムで構成され、これらのプログラムをプロセッサが処理することにより、所定の機能を提供する機能部として稼働する。例えば、プロセッサは、予測寄与情報選択プログラムに従って処理することで予測寄与情報選択部１０２４として機能する。他のプログラムについても同様である。

【0080】

通信部１０３０は、ネットワーク１００２を介して情報処理装置１００１と他の装置と通信を行う。

【0081】

このように、図１０の実施例２の情報処理装置１００１及び報処理システム１０００は、予測寄与情報選択部１０２４が新たに追加された点を除き、その構成は図１の実施例１の情報処理装置１０１及び報処理システム１００と同様である。

【0082】

本実施例２でも実施例１と同様に例として営業活動における案件成約可否を予測する場合を想定する。また、使用する非構造化データとして、営業担当者と顧客とのやりとりや営業担当者の所感などが記された文書データのみを使用する。

【0083】

まず初めに、実施例１と同様の処理によって、特徴量抽出モデル構築部１０２１を用いて文書データから案件成約可否を予測する機械学習モデルを構築する。

【0084】

図１１に予測寄与情報選択部１０２４での処理フローを示す。以下実施例では本フローに従い、予測寄与情報選択部１０２４の機能を示す。
まず、ステップＳ１１０２では、非構造化情報１０１１に格納された文書データを読み込む。その際、特徴量抽出モデルの構築に使用しなかった第２の複数の文書データを読み込む。

【0085】

次に、ステップＳ１１０３では、ステップＳ１１０２にて読み込んだ文書データを特徴量抽出モデルに入力して、案件成約可否確率を算出する。その際、読み込んだ文書データには特徴量抽出モデル構築時と同様の前処理を施す。本実施例２では、ステップＳ１１０２にて読み込んだ文書データを特徴量抽出モデルに入力することによって算出された案件成約確率が９５％であったとする。

【0086】

次に、ステップＳ１１０４では、ステップＳ１１０３で入力データとして使用した文書データのうち、ある一つの単語をマスクした場合の案件成約確率を算出する。ここでマスクするという意味は、文章中のある単語を使用しないで特徴量抽出モデルへの入力データとすることである。

【0087】

本実施例２では、ワンホットベクトル化を施しているため、マスクした単語についてワンホットベクトルは全ての要素が０であるベクトルとなる。その際、文書データにマスク対象の単語が２つ以上含まれている場合、それぞれ同時にマスクして、入力データとする。本処理により、文書データから、ある単語を除去した文章をもとに案件成約確率を算出することができる。本処理を文書データ内に含まれている各単語に対して実行し、各単語をマスクした際の予測確率を保持する。

【0088】

図１２Ａに予測に寄与する情報を選択する文書データの例と、図１２Ｂに文書データに含まれる各単語をマスクした際の予測確率と予測確率の変化幅を記録した表の例を示す。

【0089】

文書データ１２０１に含まれる「提案に対して前向きな反応をいただいた。」という文章は、顧客が提案に納得していることを意味しており、案件成約可否の予測の精度には寄与すると考えられる。一方、「その後、私は別の会社との打合せに向かった。」という文章は、明らかに案件成約可否の予測の精度には寄与しない。本情報処理装置１００１では、このような文章を除去することを目的とする。

【0090】

表１２０２は、マスクした単語欄１２１１と、予測確率欄１２１２と、予測確率の変化幅欄１２１３と、から構成される。ここで、予測確率の変化幅欄１２１３には、ステップＳ１１０３にて算出したオリジナルの文章を入力データとして特徴量抽出モデルに入力することで算出された案件成約確率と、Ｓ１１０４にて算出したマスクした単語欄１２１１に記載された単語をマスクした文章を入力データとして特徴量抽出モデルに入力することで算出された案件成約確率との差の絶対値が格納される。

【0091】

例えば、表１２０２の１行目は、文書データ１２０１に含まれた「提案」という単語をマスクした場合の案件成約確率と予測確率の変化幅を示している。「提案」をマスクした場合の案件成約確率が９３％であったため、予測確率の変化幅は２％となる。

【0092】

表１２０２の２行目は、文書データ１２０１に含まれた「前向き」という単語をマスクした場合の案件成約確率と予測確率の変化幅を示している。「前向き」をマスクした場合の案件成約確率が７５％であったため、予測確率の変化幅は２０％となる。

【0093】

表１２０２の３行目は、文書データ１２０１に含まれた「反応」という単語をマスクした場合の案件成約確率と予測確率の変化幅を示している。「反応」をマスクした場合の案件成約確率が９０％であったため、予測確率の変化幅は５％となる。

【0094】

算出した予測確率の変化幅が大きい場合、その単語は案件成約の予測に寄与する単語であると判断ができる。なぜならその単語を文書データから除去するだけで、オリジナルの文章での予測から大きく予測確率が変化したということを意味するためである。

【0095】

そこで、ステップＳ１１０５では、予測確率の変化幅のしきい値を設定し、そのしきい値を超えた単語を案件成約の予測に寄与する単語として選択し、その単語が含まれる文章を、特徴量抽出部１０２２の入力データとして出力する。

【0096】

本実施例２では、予測確率の変化幅のしきい値を１０％と設定する。その結果、表１２０２の結果より、「前向き」という単語のみが予測に寄与する単語として選択されたとする。

【0097】

したがって、選択された単語が含まれる「提案に対して前向きな反応をいただいた。」という文章は、特徴量抽出部１０２２の入力データとして選択される。一方、「前向き」という単語が含まれない「その後、私は別の会社との打合せに向かった。」という文章は、案件成約可否の予測に寄与しない文章と判断され、特徴量抽出部１０２２の入力データとして選択されない。

【0098】

その後、本処理によって選択された文章を、特徴量抽出部１０２２の入力データとして出力する。以降の処理は、実施例１に示したように、図６のフローを実行する。これにより、特徴量抽出部１０２２において非構造化データから特徴量ベクトルを取得する前に、モデルの訓練用データとして使用すべき、予測に寄与する情報を選択することができる。

【0099】

本実施例２では、文章中の単語をマスクし、予測確率を算出し、その変化幅をもとに各単語が予測に寄与しているかを判定したが、もちろん本方式に制限されない。

【0100】

また、本実施例２では、文書データを例として扱ったため、マスクする対象を単語とした。同様の手法でその他の非構造化データを扱う場合には、そのマスク対象を適宜変更することで対応可能である。例えば、非構造化データとして画像を扱う場合には、ある特定の範囲のピクセルや画像の一部分をマスクし、マスクされたピクセルやや画像の一部分の値を０として入力データとする方法が考えられる。

【0101】

また、音声データでは、ある時間のデータをマスクし、マスクされた時間における信号の振幅値を０として入力データとする方法が考えられる。

【0102】

上記実施例によれば、文書データなど非構造化データを使用してある結果を予測するモデルを構築する場合に、非構造化データから結果予測の精度向上に寄与する特徴量を自動で抽出することができ、その特徴量をもとに結果を予測するモデルを構築することができる。