特許 7217372 学習モデルの生成方法、コンピュータプログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-01-25

(45)【発行日】2023-02-02

(54)【発明の名称】学習モデルの生成方法、コンピュータプログラム及び情報処理装置

(51)【国際特許分類】

   G06Q 10/06 20230101AFI20230126BHJP

【ＦＩ】

G06Q10/06

【請求項の数】 7

(21)【出願番号】P 2022036456

(22)【出願日】2022-03-09

【審査請求日】2022-10-07

【早期審査対象出願】

(73)【特許権者】

【識別番号】517255566

【氏名又は名称】株式会社エクサウィザーズ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】阿部 一真

(72)【発明者】

【氏名】佐々木 励

(72)【発明者】

【氏名】戸上 綾

(72)【発明者】

【氏名】鈴木 玄太

(72)【発明者】

【氏名】チャン ウィングキット

(72)【発明者】

【氏名】佐藤 拓朗

(72)【発明者】

【氏名】トゥンド マシュー アルバート

【審査官】岡北 有平

(56)【参考文献】

【文献】特開２０２０－１１３２１８（ＪＰ，Ａ）

【文献】特開２０１６－０６２３２２（ＪＰ，Ａ）

【文献】特開２０２０－１６０５５１（ＪＰ，Ａ）

【文献】国際公開第２０１８／０４２５４７（ＷＯ，Ａ１）

【文献】特開２００５－２５８５１９（ＪＰ，Ａ）

【文献】特開２０１９－１３９５２１（ＪＰ，Ａ）

【文献】特開２００１－３３８１０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

情報処理装置が、
社員の入社前における複数の項目の情報を含む入社前情報と、前記社員の入社後における評価情報とを取得し、
取得した入社前情報及び評価情報に基づいて、対象者の入社前情報の入力に対して入社後の評価情報を出力する学習モデルを機械学習により生成し、
生成した前記学習モデルに基づいて、当該学習モデルが出力する評価情報に対する前記項目の影響度を算出し、
算出した前記項目の影響度を出力し、
前記入社前情報に含まれる項目に関する評価値と、前記評価値毎に該当する社員数とを対応付けて出力する、
学習モデルの生成方法。

【請求項2】

前記情報処理装置が、前記社員数に対する入社後の所定評価の社員数の比率を出力する、
請求項１に記載の学習モデルの生成方法。

【請求項3】

前記情報処理装置が、
生成した前記学習モデルが出力する評価情報の精度を算出し、
算出した前記精度を出力する、
請求項１又は請求項２に記載の学習モデルの生成方法。

【請求項4】

前記入社前情報には、学歴、文理区分、部活動の種別、採用試験の結果及び適性検査の結果の少なくとも１つを含む、
請求項１から請求項３までのいずれか１つに記載の学習モデルの生成方法。

【請求項5】

前記学習モデルは、決定木の構造を含むモデルである、
請求項１から請求項４までのいずれか１つに記載の学習モデルの生成方法。

【請求項6】

コンピュータに、
社員の入社前における複数の項目の情報を含む入社前情報と、前記社員の入社後における評価情報とを取得し、
取得した入社前情報及び評価情報に基づいて、対象者の入社前情報の入力に対して入社後の評価情報を出力する学習モデルを機械学習により生成し、
生成した前記学習モデルに基づいて、当該学習モデルが出力する評価情報に対する前記項目の影響度を算出し、
算出した前記項目の影響度を出力し、
前記入社前情報に含まれる項目に関する評価値と、前記評価値毎に該当する社員数とを対応付けて出力する
処理を実行させる、コンピュータプログラム。

【請求項7】

社員の入社前における複数の項目の情報を含む入社前情報と、前記社員の入社後における評価情報とを取得する取得部と、
取得した入社前情報及び評価情報に基づいて、対象者の入社前情報の入力に対して入社後の評価情報を出力する学習モデルを機械学習により生成する生成部と、
生成した前記学習モデルに基づいて、当該学習モデルが出力する評価情報に対する前記項目の影響度を算出する算出部と、
算出した前記項目の影響度を出力する第１の出力部と、
前記入社前情報に含まれる項目に関する評価値と、前記評価値毎に該当する社員数とを対応付けて出力する第２の出力部と
を備える、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入社後の評価を予測するための学習モデルの生成方法、コンピュータプログラム及び情報処理装置に関する。

【背景技術】

【0002】

企業にとって人材採用は重要であり、できるだけ自社で活躍できる人材を多く採用することが望まれる。しかし、採用前の段階で採用の候補者が自社で活躍できるか否かを判断することは難しい。

【0003】

特許文献１においては、採用を予定している企業の現在又は過去の社員夫々が職務適正試験を受験した結果を試験データとして取得し、既存社員それぞれの社内評価の結果を示す評価データを取得し、評価データそれぞれを複数の水準に分けたものをそれぞれの評価ラベルとして取得し、試験データそれぞれとこれらに対応するラベルそれぞれの組みを教師データとして教師あり学習を行うことにより、入社希望者の入社後評価を予測する学習モデルを構築する学習モデル構築装置が提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１９１１３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の学習モデル構築装置が構築した学習モデルを用いることで、入社希望者の入社後評価を予測することが期待できる。学習モデルの予測は１００％の精度で行われるわけではないため、学習モデルの予測結果のみに基づいて採用の可否を決定することは難しく、学習モデルの予測結果と人事担当者等による評価結果とを兼ね合わせて最終的な採用の可否を決定することが行われ得る。しかし学習モデルによる予測は、その予測結果がどのような要因によって導き出されたものであるかを人事担当者等が把握することが難しい。また学習モデルによる予測結果を人事担当者等が行う評価にフィードバックすることは難しい。

【0006】

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、企業等による人材採用を支援することが期待できる学習モデルの生成方法、コンピュータプログラム及び情報処理装置を提供することにある。

【課題を解決するための手段】

【0007】

一実施形態に係る学習モデルの生成方法は、情報処理装置が、社員の入社前における複数の項目の情報を含む入社前情報と、前記社員の入社後における評価情報とを取得し、取得した入社前情報及び評価情報に基づいて、対象者の入社前情報の入力に対して入社後の評価情報を出力する学習モデルを機械学習により生成し、生成した前記学習モデルに基づいて、当該学習モデルが出力する評価情報に対する前記項目の影響度を算出し、算出した前記項目の影響度を出力し、前記入社前情報に含まれる項目に関する評価値と、前記評価値毎に該当する社員数とを対応付けて出力する。

【発明の効果】

【0008】

一実施形態による場合は、企業等による人材採用を支援することが期待できる。

【図面の簡単な説明】

【0009】

【図1】本実施の形態に係る情報処理システムの構成を説明するための模式図である。

【図2】本実施の形態に係るサーバ装置の構成を示すブロック図である。

【図3】本実施の形態に係る端末装置の構成を示すブロック図である。

【図4】学習用データの一例を説明するための模式図である。

【図5】本実施の形態に係る学習モデルの構成を説明するための模式図である。

【図6】学習モデルの生成結果に関する情報の表示例を示す模式図である。

【図7】学習モデルの生成結果に関する情報の表示例を示す模式図である。

【図8】学習モデルの生成結果に関する情報の表示例を示す模式図である。

【図9】本実施の形態に係るサーバ装置が行う学習モデル生成処理の手順を示すフローチャートである。

【図10】本実施の形態に係る端末装置が行う学習モデル生成処理の手順を示すフローチャートである。

【図11】端末装置が表示する予測結果の一例を示す模式図である。

【図12】本実施の形態に係るサーバ装置が行う予測処理の手順を示すフローチャートである。

【図13】本実施の形態に係る端末装置が行う予測処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0010】

本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0011】

＜システム構成＞
図１は、本実施の形態に係る情報処理システムの構成を説明するための模式図である。本実施の形態に係る情報処理システムは、例えば企業の人事担当者等のユーザに対して、この企業の社員に関する情報に基づいて採用候補者の入社後の評価を予測する学習モデル５を生成すると共に、生成した学習モデル５を用いて採用候補者の評価を予測するサービスを提供する。本実施の形態に係る情報処理システムは、学習モデル５の生成及び学習モデル５を用いた評価等のサービスを提供するサーバ装置１と、このサービスを利用するユーザが使用する一又は複数の端末装置３とを備えて構成されている。

【0012】

サーバ装置１は、本サービスの提供会社等が管理運営する装置であり、インターネット等のネットワークを介して一又は複数の端末装置３との通信を行い、端末装置３に対して上記のサービスを提供するための種々の情報処理を行う。端末装置３は、例えば企業の人事担当者等が使用するパーソナルコンピュータ等の情報処理装置であり、スマートフォン又はタブレット型端末装置等の可搬型の情報処理装置であってよい。

【0013】

ユーザは、企業に所属する社員について蓄積された様々な情報、例えば社員の入社前における種々の情報（入社前情報）と、この社員の入社後の評価に関する情報（評価情報）とを収集し、収集したこれらの社員の情報に基づいて学習用データを端末装置３にて作成する。学習用データには、例えば入社前の採用段階で社員が提出した学歴、文理区分及び部活動の種別等の情報、並びに、入社前に行われた採用試験の結果及び適性検査の結果等の情報が含まれ得る。また学習用データには、例えば入社後の所定のタイミング（例えば１年後～数年後）において社員を人事担当者又は所属部門の上司等が評価した結果に関する情報が含まれ得る。ユーザは、端末装置３にて作成した学習用データをサーバ装置１へ送信し、サーバ装置１に学習モデル５の生成を依頼することができる。

【0014】

端末装置３から学習モデルの生成依頼を受けたサーバ装置１は、端末装置３から送信される学習用データを取得し、取得した学習用データから学習モデル５を生成する機械学習の処理を行うための教師データを生成する。例えばサーバ装置１は、入社前の社員に関する種々の情報を適宜に数値化し、数値化したこれらの情報と、この社員の入社後の所定タイミングにおける評価とを対応付けた教師データを生成する。サーバ装置１は、生成した教師データを用いて機械学習の処理を行うことによって、入社前における対象者の情報を入力として受け付けて、入社後における対象者の評価を予測する学習モデル５を生成する。

【0015】

なお本実施の形態において教師データに含まれる入社後の社員の評価に関する情報は、社員が高評価であるか否かの二値情報とするが、これに限るものではない。入社後の社員の評価は、例えば高評価、中評価及び低評価の３段階で行われたものであってよく、また４段階以上で行われたものであってよい。また本実施の形態においては、生成した学習モデル５をサーバ装置１が保持するものとするが、これに限るものではなく、生成した学習モデル５をサーバ装置１が端末装置３へ送信してもよい。

【0016】

また本実施の形態においてサーバ装置１は、生成した学習モデル５に基づき、学習済みの学習モデル５が出力する評価について、この学習モデル５へ入力される情報に含まれる種々の項目の影響度を算出する。例えば学習モデル５へ入力する情報に学歴、採用試験の結果及び適性検査の結果等の項目が含まれる場合に、学習モデル５が出力する評価にこれらの項目がどの程度の影響を与えるかをサーバ装置１は算出する。サーバ装置１は、学習モデル５の生成を依頼した端末装置３に対して、学習モデル５の生成が完了した旨の通知と、生成した学習モデル５について出力の評価に対する入力の各項目の影響度の算出結果の情報とを含む生成結果を送信する。サーバ装置１から生成結果を受信した端末装置３は、学習モデル５の生成が完了した旨をユーザに通知すると共に、入力の各項目の影響度に関する情報を表示してユーザに提示する。

【0017】

サーバ装置１による学習モデル５の生成が完了した後、ユーザは、採用の候補となっている対象者についての入社前情報を収集し、収集した情報に基づいて評価予測用データを作成する。評価予測用データは、学習用データから入社後の評価に関する情報を除いた形式のデータである。ユーザは、端末装置３にて作成した評価予測用データをサーバ装置１へ送信し、サーバ装置１に学習モデル５を用いた対象者の評価予測を依頼することができる。

【0018】

端末装置３から評価予測の依頼を受けたサーバ装置１は、端末装置３から送信される評価予測用データを取得し、取得した評価予測用データから学習モデル５へ入力するための入力データを生成する。例えばサーバ装置１は、学習用データから教師データを生成する際に行ったものと同様の処理で、評価の対象者に関する情報を数値化することで入力データを生成する。サーバ装置１は、生成した入力データを学習済の学習モデル５に対して入力し、学習モデル５が出力する出力データを取得する。学習モデル５は、対象者が入社後に高評価を得るか否かを示すデータを出力する。また学習モデルが出力するデータには、対象者が入社後に高評価を得ることについての確信度（確率、尤度等）の情報が含まれていてもよい。

【0019】

また本実施の形態においてサーバ装置１は、対象者の入社後の評価について予測すると共に、この予測結果に対して入力情報に含まれる種々の項目の影響度を算出し、予測結果により大きな影響を与えた項目がいずれであるかを特定する。サーバ装置１は、例えば学歴、採用試験の結果及び適性検査の結果の３つの項目が対象者に関する情報として学習モデル５へ入力される場合に、予測結果に対して大きな影響を与えた入力情報が学歴、採用試験の結果及び適性検査の結果のいずれであるかを、各項目の影響度に基づいて特定する。サーバ装置１は、採用候補者等の対象者が入社後に高評価を得るか否か、又は、高評価を得ることについての確信度等の予測結果と、この予測結果に対して大きな影響を与えた項目の特定結果とを含む予測結果を、評価予測の依頼を行った端末装置３に対して送信する。サーバ装置１から予測結果を受信した端末装置３は、予測結果を表示部に表示してユーザに提示する。

【0020】

＜装置構成＞
図２は、本実施の形態に係るサーバ装置１の構成を示すブロック図である。本実施の形態に係るサーバ装置１は、処理部１１、記憶部（ストレージ）１２及び通信部（トランシーバ）１３等を備えて構成されている。なお本実施の形態においては、１つのサーバ装置にて処理が行われるものとして説明を行うが、複数のサーバ装置が分散して処理を行ってもよい。

【0021】

処理部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）又は量子プロセッサ等の演算処理装置、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を用いて構成されている。処理部１１は、記憶部１２に記憶されたサーバプログラム１２ａを読み出して実行することにより、端末装置３から取得したデータに基づいて学習モデル５を生成する処理、及び、生成した学習モデル５を用いて入社前の対象者の入社後の評価を予測する処理等の種々の処理を行う。

【0022】

記憶部１２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部１２は、処理部１１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部１２は、処理部１１が実行するサーバプログラム１２ａを記憶する。また記憶部１２は、機械学習の処理により生成した学習モデル５を記憶する。

【0023】

本実施の形態においてサーバプログラム（コンピュータプログラム、プログラム製品）１２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、サーバ装置１は記録媒体９９からサーバプログラム１２ａを読み出して記憶部１２に記憶する。ただし、サーバプログラム１２ａは、例えばサーバ装置１の製造段階において記憶部１２に書き込まれてもよい。また例えばサーバプログラム１２ａは、遠隔の他のサーバ装置等が配信するものをサーバ装置１が通信にて取得してもよい。例えばサーバプログラム１２ａは、記録媒体９９に記録されたものを書込装置が読み出してサーバ装置１の記憶部１２に書き込んでもよい。サーバプログラム１２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。

【0024】

記憶部１２に記憶される学習モデル５には、学習モデル５がどのような構成であるかを示す構成情報、及び、機械学習の処理により決定された学習モデル５の内部パラメータの値が含まれ得る。

【0025】

通信部１３は、携帯電話通信網、無線ＬＡＮ（Local Area Network）及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部１３は、ネットワークＮを介して、一又は複数の端末装置３との間で通信を行う。通信部１３は、処理部１１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部１１へ与える。

【0026】

なお記憶部１２は、サーバ装置１に接続された外部記憶装置であってよい。またサーバ装置１は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置１は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。

【0027】

また本実施の形態に係るサーバ装置１には、記憶部１２に記憶されたサーバプログラム１２ａを処理部１１が読み出して実行することにより、学習用データ取得部１１ａ、教師データ生成部１１ｂ、学習モデル生成部１１ｃ、評価予測用データ取得部１１ｄ及び予測処理部１１ｅ等が、ソフトウェア的な機能部として処理部１１に実現される。なお本図においては、処理部１１の機能部として、学習モデル５を生成する処理及び入社後の評価を予測する処理に関連する機能部を図示し、これ以外の処理に関する機能部は図示を省略している。

【0028】

学習用データ取得部１１ａは、ユーザが使用する端末装置３から、ユーザが作成した学習用データを取得する処理を行う。学習用データ取得部１１ａは、通信部１３にて端末装置３との通信を行い、学習モデル５の生成依頼と共に端末装置３から送信される学習用データを受信して、記憶部１２に一時的に記憶する。

【0029】

教師データ生成部１１ｂは、端末装置３から取得した学習用データに対して、例えば学習用データに含まれる数値情報の正規化、文字情報の数値化、画像情報の数値化、文章情報のベクトル化、欠損情報の補完等の種々の前処理を施すことによって、機械学習に用いる教師データを生成する。本実施の形態において学習用データには、社員の入社前の種々の情報（入社前情報）と、この社員の入社後の評価情報とが含まれる。社員の入社前の情報には、例えば社員の最終学歴、文理区分、出身大学の種別（国公立又は私立等）、体育会に在籍していたか否か、出身中学校の種別（公立又は私立等）、出身中学校の所在地、出身高校の種別（公立又は私立等）、出身高校の所在地、部活動の種別（体育会系又は文科系等）、入社前に社員が提出した履歴書等に記載された情報、対象者が提出した文章情報（例えば学生時代に頑張ったこと、など）、採用試験（筆記試験）の結果（得点）、又は、適性検査の結果等の種々の情報が含まれ得る。社員の入社後の評価情報は、例えば社員が高評価であるか否かを示す二値の情報であり、本実施の形態においては高評価であることをハイパフォーマと呼び、高評価でないことをミドルパフォーマと呼ぶ。なお本実施の形態においては評価情報をハイパフォーマ及びミドルパフォーマの二値の情報とするが、これに限るものではなく、評価情報は例えばハイパフォーマ、ミドルパフォーマ及びローパフォーマの三値であってもよく、例えば四値以上の情報であってよく、また例えば段階的な値ではなく連続値であってもよい。教師データ生成部１１ｂは、学習用データに含まれる社員の入社前の情報を入力とし、社員の入社後の評価情報をラベル（出力）として対応付けたものを教師データとして生成する。教師データ生成部１１ｂは、生成した教師データを記憶部１２に記憶する。

【0030】

学習モデル生成部１１ｃは、教師データ生成部１１ｂが生成した教師データを用いた機械学習の処理を行うことにより、学習モデル５を生成する処理を行う。学習モデル生成部１１ｃは、いわゆる教師あり学習の機械学習を行う。本実施の形態に係る学習モデル５は、入社前の対象者の情報を入力として受け付けて、この対象者の入社後の評価を示す情報（例えばハイパフォーマであるか否かの二値情報）を出力する学習モデルである。まず学習モデル生成部１１ｃは、端末装置３から取得した学習用データに含まれる情報の数及び種類等に応じて学習モデル５の入出力情報数を決定し、決定した入出力情報数に応じた構成の未学習の学習モデルを生成する。次いで学習モデル生成部１１ｃは、教師データ生成部１１ｂが生成した教師データを記憶部１２から読み出して機械学習の処理を行うことにより、未学習の学習モデルの内部のパラメータを決定し、決定したパラメータを記憶部１２に学習モデル５として記憶する。学習モデルの教師あり学習の処理は、既存の技術であるため詳細な説明は省略するが、学習モデル生成部１１ｃは、例えば勾配降下法、確率的勾配降下法又は誤差逆伝播法等の手法により学習モデルの学習を行うことができる。

【0031】

本実施の形態においてサーバ装置１が生成する学習モデル５は、決定木の構成が採用される。決定木の構成の学習モデルには、例えばXGBoost（eXtreme Gradient Boosting）、LightGBM（Light Gradient Boosting Machine）又はランダムフォレスト等を含み得る。決定木の構成の学習モデル５は、学習モデル５の出力に対する入力情報の影響度（重要度、寄与度）を算出することが可能である。ただし、学習モデル５の構成は決定木に限るものではなく、例えばＳＶＭ（Support Vector Machine）又はニューラルネットワーク等の構成であってもよい。また入力情報の影響度の算出は、例えばAttention、ＬＩＭＥ（Local Interpretable Model-agnostic Explanations）又はＳＨＡＰ（SHapley Additive exPlanations）等のＸＡＩ（eXplainable Artificial Intelligence）技術を用いて行ってもよい。

【0032】

学習モデル生成部１１ｃは、機械学習により生成した学習モデル５の構造及び内部パラメータ等に基づいて、学習モデル５に対する入力情報の影響度を算出する。学習モデル生成部１１ｃは、例えば決定木の構造の学習モデル５について、決定木の分岐条件に用いられている入力情報がいずれであるか、及び、入力情報の分岐条件に用いられる頻度等を調べることにより、入力情報の影響度を算出することができる。学習モデル生成部１１ｃは、学習モデル５の生成が完了した後、学習モデル５の生成を依頼した端末装置３へ生成が完了したことを通知すると共に、算出した影響度に関する情報を送信する。サーバ装置１からこれらの情報を受信した端末装置３は、生成された学習モデル５について重要な入力情報がいずれであるかをユーザに提示することができ、これらの情報に基づいてユーザは例えば入社前の情報のどのような項目が入社後の評価に対して影響を与える可能性が高いかを分析することができる。

【0033】

又は、学習モデル生成部１１ｃは、学習モデル５の生成に用いた学習用データに含まれる各社員のデータついて、入力情報（社員の入社前の情報）を学習モデル５へ入力した場合にこの学習モデル５が出力する出力情報（社員の入社後の評価）を取得すると共に、この出力情報に対する入力情報の各項目のＳＨＡＰ値（シャープレイ値）を算出してもよい。学習モデル生成部１１ｃは、学習用データに含まれる全社員のデータについて入力情報の各項目のＳＨＡＰ値を算出し、項目毎にＳＨＡＰ値の平均値又は合計値等を算出したものを入力情報の影響度としてもよい。なおＳＨＡＰ値は、学習モデルに対する各入力情報が出力情報に対してどの程度の影響を与えたかを示す数値である。ＳＨＡＰ値の算出は既存の技術であるため、算出方法の詳細な説明は省略する。

【0034】

評価予測用データ取得部１１ｄは、ユーザが使用する端末装置３から、ユーザが作成した評価予測用データを取得する処理を行う。評価予測用データ取得部１１ｄは、通信部１３にて端末装置３との通信を行い、対象者の評価依頼と共に端末装置３から送信される評価予測用データを受信して、記憶部１２に一時的に記憶する。評価予測用データ取得部１１ｄが端末装置３から取得する評価予測用データは、端末装置３から取得した学習用データと略同じ構成のデータであるが、入社後の評価情報は含まれていない。評価予測用データに含まれる情報は、企業に就職を希望している人又は企業に採用される候補となっている人等のような企業に入社する前の人についての情報であり、これらの人を採用した場合の入社後の評価を予測したいと人事担当者等のユーザが判断した人についての情報である。

【0035】

予測処理部１１ｅは、評価予測用データ取得部１１ｄが取得した評価予測用データと、学習モデル生成部１１ｃが生成した学習済の学習モデル５とを用いて、評価予測用データに含まれる対象者の入社後の評価を予測する処理を行う。予測処理部１１ｅは、評価予測用データ取得部１１ｄが取得したデータに対して、教師データ生成部１１ｂが学習用データに対して行った前処理と同じ処理を行って、学習モデル５への入力データを生成する。予測処理部１１ｅは、生成した入力データを学習済の学習モデル５へ入力し、学習モデル５が出力する出力データを取得する。出力データは、入力データに係る対象者の入社後の評価の予測結果であり、例えば対象者が入社後にハイパフォーマとなるか否かを示す二値情報である。ただし学習モデル５は、例えば入社後にハイパフォーマとなることの確信度を示す０～１の範囲の数値を予測結果として出力してもよい。

【0036】

また予測処理部１１ｅは、対象者の入社後の評価の予測結果について、その結果に関与した入力データに含まれる複数の項目の影響度（重要度、寄与度）を算出する。本実施の形態に係る情報処理システムでは、評価予測用データに含まれる各対象者について学習モデル５による入社後の評価を予測すると共に、この予測結果に対する入力データの各項目のＳＨＡＰ値を影響度として算出する。予測処理部１１ｅは、対象者の入社後の評価について学習モデル５を用いた予測を行う都度、学習モデル５の予測結果に対する影響度が高い入力データの項目がいずれであるかを算出し、対象者の入社前情報に含まれる複数の項目のいずれが評価の予測結果に対して重要であるかを示す情報を端末装置３へ送信する。

【0037】

図３は、本実施の形態に係る端末装置３の構成を示すブロック図である。本実施の形態に係る端末装置３は、処理部３１、記憶部（ストレージ）３２、通信部（トランシーバ）３３、表示部（ディスプレイ）３４及び操作部３５等を備えて構成されている。例えば企業の人事担当者等のユーザが使用する装置であり、例えばスマートフォン、タブレット型端末装置又はパーソナルコンピュータ等の情報処理装置を用いて構成され得る。

【0038】

処理部３１は、ＣＰＵ又はＭＰＵ等の演算処理装置、ＲＯＭ及び等を用いて構成されている。処理部３１は、記憶部３２に記憶されたプログラム３２ａを読み出して実行することにより、対象者の入社後の評価を予測する学習モデル５を生成するための学習用データを作成する処理、学習モデル５を用いて入社後の評価を予測する対象者に関する評価用データを作成する処理、及び、学習モデル５による評価（予測）結果を表示する処理等の種々の処理を行う。

【0039】

記憶部３２は、例えばフラッシュメモリ等の不揮発性のメモリ素子又はハードディスク等の記憶装置等を用いて構成されている。記憶部３２は、処理部３１が実行する各種のプログラム、及び、処理部３１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部３２は、処理部３１が実行するプログラム３２ａを記憶している。本実施の形態においてプログラム３２ａは遠隔のサーバ装置等により配信され、これを端末装置３が通信にて取得し、記憶部３２に記憶する。ただしプログラム３２ａは、例えば端末装置３の製造段階において記憶部３２に書き込まれてもよい。例えばプログラム３２ａは、メモリカード又は光ディスク等の記録媒体９８に記録されたプログラム３２ａを端末装置３が読み出して記憶部３２に記憶してもよい。例えばプログラム３２ａは、記録媒体９８に記録されたものを書込装置が読み出して端末装置３の記憶部３２に書き込んでもよい。プログラム３２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９８に記録された態様で提供されてもよい。

【0040】

通信部３３は、携帯電話通信網、無線ＬＡＮ及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部３３は、ネットワークＮを介して、サーバ装置１との間で通信を行う。通信部３３は、処理部３１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部３１へ与える。

【0041】

表示部３４は、液晶ディスプレイ等を用いて構成されており、処理部３１の処理に基づいて種々の画像及び文字等を表示する。操作部３５は、ユーザの操作を受け付け、受け付けた操作を処理部３１へ通知する。例えば操作部３５は、機械式のボタン又は表示部３４の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部３５は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは端末装置３に対して取り外すことが可能な構成であってもよい。

【0042】

また本実施の形態に係る端末装置３は、記憶部３２に記憶されたプログラム３２ａを処理部３１が読み出して実行することにより、学習用データ送信部３１ａ、評価予測用データ送信部３１ｂ及び表示処理部３１ｃ等がソフトウェア的な機能部として処理部３１に実現される。なおプログラム３２ａは、本実施の形態に係る情報処理システムに専用のプログラムであってもよく、インターネットブラウザ又はウェブブラウザ等の汎用のプログラムであってもよい。

【0043】

学習用データ送信部３１ａは、ユーザが作成した学習用データを、学習モデル５の生成依頼と共にサーバ装置１へ送信する処理を行う。本実施の形態に係る情報処理システムにおいて学習用データは、複数の社員について、複数項目の情報を集めたテーブル状のデータであり、例えばＣＳＶ（Comma Separated Value）又はＴＳＶ（Tab Separated Values）等のファイル形式のデータである。企業の人事担当者等のユーザは、現在又は過去において企業に所属した社員に関する情報を収集し、社員の入社前の情報と入社後の評価情報とを対応付けた学習用データを生成する。ユーザは、例えば端末装置３にて表計算等のアプリケーションプログラムを利用してこれらの情報を入力することで、学習用データを作成することができる。学習用データ送信部３１ａは、ユーザが作成した学習用データを取得して、サーバ装置１へ送信する。

【0044】

評価予測用データ送信部３１ｂは、ユーザが作成した評価予測用データを、社員の評価予測の依頼と共にサーバ装置１へ送信する処理を行う。本実施の形態に係る情報処理システムにおいて評価予測用データは、上記の学習用データと略同じ構成であるが、例えば企業に入社を希望している人又は企業が採用を検討している人等のように企業に入社する前の人に関する情報を集めたものであり、ユーザが入社後の評価を予測したいと考える人に関する情報を集めたものである。ただし評価予測用データには、例えば入社直後の社員など、既に企業に入社した人の情報が含まれていてもよい。学習用データには入社後の社員の評価情報が含まれるが、評価予測用データには入社後の評価情報が含まれない。入社後の評価情報以外の情報については、学習用データと評価予測用データとで含まれる項目が一致することが好ましい。評価予測用データ送信部３１ｂは、ユーザが作成した評価予測用データを取得して、サーバ装置１へ送信する。

【0045】

表示処理部３１ｃは、サーバ装置１から送信される学習モデル５の生成結果又は学習モデル５を用いた評価結果等の情報を受信し、受信したこれらの情報を表示部３４に表示する処理を行う。例えば表示処理部３１ｃは、サーバ装置１による学習モデル５の生成完了を通知するメッセージを表示すると共に、生成された学習モデル５に基づく入力情報（入社前情報に含まれる複数の項目）の影響度等の情報を表示する。また例えば表示処理部３１ｃは、サーバ装置１による学習モデル５を用いた対象者の入社後の評価の予測結果を表示する。また例えば表示処理部３１ｃは、対象者の入社後の評価の予測結果に対する入力情報の影響度等の情報を表示する。

【0046】

＜学習モデル生成処理＞
図４は、学習用データの一例を説明するための模式図である。本実施の形態に係る情報処理システムが扱う学習用データは、上述のようにテーブル形式のデータであり、例えば企業の社員に対して一意的に付される「社員ＩＤ」に対して、「基本情報」、「学生時代に頑張ったこと」、「採用試験情報」及び「適性検査情報」等を含む入社前の種々の情報（入社前情報）と、入社後の所定タイミングにおける「評価」（評価情報）とが対応付けられたデータである。

【0047】

「基本情報」は、社員の入社前の学歴等に関する情報であり、例えば「文理区分」、「大学種別」、「体育会在籍」、「最終学歴」、「中学校種別」、「中学校所在地」、「高校種別」、「高校所在地」及び「部活種別」等の情報が含まれ得る。「文理区分」は、対象の社員が文系又は理系のいずれであるかを示す情報であり、例えば「文系」又は「理系」のいずれかが設定される。「大学種別」は、対象の社員の出身大学が国公立又は私立のいずれであるかを示す情報であり、例えば「国公立」又は「私立」のいずれかが設定される。「体育会在籍」は、対象の社員が学生時代に体育会に在籍していたか否かを示す情報であり、例えば「１（在籍していた）」又は「０（在籍していなかった）」のいずれかが設定される。「最終学歴」は、対象の社員の最終学歴を示す情報であり、例えば「大学院」、「大学」、「高校」又は「中学」のいずれかが設定される。「中学校種別」は、対象の社員の出身中学校が公立又は私立のいずれであるかを示す情報であり、例えば「公立」又は「私立」のいずれかが設定される。「中学校所在地」は、対象の社員の出身中学校の所在地を示す情報であり、例えば都道府県名が設定される。「高校種別」は、対象の社員の出身高校が公立又は私立のいずれであるかを示す情報であり、例えば「公立」又は「私立」のいずれかが設定される。「高校所在地」は、対象の社員の出身高校の所在地を示す情報であり、例えば都道府県名が設定される。「部活種別」は、対象の社員が学生時代に部活動に所属していたか否か、及び、所属していた部活動が体育会系又は文化系のいずれであるかを示す情報であり、例えば「体育会系」、「文化系」又は「なし」のいずれかが設定される。

【0048】

「学生時代に頑張ったこと」は、任意の長さの文章情報であり、例えば対象の社員が入社前に企業へ提出した履歴書又はエントリーシート等に記載した文章等である。

【0049】

「採用試験情報」は、社員が入社前に行った採用試験の結果に関する情報であり、例えば「言語（得点）」、「言語（段階）」、「数理（得点）」、「数理（段階）」、「ベーシックスキル（得点）」及び「ベーシックスキル（段階）」等の情報が含まれ得る。「言語（得点）」は、例えば英語又は中国語等の言語に関する試験で社員が獲得した得点が例えば０～１００の数値として設定される。「言語（段階）」は、言語に関する試験の結果を例えば５段階又は１０段階等の複数段階で評価した情報であり、「言語（得点）」の数値に基づいて決定される。「数理（得点）」は、例えば数学又は理科等の科目に関する試験で社員が獲得した得点が例えば０～１００の数値として設定される。「数理（段階）」は、数理の科目の試験結果を例えば５段階又は１０段階等の複数段階で評価した情報であり、「数理（得点）」の数値に基づいて決定される。「ベーシックスキル（得点）」は、採用試験として行われた複数の科目についての合計点であり、本例では「言語（得点）」及び「数理（得点）」の合計値が設定される。「ベーシックスキル（段階）」は、「ベーシックスキル（得点）」の数値に基づいて試験結果の合計点を例えば５段階又は１０段階等の複数段階で評価した情報である。

【0050】

「適性検査情報」は、社員が入社前に行った適性検査の結果に関する情報であり、例えば「外向性」、「対人折衝」及び「リーダーシップ」等の項目についての適性検査の結果が含まれ得る。「適性検査情報」の各項目は、例えば５段階又は１０段階等の複数段階の数値でそれぞれ検査結果が示される。

【0051】

「評価」は、入社後の所定のタイミングにおける社員の評価である。本実施の形態において「評価」には、社員が高評価であるか否かを示す二値の情報、例えば「ハイパフォーマ」又は「ミドルパフォーマ」のいずれかが設定される。ただし「評価」は二値でなくてよく、多段階で設定されてよい。「評価」は、例えば企業の人事担当者又は社員の上司等が行うものであり、その評価方法はどのようなものであってよい。また例えば社員の売上又は成績等の数値に基づいてサーバ装置１が評価を判断してもよい。

【0052】

企業の人事担当者等のユーザは、この企業に所属している社員（過去に所属していた社員を含み得る）に関する入社前の種々の情報を収集して、図４に示す構成のテーブル形式の学習用データを予め作成する。学習用データの作成は、端末装置３とは異なる装置にて行われてもよい。学習用データを作成した後、ユーザは端末装置３にて学習用データをサーバ装置１へ送信すると共に、学習モデル５の生成依頼をサーバ装置１へ与えることで、サーバ装置１に学習モデル５の生成処理を開始させることができる。

【0053】

なお、図４に示した各種の情報は、学習用データに含まれ得る情報の一例であって、これに限るものではない。ユーザは、社員に関する任意の情報を、学習用データに含めることが可能である。また本実施の形態に係る学習用データに含まれる情報は、数値又は文字で表される情報であるが、これに限るものではない。学習用データには、静止画像、動画像又は音声等のような数値及び文字以外の種々の情報が含まれていてよい。

【0054】

端末装置３から学習用データを取得したサーバ装置１は、取得した学習用データに含まれる複数の情報について、機械学習に適した形式に変換する処理を行う。例えばサーバ装置１は、学習用データに「文理区分」として「文系」又は「理系」の文字列が設定されている場合に、これを「０」又は「１」の数値に置換する。また例えばサーバ装置１は、学習用データに「学生時代に頑張ったこと」として任意の文章の情報が設定されている場合に、これを所定サイズの特徴量ベクトルに変換する。文章から特徴量ベクトルへの変換には、例えば予め機械学習がなされたエンコーダ等の学習モデルが用いられ得る。また例えばサーバ装置１は、任意の範囲の数値情報について、０から１までの範囲の数値情報に変換する処理を行ってもよい。これらの情報の形式を変換する処理は、機械学習におけるいわゆる前処理と呼ばれる処理であり、サーバ装置１は、端末装置３から取得した学習用データに対してどのような前処理を行ってもよい。

【0055】

サーバ装置１は、上記の前処理を行った学習用データに基づいて、学習用データの「基本情報」、「学生時代に頑張ったこと」、「採用試験情報」及び「適性検査情報」の情報を学習モデル５への入力情報（説明変数）とし、「評価」の情報を学習モデル５の出力情報（目的変数、正解ラベル）として対応付けた教師データを生成する。サーバ装置１は、生成した教師データを用いて機械学習の処理を行い、学習モデル５を生成する。

【0056】

図５は、本実施の形態に係る学習モデル５の構成を説明するための模式図である。本実施の形態に係る学習モデル５は、例えば「文理区分」及び「大学種別」等の基本情報、「学生時代に頑張ったこと」の情報、「言語（得点）」及び「言語（得点）」等の採用試験情報、並びに、「外向性」及び「対人折衝」等の適性検査情報等の入社前における社員の情報を入力として受け付けて、この社員の入社後の「評価」に関する情報を出力するよう機械学習がなされたモデルである。学習モデル５へ入力される情報の数及び種類は、端末装置３から取得した学習用データに含まれる情報の数及び種類に基づいて決定される。

【0057】

学習モデル５の出力情報は、例えば社員が高評価（ハイパフォーマ）であるか否かを示す０又は１の二値情報であり、出力情報の１が高評価を示し、出力情報の０が高評価ではないことを示す。なお学習モデル５は、例えば社員が高評価であることの確信度を０から１までの範囲の数値情報として出力してもよい。

【0058】

教師データを用いた機械学習により学習モデル５を生成したサーバ装置１は、生成した学習モデル５の予測精度を算出すると共に、生成した学習モデル５を用いた予測における入力情報の影響度を算出し、算出したこれらの情報を端末装置３へ送信して、学習モデル５の生成完了を通知する。端末装置３は、サーバ装置１から受信した予測精度等の情報を表示部３４に表示してユーザに提供する。図６～図８は、学習モデル５の生成結果に関する情報の表示例を示す模式図である。

【0059】

図６に示す学習モデル５の生成結果の表示例は、生成した学習モデル５の予測精度に関する情報の表示例である。サーバ装置１から受信した情報に基づいて端末装置３は、例えば画面の最上部に「予測精度」のタイトル文字列を表示し、その下方に学習モデル５の予測精度が「７０．０％」であることを円グラフを用いて表示する。なお図示の例では、予測精度とした後述の正解率（Accuracy）の値が用いられているが、これに限るものではなく、他の評価値が用いられてもよい。端末装置３は、この円グラフの下方に、例えば「予測に用いた２５３件のデータのうち、１７７件が実データと合致しています。」のメッセージを表示する。このメッセージは、学習用データに含まれる２５３人の社員について学習モデル５が評価の予測を行った場合、１７７人の社員について正しい予測結果が得られたことを示している。

【0060】

また端末装置３は、上記のメッセージの下方に、予測精度の算出に関する詳細情報を表示する。図示の例では、学習モデル５による予測を合計２５３人の社員について行い、そのうちの１１２人をハイパフォーマ（高評価）と予測し、１４１人をミドルパフォーマ（低評価）と予測したことが示されている。また実データ（学習用データ）には、ハイパフォーマの社員が１１２人含まれており、学習モデル５がそのうちの８５人をハイパフォーマと予測し、２７人をミドルパフォーマと（誤）予測したことが示されている。また実データには、ミドルパフォーマの社員が１４１人含まれており、学習モデル５がそのうちの４９人をハイパフォーマと（誤）予測し、９２人をミドルパフォーマと予測したことが示されている。端末装置３は、これらの予測結果に基づいて、正解率（Accuracy）が６９．９６％であり、適合率（Precision）が７０．３７％であり、再現率（Recall）が７０．５７％であり、Ｆ値が６９．９４％であることを表示している。これらの評価値の算出は、サーバ装置１が行ってもよく、端末装置３が行ってもよい。なお、これら評価値は既存のものであり、算出方法の詳細な説明は省略する。

【0061】

図７に示す学習モデル５の生成結果の表示例は、生成した学習モデル５を用いて実データ（学習用データ）に含まれる社員の評価予測を行った場合の、予測結果の要因に関する情報の表示例である。本実施の形態に係る情報処理システムにおいてサーバ装置１が生成する学習モデル５は木構造の学習モデルである。木構造の学習モデル５は、複数の条件判定を木構造で連ねたものであり、入力情報に含まれるいずれかの項目に対して条件判定を順に行って木構造の分岐を辿ることで出力データを得ることができる。木構造の学習モデル５は、その静的な構造に基づいて、入力情報の各項目の影響度（重要度、寄与度）を算出することができる。この場合、学習モデル５に木構造で連なった複数の条件判定において使用される項目がいずれであるか、更に学習モデル５の全体で各項目が条件判定に使用された回数を調べることにより、各項目の影響度が算出できる。例えば学習モデル５内に条件判定を行う箇所が１００個存在し、その中で項目Ａが判定条件として２０回使用されている場合、項目Ａの影響度は２０％となる。

【0062】

また木構造の学習モデル５は、入力データを与えて出力データを得た際に、入力データから出力データへ至るまでに辿った木構造の経路を調べ、この経路中で行われた条件判定に用いられた項目を調べることによって、学習モデル５の出力結果に対する入力情報の各項目の影響度を算出することができる。例えばある対象者の情報を学習モデル５へ入力し、学習モデル５の木構造を辿って２０回の条件判定が行われ、その中で項目Ａが判定条件として５回使用されている場合、項目Ａの影響度は２５％となる。更に、複数の対象者について情報を学習モデル５へ入力して条件判定において各項目が使用された回数を調べ、複数の対象者について得られた回数の合計値に基づいて各項目の影響度を算出してもよい。

【0063】

なお、上記のいずれの方法で影響度を算出する場合であっても、学習モデル５の木構造の何層目の条件判定で使用されたかに応じて、各項目の使用回数に重み付けして影響度を算出してもよい。

【0064】

またサーバ装置１は、入力情報に含まれる各項目の影響度をＳＨＡＰ値に基づいて算出することができる。サーバ装置１は、学習用データに含まれる社員の評価予測を学習モデル５にて行い、各社員について予測結果に対する入力情報の各項目のＳＨＡＰ値を算出する。サーバ装置１は、学習用データに含まれる全社員について評価予測及びＳＨＡＰ値の算出を行い、入力情報の各項目について全社員のＳＨＡＰ値の平均値又は合計値を算出し、算出した値を影響度とすることができる。なおＳＨＡＰ値として正負の値が算出される場合、サーバ装置１は、ＳＨＡＰ値の絶対値に基づいて影響度の順位を決定してよい。

【0065】

また上記の影響度の算出方法は一例であってこれに限るものではなく、どのような方法で影響度の算出が行われてもよい。

【0066】

本実施の形態においては、生成した学習モデル５に学習用データに含まれる複数の社員の情報を入力し、入力から出力までに条件判定で使用された項目を調べることにより、各項目の影響度を算出する。サーバ装置１は、学習モデル５に社員の情報を入力して評価の予測を行った際に、予測結果に対する影響度（重要度、寄与度）が高い入力情報の項目がいずれであるかを判定し、この項目を評価予測の要因とする。サーバ装置１は、例えば学習用データに含まれる社員のうちハイパフォーマと予測した社員についてその要因を特定して集計し、要因の多いものについて例えば上位１番目から順番に要因に関する情報を端末装置３へ送信する。端末装置３は、サーバ装置１から受信した情報に基づいて、評価予測の要因に関する情報を表示部３４に表示する。

【0067】

図示の例では、端末装置３は、評価予測の要因となった入力情報の「項目」とその「影響度」とを対応付けて表示している。「影響度」は、例えばハイパフォーマと予測した全ての社員についての要因においてその「項目」が占める割合を算出したものとすることができる。本例において端末装置３は、「影響度」が高いものから順に第１位から第１０位までの入力情報の「項目」を上から下に並べて表示している。本例において、影響度が高い項目の第１位は「学生時代頑張ったこと」であり、第２位は「ベーシックスキル（得点）」であり、第３位は「言語（得点）」であり、第４位は「高校所在地」であり、第５位は「最終学歴」である。また第６位は「数理（得点）」であり、第７位は「中学校所在地」であり、第８位は「文理区分」であり、第９位は「リーダーシップ」であり、第１０位は「体育会在籍」である。なお図７に示す項目、項目の順位及び影響度等は一例であって、これに限るものではない。このような情報表示を端末装置３が行うことによって、ユーザは過去に採用したハイパフォーマの社員について影響度が高い項目を把握することができ、今後の人材採用の参考とすることが期待できる。

【0068】

端末装置３は、図７に示す情報を表示している状態において、影響度の順に並べられた複数の項目の中から１つの項目の選択をユーザから受け付け、選択された項目に関する詳細情報を表示する。図８に示す表示例は、図７の表示例において「リーダーシップ」の項目が選択された場合に端末装置３が表示する詳細情報の一例である。図示の例では、「リーダーシップ」の項目が１～９までの９段階のスコアで与えられるものとし、横軸を「リーダーシップ」のスコアとし、縦軸を各スコアに該当するデータ数としたヒストグラムのグラフ表示を端末装置３が行っている。なおこのヒストグラムは、端末装置３がサーバ装置１へ送信した学習用データ（実データ）に基づくものである。

【0069】

また端末装置３は、「リーダーシップ」スコア毎のターゲット（即ち、ハイパフォーマと予測された人）の含有割合を、ヒストグラムのグラフに重ねて表示する。図８に示す表示例では、例えば入社前に「リーダーシップ」スコアが「９」の社員が１３６人おり、この社員の中で入社後にハイパフォーマと判定された社員が「４９．２６５％」含まれていたことが示されている。また例えば入社前に「リーダーシップ」スコアが「３」の社員が４９人おり、この社員の中で入社後にハイパフォーマと判定された社員が「２８．５７１％」含まれていたことが示されている。これらの事からユーザは、例えば入社前に「リーダーシップ」スコアが７以上であれば、入社後に４５％以上の確率でハイパフォーマとなると分析することができる。

【0070】

なお本実施の形態においては、図６～図８に示した画面を端末装置３が表示するために、サーバ装置１が表示に必要な情報を端末装置３へ表示するものとするが、これに限るものではない。図６及び図７の画面を表示するためにはサーバ装置１が生成した学習モデル５に関する情報が必要であるが、図８の画面は学習用データに基づいて表示することが可能であるため、自身が保持している学習用データに基づいて端末装置３が表示してもよい。

【0071】

図９は、本実施の形態に係るサーバ装置１が行う学習モデル生成処理の手順を示すフローチャートである。本実施の形態においてサーバ装置１の処理部１１の学習用データ取得部１１ａは、通信部１３にて端末装置３との通信を行うことにより、端末装置３から学習用データを取得する（ステップＳ１）。処理部１１の教師データ生成部１１ｂは、端末装置３から取得した学習用データに対して型変換等の所定の前処理を施すことにより、機械学習を行うための教師データを生成する（ステップＳ２）。処理部１１の学習モデル生成部１１ｃは、ステップＳ２にて生成した教師データを用いて、いわゆる教師ありの機械学習の処理を行い（ステップＳ３）、学習モデル５を生成する。学習モデル生成部１１ｃは、生成した学習モデル５の情報を記憶部１２に記憶する（ステップＳ４）

【0072】

学習モデル生成部１１ｃは、生成した学習モデル５に対して教師データに含まれる入力データを入力し、学習モデル５が出力する出力データを取得し、取得した出力データと教師データに含まれる正解ラベルとを比較することにより、予測精度を算出する（ステップＳ５）。学習モデル生成部１１ｃは、ステップＳ５にて予測精度を算出するために学習モデル５を用いた際に、各社員について予測結果に対する入力情報の項目の影響度を算出する（ステップＳ６）。学習モデル生成部１１ｃは、ステップＳ５にて算出した学習モデル５の予測精度、及び、ステップＳ６にて算出した入力情報の項目の影響度等を含む学習モデル５の生成結果に関する情報を端末装置３へ送信し（ステップＳ７）、処理を終了する。

【0073】

図１０は、本実施の形態に係る端末装置３が行う学習モデル生成処理の手順を示すフローチャートである。本実施の形態に係る情報処理システムでは、入社前の社員に関する種々の情報と、この社員の入社後の所定タイミングにおける評価とを対応付けたデータをユーザが予め作成する。このデータの作成は端末装置３にて行われてもよく、他の装置にて行われてもよい。本実施の形態に係る端末装置３の処理部３１の学習用データ送信部３１ａは、ユーザが予め作成して記憶部３２等に記憶したこのデータを、サーバ装置１が学習モデル５を生成する機械学習を行うための学習用データとして取得する（ステップＳ２１）。学習用データ送信部３１ａは、取得した学習用データをサーバ装置１へ送信し（ステップＳ２２）、学習モデル５の生成を依頼する。

【0074】

処理部３１の表示処理部３１ｃは、サーバ装置１から学習モデル５の生成結果の情報を受信したか否かを判定する（ステップＳ２３）。サーバ装置１から学習モデル５の生成結果を受信していない場合（Ｓ２３：ＮＯ）、表示処理部３１ｃは、生成結果を受信するまで待機する。サーバ装置１から学習モデル５の生成結果を受信した場合（Ｓ２３：ＹＥＳ）、表示処理部３１ｃは、サーバ装置１から受信した情報に基づいて、図６に示した学習モデル５の予測精度に関する情報の表示を行う（ステップＳ２４）。

【0075】

次いで表示処理部３１ｃは、サーバ装置１から受信した情報に基づいて、図７に示した学習モデル５への入力情報に含まれる項目の影響度に関する情報を表示する（ステップＳ２５）。表示処理部３１ｃは、例えば影響度が高い順に入力情報の項目を一覧表示した画面を表示し、表示した複数の項目の中から１つの項目の選択がなされたか否かを判定する（ステップＳ２６）。項目が選択されていない場合（Ｓ２６：ＮＯ）、表示処理部３１ｃは、ステップＳ２５へ処理を戻して影響度に関する情報の表示を継続して行う。項目が選択された場合（Ｓ２６：ＹＥＳ）、表示処理部３１ｃは、図８に示した選択された項目に関する詳細情報の表示を行って（ステップＳ２７）、処理を終了する。

【0076】

＜予測処理＞
学習モデル５の生成が完了した後、ユーザは、例えば企業で採用を検討している候補者について、学習モデル５を用いた入社後の評価の予測を行うことができる。ユーザは、学習モデル５を生成した際の学習用データと同様のテーブル形式で、一又は複数の候補者に関する情報を集めた評価予測用データを生成し、評価予測用データを端末装置３にてサーバ装置１へ送信して入社後の評価の予測を依頼することができる。図示は省略するが、評価予測用データの構成は、図４に示した学習用データの構成から「評価」の項目を取り除いた構成に相当する。評価予測用データには、入社後の評価を予測する少なくとも１人の対象者についての情報が含まれる。

【0077】

端末装置３から評価予測用データを受信したサーバ装置１は、学習モデル５の生成処理において学習用データから教師データを生成する際に行った前処理と同じ処理を評価予測用データに対して行い、学習モデル５への入力データを生成する。サーバ装置１は、生成した入力データを学習モデル５へ入力し、学習モデル５が出力する出力データを取得する。図５に示した構成の学習モデル５の場合、学習モデル５の出力データは、対象者の入社後の評価（ハイパフォーマであるか否か）についての二値情報である。サーバ装置１は、評価予測用データに含まれる全ての対象者について評価の予測を行い、予測結果の情報を端末装置３へ送信する。

【0078】

またサーバ装置１は、各対象者について入社後の評価の予測を行った際に、予測結果についての入力情報の項目の影響度を算出する。本実施の形態に係るサーバ装置１は、各対象者の予測結果に対する入力情報のＳＨＡＰ値を影響度として算出する。サーバ装置１は、評価予測用データに含まれる全ての対象者（ハイパフォーマと予測された対象者のみ又はミドルパフォーマと予測された対象者のみであってもよい）について、予測結果に対する入力情報の項目の影響度を算出し、入社後の評価の予測結果と共に入力情報の各項目の影響度に関する情報を端末装置３へ送信する。

【0079】

図１１は、端末装置３が表示する予測結果の一例を示す模式図である。サーバ装置１から対象者に関する入社後の評価の予測結果を受信した端末装置３は、例えば複数の対象者についての予測結果を図１１に示すように一覧表示する。このときに端末装置３は、各対象者について、「応募者ＩＤ」と、予測結果である「パフォーマンス判定」及び「確信度」と、この予測結果に影響を与えた入力情報の項目に関する情報とを対応付けて表示する。「パフォーマンス判定」は、学習モデル５による対象者の入社後の評価の予測結果であり、「ハイパフォーマ」又は「ミドルパフォーマ」のいずれかである。「確信度」は、入社後の評価の予測結果に対する確かさを示す数値である。確信度は、例えば予測を行った際の学習モデル５の内部状態、予測のための演算処理の過程で算出された値等に基づいて、取得又は算出される。また学習モデル５が確信度を出力する構成である場合には、出力された確信度が用いられる。

【0080】

予測結果に影響を与えた項目に関する情報には、例えば「変数名」、「値」及び「影響度」等の情報が含まれる。本例において端末装置３は、予測結果に影響を与えた項目を各対象者について２つ表示しており、図示の例では「理由１＿変数名」、「理由１＿値」、「理由１＿影響度」、「理由２＿変数名」、「理由２＿値」及び「理由２＿影響度」として２つの項目に関する情報を区別して表示している。「変数名」は、学習モデル５へ入力された入力情報の複数の項目うち、予測結果に影響を与えた項目に対して付されていた名称である。図示の例では、予測結果の要因として、「リーダーシップ」、「数理（得点）」、「言語（得点）」、「対人折衝」及び「ベーシックスキル（得点）」等の変数名が表示されている。「値」は、評価予測用データにおいて「変数名」に対応する入力情報の項目に設定されていた値である。「影響度」は、対応する項目が予測結果にどの程度の影響を与えるかを数値化したものである。

【0081】

例えば「応募者ＩＤ」が「１６０４８２７９」の対象者は、入社後に「パフォーマンス判定」が「ハイパフォーマ」になると「７２．７％」の「確信度」で予測されている。またこの予測結果に対しては、入力情報のうちの「リーダーシップ」の項目が「５」であることが「０．２３７８０」の「影響度」で最も影響を与えており、次いで「数理（得点）」の項目が「８２」であることが「０．２３５４０」の「影響度」で影響を与えている。

【0082】

なお図１１に示す例では、端末装置３は評価予測が行われた全ての対象者の情報を単に一覧表示している。ユーザは、端末装置３に対して条件入力等の操作を行うことによって、一覧表示された全ての対象者の中から特定の条件を満たす対象者のみを抽出して表示させることができる。またユーザは、端末装置３に対して所定の操作を行うことによって、例えば「確信度」の値が大きい順、「応募者ＩＤ」の値が小さい順、「影響度」の値が大きい順又は「変数名」の五十音順等で、複数の対象者の情報を並べ替えて表示させることができる。これにより端末装置３は、例えば「確信度」が７０％を超える「ハイパフォーマ」と予測された対象者を抽出し、「確信度」が大きい順に複数の対象者の情報を並べて表示することができ、ユーザはこれらの「確信度」が７０％を超える「ハイパフォーマ」を採用の１つの条件として候補者の絞り込みを行うことができる。

【0083】

図１２は、本実施の形態に係るサーバ装置１が行う予測処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置１の処理部１１の評価予測用データ取得部１１ｄは、通信部１３にて端末装置３との通信を行うことにより、端末装置３から評価予測用データを取得する（ステップＳ４１）。処理部１１の予測処理部１１ｅは、端末装置３から取得した評価予測用データに対して教師データを生成した際と同じ内容の前処理を施すことにより、学習モデル５に対する入力データを生成する（ステップＳ４２）。予測処理部１１ｅは、生成した入力データを学習モデル５へ入力する（ステップＳ４３）。

【0084】

予測処理部１１ｅは、学習モデル５が出力する出力データを取得することにより（ステップＳ４４）、対象者の入社後の評価を予測する。また予測処理部１１ｅは、各対象者の予測結果に対する入力データに含まれる各項目の影響度を算出する（ステップＳ４５）。予測処理部１１ｅは、対象者の入社後の評価の予測と、この予測に対する入力情報の各項目の影響度との情報を含む予測結果を端末装置３へ送信し（ステップＳ４６）、処理を終了する。

【0085】

図１３は、本実施の形態に係る端末装置３が行う予測処理の手順を示すフローチャートである。本実施の形態に係る情報処理システムでは、企業の求人に対して応募した応募者又は企業が採用を検討している候補者等の対象者に関する種々の情報を集めた評価予測用データをユーザが予め作成する。このデータの作成は端末装置３にて行われてもよく、他の装置にて行われてもよい。本実施の形態に係る端末装置３の処理部３１の評価予測用データ送信部３１ｂは、ユーザが予め作成して記憶部３２等に記憶したこの評価予測用データを取得する（ステップＳ６１）。評価予測用データ送信部３１ｂは、取得した評価予測用データをサーバ装置１へ送信し（ステップＳ６２）、学習モデル５による対象者の評価予測を依頼する。

【0086】

処理部３１の表示処理部３１ｃは、サーバ装置１から学習モデル５による対象者の予測結果を受信したか否かを判定する（ステップＳ６３）。サーバ装置１から予測結果を受信していない場合（Ｓ６３：ＮＯ）、表示処理部３１ｃは、予測結果を受信するまで待機する。サーバ装置１から予測結果を受信した場合（Ｓ６３：ＹＥＳ）、表示処理部３１ｃは、サーバ装置１から受信した情報に基づいて、図１１に示した対象者の予測結果の一覧表示を行う（ステップＳ６４）。

【0087】

次いで表示処理部３１ｃは、例えば採用の基準となる条件など、表示に関する条件の入力をユーザから受け付ける（ステップＳ６５）。表示処理部３１ｃは、一覧表示した複数の対象者の中から、ステップＳ６５にて受け付けた条件を満たす対象者を抽出する（ステップＳ６６）。表示処理部３１ｃは、抽出した対象者の予測結果を一覧表示して（ステップＳ６７）、処理を終了する。

【0088】

＜まとめ＞
以上の構成の本実施の形態に係る情報処理ステムでは、社員の入社前における複数の項目の情報を含む入社前情報と、この社員の入社後における評価情報とを対応付けた学習用データをサーバ装置１が端末装置３から取得する。サーバ装置１は、端末装置３から取得した学習用データに基づいて、対象者の入社前情報の入力に対して入社後の評価情報を出力する学習モデル５を機械学習により生成する。またサーバ装置１は、生成した学習モデル５に基づいて、学習モデル５が出力する評価情報に対する入社前情報の各項目の影響度を算出し、算出した各項目の影響度に関する情報を端末装置３へ送信（出力）することによって、端末装置３に情報を表示（出力）させる。

【0089】

これにより、本実施の形態に係る情報処理システムは、社員の入社前情報及び評価情報に基づいて生成された学習モデル５を用いて、採用の候補者等の入社前情報に基づいて入社後の評価情報を予測することを可能とする。また本実施の形態に係る情報処理システムでは、生成された学習モデル５に基づいて評価情報に対する入社前情報の各項目の影響度を出力することで、入社前のどのような項目が入社後の評価に影響するかをユーザが分析することができる。よって、本実施の形態に係る情報処理システムは、企業等による人材採用を支援することが期待できる。

【0090】

また本実施の形態に係る情報処理システムでは、サーバ装置１からの情報に基づいて端末装置３が、入社前情報に含まれる項目の評価値と、評価値毎の該当社員数とを対応付けたヒストグラムのグラフ表示を行う。また本実施の形態に係る情報処理システムでは、サーバ装置１からの情報に基づいて端末装置３が、評価値毎の社員数に対する所定評価の社員数の比率をヒストグラムのグラフに併せて表示する。これらにより本実施の形態に係る情報処理システムは、入社前情報に含まれる各項目が入社後の評価にどのような影響を与えるかなどをユーザが分析することを可能とする。

【0091】

また本実施の形態に係る情報処理システムでは、サーバ装置１が生成した学習モデル５について出力する評価情報の精度を算出し、算出した制度に関する情報を端末装置３へ送信（出力）することによって、端末装置３に精度に関する情報を表示（出力）させる。これによりユーザは、生成された学習モデル５が予測する入社後の評価がどの程度の精度のものであるかを容易に把握することができる。

【0092】

また本実施の形態に係る情報処理システムでは、学習モデル５へ入力する入社前情報に、学歴、文理区分、部活動の種別、採用試験の結果及び適性検査の結果等の情報を含む。これらの情報に基づいて入社後の評価を予測する学習モデル５を生成することにより、採用の候補者等の対象者について入社後の評価を精度よく予測することが期待できる。

【0093】

また本実施の形態に係る情報処理システムでは、決定木の構造を含む学習モデル５を生成する。決定木の学習モデルは、出力（目的変数）に対する入力（説明変数）の影響度等を推定することが可能な学習モデルであるため、決定木の学習モデルを用いて入社後の評価を予測することにより、予測結果の評価に対する入力情報の影響度等を推定して分析することが期待できる。

【0094】

また本実施の形態に係る情報処理システムは、対象者の入社前における複数の項目の情報を含む評価予測用データ（入社前情報）をサーバ装置１が端末装置３から取得し、取得した評価予測用データに基づく入力データを学習済みの学習モデル５へ入力して出力される評価情報を取得する。またサーバ装置１は、学習モデル５が出力した評価情報に対する入力の各項目の影響度を算出する。サーバ装置１は評価情報及び影響度に関する情報を端末装置３へ送信（出力）し、端末装置３にこれらの情報を表示（出力）させる。

【0095】

これにより、本実施の形態に係る情報処理システムは、採用の候補者等の対象者の入社前情報に基づいて学習済みの学習モデル５にて入社後の評価を予測することができると共に、入社前のどのような項目が入社後の評価に影響するかをユーザが分析することができる。よって、本実施の形態に係る情報処理システムは、企業等による人材採用を支援することが期待できる。

【0096】

なお本実施の形態に係る情報処理システムでは、ユーザが使用する端末装置３とは別の装置、即ちサーバ装置１が学習モデル５の生成及び学習モデル５を用いた予測等の処理を行っているが、これに限るものではなく、端末装置３が学習モデル５の生成及び学習モデル５を用いた予測等の処理を行ってもよい。またサーバ装置１は生成した学習モデル５を端末装置３へ送信し、学習モデル５を用いた予測等の処理を端末装置３が行ってもよい。

【0097】

また本実施の形態において図６、図７、図８及び図１１等に示した端末装置３による画面表示は、一例であってこれに限るものではない。学習モデル５による予測結果等の情報は、どのような態様で表示されてもよい。また本実施の形態において図４に示した学習用データに含まれる情報は、一例であってこれに限るものではない。

【0098】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0099】

１ サーバ装置（情報処理装置、コンピュータ）
３ 端末装置（情報処理装置、コンピュータ）
５ 学習モデル
１１ 処理部
１１ａ 学習用データ取得部（取得部）
１１ｂ 教師データ生成部
１１ｃ 学習モデル生成部（生成部、算出部、出力部）
１１ｄ 評価予測用データ取得部（第１の取得部）
１１ｅ 予測処理部（入力部、第２の取得部、算出部、出力部）
１２ 記憶部
１２ａ サーバプログラム
１３ 通信部
３１ 処理部
３１ａ 学習用データ送信部
３１ｂ 評価予測用データ送信部
３１ｃ 表示処理部
３２ 記憶部
３２ａ プログラム
３３ 通信部
３４ 表示部
３５ 操作部
Ｎ ネットワーク

【要約】      （修正有）

【課題】企業等による人材採用を支援することが期待できる学習モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置を提供する。
【解決手段】情報処理システムにおいて、情報処理装置であるサーバ装置１は、社員の入社前における複数の項目の情報を含む入社前情報と、社員の入社後における評価情報とを端末装置３から取得し、取得した入社前情報及び評価情報に基づいて、対象者の入社前情報の入力に対して入社後の評価情報を出力する学習モデルを機械学習により生成し、生成した学習モデルに基づいて、当該学習モデルが出力する評価情報に対する項目の影響度を算出し、算出した項目の影響度を出力する。情報処理装置は、入社前情報に含まれる項目に関する評価値と、評価値毎に該当する社員数と、を対応付けて出力してもよい。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】