特許 7587733 情報処理方法、プログラム、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-13

(45)【発行日】2024-11-21

(54)【発明の名称】情報処理方法、プログラム、及び情報処理装置

(51)【国際特許分類】

   G06Q 10/0639 20230101AFI20241114BHJP

【ＦＩ】

G06Q10/0639

【請求項の数】 10

(21)【出願番号】P 2023179643

(22)【出願日】2023-10-18

【審査請求日】2023-10-20

【権利譲渡・実施許諾】特許権者において、権利譲渡・実施許諾の用意がある。

【早期審査対象出願】

(73)【特許権者】

【識別番号】521463089

【氏名又は名称】アポロ株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】宮地 謙輔

(72)【発明者】

【氏名】十倍 大仁郎

(72)【発明者】

【氏名】粟飯原 隆司

(72)【発明者】

【氏名】小池 開人

【審査官】阿部 圭子

(56)【参考文献】

【文献】特開２００５－２７５８１４（ＪＰ，Ａ）

【文献】国際公開第２００５／０１０７８９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

職種に関する職種情報を取得し、
取得した職種情報を言語処理モデルに入力して、前記職種に対応する複数の評価項目に関する情報を取得し、
評価対象者に関する対象者情報を取得し、
前記複数の評価項目に関する情報と、前記対象者情報とを言語処理モデルに入力して、前記複数の評価項目のそれぞれに対する評価情報と、前記複数の評価項目に関する質問とを取得し、
前記評価項目に関する質問に対する回答を取得し、
取得した前記質問に対する回答を言語処理モデルに入力して、次の質問を取得し、
各質問に対する回答に基づいて、前記評価項目に対する最終評価情報を特定する
処理をコンピュータが実行する情報処理方法。

【請求項2】

前記職種情報及び前記職種における技能レベルを前記言語処理モデルに入力して、前記職種の前記技能レベルに対応する複数の評価項目に関する情報を取得する
処理を前記コンピュータが実行する請求項１に記載の情報処理方法。

【請求項3】

会社に関する会社情報を取得し、
取得した前記職種情報及び会社情報を前記言語処理モデルに入力して、前記会社の前記職種に対応する複数の評価項目に関する情報を取得する
処理を前記コンピュータが実行する請求項１又は２に記載の情報処理方法。

【請求項4】

前記評価項目に関する情報は、各評価項目の種類と各評価項目の評価基準とを含む
請求項１又は２に記載の情報処理方法。

【請求項5】

職種に関する職種情報と、会社に関する会社情報との入力を受け付ける入力画面を表示し、
前記入力画面を介して前記職種情報及び前記会社情報を取得し、
取得した前記職種情報及び前記会社情報に基づいて、前記会社における前記職種に関する複数の評価項目の生成を指示するプロンプトを作成し、
作成した前記プロンプトを言語処理モデルに入力して、前記言語処理モデルで生成された、前記会社における前記職種に対応する複数の評価項目と、各評価項目に対する評価基準を含む情報とを取得し、
取得した前記複数の評価項目と、各評価項目に対する評価基準を含む情報とを対応付けて表示する
処理を更に前記コンピュータが実行する請求項１又は２に記載の情報処理方法。

【請求項6】

取得した職種情報に基づいて、前記職種に関する複数の評価項目の生成を指示するプロンプトを作成し、
作成した前記プロンプトを言語処理モデルに入力して、前記言語処理モデルで生成された、前記職種に対応する複数の評価項目に関する情報を取得し、
前記複数の評価項目に関する情報と、前記対象者情報とに基づいて、前記評価対象者の前記複数の評価項目に対する評価情報の生成を指示するプロンプトを作成し、
作成した前記プロンプトを言語処理モデルに入力して、前記言語処理モデルで生成された前記複数の評価項目のそれぞれに対する評価情報を取得する
処理を更に前記コンピュータが実行する請求項１又は２に記載の情報処理方法。

【請求項7】

職種に関する職種情報を取得し、
取得した職種情報を言語処理モデルに入力して、前記職種に対応する複数の評価項目に関する情報を取得し、
評価対象者に関する対象者情報を取得し、
前記複数の評価項目に関する情報と、前記対象者情報とを言語処理モデルに入力して、前記複数の評価項目のそれぞれに対する評価情報と、前記複数の評価項目に関する質問とを取得し、
前記評価項目に関する質問に対する回答を取得し、
取得した前記質問に対する回答を言語処理モデルに入力して、次の質問を取得し、
各質問に対する回答に基づいて、前記評価項目に対する最終評価情報を特定する
処理をコンピュータに実行させるプログラム。

【請求項8】

制御部を有する情報処理装置であって、
前記制御部は、
職種に関する職種情報を取得し、
取得した職種情報を言語処理モデルに入力して、前記職種に対応する複数の評価項目に関する情報を取得し、
評価対象者に関する対象者情報を取得し、
前記複数の評価項目に関する情報と、前記対象者情報とを言語処理モデルに入力して、前記複数の評価項目のそれぞれに対する評価情報と、前記複数の評価項目に関する質問とを取得し、
前記評価項目に関する質問に対する回答を取得し、
取得した前記質問に対する回答を言語処理モデルに入力して、次の質問を取得し、
各質問に対する回答に基づいて、前記評価項目に対する最終評価情報を特定する
情報処理装置。

【請求項9】

職種に関する職種情報と、会社に関する会社情報との入力を受け付ける入力画面を表示し、
前記入力画面を介して前記職種情報及び前記会社情報を取得し、
取得した前記職種情報及び前記会社情報に基づいて、前記会社における前記職種に関する複数の評価項目の生成を指示するプロンプトを作成し、
作成した前記プロンプトを言語処理モデルに入力して、前記言語処理モデルで生成された、前記会社における前記職種に対応する複数の評価項目と、各評価項目に対する評価基準を含む情報とを取得し、
取得した前記複数の評価項目と、各評価項目に対する評価基準を含む情報とを対応付けて表示する
処理を更に前記コンピュータに実行させる請求項７に記載のプログラム。

【請求項10】

取得した職種情報に基づいて、前記職種に関する複数の評価項目の生成を指示するプロンプトを作成し、
作成した前記プロンプトを言語処理モデルに入力して、前記言語処理モデルで生成された、前記職種に対応する複数の評価項目に関する情報を取得し、
前記複数の評価項目に関する情報と、前記対象者情報とに基づいて、前記評価対象者の前記複数の評価項目に対する評価情報の生成を指示するプロンプトを作成し、
作成した前記プロンプトを言語処理モデルに入力して、前記言語処理モデルで生成された前記複数の評価項目のそれぞれに対する評価情報を取得する
処理を更に前記コンピュータに実行させる請求項７に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理方法、プログラム、及び情報処理装置に関する。

【背景技術】

【0002】

会社等の職場において従業員が有するスキルを適切に評価することや、人材採用の現場において求職者が有するスキルを適切に評価することは、適正な人事評価及び人事採用を行うために重要である。特許文献１では、従業員が自ら行った自身に対する評価、従業員のスキルやスタンス等の人的要素、従業員の目標達成率等の客観的な数値等を考慮して最終評価を行うことにより、従業員を正当かつ公平に評価するシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２３－１０４８５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

各企業では、自社の従業員が職務を遂行するために必要なスキルを予め設定しており、従業員及び求職者が、各スキルを有するか、各スキルについてどの程度の技能レベルを有するかを判断して人事評価及び人事採用を行っている。しかし、従業員及び求職者を適切に評価するための評価項目（従業員及び求職者に必要なスキル及びその技能レベル）を決定することは容易ではない。また、職種によって必要とされるスキルは異なるので、職種毎に適切な評価項目を設定しておく必要があり、人事担当者及び採用担当者の負担は大きい。

【0005】

一つの側面では、職種に応じた評価項目の設定業務の負担を軽減することを可能にする情報処理方法等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面に係る情報処理方法は、職種に関する職種情報を取得し、取得した職種情報を言語処理モデルに入力して、前記職種に対応する複数の評価項目に関する情報を取得する処理をコンピュータが実行する。

【発明の効果】

【0007】

一つの側面では、職種に応じた評価項目の設定業務の負担を軽減することが可能となる。

【図面の簡単な説明】

【0008】

【図1】情報処理装置の構成例を示すブロック図である。

【図2】評価情報の生成処理手順の一例を示すフローチャートである。

【図3】画面例を示す説明図である。

【図4】評価スコアの生成処理手順の一例を示すフローチャートである。

【図5】画面例を示す説明図である。

【図6】最終評価スコアの生成処理手順の一例を示すフローチャートである。

【図7】画面例を示す説明図である。

【図8】実施形態２の最終評価スコアの生成処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下に、本開示の情報処理方法、プログラム、及び情報処理装置について、その実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
本実施形態では、汎用の大規模言語モデル（ＬＬＭ：Large Language Models）を用いて、様々な職種において従業員及び求職者等の評価対象者を評価する際の評価情報を生成し、生成した評価情報に基づいて評価対象者の評価を行う情報処理装置について説明する。本実施形態では、大規模言語モデルに入力する言語として日本語を用いる例で説明するが、他の言語を用いる構成でもよい。図１は情報処理装置の構成例を示すブロック図である。

【0011】

情報処理装置１０は、種々の情報処理及び情報の送受信が可能なコンピュータであり、サーバコンピュータ、パーソナルコンピュータ、又はタブレット端末等である。情報処理装置１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読取部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）、又はＡＩチップ（ＡＩ用半導体）等の１又は複数のプロセッサを用いて構成されている。制御部１１は、記憶部１２に記憶してあるプログラムＰを適宜実行することにより、情報処理装置１０が行うべき種々の情報処理及び制御処理を実行する。なお、制御部１１が複数のプロセッサを含む場合、制御部１１は、各処理を異なるプロセッサによって実行してもよい。

【0012】

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行するプログラムＰ（プログラム製品）及びプログラムＰの実行に必要な各種のデータを記憶している。また記憶部１２は、評価対象者を評価する際の評価情報を生成する処理を実現するためのアプリケーション（以下ではスキル生成アプリＡＰ１と記載する）、評価対象者の職務経歴書及び履歴書等の書類（ドキュメント）に基づいて評価対象者を評価する処理を実現するためのアプリケーション（以下ではドキュメント評価アプリＡＰ２と記載する）、及び面接時の質問に対する回答に基づいて評価対象者を評価する処理を実現するためのアプリケーション（以下では面接評価アプリＡＰ３と記載する）を記憶している。また記憶部１２は、制御部１１がプログラムＰ及び各アプリＡＰ１～ＡＰ３を実行する際に発生するデータ等を一時的に記憶する。更に記憶部１２は、言語生成モデルＭ（言語処理モデル）を記憶している。言語生成モデルＭは、大規模な文章群等による事前学習を行うことにより構築された汎用の大規模言語モデルである。言語生成モデルＭは、例えば自然言語で記述されたテキストデータ及び／又は画像データを含む入力データが入力された場合に、入力データに基づいて、入力データの内容に応じた出力データを生成する演算を行い、生成した出力データを出力するように学習してある。言語生成モデルＭは、例えば、ＧＰＴ（Generative Pre-trained Transformer）－３、ＧＰＴ－３．５、ＧＰＴ－４等のアルゴリズムを用いて構成することができ、複数のアルゴリズムを組み合わせて構成してもよい。なお、言語生成モデルＭは、上述したようなトランスフォーマベースのモデルに限定されない。言語生成モデルＭは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。言語生成モデルＭは、入力データに対して所定の演算を行い、演算結果を出力するものであり、記憶部１２には、この演算を規定する関数の係数や閾値等のデータが言語生成モデルＭとして記憶される。言語生成モデルＭは、記憶部１２に記憶する構成の代わりに、情報処理装置１０が、言語生成モデルＭを記憶する言語処理サーバにアクセスして読み出すようにしてもよい。

【0013】

通信部１３は、有線通信又は無線通信に関する処理を行うための通信モジュールであり、ネットワークを介して他の装置との間で情報の送受信を行う。ネットワークは、インターネット又は公衆電話回線網であってもよく、情報処理装置１０が設けられている施設内に構築されたＬＡＮ（Local Area Network）であってもよい。入力部１４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。入力部１４は、例えばキーボード及びマウス、音声入力用のマイク等を含む。表示部１５は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４の一部及び表示部１５は一体として構成されたタッチパネルであってもよい。

【0014】

読取部１６は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１０ａに記憶された情報を読み取る。記憶部１２に記憶されるプログラムＰ及び各アプリＡＰ１～ＡＰ３は、制御部１１が読取部１６を介して可搬型記憶媒体１０ａから読み取って記憶部１２に記憶してもよい。また、プログラムＰ及び各アプリＡＰ１～ＡＰ３は、情報処理装置１０の製造段階において記憶部１２に書き込まれてもよく、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。

【0015】

本実施形態において、情報処理装置１０は複数のコンピュータからなるマルチコンピュータであってもよく、１台の装置内にソフトウェアによって仮想的に構築された仮想マシンであってもよい。また情報処理装置１０をサーバコンピュータで構成する場合、情報処理装置１０は、情報処理装置１０が設けられている施設内に設置されたローカルサーバであってもよく、インターネット等のネットワークを介して通信接続されたクラウドサーバであってもよい。以下では、情報処理装置１０が１台のコンピュータであるものとして説明する。また、プログラムＰ及び各アプリＡＰ１～ＡＰ３は単一のコンピュータ上で、又は１つのサイトにおいて配置されてもよく、もしくは、複数のサイトにわたって分散され、ネットワークを介して相互に接続された複数のコンピュータ上で分散されて実行されてもよい。更に、情報処理装置１０は、入力部１４及び表示部１５は必須ではなく、接続されたコンピュータを通じて操作を受け付ける構成でもよく、表示すべき情報を外部の表示装置へ出力する構成でもよい。また、情報処理装置１０の記憶部１２は、複数の記憶装置により構成されていてもよく、情報処理装置１０に接続された外部記憶装置を含んでもよい。

【0016】

上述した構成の情報処理装置１０は、様々な職種について評価対象者の評価を行うための評価情報を生成する際に、評価情報の生成対象の職種に関する情報を、入力部１４を介して入力されたテキストデータ、自然言語で発話した音声データから変換されたテキストデータ等、自然言語で記述したテキストデータによって受け付ける。また情報処理装置１０は、ＯＣＲ（Optical Character Recognition：光学式文字読取）機能を備える場合、ＯＣＲ機能によって画像から生成されたテキストデータによって職種に関する情報を受け付けてもよい。そして、情報処理装置１０は、言語生成モデルＭを用いて、受け付けた職種に関する情報から、当該職種における評価情報を生成する処理を実行する。また、情報処理装置１０は、言語生成モデルＭを用いて、当該職種について生成した評価情報と、当該職種における評価対象者の職務経歴書及び履歴書等のドキュメントとから、評価情報に含まれる各評価項目に対する評価対象者の評価スコアと、当該評価対象者に対する質問とを生成する処理を実行する。更に、情報処理装置１０は、言語生成モデルＭを用いて、各評価項目に対する評価対象者の評価スコアと、当該評価対象者に対して生成した質問に対する回答とから、各評価項目に対する評価対象者の最終的な評価スコアを生成する処理を実行する。このように、本実施形態の情報処理装置１０は、各職種に関する情報から各職種における評価情報を生成する際、各職種の評価情報と各職種における評価対象者のドキュメントとから評価対象者の評価スコアと質問とを生成する際、及び、各評価項目に対する評価対象者の評価スコアと質問に対する評価対象者の回答とから評価対象者の最終的な評価スコアを生成する際に、言語生成モデルＭを使用する。

【0017】

本実施形態では、職種の情報から評価情報を生成する処理、各職種の評価対象者の評価スコア及び質問を生成する処理、及び、評価対象者の最終的な評価スコアを生成する処理において、同じ言語生成モデルＭを用いるものとするが、この構成に限定されない。例えば、各処理用の言語生成モデルＭを用意しておき、処理毎に異なる言語生成モデルＭを用いてもよい。また、言語生成モデルＭは、汎用の大規模言語モデルをそのまま用いる構成でもよく、各処理用にファインチューニングしたものを用いてもよい。例えば、職種の情報から評価情報を生成する処理用の言語生成モデルＭは、会社案内サイト又は求人サイト等で公開されている各職種に関する業務内容、プロジェクト情報、募集要件及び採用要件等を用いてファインチューニングしてもよい。また、これらの情報からキーワード検索によって評価対象者の評価に使用できる情報をスクレイピングし、得られた情報を用いてファインチューニングしてもよい。

【0018】

また、各職種の評価対象者の評価スコア及び質問を生成する処理用の言語生成モデルＭは、評価対象者に関する情報（ドキュメント）及び当該評価対象者が志望する職種の評価情報と、この評価対象者の評価スコア及び質問とが関連付けられた訓練データを用いてファインチューニングしたモデルを用いてもよい。ここでの言語生成モデルＭは、訓練データに含まれるドキュメント及び評価情報が入力された場合に、訓練データにおける正解の評価スコア及び質問を出力するように学習する。具体的には、言語生成モデルＭは、入力データに基づく演算を行い、入力データの内容に応じて各評価項目に対する評価スコアと質問とを生成する。そして、言語生成モデルＭは、生成した評価スコア及び質問と、正解の評価スコア及び質問とを比較し、両者が近似するように、ニューロン間の重み（結合係数）、活性化関数の係数等の各種パラメータを、最急降下法、誤差逆伝播法等を用いて最適化する。これにより、評価対象者のドキュメント等が入力された場合に、入力されたドキュメントの内容に応じた評価スコア及び質問を出力する言語生成モデルＭが得られる。また、評価対象者の最終的な評価スコアを生成する処理用の言語生成モデルＭは、評価対象者のドキュメントから判定された各評価項目に対する評価スコア及び各評価項目に関する質問に対する評価対象者の回答（テキストデータ）と、この回答から特定される当該評価対象者の最終評価スコアとが関連付けられた訓練データを用いてファインチューニングしたモデルを用いてもよい。言語生成モデルＭのファインチューニングは、情報処理装置１０で行われてもよく、他の学習装置で行われてもよい。他の学習装置でファインチューニングされた言語生成モデルＭは、例えばネットワーク経由又は可搬型記憶媒体１０ａ経由で学習装置から情報処理装置１０にダウンロードされて記憶部１２に記憶される。

【0019】

以下に、本実施形態の情報処理装置１０が、指定された職種に関する評価情報を生成する処理について説明する。図２は評価情報の生成処理手順の一例を示すフローチャート、図３は画面例を示す説明図である。以下の処理は、情報処理装置１０の制御部１１が、記憶部１２に記憶してあるプログラムＰ及びスキル生成アプリＡＰ１に従って実行する。

【0020】

任意の職種に関する評価情報の生成を行うユーザは、情報処理装置１０に対してスキル生成アプリＡＰ１の起動を指示する。情報処理装置１０の制御部１１は、入力部１４を介してスキル生成アプリＡＰ１の起動指示を受け付けた場合、スキル生成アプリＡＰ１を起動し、以下の処理を実行する。

【0021】

情報処理装置１０の制御部１１は、図３Ａに示すような職種入力画面を表示部１５に表示する（Ｓ１１）。図３Ａに示す画面は、職種名、技能レベル、会社情報、タグの各情報の入力欄を有し、評価情報の生成対象を規定するための職種情報の入力を受け付ける。各入力欄は、任意の情報を入力できる構成でもよく、複数の選択肢の中から任意の１つを選択するためのプルダウンメニューが設けられた構成でもよい。図３Ａの例では、タグの入力欄は任意の情報を入力できる構成であり、職種名、技能レベル及び会社情報の入力欄はプルダウンメニューが設けられた構成であるが、この構成に限定されない。例えば、技能レベルの入力欄には、初級、中級、又は上級等を選択できるプルダウンメニューが設けられている。会社情報の入力欄には、会社の事業内容及びプロジェクト内容、各職種における募集要件及び採用要件等の情報が入力され、これらの情報が直接入力されてもよく、これらの情報が掲載されているウェブサイトのＵＲＬ（Uniform Resource Locator）が入力されてもよく、これらの情報が記載されたファイルのファイル名が入力されてもよい。ファイルは、ｐｄｆ（Portable Document Format）ファイル、ｗｏｒｄファイル、テキストファイル等、どのようなファイル形式でもよい。タグの入力欄には、評価対象者の仕事内容、必要なスキル等に関する情報が入力される。ユーザは、職種入力画面を介して少なくとも職種名の入力を行う。

【0022】

制御部１１は、職種入力画面の各入力欄に対して、入力部１４を介して各情報の入力を受け付け、受け付けた各情報をそれぞれの入力欄に表示する（Ｓ１２）。制御部１１は、職種入力画面中の作成ボタンが操作されたか否かを判断し（Ｓ１３）、操作されていないと判断する場合（Ｓ１３：ＮＯ）、ステップＳ１２の処理に戻り、職種に関する情報の入力受付を継続する。作成ボタンが操作されたと判断した場合（Ｓ１３：ＹＥＳ）、制御部１１は、入力された職種に関する情報（職種情報）に基づいて、当該職種における評価情報を作成するためのプロンプトを作成する（Ｓ１４）。例えば制御部１１は、各入力欄の項目（職種名、技能レベル、会社情報、タグ）に、各入力欄に入力された情報をそれぞれ対応付けて１つの自然言語によるテキストデータを生成する。そして制御部１１は、生成したテキストデータの冒頭に、例えば「この会社の情報に基づいて、この会社で働くために必要なスキル、及び、各スキルが重要である理由、評価基準を含むスキル評価情報を生成してください」のように、言語生成モデルＭからの出力結果を制御するためのメッセージを追加してプロンプトを作成する。また、制御部１１は、「この会社で働くために必要なスキルを１５個挙げてください」、「この会社で働くために必要なスキルについて、知識及び技術等に関するHard Skillと、性格及び人柄等に関するSoft Skillとに分けて挙げてください」等のメッセージを、職種入力画面を介して入力された情報に基づくテキストデータに付加してもよい。テキストデータに付加されるメッセージは、予め生成されて記憶部１２に記憶しておいてもよい。なお、制御部１１は、テキストデータにメッセージを付加せずに、テキストデータをそのまま言語生成モデルＭに入力して評価情報を取得する構成でもよい。

【0023】

制御部１１は、作成したプロンプトを言語生成モデルＭに入力し、言語生成モデルＭによって、プロンプトの内容に従った評価情報を生成する（Ｓ１５）。ここでは制御部１１は、言語生成モデルＭから、評価対象者の評価に用いる複数の評価項目（スキルの種類）及び各評価項目に対する評価基準等を自然言語によって記述した評価情報（テキストデータ）を取得する。そして制御部１１は、生成した評価情報を表示部１５に表示する（Ｓ１６）。制御部１１は、図３Ｂに示すような画面を表示する。図３Ｂに示す画面では、データサイエンティストについて生成された評価情報が表示されており、例えばHard Skillとして、プログラミング、統計分析、機械学習等の各スキル（評価項目）に関する評価基準が表示され、Soft Skillとして、コミュニケーション力、問題解決力、適応力等の各スキル（評価項目）に関する評価基準が表示されている。

【0024】

制御部１１は、図３Ｂの画面に表示した評価情報にファイル名を付けて記憶部１２に記憶し、上述した処理の終了指示を受け付けた場合、図３Ｂの画面の表示を終了する。上述した処理により、職種入力画面を介して入力された職種情報から、当該職種における評価対象者の評価を行う際に使用できる評価情報を生成することができる。また、入力される情報に会社の情報を含めることにより、各会社の情報を考慮して会社毎の評価情報の生成が可能となる。評価対象者の評価を行う際の基準は、担当者の経験又は知識等によってばらつきが生じる可能性があるが、本実施形態では、言語生成モデルＭを用いて評価基準を決定するので、適正な評価基準を生成することが可能となる。よって、各職種に応じた評価項目の設定業務を行う担当者の負担を軽減でき、各職種に関する専門的な知識を有しない担当者であっても、各職種の評価対象者を適切に評価できる評価情報の設定が可能となる。また、本実施形態では、入力された職種情報から評価情報を生成する際に、職種情報にメッセージを付加してプロンプトを作成し、作成したプロンプトから評価情報を生成するので、職種情報の入力者は職種名、技能レベル、会社情報等を入力すればよく、操作負担を増大させることなく所望の評価情報の生成が可能となる。

【0025】

上述した処理において、入力された職種情報からプロンプトを作成する処理、及び／又は、言語生成モデルＭを用いてプロンプトから評価情報を生成する処理は、情報処理装置１０がローカルで行う構成に限定されない。例えば、これらの処理を、言語生成モデルＭを提供するサーバで実行する構成でもよい。例えば、情報処理装置１０は、入力された職種情報をサーバへ送信し、サーバで職種情報から作成されたプロンプトに基づいて生成された評価情報を受信するように構成することができる。

【0026】

次に、上述した処理により生成された各職種に応じた評価情報と、評価対象者の情報とに基づいて評価対象者を評価する処理について説明する。図４は評価スコアの生成処理手順の一例を示すフローチャート、図５は画面例を示す説明図である。以下の処理は、情報処理装置１０の制御部１１が、記憶部１２に記憶してあるプログラムＰ及びドキュメント評価アプリＡＰ２に従って実行する。

【0027】

上述した処理によって評価情報が生成してある職種について、従業員又は求職者等の評価対象者の評価を行うユーザは、情報処理装置１０に対してドキュメント評価アプリＡＰ２の起動を指示する。情報処理装置１０の制御部１１は、入力部１４を介してドキュメント評価アプリＡＰ２の起動指示を受け付けた場合、ドキュメント評価アプリＡＰ２を起動し、以下の処理を実行する。

【0028】

情報処理装置１０の制御部１１は、図５に示すようなドキュメント入力画面を表示部１５に表示する（Ｓ２１）。ここでのドキュメント入力画面は、図５に示す画面の上側の領域であり、職務経歴書、会社情報、評価情報、フリーテキストの各情報の入力欄を有し、評価対象者に関する情報（対象者情報）の入力を受け付ける。各入力欄は、任意の情報を入力できる構成でもよく、複数の選択肢の中から任意の１つを選択するためのプルダウンメニューが設けられた構成でもよい。図５の例では、フリーテキストの入力欄は任意の情報を入力できる構成であり、職務経歴書、会社情報及び評価情報の入力欄はプルダウンメニューが設けられた構成であるが、この構成に限定されない。なお、職務経歴書の入力欄には、評価対象者の職務経歴書の内容が直接入力されてもよく、職務経歴書が記載されたファイル名が入力されてもよい。会社情報の入力欄には、図３の画面中の会社情報の入力欄と同様の情報が入力されてもよく、会社情報が要約された会社概要が入力されてもよい。ここでも、会社情報の入力欄には、会社情報又は会社概要が直接入力されてもよく、会社情報又は会社概要が掲載されているウェブサイトのＵＲＬが入力されてもよく、会社情報又は会社概要が記載されたファイルのファイル名が入力されてもよい。評価情報の入力欄には、図４に示す処理で生成された評価情報のファイル名が入力される。フリーテキストの入力欄には、評価対象者のブログ、ＳＮＳ（Social Networking Service）に投稿された情報、評価対象者が過去に作成したプログラムコード等が直接入力されてもよく、これらの情報が掲載されているウェブサイトのＵＲＬが入力されてもよく、これらの情報が記載されたファイルのファイル名が入力されてもよい。各入力欄を介して入力されるファイルのファイル形式は制限されない。ユーザは、ドキュメント入力画面を介して少なくとも職務経歴書及び評価情報の入力を行う。

【0029】

制御部１１は、ドキュメント入力画面の各入力欄に対して、入力部１４を介して各情報（ドキュメント）の入力を受け付け、受け付けた各情報（各ドキュメントのファイル名等）をそれぞれの入力欄に表示する（Ｓ２２）。制御部１１は、ドキュメント評価画面中の評価ボタンが操作されたか否かを判断し（Ｓ２３）、操作されていないと判断する場合（Ｓ２３：ＮＯ）、ステップＳ２２の処理に戻り、評価対象者に関する情報が記載されたドキュメント等の入力受付を継続する。評価ボタンが操作されたと判断した場合（Ｓ２３：ＹＥＳ）、制御部１１は、入力されたドキュメント等に基づいて、評価対象者の評価スコアを生成（算出）するためのプロンプトを作成する（Ｓ２４）。ここでは、制御部１１は、各入力欄に入力されたドキュメントの記載内容を含む１つのテキストデータを生成する。そして制御部１１は、生成したテキストデータの冒頭に、例えば「評価対象者の職務経歴書と評価基準とに基づいて、各評価項目について、評価対象者のスキルレベルを５段階で評価してください」、「評価対象者に対する評価結果から、評価対象者に問うべき質問を作成してください。また、その質問を行う理由と、その質問に対する予測回答を作成してください」、「質問は各評価項目について２つずつ作成してください」のように、言語生成モデルＭからの出力結果を制御するためのメッセージを追加してプロンプトを作成する。ここでのメッセージも、予め生成されて記憶部１２に記憶してあってもよい。

【0030】

制御部１１は、作成したプロンプトを言語生成モデルＭに入力し、言語生成モデルＭによって、各評価項目に対する評価対象者の評価スコアと、評価対象者に問うべき質問（深堀質問）、その質問を行う理由及び予測回答とを生成する（Ｓ２５）。ここでは制御部１１は、言語生成モデルＭから、上述した各情報を自然言語によって記述したドキュメント評価情報（テキストデータ）を取得する。なお、制御部１１は、言語生成モデルＭによって、少なくとも評価対象者の評価スコア及び深堀質問を生成する。また制御部１１は、作成したプロンプトに基づいて、まず、各評価項目に対する評価スコアを生成し、その後、作成したプロンプトの一部又は全部と、生成した評価スコアとを言語生成モデルＭに入力して深堀質問等を生成する構成でもよい。そして制御部１１は、生成したドキュメント評価情報を表示部１５に表示する（Ｓ２６）。制御部１１は、例えば図５に示すような画面を表示する。図５に示す画面では、データサイエンティストについて生成されたドキュメント評価情報が表示されており、例えば特徴量エンジニアリング及びコミュニケーション力の評価項目について、評価スコア、深堀質問、質問の理由、予測回答が表示されている。

【0031】

制御部１１は、図５の画面に表示したドキュメント評価情報にファイル名を付けて記憶部１２に記憶し、上述した処理の終了指示を受け付けた場合、図５の画面の表示を終了する。上述した処理により、各職種に対する評価情報（評価基準）と、評価対象者の各情報が記述されたドキュメントとから、評価対象者の評価スコア及び評価対象者への深堀質問を生成することができる。人事評価は、評価を行う担当者の主観によって評価結果にばらつきが生じる可能性があるが、本実施形態では、言語生成モデルＭを用いて評価対象者の評価スコアを決定するので、公平な評価を行うことが可能となる。よって、従業員及び求職者の評価業務を行う担当者の負担を軽減できる。また、本実施形態では、入力されたドキュメントからドキュメント評価情報を生成する際に、ドキュメント（テキストデータ）にメッセージを付加してプロンプトを作成し、作成したプロンプトからドキュメント評価情報を生成するので、担当者は、各情報のファイルを指定すればよく、操作負担を増大させることなく適正な評価処理を行うことができる。

【0032】

上述した処理においても、入力されたドキュメントからプロンプトを作成する処理、及び／又は、言語生成モデルＭを用いてプロンプトから評価スコア及び質問等を生成する処理は、情報処理装置１０がローカルで行う構成に限定されない。例えば、これらの処理を、言語生成モデルＭを提供するサーバで実行する構成でもよい。例えば、情報処理装置１０は、入力されたドキュメントをサーバへ送信し、サーバでドキュメントから作成されたプロンプトに基づいて生成されたドキュメント評価情報を受信するように構成することができる。

【0033】

次に、上述した処理により生成されたドキュメント評価情報と、評価対象者の質問に対する回答とに基づいて評価対象者の最終評価を決定する処理について説明する。図６は最終評価スコアの生成処理手順の一例を示すフローチャート、図７は画面例を示す説明図である。以下の処理は、情報処理装置１０の制御部１１が、記憶部１２に記憶してあるプログラムＰ及び面接評価アプリＡＰ３に従って実行する。

【0034】

上述した処理によって評価対象者に対して生成されたドキュメント評価情報を用いて、評価対象者との面接を行うユーザは、情報処理装置１０に対して面接評価アプリＡＰ３の起動を指示する。情報処理装置１０の制御部１１は、入力部１４を介して面接評価アプリＡＰ３の起動指示を受け付けた場合、面接評価アプリＡＰ３を起動し、以下の処理を実行する。

【0035】

情報処理装置１０の制御部１１は、図７に示すような面接画面を表示部１５に表示する（Ｓ３１）。なお、制御部１１は、面接を行う評価対象者に対して生成された評価基準（評価情報）及びドキュメント評価情報を評価対象者の情報として読み込んでいる。ここでの面接画面は、図７に示す画面の左上側の動画表示欄Ｒ１であり、評価対象者の顔領域又は上半身を撮影した画像（動画）を表示している。なお、評価対象者の撮影画像は、評価対象者が使用する端末（図示せず）のカメラで撮影された画像データであってもよく、情報処理装置１０に接続されたカメラ（図示せず）で撮影された画像データであってもよい。また、情報処理装置１０の制御部１１は、評価対象者が発した発話音声を取得し、スピーカ又はイヤホン（図示せず）から音声出力する。評価対象者の発話音声は、評価対象者の端末のマイクで取得された音声データであってもよく、情報処理装置１０に接続されたマイクで取得された音声データであってもよい。なお、対面での面接の場合、制御部１１は、評価対象者の発話音声をスピーカ等から音声出力する必要はない。

【0036】

制御部１１は、ドキュメント評価情報から、１つの評価項目についての深堀質問を取得し、図７の画面中の右上側の質問表示欄Ｒ２に表示する（Ｓ３２）。面接担当者は、質問表示欄Ｒ２に表示された深堀質問を評価対象者に対して行い、制御部１１は、評価対象者による深堀質問への回答の音声データ（発話音声）を取得する（Ｓ３３）。制御部１１は、取得した音声データをテキストデータに変換し、得られたテキストデータを画面中の質問表示欄Ｒ２に表示する（Ｓ３４）。

【0037】

制御部１１は、評価対象者の回答（テキストデータ）に基づいて、この回答によって更新される評価対象者の評価スコアと、次に評価対象者に行うべき質問とを生成するためのプロンプトを作成する（Ｓ３５）。ここでは、制御部１１は、評価対象者に対する評価基準（評価情報）及びドキュメント評価情報と、評価対象者に行った深堀質問と、この深堀質問に対する回答とを含む１つのテキストデータを生成する。そして制御部１１は、生成したテキストデータの冒頭に、例えば「質問に対する回答を踏まえて、各評価項目について、評価対象者のスキルレベルを５段階で評価してください。スキルレベルが変更された場合、その理由を説明してください」のように、言語生成モデルＭからの出力結果を制御するためのメッセージを追加してプロンプトを作成する。ここでのメッセージも、予め生成されて記憶部１２に記憶してあってもよい。

【0038】

制御部１１は、作成したプロンプトを言語生成モデルＭに入力し、言語生成モデルＭによって、各評価項目に対する評価対象者の評価スコア（更新後の評価スコア）と、次に評価対象者に問うべき質問を生成する（Ｓ３６）。このとき制御部１１は、評価スコア及び次の質問に加えて、次の質問を行う理由及び次の質問に対する予測回答を生成してもよい。ここでは制御部１１は、言語生成モデルＭから、上述した各情報を自然言語によって記述した最終評価情報（テキストデータ）を取得する。そして制御部１１は、生成した最終評価情報を表示部１５に表示する（Ｓ３７）。制御部１１は、例えば図７に示すような画面を表示する。図７に示す画面では、質問表示欄Ｒ２に評価対象者の回答が表示され、下側の評価表示欄Ｒ３に、質問中の深堀質問に対応する評価項目について、ドキュメント評価スコア、最終評価スコア、最終評価スコアの理由が表示されている。

【0039】

制御部１１は、ステップＳ３６で生成した次の質問があるか否かを判断しており（Ｓ３８）、次の質問があると判断した場合（Ｓ３８：ＹＥＳ）、生成した次の質問を画面中の質問表示欄Ｒ２に表示する（Ｓ３９）。そして制御部１１は、ステップＳ３３の処理に戻る。なお、面接担当者は、次の質問が表示された場合、次の質問を評価対象者に対して行い、制御部１１は、次の質問について、ステップＳ３３～Ｓ３７の処理を実行する。一方、面接担当者は、次の質問がない場合、「次の評価スキルへ」ボタンを操作する。よって、制御部１１は、次の質問がないと判断した場合（Ｓ３８：ＮＯ）、「次の評価スキルへ」ボタンが操作されたか否かを判断し（Ｓ４０）、操作されたと判断した場合（Ｓ４０：ＹＥＳ）、ステップＳ３２の処理に戻る。そして、制御部１１は、まだ質問していない評価項目について、ステップＳ３２～Ｓ３９の処理を繰り返す。なお、面接担当者は、次の質問が表示されている場合であっても当該評価項目についての質問を終了したい場合、「次の評価スキルへ」ボタンを操作してもよく、この場合、制御部１１は、「次の評価スキルへ」ボタンが操作されたと判断し（Ｓ４０：ＹＥＳ）、ステップＳ３２へ移行する。

【0040】

制御部１１は、「次の評価スキルへ」ボタンが操作されていないと判断する場合（Ｓ４０：ＮＯ）、上述した処理の終了指示を受け付けたか否かを判断する（Ｓ４１）。例えば制御部１１は、入力部１４を介して、実行中の面接の終了指示を受け付けたか否かを判断する。制御部１１は、終了指示を受け付けていないと判断する場合（Ｓ４１：ＮＯ）、ステップＳ４０の処理に戻り、「次の評価スキルへ」ボタンが操作されるか、終了指示を受け付けるまで待機する。終了指示を受け付けたと判断した場合（Ｓ４１：ＹＥＳ）、制御部１１は一連の処理を終了する。このとき制御部１１は、面接中に面接画面に表示した情報にファイル名を付けて記憶部１２に記憶する。これにより、面接中の評価対象者の動画、評価対象者に行った質問及びその回答等を後日確認できる。

【0041】

上述した処理により、評価対象者に対する評価情報（評価基準）及びドキュメント評価情報と、面接中に評価対象者が行った質問に対する回答とから、評価対象者の最終評価スコア及び評価対象者への次の質問を生成することができる。よって、面接中に評価対象者に対する次の質問が逐次表示されるので、面接担当者は、順番に深堀質問を行えばよく、評価対象者に対する質問に漏れが生じることを抑制できる。また、人事評価は、評価担当者の主観によって評価結果にばらつきが生じる可能性があるが、本実施形態では、言語生成モデルＭを用いて評価対象者の最終評価スコアを決定するので、公平な評価を行うことが可能となる。よって、面接担当者の負担を軽減できる。また、本実施形態では、評価対象者の回答のテキストデータから最終評価情報を生成する際に、テキストデータにメッセージを付加してプロンプトを作成し、作成したプロンプトから最終評価情報を生成するので、担当者は、評価対象者との質疑応答に集中することができ、面接担当者の負担を増大させることなく適正な評価処理が可能となる。

【0042】

上述した処理においても、評価対象者の深堀質問に対する回答からプロンプトを作成する処理、及び／又は、言語生成モデルＭを用いてプロンプトから最終評価スコア及び次の質問等を生成する処理は、情報処理装置１０がローカルで行う構成に限定されない。例えば、これらの処理を、言語生成モデルＭを提供するサーバで実行する構成でもよい。例えば、情報処理装置１０は、評価対象者の回答のテキストデータ等をサーバへ送信し、サーバでテキストデータから作成されたプロンプトに基づいて生成された最終評価情報を受信するように構成することができる。

【0043】

本実施形態では、例えば職種に応じた評価情報（評価基準）を設定する担当者が、図２の処理の実行を行い、評価対象者のドキュメント（職務経歴書等）に基づいて評価対象者の評価を行う担当者が、図４の処理を実行し、面接担当者が、図６の処理を実行する構成を想定しているが、このような構成に限定されない。例えば、図２の処理の実行後に図４の処理を実行してもよい。この場合、例えば評価対象者毎に、図２及び図４の処理が実行されてもよい。また、情報処理装置１０によって提供される各処理は、評価対象者の評価を行う人事担当者及び採用担当者、人材エージェント及び転職エージェント等、評価対象者の評価を行う担当者だけでなく、求職者等の評価対象者自身の利用も想定される。例えば、評価対象者自身が、図３Ａの画面を介して職種情報を入力することにより、志望する職種における評価情報を生成することができ、志望する職種に必要なスキルを把握することができる。また、評価対象者自身が、図５の画面を介して自身の職務経歴書等のドキュメントを入力することにより、志望する職種に必要なスキル（各評価項目）に対して自身の評価スコアを把握することができる。更に、面接を想定し、評価対象者自身が、図７の画面に表示される深堀質問に回答することにより、面接結果としての最終評価を把握することができる。このような利用方法では、求職者が、実際に求人に応募する前に、又は、実際に面接を受ける前に、自身に不足しているスキルを把握することでき、早期に対策を行うことができる。

【0044】

（実施形態２）
上述した実施形態１において、面接中に、評価対象者による質問に対する回答に加えて、評価対象者が回答する際の感情を推定し、推定した感情を考慮して最終評価スコア及び次の質問を生成する情報処理装置について説明する。本実施形態の情報処理装置は、図１に示す実施形態１の情報処理装置１０の構成と同様の構成を有するので、構成についての説明は省略する。

【0045】

図８は実施形態２の最終評価スコアの生成処理手順の一例を示すフローチャートである。図８に示す処理は、図６に示す処理において、ステップＳ３４，Ｓ３５の間にステップＳ５１を追加したものである。図６と同じステップについては説明を省略する。本実施形態では、情報処理装置１０の制御部１１は、ステップＳ３４の処理後、評価対象者の撮影画像及び／又は発話音声に基づいて、当該評価対象者の感情を推定する（Ｓ５１）。例えば制御部１１は、Ｍｉｃｒｏｓｏｆｔ社製のＥｍｏｔｉｏｎ ＡＰＩのように撮影画像から被写体の感情を検出するアプリケーションプログラムを用いて、撮影画像中の評価対象者の感情を推定する。また制御部１１は、評価対象者の発話音声から声のトーン及び強さ、話すスピード等の情報を抽出し、抽出した情報に基づいて評価対象者の感情を推定する。評価対象者の感情は例えば緊張、リラックス、喜び、悲しみ、怒り、驚き等を含み、各感情について例えば１０点満点（１０点が最高で０点が最低）の数値で表される。なお、情報処理装置１０が、評価対象者の撮影画像及び発話音声に加えてバイタルデータを取得できる場合、制御部１１は、評価対象者のバイタルデータを分析することによって感情を推定してもよい。例えば制御部１１は、評価対象者のバイタルデータから心拍数又は呼吸の状態等を抽出し、抽出した情報に基づいて感情を検出してもよい。なお、制御部１１は、ニューラルネットワークを用いて評価対象者の感情を推定してもよい。例えばＣＮＮ（Convolution Neural Network）モデルで構成され、評価対象者の撮影画像及び／又は発話音声が入力された場合に、評価対象者の感情に関する情報を出力するように学習された学習モデルを用いてもよい。この場合、制御部１１は、面接中に順次取得する評価対象者の撮影画像及び／又は発話音声を学習モデルに入力し、学習モデルからの出力情報に基づいて、評価対象者の感情を推定することができる。また、評価対象者の撮影画像及び／又は発話音声に加えてバイタルデータが入力された場合に、評価対象者の感情に関する情報を出力するように学習された学習モデルを用いてもよい。

【0046】

なお、ステップＳ３４の処理とステップＳ５１の処理とは並列に実行されてもよい。その後、制御部１１は、ステップＳ３５以降の処理を実行する。本実施形態では、ステップＳ３５で制御部１１は、評価対象者に対する評価基準（評価情報）及びドキュメント評価情報、評価対象者に行った深堀質問及びこの深堀質問に対する回答に加えて、ステップＳ５１で推定した評価対象者の感情を含むテキストデータを生成し、生成したテキストデータからプロンプトを作成する。

【0047】

上述した処理により、本実施形態では、面接の実行中に、評価対象者が行った質問に対する回答の内容だけでなく、回答した際の評価対象者の感情も考慮して、評価対象者の最終評価スコア及び評価対象者への次の質問を生成することができる。よって、評価対象者により適した評価スコアを特定できるので、より適切な評価が可能となる。また評価対象者により適した次の質問を生成できるので、より円滑な面接を実施することが可能となる。

【0048】

本実施形態では、面接中に、評価対象者の感情も考慮して評価対象者の最終評価スコア及び次の質問を生成する処理以外は、実施形態１と同様の処理であり、実施形態１と同様の効果が得られる。また本実施形態においても、上述した実施形態１で適宜説明した変形例の適用が可能である。

【0049】

上述の各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【0050】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0051】

１０ 情報処理装置
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
Ｍ 言語生成モデル

【要約】

【課題】職種に応じた評価項目の設定業務の負担を軽減することを可能にする情報処理方法等を提供する。
【解決手段】コンピュータは、プログラムに従って、職種に関する職種情報を取得する。そして、コンピュータは、取得した職種情報を言語処理モデルに入力して、前記職種に対応する複数の評価項目に関する情報を取得する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】